Tên phố được đặt từ trạm "Khâm Thiên Giám" ở đầu ngõ chợ Khâm Thiên ngày nay. Đã mấy trăm năm, đài thiên văn cổ này dựng lên để đo đạc mây mưa, bức xạ mặt trời và làm lịch. Con đường đi qua mươi làng ngày ấy lổn nhổn đá sỏi và bé vừa đủ một chiếc xe bò kéo cổ lỗ sĩ. Mãi tới năm 1915, đường mới được trổ thêm rộng và dài hơn một cây số. Hàng quán lập lên phố xá. Đèn dầu lập lòe như sao xa.



