Pháp chiếm Hà Nội lần đầu năm 1873. Chúng ép ta phải cho chúng một khu nhượng địa (concession), khu này sát sông Hồng, gọi là Đồn Thủy, nguyên là trại thủy quân của ta, có ranh giới ngày nay là phố Lê Thánh Tông và phố Phạm Ngũ Lão (khu hai bệnh viện Hữu Nghị và bệnh viện 108). Đây là bàn đạp để Pháp lấn ra, xây dựng khu phố Tây ở cuối phía Đông và phía Nam Hồ Hoàn Kiếm.
Pháp đánh chiếm Hà Nội lần thứ hai năm 1882. Chúng tạm đóng những bộ phận chỉ huy dân sự ở phố Hàng Gai (xế cây đa giữa phố) và Ô Quan Chưởng (chỉ huy quân sự thì ở phía nhà Bưu điện). Sau khi triều đình Huế đầu hàng, ký hiệp ước 1883, công nhận sự bảo hộ của Pháp thì viên Công sứ đầu tiên của Hà Nội là Bonnal nghĩ ngay đến việc phát quang quanh Hồ Gươm đầy ao tù, nhà lá, cống rãnh, làm một con đường to chạy quanh hồ... Mãi đến năm 1893, đường mới được khánh thành vào đêm giao thừa với nhiều trò vui. Nhưng dân chúng không tham gia, bận ở nhà cúng tổ tiên.
Quy hoạch đô thị đã phá mất nhiều đền chùa quý giá, đặc biệt là chùa Báo Ân ở ngay khu đất Bưu điện, chỉ còn lại vết tích là tháp Hòa Phong sát hồ, xưa là nơi xe điện đi chợ Mơ đỗ lại. Chùa còn có tên là Sùng Hưng do Tổng đốc Hà Nội Nguyễn Đăng Giai quyên tiền địa phương xây vào năm 1848. Chùa quy mô lớn, có 36 tòa nhà, chính điện xây giữa hồ sen, nên còn có tên là chùa Liên Trì.
Mặt trước tam quan trông ra bờ sông Hồng, mặt sau có nhiều tháp sát hồ Gươm. Năm 1883, Pháp đóng ở chùa, làm trụ sở cơ quan hậu cần quân đội viễn chinh. Chùa bị tàn phá, đến khi làm con đường quanh hồ là tan nát hết. Trong chùa có cảnh âm phủ (thập điện Diêm vương), quỷ sứ hành tội kẻ ác, nên người Pháp gọi chùa Báo Ân là chùa Khổ Hình (Pagode des sup-plices).
Bác sĩ quân đội Pháp Hocquard theo quân viễn chinh sang bình định Bắc Kỳ (1884-1886) đã miêu tả chùa Báo Ân như sau:
“Từ xa, chùa này đã khiến người ta chú ý vì nhiều chuông, cổng và tháp. Trong một gian lớn, giữa những cột sơn son thếp vàng rất đẹp, có những hàng tượng xếp đến hai trăm pho: tượng thánh, thần nam nữ (đạo Phật). Giữa chính điện, ở vị trí long trọng, ngự vị Phật Ấn Độ ngồi xếp bằng tròn cao 1,5m, thếp vàng từ đầu đến chân. Phật nhìn xuống lòng bàn tay phải đặt trên đầu gối. Hai đồ đệ thân cận, một già một trẻ đứng hầu hai bên. Chung quanh nhóm tượng trung tâm này, có rất nhiều tượng đặt trên những bệ khác nhau ở hai bên hành lang như những thính giả chăm chú nghe kinh. Giữa những vị thần phật ấy, có những viên quan mặc phẩm phục, tay cầm lư hương hay cầm hốt, những vị tu khổ hạnh đang thiền tọa, tuy chưa đắc đạo nhưng đã có phép thu phục được thú vật hoang dã: hổ và trâu quỳ dưới chân. Tượng chính điển hình cho khuôn mẫu tượng Ấn Độ qua quần áo và tóc. Vị Phật Bắc Kỳ giống y như Phật tôi đã thấy ở Tích Lan và Singapore. Những tượng phụ thì khác, mang phong cách Trung Quốc... Ngôi chùa này đã tan hoang...”. (Hocquard - Một chiến dịch ở Bắc Kỳ - Paris, 1892).
Chiếm xong Hà Nội và Bắc Kỳ, các cơ quan cai trị Pháp tạm đóng ở Đồn Thủy đợi xây dựng mới.
Trong bộ Hà Nội, nửa đầu thế kỷ XX, nhà Hà Nội học bậc thầy Nguyễn Văn Uẩn cho biết sự hình thành của phía dưới khu bờ đông hồ Hoàn Kiếm (phía nhà Bưu điện). Theo quy hoạch, khu này được chia thành hai ô. Ô trên xây tòa Đốc lý (nay là Ủy ban Nhân dân TP. Hà Nội), kho bạc và câu lạc bộ Union (Đoàn kết).
Ô dưới xây Bưu điện (đất chùa Báo Ân) và phủ Thống sứ, vươn tới phố Tràng Tiền. Giữa hai ô là vườn hoa Pôn Be (Paul Bert), sau là vườn hoa Chí Linh, Paul Bert là tên Tổng trú sứ Bắc Kỳ, Trung Kỳ. Ông là một nhà khoa học nổi tiếng về những công trình sinh lý học, là chính khách từng làm Thượng thư Bộ Giáo dục. Ông sang Việt Nam với tâm địa tốt, nhưng theo quan niệm thực dân thời đó, coi thực dân là để khai hóa các dân tộc lạc hậu.
Đến Việt Nam vài năm thì ông mất ở Hà Nội (năm 1886). Tượng Paul Bert gửi từ Pháp sang thay thế cho tượng thần Tự do. Trong khi chờ đợi đá vùng Jura là nơi sinh Paul Bert để làm bệ, thì hai pho tượng đặt nằm trên bãi cỏ cạnh nhau. Dân Hà Nội làm ca dao giễu “Ông Paul Bert lấy bà Đầm xòe...”.
Tượng Paul Bert đứng xòe tay che cho một người An Nam bé nhỏ ngồi dưới chân, khiến người Việt Nam nào thời đó cũng thấy tủi nhục. Tượng Đầm Xoè được di đến ngã tư Cửa Nam. Đây là bản thu nhỏ tượng thần Tự do khổng lồ ở Mỹ, tác phẩm của nghệ sĩ Pháp Bartholdi, mẫu tượng thần Tự do là quà của Pháp tặng Mỹ. Nhưng đưa sang Việt Nam có chuyện mỉa mai là chúng đã chém đầu mấy nhà yêu nước thuộc phong trào Cần Vương dưới chân bức tượng. Cuối vườn hoa có Nhà Kèn là nơi đội kèn nhà binh hòa nhạc cho tây đầm nghe vào các chiều Chủ nhật...