Người Pháp đã có ý đồ, nên tháng 4 năm 1882, thống đốc Nam Kỳ cử thiếu tá Henri Rivière ra Hà Nội. Trước khi Henri lên đường, thống đốc Le Myre de Viler nói với ông:

Ngài chỉ huy Henri Rivière gửi lời thăm hỏi biết ơn của thống đốc Le Myre de Viler tới đức giám mục và giáo dân Bắc Kỳ vì những tin tức quý báu mà hội Truyền giáo đã cung cấp để soái phủ có những căn cứ gửi báo cáo về Paris xin ý kiến chỉ đạo. Sau đó, thiếu tá trao tận tay đức giám mục lá thư của thống đốc. Xem thư xong, cha Puginier một con người với dáng vẻ phúc hậu hiền từ, ngước đôi mắt rất sắc của mình nói với Henri Rivière:

***Về thành Hà Nội thì từ mười năm về trước lúc Francis Garnier chiếm, người ta đã mô tả tỉ mỉ, thậm chí đã vẽ tỉ mỉ. Henri Rivière đã có trong tay tấm bản đồ đó. Người ta bảo thành đó xây theo kiểu Vauban, kiểu Tây, do những kỹ sư Tây phò tá vua Gia Long vẽ kiến trúc. Nhưng lần giở lịch sử, thấy lúc vua Gia Long chiếm Thăng Long thì các kỹ sư Tây đã chết hoặc bỏ đi hết, làm gì còn Tây kỹ sư mà vẽ. Vì vậy người ta đồ rằng thành Hà Nội là một kiểu thành nửa Tây nửa ta, do các vị quan An Nam dựa vào thành cũ, tham khảo kiểu thành Vauban, rồi lại dựa vào phong thủy mà tạo nên.Ngay ngày hôm sau, thiếu tá Henri Rivière tổ chức cuộc đi viếng thăm có tính chất ngoại giao tới dinh ngài Tổng đốc Hoàng Diệu, viên quan cai trị cao nhất của Hà Nội. Khác với cuộc viếng thăm đầu tiên của Francis Garnier, mười năm về trước, ông ta đã thị uy ngay bằng cách đưa cả đại bác cùng theo. Lần này, Henri Rivière hoà nhã hơn, nhưng không kém phần cứng rắn. Thiếu tá muốn cho dân Kẻ Chợ biết sự oai vệ, sự hùng mạnh của nước Pháp. Đoàn người ăn mặc quần áo thật choáng lộn. Thiếu tá cưỡi trên con ngựa hồng cao lớn dẫn đầu. Vai đeo lon, đầu đội mũ sĩ quan, bên lưng đeo gươm dài. Tiếp sau là bốn con ngựa của đoàn tùy tùng. Rồi đến đội trống, một trống cái, bốn trống con. Sau cùng là một trung đội bộ binh vai bồng súng.Đoàn quân diễu trên con đường đất nối từ khu Nhượng địa tới cổng thành Đông Nam. Từ khu Nhượng địa Đồn Thủy đi ra, đầu tiên Philippe bắt gặp một chiếc cổng tên là cổng Tràng Tiền. Đó là một tòa kiến trúc cổng lớn trên có lan can; chiếc cổng nằm giữa hai trụ cao trên có hai con sư tử đá. Chiếc cổng phương Đông này đơn giản nhưng đẹp và oai nghiêm. Từ đấy đến cổng Nam thành Hà Nội gọi là phố Hàng Khảm vì phố toàn những cửa hàng của thợ thủ công làm đồ khảm, một thứ đồ mỹ nghệ rất tinh xảo.Qua chiếc cổng trứ danh đó, phía trái là Tràng Tiền, một khu đất nằm giữa đầm lầy, nơi đúc tiền của nhà vua, muốn đi vào phải qua một chiếc cầu. Tiếp đến, phía bên phải là Hồ Gươm. Những căn nhà gạch quay mặt ra phố quay lưng ra hồ; đó là những cửa hàng khảm nổi tiếng. Cạnh đấy là khu phố Truyền giáo với cây thập tự nhô lên trên trời từ ngôi nhà thờ nhỏ bé bằng gỗ. Xế đối diện với khu Truyền giáo là Tràng Thi trứ danh, nơi quân Pháp đã ở mấy năm trước khi đến khu Đồn Thủy.Con đường phố Hàng Khảm là đường đất, rộng chừng năm, sáu mét. Đoàn quân của thiếu tá hùng dũng đi đều bước theo nhịp của những chiếc trống. Tiếng trống rung nhịp nhàng oai nghiêm. Đó là một cảnh chưa từng xảy ra ở xứ Bắc Kỳ. Chắc chắn nó gây ấn tượng rất mạnh và nếu như ở một thời hòa bình, nó đã kéo ra đường nhiều đám đông, nhiều đàn bà, con trẻ háo hức đi xem như đi xem hội. Nhưng ở các phường, nhân dân đều đã nghe lệnh của quan tổng đốc rằng quân Pháp đã mang tàu chiến kẻ quân từ súy phủ Nam Kỳ ra, chắc chắn họ có âm mưu và nhân dân phải đề phòng. Do đó, đường phố Hàng Khảm vắng tanh. Những cửa hàng khảm ven hồ Hoàn Kiếm đều đóng cửa im ỉm. Chỉ còn vài hàng ăn, hàng tạp hóa của người Tầu là vẫn mở cửa. Philippe nghĩ bụng chắc đằng sau những cánh cửa đóng kín kia, người dân vẫn nghé mắt nhìn qua khe. Thì nhìn đi! Nhìn mà thấy rõ sự hùng cường của nước Pháp nổi tiếng hoàn cầu. Thì nhìn đi! Nhìn để mà khiếp sợ mà quy phục một nền văn minh vĩ đại. Chúng ta chẳng nhiều đâu. Chỉ vài trăm quân, nhưng cũng đủ để chinh phục cái xứ sở lạc hậu này. Philippe cưỡi ngựa đi sau người chỉ huy mà anh kính phục; ông ta là một sĩ quan văn võ song toàn. Ông Henri Rivière nghiêm trang ngẩng cao đầu trên lưng con ngựa hồng, ông không khiêm nhường, càng không hãnh diện đến mức lố lăng. Không như những thuộc cấp, những người chỉ nhìn sự vật một cách đơn giản, ông biết rằng ở xứ Bắc Kỳ này còn có những người văn thân mà đức cha Puginier gọi là đảng Văn Thân - Gọi là đảng tức là họ đông, họ có mặt ở khắp nơi, họ có những lý thuyết, những tư tưởng lâu đời.Đoàn quân đã đứng trước cửa Đông Nam mà nhân dân Hà Nội vẫn gọi tắt là Cửa Nam. Đó là cái cổng lớn hình vòm, bên trên tòa cổng cao xây một nhà lầu canh xinh đẹp. Chạy dài trước mặt cổng thành và dọc theo tường thành là một con đường rồi đến một con hào rộng chừng 20m, đó là một con sông nhỏ để ngăn sự tấn công. Dẫn vào Cửa Nam là chiếc cầu gạch xây vắt qua hào, hai bên có lan can trông rất duyên dáng. Thiếu tá cho binh lính dừng trước cổng thành. Viên sĩ quan trợ lý và cha phiên dịch tên là Colombert đến trao danh thiếp và thông báo ngài thiếu tá Henri Rivière có nhã ý đến chào thăm hỏi ngài tổng đốc Hoàng Diệu.