Ngay sau khi chiếm Sài Gòn, Pháp đã

Ngay sau khi chiếm Sài Gòn, Pháp đã cho lập nhà thờ để làm nơi hành lễ cho người Pháp theo đạo Công giáo. Ngôi nhà thờ đầu tiên được lập ở đường Số 5 (nay là đường Ngô Đức Kế). Đây vốn là một ngôi chùa nhỏ của người Việt bị bỏ hoang do chiến cuộc, linh mục Lefebvre đã tu sửa ngôi chùa này thành nhà thờ. Vì ngôi nhà thờ đầu tiên đó quá nhỏ nên vào năm 1863, Đô đốc Bonard đã quyết định cho khởi công xây dựng ở nơi khác một nhà thờ khác bằng gỗ bên bờ "Kinh Lớn" (còn gọi là kinh Charner, địa điểm là trụ sở Tòa Tạp Tụng thời Việt Nam Cộng hòa). Cố đạo Lefebvre tổ chức lễ đặt viên đá đầu tiên xây dựng nhà thờ vào ngày 28 tháng 3 năm 1863. Nhà thờ được dựng bằng gỗ, hoàn thành vào năm 1865, ban đầu gọi là Nhà thờ Saigon. Về sau, do nhà thờ gỗ này bị hư hại nhiều vì mối mọt, các buổi lễ được tổ chức trong phòng khánh tiết của Dinh Thống Đốc cũ, về sau cải thành trường học Lasan Taberd, cho đến khi nhà thờ lớn xây xong.

Tháng 5 năm 1810, Thống đốc Nam kỳ Duperré đã tổ chức một kỳ thi vẽ đồ án thiết kế nhà thờ mới. Vượt qua 17 đồ án thiết kế khác, đồ án của kiến trúc sư J. Bourard với phong cách kiến trúc Roman cải biên pha trộn nét phong cách kiến trúc Gothic đã được chọn. Ban đầu, địa điểm xây cất được đề nghị ở 3 nơi:

Trên nền Trường Thi cũ (nay là góc đường Lê Duẩn và Hai Bà Trưng, tức vị trí tòa Lãnh sự Pháp).
Ở khu Kinh Lớn (tại vị trí nhà thờ cũ, nay thuộc đường Nguyễn Huệ).
Vị trí hiện nay.
Sau cùng vị trí hiện nay đã được chọn.[3]. Sau khi đề án thiết kế được chọn, Đô đốc Duperré cho đấu thầu việc xây dựng nhà thờ và cũng chính kiến trúc sư này là người trúng thầu và trực tiếp giám sát công trình. Mọi vật liệu từ xi măng, sắt thép đến ốc vít đều mang từ Pháp sang. Đặc biệt, mặt ngoài của công trình xây bằng loại gạch đặt làm tại Marseille (Pháp), để trần, không tô trát, không bám bụi rêu mà đến nay vẫn còn màu sắc hồng tươi.

Ngày 7 tháng 10 năm 1877, Giám mục Isidore Colombert đặt viên đá đầu tiên trước mặt Phó soái Nam Kỳ và đông đủ nhân vật cấp cao thời ấy. Nhà thờ được xây dựng trong 3 năm. Lễ Phục sinh, ngày 11 tháng 4 năm 1880, nghi thức cung hiến và khánh thành do cố đạo Colombert tổ chức trọng thể với sự có mặt của Thống đốc Nam Kỳ Le Myre de Vilers. Hiện nay, trên bệ phía trên, bên trong cửa ra vào nhà thờ, có chiếc bảng cẩm thạch gắn trong hành lang (transept) ghi ngày khởi công, ngày khánh thành và tên vị công trình sư. Tất cả mọi chi phí xây dựng, trang trí nội thất đều do Soái phủ Nam Kỳ đài thọ, với số tiền 2.500.000 franc Pháp theo tỷ giá thời bấy giờ. Ban đầu, nhà thờ có tên gọi là Nhà thờ Nhà nước vì nó do nhà nước Pháp bỏ tiền xây dựng và quản lý.

Năm 1895, nhà thờ xây thêm hai tháp chuông, mỗi tháp cao 57,6 m và có 6 chuông đồng lớn nặng 28,85 tấn. Trên đỉnh tháp có đính một cây thánh giá cao 3,50 m, ngang 2 m, nặng 600 kg. Tổng thể chiều cao từ mặt đất lên đỉnh thánh giá là 60,50 m.


Tượng đồng Giám mục Adran và Hoàng tử Cảnh, trước Nhà thờ trước kia
Trên vườn hoa trước nhà thờ, năm 1903, người Pháp cho dựng tượng đồng Pigneau de Béhaine (còn gọi là Giám mục Bá Đa Lộc hoặc Giám mục Adran vì vị này làm Giám mục hiệu tòa Adran) dẫn hoàng tử Cảnh (con vua Gia Long). Tượng đài này bao gồm một bệ bằng đá hoa cương đỏ hình trụ tròn và bên trên là bức tượng tạc hình Giám mục Adran với phẩm phục Giám mục, tay trái dẫn hoàng tử Cảnh. Tượng làm bằng đồng, được đúc tại Pháp, giới bình dân thời đó thường gọi là tượng "hai hình" để phân biệt với tượng "một hình", là bức tượng của Đô đốc Hải quân Pháp Genouilly ở phía công trường Mê Linh (nay là cuối đường Hai Bà Trưng, gần bờ sông Sài Gòn). Năm 1945, tượng này bị chính phủ độc lập Trần Trọng Kim phá bỏ, nhưng cái bệ đài bằng đá hoa cương đỏ thì vẫn còn tồn tại ở đó mà không có bất cứ một bức tượng nào đặt lên trên.