Ngày 20 tháng 07 năm 1954, hiệp định Geneve phân chia đất nước Việt Nam thành hai miền, lấy vĩ tuyến 17 làm ranh giới, miền Bắc thuộc chế độ Cộng Sản, miền Nam thuộc chế độ Cộng Hòa. Sự kiện này làm dấy lên làn sóng những người miền Bắc ồ ạt di cư vào miền Nam, cắm lều căng bạt tạm trú rải rác ở nhiều nơi. Năm 1955 các trại di cư dần dần trở thành các trại định cư và hình thành các xứ đạo “di cư”, do các Linh Mục gốc các địa phận miền Bắc coi sóc.

Trong bối cảnh này, Linh Mục Thomas Phạm Ngọc Biểu, gốc địa phận Hà Nội, sau khi chu toàn nhiệm vụ ổn định một số trại định cư cho giáo dân gốc Hà Nội, đã có sáng kiến đi tìm địa điểm để lập một trại Tiểu Thủ Công Nghệ quy tụ các nghành nghề cơ khí như: máy nổ, nghề điện, sắt, thợ mộc, thợ tiện,… giúp người di cư mưu sinh hướng tới việc thành lập xứ đạo.

Nhờ sự giúp đỡ và qua trung gian của Linh Mục Giuse Bùi Văn Nho, Cha Sở Nhà Thờ Thánh Jeanne d’Arc – Ngã sáu Chợ Lớn, một chủ đất người Pháp đã sẵn lòng nhượng cho Linh Mục Phạm Ngọc Biểu một thửa đất khoảng 12 hecta ở vùng ngoại ô Đô Thành Sài Gòn, phía Đông là Hương Lộ 14 cũ (nay là đường Lạc Long Quân), phía Tây là vùng đất trống sình lầy (nay là đường Khuông Việt), phía Nam là nghĩa địa Phú Thọ Đô Thành Sài Gòn (nay là đường Hòa Bình – Đầm Sen), phía Bắc là đường Lê Đại Hành nối dài nay là đường Âu Cơ.

Với Thửa đất này, Linh Mục Phạm Ngọc Biểu đã bắt tay vào việc lập trại Tiểu Thủ Công Nghệ, vẽ sơ đồ, chia lô cho làm hơn 24 dãy nhà tường xây, mái ngói, ghi số nhà theo thứ tự 24 chữ cái, được cơ quan Caritas Đức tài trợ, để cấp phát cho các gia đình đến ở. Khởi đầu chỉ là một số gia đình gốc Bắc di cư, không phân biệt tôn giáo, kể cả người Nùng, người Tày, người Thái, trong số những người đầu tiên này chỉ có 3 gia đình là Công Giáo với số nhân khẩu khoảng 20 người. Trại Tiểu Thủ Công Nghệ lấy danh xưng Phú Bình, nghe kể được ghép bởi 2 chữ đầu: vùng Phú Thọ (Đô Thành Sài Gòn) và huyện Bình Lục (miền Bắc, quê Cha Biểu).

Chỉ một thời gian ngắn sau khi lập trại, Phú Bình đã trở thành địa danh thu hút thêm nhiều gia đình Công Giáo di cư, gốc các địa phận miền Bắc như: Hà Nội – Bùi Chu – Thái Bình – Thanh Hóa – Vinh … đến lập nghiệp.

Nhu cầu sinh hoạt tôn giáo hằng ngày của bà con giáo dân đã trở thành vấn đề lớn, Cha Cố Biểu đã cấp tốc cho dựng một nhà nguyện tạm thời bằng vải bạt và năm 1955 tiến hành làm một nhà thờ tạm vách ván, kèo cây, mái tôn dài 30 mét, rộng 12 mét nằm trên phần đất mà hiện nay Cộng Đoàn Mến Thánh Giá Khiết Tâm đang sử dụng.

Đây là thời điểm manh nha và chính thức hình thành nên Giáo Xứ Phú Bình, đến năm 1958, Giáo Xứ Phú Bình được ghi tên vào sổ các Giáo Xứ Địa phận Sài Gòn.

Các Nhiệm Kỳ Linh Mục Chánh Xứ:

Kể từ ngày chính thức lập xứ vào năm 1958 cho đến 2008, sau 50 năm tồn tại, Giáo Xứ Phú Bình đã trải qua 4 nhiệm kỳ các Cha Chánh Xứ khác nhau.

Nhiệm Kỳ 1: Từ năm 1955 đến năm 1980

Là người có công sáng lập nên Trại Tiểu Thủ Công Nghệ và Giáo Xứ Phú Bình, Cha Cố Thomas Phạm Ngọc Biểu là Cha Chánh Xứ tiên khởi, coi sóc và xây dựng Giáo Xứ ròng rã suốt 25 năm và đã có 5 thời kỳ các Cha phó xứ:
Cha Antôn Nguyễn Quang Bạch (1968 – 1970)
Cha Giuse Phạm Đức Trịnh (1970 – 1972)
Cha Antôn Bùi Vĩnh Phước (1972 – 1973)
Cha Matthêu Trịnh Quốc Bảo (1973 – 1975)
Cha Antôn Nguyễn Quang Bạch (1975 – 1980)

Nhiệm Kỳ 2: Từ năm 1981 đến năm 1992

Ngày 27 tháng 08 năm 1980, Cha Cố Thomas qua đời, Cha Antôn Nguyễn Quang Bạch lúc đó đang làm phó xứ, đã được bổ nhiệm làm Chánh Xứ Phú Bình, kế thừa công việc của Cha Cố Thomas. Đây là thời kỳ có nhiều khó khăn và biến động do bối cảnh xã hội. Năm 1987 Cha Giuse Mai Văn Rự được sai phụ giúp công việc mục vụ tại Phú Bình với tư cách là phụ tá cho đến năm 1991. Cha Antôn Bạch coi sóc xứ Phú Bình đến năm 1992 thì về coi sóc xứ Tân Hiệp – Hóc Môn đến năm 2006. Do bệnh mắt của Ngài ngày càng trở nên trầm trọng, cho nên sau một thời gian nghỉ bệnh tại tư gia ở xứ Tân Mỹ – Hóc Môn, Cha Antôn đã qua đời tại đây vào ngày 06 tháng 09 năm 2008, thi hài được an táng tại Nghĩa Trang Giáo Xứ Trung Chánh.

Nhiệm Kỳ 3: Từ năm 1992 đến năm 1997

Sau khi hai Họ Lẻ Vĩnh Hòa và Phú Hòa được nâng lên hàng Giáo Xứ, vào tháng 04 năm 1992, Cha Phêrô Nguyễn Xuân Đính đang coi sóc xứ Bình Thới được chuyển về làm Chánh Xứ Phú Bình. Ngoài những công việc mục vụ thiêng liêng lo cho phần rỗi các linh hồn, Cha Đính còn động viên bà con đổ đất nâng cao và đổ bê-tông toàn bộ sân chung quanh Nhà Thờ, đồng thời còn cho sữa chữa lại mái và trần Nhà Thờ, thay mới toàn bộ mái và trần, sữa lại gian Cung Thánh, trang hoàng thêm bức phù điêu Tiệc Ly, 14 chặng đường Thánh Giá.

Rất tiếc là đang lúc nhiệt tâm với công việc Nhà Chúa thì Cha Đính ngã bệnh, Bề trên đã cho bào đệ của Ngài là Cha Phaolô Nguyễn Xuân Đỉnh, lúc đó đang làm Chánh Xứ Tân Phước, đảm nhận chức vụ quản nhiệm, coi sóc Phú Bình thay cho bào huynh. Cho đến năm 1997, Cha Đính về nghỉ bệnh tại nhà Bà Cố thuộc xứ Bùi Phát và qua đời ngày 12 tháng 06 năm 2003.

Nhiệm Kỳ 4: Từ năm 1997 …

Sau thời gian bị ngắt quãng không có Cha Xứ, vào ngày 26 tháng 10 năm 1997, Giáo Xứ Phú Bình đã hân hoan đón Cha Giuse Nguyễn Văn Niệm về làm Tân Chánh Xứ. Đây là một bước ngoặt của Giáo Xứ. Tuy đã sang tuổi 60 nhưng Cha Tân Chánh Xứ vốn sẵn có lòng nhiệt thành vì Nhà Chúa, đã lăn xả vào những công việc mục vụ để thăng tiến, nâng cao đời sống đạo, đặc biệt quan tâm việc giáo dục đức tin cho thanh thiếu nhi và sinh hoạt của các đoàn thể, các ca đoàn, tổ chức Giáo Xứ theo quy chế Hội Đồng Mục Vụ Giáo Xứ do Đức Hồng Y Tổng Giám Mục phê chuẩn (đồng thời nhiều lần trao đổi với Chính quyền địa phương về việc quản lý đất đai của Giáo Xứ mà bà con Giáo dân bức xúc …).

Nhà Thờ Mới

Từ năm 2002, Cha Xứ đương nhiệm Giuse Nguyễn Văn Niệm đã bàn bạc với Hội Đồng Mục Vụ lên kế hoạch gom tiền tiết kiệm hàng tháng tại các hộ gia đình trong xứ, hướng đến việc xây dựng một công trình để chào mừng Kỷ Niệm Kim Khánh của Giáo Xứ vào năm 2008. Sau 5 năm, vào ngày 09 tháng 12 năm 2007, trong cuộc họp Đại Hội Toàn Xứ, mọi người đã nhất trí biểu quyết xây dựng lại Ngôi Thánh Đường với Tháp Chuông kiên cố, thay thế ngôi Nhà Thờ được xây dựng từ năm 1959.

Sau nhiều cuộc họp toàn xứ để xem xét bản vẽ thiết kế và phối cảnh, công việc xây Nhà Thờ mới được tiến hành và khởi công vào tháng 07 năm 2008 như là công trình của toàn xứ trong Năm Kim Khánh 2008, được dự kiến sẽ Khánh Thành trong năm 2010, để ghi nhớ và chào mừng Năm Thánh Giáo Hội tại Việt Nam.

ngày 17.4.2010, Đức cha Phêrô Nguyễn Văn Khảm, Giám mục phụ tá giáo phận Sài Gòn đã về dâng thánh lễ khánh thành và cử hành nghi thức cung hiến thánh đường giáo xứ Phú Bình, sau gần 2 năm thi công xậy dựng đã hoàn thành trong tình yêu thương quan phòng của Thiên Chúa và tấm lòng quảng đại của các vị ân nhân trong và ngoài xứ.