Tương truyền, thời Lương Võ Đế Nam Triều, Thiền sư Bảo Chí đấu pháp thắng Bạch Hạc đạo nhân, trác tích khai sơn tạo tự, xây 7 ngôi tháp nơi đây, vua Lương Võ Đế tứ ban là chùa Sơn Cốc. Sau khi thiền sư Tăng Xán được nhị Tổ Huệ Khả truyền y bát, ngài vân du hành khước đến đây, ẩn cư 15 năm tại núi Thiên Trụ, mở mang tự viện, kiến đàn, tuyển Phật trường, giảng kinh truyền pháp, tiếng tăm lan rộng khắp hai bờ eo biển Đại Lục - Đài Loan.
Chùa Tam Tổ - Thánh địa Phật giáo Thiền tông
Tùy Đại Nghiệp năm thứ 2 (606), Tam Tổ Tăng Xán giảng pháp cho đại chúng dưới tàn cây đại thụ, giảng xong, đứng chắp tay thị tịch, chư tăng an táng ngài phía sau chùa Sơn Cốc. Năm Thiên Bảo Đường Huyền Tông, Lý Thường Tố biệt giá đến Thư Châu kính ngưỡng tông phong, thỉnh nhục thân Tam tổ trà tỳ được hơn 300 viên Xá Lợi 5 màu. Thời gian Đường Túc Tông tại vị, tứ ban tên chùa là "Tổ Sơn Cốc Kiền Nguyên Thiền Tự". Về sau, chùa tháp đã nhiều lần bi hư hoại. Đến năm đầu Minh Hồng Hi, có vị tăng tên Phổ Ế trùng hưng cổng chùa, Phật tử Cát Xiêm quyên góp xây dựng Thiên Vương Điện, Kiền Nguyên Các. Khoảng năm Minh Tuyên Đức (CN 1426-1435), Kiền Nguyên Các bị đổ sụp, Phật tử cát Xiêm xây Đại Hùng Bảo Điện. Năm 43 Gia Tĩnh (CN 1522-1566), tăng Liễu Oánh trùng tu tháp Giác Tịch (Tam Tổ) và những ngôi Tháp trong tự viện, đã thịnh vượng một thời.
Chùa Tam Tổ còn gọi là chùa Kiền Nguyên Thiền
Từ đời Đường Tống cho đến nay, chùa Tam Tổ là ngôi thập phương Tòng lâm của Thiền tông, những bậc cao tăng đại đức đã từng xuất thân tại đây, như: Thiền sư Bảo Chí - Tổ khai sơn, Thiền sư Tăng Xán - Tổ thứ ba Thiền Tông, Thiền sư Đạo Tín - Tổ thứ tư Thiền tông, Thiền sư Trí Nham - nối dòng Thiền Ngưu Đầu, Thiền sư Triệt Văn, hòa thượng Trí Hải v.v...
Sau này, chùa tháp cũng theo thời gian, nhiều lần hưng rồi lại phế. Năm 1983, chùa Tam Tổ được Quốc Vụ Viện, liệt vào ngôi tự viện trọng điểm Phật giáo toàn quốc. Năm 1984, mở cửa đối ngoại hoạt động Phật giáo. Chùa Tam Tổ dần dần đã trở thành thánh địa Phật giáo nổi tiếng toàn quốc
Sơn môn chùa Tam Tổ
Trong chùa hiện có rất nhiều cổ tích văn vật như: động Tam Tổ, đá Truyền Pháp, suối Ma Vi, tháp Lập Hóa (nơi Tam Tổ Tăng Xán đứng thị tịch), đình Tam Tổ, động Bảo Công (TS Bảo Chí), tháp Giác Tịch (tháp thờ xá lợi Tam Tổ), chữ khắc trên vách núi, bia khắc v.v... . Còn có những nơi cần chiêm lễ như: Điện Thiên Vương, Đại Hùng Bảo Điện, điện Quan Âm, điện Bảo Công, điện Thiên Phật, điện Địa Tạng, điện Tổ sư, nhà kỷ niệm, tháp xá lợi, Tàng kinh lâu... Cạnh chùa có các danh lam thắng cảnh có thể tham quan du lãm như giếng Trạc Tích, cổ động Thạch Ngưu.
Chùa Tam Tổ ngày nay, sơn môn sừng sững, điện tháp trang nghiêm, đã trở thành đại bản doanh chuyên nghiên cứu về nền văn hóa Thiền tông, là một viên minh châu - phong cảnh xinh đẹp nổi tiếng cho ngành du lịch tây nam, tỉnh Hoản (An Huy), và cũng là nơi thu hút cho du khách trong và ngoài nước đến chiêm bái tham quan.
