Đến đời Thanh, khi vua Khang Hy nam tuần, lên du ngoạn trên núi Bắc Cao sau chùa, vua thấy dưới núi rừng đầy mây phủ, hai màu xanh trắng pha nhau thật đẹp nên vua gọi chùa Linh Ẩn là Vân Lâm. Hiện nay ở trước điện Thiên Vương của chùa vẫn còn tấm bảng đề bốn chữ ỀVân Lâm Thiền TựỂ do vua ngự bút ban cho. Như đã mô tả rằng chùa Linh Ẩn có vị trí gần hồ và giữa núi đồi rất đẹp, nên trong khu vực chùa, phía ngoài điện Thiên Vương còn có một cái đình bên con suối tên là Lãnh Tuyền mà ai cũng nhắc đến. Lý do là khi Tô Đông Pha làm thái thú ở Hàng Châu, ông thường đến đình ấy để uống trà và làm thơ.
Vào thời kỳ còn hưng thịnh, chùa gồm có 9 lầu, 18 các và 72 điện đường, tăng chúng thì đạt đến số ngoài 3000. Song ngôi chùa này đã bị phá hủy và xây dựng lại đến nay tổng cộng là 16 lần mà nặng nhất là trong cuộc nổi loạn Thái Bình thiên quốc (1851-1864) chùa bị phá hủy hoàn toàn và sau đó mới được xây cất lại. Vào đời nhà Thanh, khi chùa Linh Ẩn được xây lại thì có Đại Hùng bảo điện là cao lớn nhất với các pho tượng Phật Bồ Tát rất đẹp. Trần của bảo điện cao đến 33,6 mét và tượng Đức Phật Thích Ca ngồi trên tòa sen trang nghiêm từ bi cũng cao đến 24,8 mét. Nhưng đến năm 1949 đã bị côn trùng phá hủy nên tượng Phật bây giờ của chùa là do học viện Mỹ Thuật của Triết Giang thiết kế theo cách của thiền tông đời Đường mà tạo với nghệ thuật tinh vi hơn. Tượng Phật được điêu khắc bằng gỗ long não, cao 19,6 mét và rất sinh động. Chùa Linh Ẩn cũng là nơi đã từng có các vị đạo cao đức trọng đến tu hành và giáo hóa, trong đó có ngài Vĩnh Minh Diên Thọ (904-975) và ngài Tế Công (1130-1209). Hồi còn trẻ ngài Vĩnh Minh Diên Thọ làm quan, thường lấy trộm tiền của vua phân phát cho dân nghèo. Vua biết nên thử lòng xử tội chết, xem thái độ ngài ra sao, nhưng ngài vẫn vui vẻ chẳng sợ gì cả. Vua bèn tha tội chết, nhưng bắt xuất gia. Vĩnh Minh Diên Thọ lên núi Thiên Thai gặp thiền sư Đức Thiều và ngộ đạo tại đó. Đến năm 950 Trung Hiến Vương mời ngài về chùa Linh Ẩn trụ trì. Ngài tuy là thiền sư nhưng biết căn cơ của con người lúc đó không đi được con đường Thiền tông nên đã đem pháp niệm Phật Tịnh Độ ra giáo hóa.
Nhân duyên ngài Tế Công đến chùa Linh Ẩn dựa theo truyền thuyết là vì ngài muốn cứu dân làng ở gần chùa tránh khỏi nạn núi đè khi ngài rời chùa cũ và chưa biết sẽ đi đâu. Nhưng để biết ngài vốn từ đâu đến thì trong sách?Tống Sử?có ghi về gia tộc làm quan nhiều đời của ngài. Ngài vốn là người thôn Vĩnh Ninh ở Thiên Thai của tỉnh Triết Giang. Lúc ngài mới vừa sinh ra thì được vị trụ trì chùa Quốc Thanh ở Thiên Thai đặt cho tên tục là Lý Tu Duyên (có nơi nói là Tu Nguyên). Về sau khi cả cha và mẹ ngài đều qua đời, ngài lên chùa Quốc Thanh bái hòa thượng Pháp Không làm thầy và được pháp danh là Đạo Tế. Thời gian tu ở chùa Quốc Thanh vì tính tình ngài rất động nên ghét ngồi thiền và tụng Kinh. Ngài thường bị xử phạt vì tội ngủ gật. Nhưng ngài ở đó cho đến khi hòa thượng Pháp Không viên tịch mới bắt đầu chu du khắp nơi. Ngài đã từng đến chùa Kỳ Viên, Quan Âm v.v... Chu du mãi rồi cuối cùng dừng lại ở chùa Linh Ẩn khá lâu vì cho dù ngài vẫn hay đùa giỡn vui chơi nhưng nhờ có lần phương trượng của chùa là đại sư Huệ Viễn ở đó nói với chúng tăng rằng: "Cửa chùa rộng lớn, há lại không chứa được một vị tăng điên sao!?" Và cũng do câu nói ấy mà từ đó ngài có biệt danh là Tế Điên luôn.
Trong suốt thời gian sống và đi đây đi đó khắp nơi, ngài Tế Điên thường hay chữa bịnh và ứng xử với nhân gian rất lạ lùng. Ví dụ như có lần ngài chữa bịnh đàm suyễn cho một bà lão bằng cách gọi đàm ra. Tất cả những hành vi kỳ quặc của ngài tuy là lạ tai lạ mắt như thế nhưng đều có tác dụng cứu khổ và giáo hóa, chẳng chút dư thừa. Điều này là chính nguyên nhân về sau ngài được gọi là Hoạt Phật (Phật sống). Tuy nhiên, tại Hàng Châu, ngài Tế Công không phải chỉ sống ở chùa Linh Ẩn mà thôi. Sau khi đại sư Huệ Viễn thị tịch, ngài chuyển sang ở chùa Tịnh Từ nằm cách chùa Linh Ẩn không xa lắm. Chùa Tịnh Từ cũng là nơi có di tháp của ngài Vĩnh Minh Diên Thọ. Có lần chùa này không may bị cháy, Tế Điên hòa thượng liền lớn tiếng cho hay mình sẽ kiếm gỗ xây chùa mới. Nói thế nhưng ngài lại không đi đốn cây làm gỗ gì cả. Trong chùa có một vị tri sự tên là Quảng Lương từ lâu đã không ưa ngài Tế Điên, thấy thế muốn chế nhạo ngài một phen nên làm ngơ không thèm nhắc đến để ngài bị thất tín. Song đến gần ngày khởi công xây chùa, ngài Tế Điên lên núi Nghiêm Lăng xin củi. Ngài dùng kế của ngài Kim Kiều Giác tại núi Cửu Hoa, tức chỉ nói xin chút rừng bằng miếng áo cà-sa mót củi. Nào ngờ áo cà-sa của ngài tung ra phủ hết núi, áo phủ tới đâu cây rạp tới đó. Rồi ngài đem thả cây xuống sông, tưởng cây trôi ra biển, nhưng cuối cùng cây trồi lên trong giếng Hương Tích nằm ngay trong chùa Tịnh Từ cho thợ xây đỡ lên. Đó là do ngài dùng thần Lục Giáp. Thầy tri sự Quảng Lương hoảng hồn chịu thua, lấy cây xây chùa nhưng lòng còn ấm ức lắm nên khi đếm gỗ để kêu thợ đỡ lên không được tập trung, số vẫn còn thiếu một mà đã hô "đủ số". Thần Lục Giáp liền biến mất nên không vớt lên được nữa. Vì lỗi đếm lộn như thế, thầy tri sự Quảng Lương ấy phải đi tìm thêm một cây khác thế vào. Nhưng sự thật vẫn còn một cây nằm dưới đáy giếng. Ngày nay nếu khách hành hương đến chùa Tịnh Từ thì có thể nhìn xuống miệng giếng xem cây gỗ còn sót lại và thắc mắc "Không hiểu vì sao chiếc giếng rất nhỏ và sâu mà thần Lục Giáp lại vớt được?" rồi lại có lẽ là sẽ tự trả lời bằng câu hỏi: "Ơ lạ!Vớt không được thì sao gọi là thần nhỉ!?2 Ngài Tế Điên "du hí nhân gian" 60 năm và để lại bài kệ này trước khi đi:
Lục thập niên lai lang tịch (Sáu mươi năm đến bừa bãi
đông bích đả đảo tây bích tường đông đánh đổ vách tây
ư kim thu thập quy lai, đến nay thu thập trở về
y cựu thủy liên thiên bích như xưa nước liền trời biếc)
Phi Lai phong
Phi Lai phong có một tên gọi khác là Linh Thứu phong, cao 168 mét. Tương truyền rằng vào thời Đông Tấn năm Hàm Hòa thứ nhất (326 CN) có hòa thượng Huệ Lý người Ấn vân du đến Hàng Châu, thấy có ngọn núi nhấp nhô trùng điệp, rất giống với ngọn Linh Thứu ở Ấn Độ nên cho rằng ngọn núi này là ngọn núi con của núi Linh Thứu tại Thiên Trúc, không biết vì sao lại bay đến đây. Rồi hòa thượng Huệ Lý bèn lập chùa nơi đó, và gọi chùa tên là Linh Ẩn và gọi luôn ngọn núi trước mặt chùa là Phi Lai phong. Song có một truyền thuyết nói khác nữa, rằng xưa kia trên núi Nga Mi ở tỉnh Tứ Xuyên, có một ngọn núi nhỏ biết bay, nên ngọn núi ấy có lúc thì bay về hướng đông, có lúc thì bay về hướng tây, hễ bay đến nơi nào là đè xẹp nhà cửa và làm chết nhiều người. Lúc bấy giờ, tại chùa Linh Ẩn ở Tây Hồ có một vị hòa thượng điên điên cuồng cuồng và không giữ các thanh quy của chùa nên mọi người đều gọi người là Hòa Thượng Điên. Có một hôm, Hòa Thượng Điên bỗng biết được là vào giữa giờ ngọ ngọn núi ấy sẽ bay đến một xóm nhỏ trước chùa, người sợ rằng nhiều người sẽ bị đè chết nên ba chân bốn cẳng vội vàng chạy đến đó lần lượt báo cho từng nhà từng hộ rằng: "Đúng giờ ngọ hôm nay có một ngọn núi sẽ bay đến nơi này, mọi ngưòi hãy mau rời khỏi đây đi! Chậm trễ sẽ không kịp đấy!" Song người nói đến môi khô miệng khát mà chẳng có ai tin cả. Mặt trời mỗi lúc càng lên cao, người loay hoay không biết phải làm sao, bỗng nhiên người nghe có tiếng kêu tít tít ta, tít tít ta của cây kèn, người vội nhìn theo hướng tiếng kèn, thì ra có một nhà kết hôn, xem ra rất náo nhiệt.
Trong chốc lát người gãi đầu suy nghĩ xong bèn chạy đến chen lên phía trước mọi người và bất chấp tất cả, vác cô dâu lên vai rồi hướng về đường rời thôn mà chạy. Cô dâu lúc ấy khăn đỏ trên đầu chưa rớt xuống nên chẳng biết chuyện gì xảy ra, cô chỉ còn có thể la inh ỏi lên thôi. Mọi người thấy vậy liền đuổi theo, kêu bắt hòa thượng lại nhưng không ai đuổi kịp, có người còn la rằng: "Có người xuất gia bắt cóc cô dâu kìa! Mau bắt lại dùm!" Tất cả người trong thôn trang nhỏ ấy đều nghe thấy và chạy theo để xem hoặc để bắt lại. Thế mà càng lúc vị Hòa Thượng Điên càng chạy nhanh hơn, đến một chỗ rất xa, lúc mặt trời lên tới đỉnh đầu, người dừng lại, đặt cô dâu xuống rồi nhìn lại thôn trang đó thì mọi người cũng vừa chạy đến nơi, tính bắt người nhưng bèn thấy trời đất tối lại, gió lớn nổi lên, rồi nghe một tiếng đùng thật lớn nên mọi người thất kinh nằm xuống, sau một hồi lâu khi trời sáng lại, mây đen tan mất và gió ngừng thổi họ mới bò dậy xem thử thì thấy cả thôn trang của họ đều bị một ngọn núi đè lên. Lúc ấy họ mới hiểu rằng vị Hòa Thượng Điên này vác cô dâu đi là vì muốn cứu họ vậy. Khi nhận thấy ra cả xóm dưới chân núi đều không còn nữa, những người dân ở đó mất hết nhà cửa nên có người ôm đầu đấm ngực khóc lóc thở than. Hòa Thượng Điên bèn nói: "Việc chi phải khóc! Các người không biết rằng tài chủ của thôn ấy đã bị đè chết ở dưới núi rồi sao? Từ nay về sau, các người ai cũng có thể tự lấy đất đai làm của mình thì lo gì mà không xây được nhà!" Mọi người nghe vậy vui mừng cả lên, định giải tán, nhưng Hòa Thượng Điên lại nói: "Đừng đi, đừng đi! Các người nghe ta nói, ngọn núi này đã có thể từ nơi khác bay đến đây ắt sẽ có thể từ nơi này bay đi đến nơi khác làm hại nhiều người. Vậy chúng ta hãy tạo 500 tôn tượng La Hán bằng đá trên núi để đè lại núi ấy, không cho lại bay đi nơi khác hại người nữa, các người nghĩ có tốt không?" Mọi người nghe xong, cùng lúc nói tốt và lập tức ra tay cùng tạo tượng. Với sức bao nhiêu người của một xóm, chỉ trong một đêm đã tạo xong 500 tượng La Hán khắp núi. Từ đó, ngọn núi nhỏ ấy không còn có thể bay đến nơi khác nữa, vĩnh viễn nằm ở trước mặt chùa Linh Ẩn. Do vì ngọn núi ấy là từ nơi khác bay đến nên được gọi là Phi Lai phong. (Hòa Thượng Điên trong truyền thuyết này chính là ngài Tế Công như ở trên đã nói về nhân duyên ngài đến chùa Linh Ẩn vậy.)
Những đặc điểm của núi Phi Lai là địa chất của núi cấu tạo bằng đá vôi (limestone), tất cả mặt của núi đều lởm chởm không đều, không có viên đá nào mà không có hình thù kỳ lạ, không có cây nào mà chẳng già, không có hang động nào mà không tối (có lẽ vì sự nhấp nhô của từng lớp núi làm che khuất ánh sáng chiếu vào). Xưa, nghe nói là trên núi có tất cả 72 hang động, nhưng đa số đã bị chìm lấp. Hiện tại chỉ còn lại có chín động. Trong Long Hoằng động có tạo một pho tượng của Ngài Quan Âm. Ngoài ra trước cửa động chỉ còn có duy nhất một cái tháp thuộc đời nhà Minh tên Linh Thứu, tháp có sáu mặt và sáu tầng. Bên trái của động là Xạ Húc động, từ kẽ hở trên đỉnh động đôi khi có thể nhìn xuyên qua thấy những dải ánh sáng nhiều màu rất đẹp. Còn vào đến Tạng Lục động thì có thể nghe tiếng nước gõ trên vách núi. Ở phía tây của núi lại còn có Hô Viên động, tương truyền rằng đó là nơi ngài Huệ Lý gọi hai con vượn màu đen và màu trắng đến (sách không ghi rõ là gọi đến làm gì). Ở giữa lưng đồi Phi Lai có đình Thúy Vi nghệ thuật rất tinh xảo, được dựng lên vào đời Nam Tống để điếu niệm Nhạc Phi. Trong các hang động và trên triền núi duyên theo con suối của Phi Lai phong, từ thời Ngũ Đại cho tới đời Tống và đời Nguyên có điêu khắc tổng cộng 470 tôn tượng thuộc về Phật giáo. Trong số ấy có 335 pho là được bảo tồn tương đối hoàn chỉnh mà tượng được tạo vào đời Tống là nhiều nhất, có đến cả hơn 200 pho và pho tượng Lô Xá Na Phật là tinh xảo và có tầm vóc nghệ thuật cao nhất. Tuy nhiên, tại Phi Lai phong còn có rất nhiều tôn tượng cũng đặc sắc và có giá trị lâu đời như vậy, ví như tượng hóa thân bụng bự của Ngài Di Lặc lớn nhất ở Phi Lai và cũ nhất cả nước Trung Quốc (theo hình tướng bụng lớn ấy) luôn được nhiều du khách chụp hình chung nhất. Miệng cười của Ngài như nhiếp tất cả chúng sinh với ý nghĩa "Dung được tất cả những chuyện khó dung của thiên hạ". Nét đặc sắc khác của Phi Lai phong là có trên 100 pho tượng được khắc theo kiểu Lạt-ma giáo vào đời nhà Nguyên đều vô cùng tinh tế, huyền bí và đầy vẻ thanh tú.
Bởi vì Phi Lai phong có đến mấy trăm pho tượng giá trị như thế nên vào năm 1982 viện Quốc Vụ của Trung Hoa đã công bố Phi Lai phong là một trọng điểm với những văn vật từ đời Ngũ Đại cho đến đời Nguyên cần được bảo hộ. Vào năm 1993 vùng phong cảnh Phi Lai lại mở thêm một khu gọi là Tập Tụy viên. Tập Tụy viên dựa vào địa thế tốt và nghệ thuật khắc tượng trên đá tinh xảo của núi Phi Lai mà phỏng tạo ra các tượng ở Đại Túc thạch khắc của Trùng Khánh, Đại Phật Lạc Sơn, Ngọa Phật ở An Nhạc, thạch quật núi Mạch Tích ở Cam Túc, thạch quật Vân Cương ở Sơn Tây, thạch quật Long Môn của Hà Nam v.v... Nên Tập Tụy viên tức là nơi thu nhỏ các tượng ở nhiều thạch quật khác vậy. Tổng cộng tượng Phật của mỗi niên đại có đến gần vạn pho trong khuôn viên dài 250 mét.