慧向放锡禅坐于山胁石室，以二虎为侍，思欲立精舍而不能。相传当夜，风雨暴作，林木怒号，朴斫之声闻于远近，人皆怪之。翌日，黎明时刻，殿基成，台阶基石砌就,是山神之助。初建时，有大殿、小殿。北宋宣和间（公元1119—1125年），信法师于十方贤者讲寺，并易名为 “华藏讲寺”。华藏寺之名由此而来！寺院前有横跨在小溪上的伯生桥，寺院楼宇俱宋代建筑风貌，巍巍壮观，屋顶为金黄色的琉璃瓦，有天王殿、大雄宝殿、观音殿、地藏殿等，规模宏大。