方广寺位于莲花峰下，建于梁武帝天监二年（503年），历经兴废，明代崇祯年间，堵允锡与王夫之兄弟等又进行了修缮。寺有正殿和祖师殿，寺侧有“二贤祠”，专为纪念南宋朱熹、张式到此游览和讲学而建，寺周围有黑沙潭、黄沙源、石漳潭、白沙潭等，黑沙潭有宋徽宗题写的“海南龙湫”石刻。

    据《南岳志》载：寺始建于南朝梁天监二年（公元五零三年）。南岳高僧之一的惠海来到这八座青峰围绕的狭长山谷中，见此地与世隔绝，岩壑幽邃，就在这里结草为庵。据《一统志》载：一天，惠海正在庵中诵经，忽然有五位身材伟岸的壮士求见。来人面容各不相同，分青、黄、紫、白、黑五色，都身穿白袍。五人请求惠海和尚允许他们听经学佛。惠海问他们是何方人氏，他们回答说是南岳山中的五位龙神，如果允许他们听经，他们愿意让出一块平地，献给惠海建造寺院。惠海答应了他们的要求。当天晚上，山谷中乌去骤起，霎时雷声隆隆，大雨滂沱，传来阵阵“哗啦啦”的响声。第二天清早，惠海起来一看，只见山下出现一块宽敞的平地。惠海到处化缘募捐，在这块平地上建造了一座规模宏大的寺院，寺名方广，寓佛法“十方广布”之意。这就是《南岳志》上记述所谓“五龙听经，平沙献地”的故事。

    公元1167年，南宋著名理学家朱熹应湖南提刑张栻的邀请，到长沙岳麓书院讲学。就在这年冬天，他们踏雪来到南岳，朱熹此时不禁诗兴大发，七在之内，二人互相唱酬，作诗149首。其中三分之一的诗篇是在方广寺写的。后人为了纪念他们这次胜游，特意在方广寺旁修建了二贤祠，并将朱、张的神主供在祠中的嘉会堂上，让他们永享儒家的香火。