“禹王城”位于衡山广济寺的对面，有“禹王城”三字石刻碑，从前就把这里叫做“禹王城”。相传这是夏禹治水来南岳时驻跸的地方。说到夏禹来南岳，还有一个神话故事。
传说夏禹治水七年没有成功，但他还是再接再厉，艰苦奋斗。他听说黄帝曾把一部以金简为页、青玉为字的宝书，即金简玉书，埋藏在南岳。他知道这部书会对治水有很大的帮助， 但不知道这部书究竟在什么地方，于是，他来到南岳， 就杀了一匹白马，祷告天地，接着便卧倒在山峰上。不久，他梦见一位仙人，自称苍水使者，告诉他这部书的所在地。梦醒后，果然找到了这部书。按照书上的指点，他率领广大劳动人民，凿山开石，疏通壅塞，把危害人民的洪水引进江河，浩浩荡荡地流归大海。后来，人们就把大禹杀白马以祭祀的山峰叫做“白马峰”，把掘出宝书的山峰叫做“金简峰”，把那块石碑叫做“禹王碑”。
在大禹之先，传说五帝中的尧、舜也曾到过南岳。所谓舜庙、舜溪沟、舜沟，都是安上峰舜的遗迹。
由于“禹王城”供奉了琵卢遮那佛，因此后人把他称“毗卢洞”，这个名称一直沿用到现在。它三面环山，宽深十余公里，是一块狭长的山间谷地，形状象洞，因以洞名。南岳所产生的云雾茶，以这里的质量为最好。它色翠、味浓、香郁，人们交口称誉。早在唐代就列为贡茶珍品。林业部门充分利用这里的优越的自然条件，发展云雾茶生产，建立了南岳茶场。