跨过广济桥，迎面便是蜿蜒起伏的笔架山，山上岩石层叠，苍松翠柏，浓荫蔽日，沿中峰石阶直上山腰，庄严静肃的韩文公祠便耸立在眼前，这里便是“韩祠橡木”的胜地。
笔架山原名双旌山，因形似笔架遂称笔架山。韩文公祠位于笔架山中峰的双旌石下。相传韩愈贬任潮州刺史时，常登此山，筑亭游览，并亲手植下橡树。后人敬仰韩公，将笔架山称为“韩山”，将亭称为“侍郎亭”。宋淳熙十六年（1189年）知军州事丁允元认为韩公尝游于此并手植橡木，韩公之祠应迁建于此，所以将城南七里的韩文公祠迁至今址。
韩文公祠的建筑简朴雅致，墙壁全是水磨砖砌成，祠内分前后二进，并带两廊，后进升高七尺，有石阶可登，正中供韩愈塑像。祠内石柱多刻对联，四壁环立历代碑刻四十面，详载韩愈贬潮史迹和该祠兴废情况。
相传当年韩愈所植的橡木，就在祠前，据宋礼部尚书王大宝《韩木赞》的描写，橡树形如华盖，遮蔽屋檐，其外皮作鱼鳞状，叶细而长，叶脉凸起，作棱角状，春夏之交开花，红白相间，甚是美丽。但花不常开，潮州人崇尚韩愈，以至效祥于他手植的这棵橡木。“以花之繁稀卜科名盛衰”，甚至《潮州府志》有“乾隆九年祠堂橡木花，科名大盛”的记载。于是，祠吊先哲，木卜科名，“韩祠橡木”便成了潮州八景之一。邑人郑兰枝有诗云：
高植一株耸翠峦，侍郎手泽倚栏干。
根深八月蟠祠古，叶毓双旌度岁寒。
棱影参差侵曲水，奇花多少映祠坛。
游人若问科名事，为指芳林旧姓韩。