海山仙馆是清代道光年间富商潘仕成在城西荔枝湾营造的一所私人庭园。虽然馆舍已湮，但曾以其庞大的规模、岭南水乡的庭园特色、丰富的多学科藏书享誉岭南，有"岭南第一景"之称。
据史籍所载，海山仙馆的范围大致东起泮溪酒家、小画舫斋，西至珠江边，南至蓬莱路颜家巷，北至泮塘。即今荔湾湖及周围一带，占地面积数百亩。馆内有堆土而成的小山，有人工开凿的大湖。湖面广逾百亩，其水联通珠江，可以泛舟。馆中不仅楼阁掩映，极擅台榭水石之胜，而且环植荔枝，遍湖菱藕，清幽雅静如蓬莱仙境。园主潘仕成因协助相国耆英处理外交事务，海山仙馆也成了耆英等高级官员接见欧美外交使者和商人的场所。如耆英接见法国驻广州领事拉地蒙冬、美国旗昌洋行驻广州主任福布斯及1846年美国首任驻华公使义华业向耆英递交美国总统致清廷国书的仪式也在该馆举行。可以说，海山仙馆不仅是一座名园，而且是清代广州有名的外交场所。对此美国人亨特所著的《旧中国杂录》也有记载。
海山仙馆还是清代岭南有名的藏书中心和图书出版中心。
潘仕成虽然身为富商，但好读书，喜金石，曾中科举副榜贡生。他运用雄厚的财力搜购古今善本、孤本，当中不乏宋、元、明人未刻过的手写稿及粤中名人遗著。为"公天下而传后世"，潘仕成从中选优编纂成《海山仙馆丛书》。由精于校勘的学者谭莹任审校，精工雕版印行。共收书56种487卷。除经史以外，兼及书数、地理、医药、种植、方外等书，还收入西洋人汤若望的《火功挈要》、利马窦的《几何原本》等早期中文译本，是研究广州经济史、科技史和中外交流史的重要文献。 此外，潘仕成还出资重刻印了《佩文韵府》106卷、《韵府拾遗》106卷，选刻《医药经验良方》10卷、《大清律例》104卷，都是有价值的学术研究资料。
在刊印图书之余，潘仕成特选有书法艺术修养的刻工，从清道光九年(1829)起将所藏历代名家手迹、古帖择优摹刻勒石，历37年而成，共刻石1000多方(每方高约34cm，宽23一90cm不等），后还把这些刻石拓印汇编为《海山仙馆丛帖》。包括《海山仙馆丛帖初刻》至《四刻》50卷、 《尺素遗芬》4卷，楔叙2卷。石刻遍镶馆内300间回廊壁上，宛如碑林。其中以《尺素遗芬》价值最高，内容包括潘仕成与两广总督林则徐等113名高官要员、名宦显贵、科举名流的书信往来，涉及军事、经济、文化、社会生活等多个方面，从中可考知当时的历史实况。
潘仕成本人也爱国情殷，曾为抵抗外侮作出贡献。在第一、第二次鸦片战争期间，潘仕成响应清政府组建海军的号召，捐购抗敌战船，并耗巨资聘请美国工匠研制水雷。在外交和贸易等事务上也利用其在美国使者和商人中的地位的和影响，尽力维护朝廷及中国商人的利益。
综上所述，海山仙馆及其丛书和石刻在近代广州历史上有相当重要的价值。但自从潘仕成晚年被抄家以后，海山仙馆被官府拍卖，海山仙馆石刻散失于民间。馆址分割成彭园和荔香园等部分。彭园于民国初已散为民居，荔香园一度为汪精卫的大舅陈花村所有，曾接待孙中山、陈独秀等人游览参观，但最终也湮没无寻。海山仙馆石刻在解放初期经文物部门查访和收集，从白云山云泉仙馆遗址一带寻回石刻400多方(均属丛帖初刻、续刻、三刻、四刻)，保存于广州博物馆内。"文革"期间，这批石刻半数被毁。只余200多方，其中完好无损的78方。《尺素遗芬》石刻(共58方)在日伪时期镶嵌于汪精卫、陈壁君夫妇官邸的"湖海亭"内(今法政路30号市委大院3号楼)，至今也已移至越秀山上广州美术馆前的碑廊展出。