作为潜山县行政区域的原属怀宁县西北地区的清朝、玉照2个乡范围是很大的，相当于今潜山县的全部及民国25年(1936年) 6月5日正式划入岳西县的衙前、汤池、来榜、五河、菖蒲5个乡(位今岳西县东部，相当于该县三分之一以上面积)。宋末所立的四寨是抗元义军领袖刘源、张德兴等所建的军寨，分布于今岳西及潜山县的崇山峻岭中。据《续资治通鉴·元纪》载，淮河岸滨的张德兴与潜山县城西野人原人刘源及原属太湖司空山(今属岳西县西南乡)人傅高等人，在南宋景炎二年(1277年)起兵抗元，企图复宋。所建军寨著名的有张德兴在司空山所建司空山寨，又称张安抚寨，今遗址尚存，寨有“太平”、“欢门”、“朱硃”、“前部”、“后部”5门。寨南门外的洗马池，为司空八景之一。刘源在天柱山建寨，坚持多年的抗元斗争，其大本营叫西关寨。还建有野人原寨(今名野寨)，寨民称之为“刘大王”。这支抗元队伍曾西征，克复黄州寿昌军(今湖北鄂城县)，杀元将郑鼎于樊口，震动中原。后在元军的反扑下，破张安抚司空山寨，沦陷黄州，张德兴被杀。不久，傅高也壮烈牺牲。刘源殉难后，寨民将其遗体归葬百花岩，立碑为“刘大王之墓”，世受人们的敬崇祭奠。其中：“千峰巉绝一英雄，兵马堂堂百战功。护地丹心终不死，刚风长吼是王风。”是最能代表人们心声的一首挽诗。元末，在野人原寨建潜山县是基于当时的阶级斗争炽烈，此处崇山峻岭，易守难攻，又地处偏僻，最易举事，故增设新县以加强防范。潜山县创建后，疆域比较固定。比较大的变化有明弘治六年(1493年)，划潜山县裴家沟归怀宁，划怀宁县黄土潭归潜山县。加上近现代变迁仅有6次。第二次，也是最大的一次变化是前面提到的在民国２５年1月1日划西北的衙前、汤池、来榜、五河、菖蒲等5个乡山区700多平方公里土地入新设岳西县。第三次，为1955年12月至次年8月间，先后将原属潜山县黄柏区巍岭、杨河、夹河3个乡及舒潭乡的三分之二、槎水区的上舍乡、水吼区的港河乡及新下乡的1个选区划入岳西县；将原属潜山县源潭区沙河乡、双河乡划入桐城县；将太湖县的花洋乡划归黄流区；划怀宁县的友好、东升2个社和桐城县永济社归源潭区棋盘乡和青田乡；划怀宁县八一社归梅城区崩河乡。第四次变化是1957年8月12日，经安庆专署批准，将原属怀宁县王河区的皖河以北地区王河乡划入潜山县。第五次是1962～1963年，划黄泥人民公社的姚铺、方屋2个生产队(黑河以南地域)归太湖县。第六次是1980年３月，划黄泥人民公社胜利大队东风生产队归太湖县。