遂城始建于春秋战国时期，是徐水县历史上最早的文明古镇，古称武遂、遂州，英雄城。为明代前徐水县的兵防要地和政治中心。 战国时期，燕在遂城建一城池，称武遂，为当时燕都外卫城池。隋开皇十八年(公元596)，为遂城县县府所在地。北宋时为宋、辽界城。金天会七年(公元1129)，在遂城立州治名遂州，明洪武初降州为县。明洪武八年(公元1375)，遂城县并入安肃县。
遂城文化积淀沉厚，文物古迹众多。宋时，为边陲城镇。咸平二年（公元999年），宋将杨延昭镇守的武遂城遗迹犹存，为河北省重点文物保护单位。有宋代古城遗址一处，位于遂城村，现残存断续城墙2386米，高1.5-10米，宽2-2.5米。
根据有关资料记载，遂城始建于春秋战国时期，为徐水县历史上最早的古城，《徐水县新志》记载：“武王封召公爽于燕都易水，则徐水为古燕地，后遂建城，取名武遂。”据《中国历史地图集•诸侯称雄形势图》（公元前350年）展示，在今遂城处就有“武遂”之名。《史记》卷三十四《燕昭公世家》：“十二年，赵李牧攻燕，拔武遂、方城。”“十二年即燕王喜十二年（公元前243年）。由此可知，遂城乃燕都的一个外卫城池，汉为河间国武遂地，后魏于此置南营州，隋改遂城县，唐属易州，五代周克三关于此，系燕门关冲要。宋，该地为宋辽分界。宋为加强北方边界，以军治县，太平兴国六年（公元981年），改遂城县为威虏军。景德元年（公元1904年），改威虏军为广信军，领遂城县。《宋史》载，公元999年冬，”契丹扰边，延昭（即杨六郎）时在遂城，城小无备，契丹攻之甚急，长围数日……延昭悉集城中丁壮登 ，赋器甲护守。会大寒，汲水灌城上，旦夕为冰，坚滑不可上，契丹遂溃去，获其铠仗甚众。”这就是历史上有名的“冰城之战”。宣和七年（公元1125年）遂城陷于金。天会七年（1129年）金在该城立州治名遂州。贞元二年（公元1154年），改州为龙山郡。贞佑二年（公元1214年），又在该地复置遂州，明洪武初降州为县，八年（公元1375年）二月，遂城县并入安肃县。
现存遂城古城墙建于宋代，原有四面城墙，堤防三道，南城墙长1037米，西城墙长1079米，北城墙长1044米，东城墙长1014米，全城周长4174米。在北城墙内东北角有小城一座，东西城墙各长112米，南北城墙各长165米，小城南城墙偏东有城门一座，门宽4米，传说为孟良府。由于年代久远，古城破坏严重，现存断续城墙2386米，最高处可达10米，最宽处达25米。城外第一道护城堤全部破坏。现已无痕迹。二道堤周长5537米，现断续残存2027米，三道堤周长6381米，现残存1146米。
传说遂城自战国以来，遭水淹三次，至今城内外沟坎处，陶片、瓷片、砖、瓦、灰土甚多，个别地方文化层厚达两米以上。1936年有人挖地窖时，在地下8米处发现锅台、炕、碗、盘等物，这些说明遂城水淹淤积层位之厚。近些年遂城出土文物较多。1985年5月，在南城墙下发现一汉墓群和两个单体墓葬。在单体墓葬中分别出土北朝白瓷罐和隋朝盘口瓶各一件。
遂城古城遗址对于研究我县历史和古代战争。有较高的价值，也是徐水县悠久历史的见证。