西汉置北新城县；北魏改称新城县；北齐废置；隋重置遂城县；唐属易州；金升遂州；明改安肃县。1914年因与甘肃省安肃道重名，改为徐水县，盖因境内有徐水流经而得名。
白岭文化石
徐水历史悠久，新石器早期就有人类繁衍生息。1986年，在南庄头遗址发现一批动物遗骸、植物种子、石器、陶片和人类生活、生产遗迹，经国家考古权威部门鉴定认为，该遗迹晚于山顶洞人早于磁山文化，距今一万年左右。填补了中国北方旧石器晚期至磁山、裴李岗新石器文化的空白，该遗址被列为第五批全国重点文物保护单位。徐水地当冲要，自古为兵家必争之地。
文化底蕴丰厚，古迹遗存众多。南庄头遗址、瀑河遗址、韩家营一区遗址、遂城古城遗址、防陵墓群、大马各庄汉墓等考古发掘中，先后出土了古代陶器、青铜器、青铜鼎、铜镜、刀币和象牙化石标本等大量珍贵文物。其中，1981年7月，防陵墓群出土的一对汉代铜马，是中国目前出土的最大铜马，堪称汉代文物中的精品，为研究当时的雕塑艺术及铸造工艺提供了珍贵的实物资料。轩辕黄帝釜山合符示信、燕士田光义荐荆轲刺秦、西晋名士刘伶访友张华酒醉三年、宋将杨延昭武遂冰城之役，都在这块土地上发生演义，历代传载。
县内有明清时期确定的“旧八景”：郎峰晚翠、瀑河寒流、南岳宏宫、北极层观、三元故里、四望荒亭、刘伶孤冢、郑庆丰碑。有民国21年（公元1932年）确定的“新八景”：清溪印月、长虹夕照、闸崖观鱼、公园晚眺、崇宫对峙、象山胜雪、晚松竟秀、绿水芙渠。
建置记载
古迹
春秋属古燕地，战国时期，是燕赵会战前沿。西汉初期，始置北新城县，处所在今县城西南10公里，即漕河附近。后建制屡易，先后有朔平、新城、新昌、遂城、安肃等名。宋时，为边陲城镇。
咸平二年（公元999年），宋将杨延昭镇守的武遂城遗迹犹存，为河北省重点文物保护单位。明永乐二年（公元1404年），山西小兴州部分移民至此，境内人烟日稠。徐水一名始于民国二年（公元1913年），因县城南有徐河而得名。
1937年，徐水县城沦陷为日军占领区，1948年7月20日，县城解放。同年8月，徐水县人民民主政府从西黑山村迁至县城。
1958年9月21日，容城、安新两县及定兴县南部29个村并入徐水县。
1960年12月9日和1962年3月27日，安新县、容城县分别从徐水分出，徐水县恢复原建制。
1994年起，属保定市至今未变。