南雄春秋时为百越地，战国属楚，秦属南海郡，两汉为南野县，三国时属吴国南野县卢陵郡。唐光宅元年（684年）置浈昌县，南汉乾亨四年在浈昌县置雄州，宋开宝四年改为南雄州。明洪武元年置府，清嘉庆十二年改为直隶南雄州。民国时改为南雄县，隶属广东省。

  1996年6月17日，民政部批复（民行批[1996]46号）撤销南雄县，设为南雄市。

  2000年，南雄市辖24个镇。根据第五次人口普查数据，全市总人口372844人，其中乌迳镇26303人，孔江镇6500人，新龙镇10087人，界址镇9975人，坪田镇8832人，黄坑镇19652人，邓坊镇9533人，油山镇7712人，大塘镇17727人，南亩镇11340人，水口镇17427人，江头镇8462人，湖口镇26516人，珠玑镇26055人，梅岭镇7081人，主田镇10465人，古市镇16503人，黎口镇18912人，全安镇16878人，苍石镇3363人，百顺镇9997人，澜河镇7796人，帽子峰镇7187人，雄州镇68532人。

  2002年，南雄市辖24个镇（雄州，梅岭，珠玑，湖口，大塘，黄坑，乌迳，界址，水口，古市，百顺，澜河，黎口，邓坊，油山，孔江，新龙，南亩，坪田，江头，主田，苍石，全安，帽子峰），221个村委会，31个居委会。

  2005年1月26日，广东省民政厅（粤民区[2005]8号）批准撤销南雄市梅岭镇，并入珠玑镇，撤销黎口镇，并入雄州镇。截止5月底，南雄市辖18个镇（雄州，珠玑，湖口，黄坑，乌迳，界址，水口，古市，百顺，澜河，邓坊，油山，南亩，坪田，江头，主田，全安，帽子峰）

  2005年7月6号，广东省民政厅（粤民区[2005]35号）批准撤销南雄市雄州镇，设立雄州街道办事处，作为市政府的派出机构。管辖原雄州镇的行政区域范围，共有4.7个居委会和13个村委会，总面积94.1平方千米，户籍人口89137人。办事处驻雄州大道中18号，即原镇政府驻地。

  截止2005年12月31日，南雄市辖1个街道（雄州），17个镇（雄州，珠玑，湖口，黄坑，乌迳，界址，水口，古市，百顺，澜河，邓坊，油山，南亩，坪田，江头，主田，全安，帽子峰）