唐（周）证圣元年（695），分衢州的须江（今江山市）、常山和饶州的弋阳三县之地设玉山县，以境内有怀玉山而得名，隶江南道衢州。明洪武四年（1371），因隶江浙漕运不便，随广信府改隶江西行省。民国3年（1914），全省分四道，玉山隶豫章道。民国38年（1949）5月玉山解放初，属赣东北行政区，后属上饶地（专）区（今上饶市）至今。1952年，浙江省江山县（今江山市）官溪乡的内村、外村、后山、中店4个行政村和南坞乡的大桑园、周家墩、黄坳3个行政村划归玉山县管辖。
玉山县位于江西省东北部，面积1728平方公里，人口60万，下辖16个乡镇，189个行政村，31个居委会。
玉山县辖11个镇、5个乡：冰溪镇、临湖镇、必姆镇、横街镇、文成镇、下镇镇、岩瑞镇、双明镇、紫湖镇、仙岩镇、樟村镇、南山乡、怀玉乡、下塘乡、四股桥乡、六都乡、金山工业园。共有31个居委会、189个行政村。县政府驻冰溪镇。
玉山县辖冰溪、临湖、必姆、横街、文成、下镇、岩瑞、双明、紫湖、樟村、仙岩11个镇和怀玉、南山、下塘、四股桥、六都5个乡共16个乡(镇)，以及七一、王宅2个水库管理局，玉山县共有194个行政村、31个居委会。

地理环境

玉山县地势为西北高、东南低。纳古城溪、八都溪、玉琊溪等支流。境内主要山脉有怀玉山脉和武夷山脉。怀玉山脉是赣、浙、皖省的天然屏障，发脉于三清山，横贯县境西北部，其主峰玉京峰，海拔1816.9米，为怀玉山脉最高峰，也是县内最高点。怀玉山脉西入上饶县境内后，又折南向东，由雷公包（海拔1054米）复入玉山县境，成沙溪岭。武夷山脉由东南面入县境，构成丘陵地带，平方根有华山。华山在县城南10公里，是武夷山余脉自广丰入县境的第一山，海拔437.3米。玉山县整个地形为“五山、四丘、一平原”，玉山县常态地貌以山地、丘陵为主，即山区面积占49%，丘陵占41%，平原占10%。河谷平原为主要的农业区。

气候

气候终年温和湿润，具亚热带季风气候特征，雨量充沛，日照时间长，有霜期短，随着季节的转换，西风带的进退，四季变化明显。年平均气候在18℃左右，玉山县年平均降水量1841毫米。年平均无霜期335天，年平均日照1831小时。

浙赣铁路复线和320国道以及梨温高速公路横贯东西。浙赣铁路、320国道、沪瑞（梨温）高速公路横贯县境东西。
玉山火车站建于建于1933年位于江西省上饶市玉山县冰溪镇。
沪昆高速铁路玉山站建设中。