玉山县位于江西省东北部。属上饶市，东界浙江省开化县、常山县、江山市，南接广丰区，西邻上饶县和信州区，北毗德兴市，东西宽75公里，南北长62公里，面积1728平方公里。历史上是赣浙闽三省的交通要冲，素有“两江锁钥、八省通衢”之称。总面积1728平方千米，总人口62万人。全县辖11个镇、5个乡。

玉山建县已有1300余年历史。始建于公元695年，分衢州须江(今浙江省江山市)、常山和饶州弋阳三县之一部置县，隶江南道衢州。因境内有相传天帝遗玉而成的怀玉山而得名。从建县至宋、元朝期间，玉山先后隶江南东道（路）信州、江浙行中书省。至明朝洪武四年(公元1371年)，因漕运不便，随广信府改隶江西行省。
建县前，玉山现辖地域在春秋战国时先后属吴、越、楚三国。
秦朝，金沙溪以东属会稽郡太（da）末县，金沙溪以西属九江郡余汗（gan）县。
汉代，初沿旧属，至献帝初平三年（192），分太末立新安县，东部属新安；建安十五年（210），析余汗东境设葛阳县，隶鄱阳郡，县西境属葛阳县；建安二十二年，又分新安设定阳县，县东境属定阳。
三国时，为吴国领地。
西晋时期，初属东阳郡，隶吴州；至太康元年（280），改新安为信安，县东境属信安、定阳两县地。
南朝（陈）天嘉三年（562），东境随信安、定阳县改隶金华郡。
隋朝初，改郡为州，并定阳入信安，东境属信安县，隶婺州；开皇十二年（592）改葛阳为弋阳，西境相应属弋阳县。
唐初，分属衢州常山、须江（今江山市）县和饶州弋阳县；证圣元年（695），分须江、常山与弋阳之一部署县，因地有武安山，名武安县，隶江南道衢州；神龙元年（705）改武安（武则天省“武”字）为玉山县，以境有怀玉山而名；天宝元年（742）衢州改为信安郡，玉山亦随隶信安郡；乾元元年（758）信安郡复为衢州，[1] 又析饶州新置信州，玉山相应属信州，隶江南东道。
宋朝，初沿旧属，至建炎四年（1130），江西路、江东路合并为江南路，玉山隶江南路；绍兴元年（1131），复分江南路为江南东路、江南西路，玉山隶江南东路。
元朝，至元十四年（1277），县属信州路，隶江浙行中书省。
至正二十年（1360），改路为府，县属广信府，仍隶江浙行中书省。广信府并非指位于现今广西梧州、贺州与广东封开一带，并非西江与贺江交汇一带。该广信府是江西行省广信府，治所在今江西省上饶市信州区，两者没有任何关系（下同）。
明朝，洪武四年（1371），因隶江浙漕运不便，随广信府改隶江西行省；洪武九年废行中书省，设承宣布政使司，下分道，县随府隶江西承宣布政使司湖东道。
清朝（1644—1911），属江西省广信府。
民国元年（1912）冬，县直隶江西省；1914年，全省分四道，县隶豫章道；1926年废道，县仍直隶于省；1931年，省下设行政区，玉山隶第九行政区（驻上饶），1932年以后，江西五次改变行政区划，玉山均属第六行政区（驻上饶）[2] 。
第二次国内革命战争时期，县西北山区为赣东北革命根据地之一部，先后建立过玉山县和怀玉县苏维埃政府。
民国38年（1949）5月解放至8月，县隶赣东北行政区；9月行政区撤销，改隶上饶专区；1968年改专区为地区，县仍隶上饶地区；1980年地区改为行政公署，县仍隶之；2000年10月撤销行政公署，改市辖县，玉山隶上饶市管辖。
玉山自建县以来，县域范围曾有两次较大的变动：一是唐朝乾元元年（758），须江县南乡的镇头墟即下镇墟划归县辖；二是中华人民共和国建立后，于1952年5月，浙江省江山县（现为市）官溪乡的内村、外村、后山、中店4个行政村，37个自然村和南坞乡的大桑园、周家墩、黄坳3个行政村，28个自然村，合计计1800户，划归县辖。