神木古称麟州，历史上曾是边关要塞，史称“南卫关中，北屏河套，左扼晋阳之险，右持灵夏之冲”。名扬青史的杨继业父子曾驻守于此，抗击侵略，雄踞一方，英雄业绩，流传千古。北宋著名的文学家范仲淹曾巡边到此，留下了《渔家傲·麟州秋词》等著名诗篇。神木也曾是革命老区，早在1927年就建立了党组织。1934年建立了红色政权——神府革命根据地，是全国少数几个坚持到全国解放的革命根据地之一。在这块英雄的土地上，成长了王瀛、汪铭、张友清、王兆卿、贾拓夫等一批民族英杰。

道光《神木县志》载：“县东北杨家城，古麟州城，相传城外东南约十步，有松树三株，大可二三人合抱，唐代旧物，人称神木。金以名寨，元以名县，明代尚有遗迹”。 据此，神木以神木而得名的说法比较可靠，但是为什么要把松树说成是神木呢？这里面有一个非常美丽的传说：

相传张骞奉武帝之命出使西域途径此地，正当赤日炎炎，人困马乏，看见路旁土坡上有几颗高大的松树，根枝相连，树荫扶疏，就好像天然搭起的一座凉棚，正好乘凉。于是下令下马解鞍，在此处休息。张骞找了一块石头放在树荫下，于是他就头枕石头躺下休息，不知不觉就睡着了，梦见自己驾一叶小舟，悠悠荡荡地泛入天河，走进天宫，于是乎，他舍舟登岸，信步走去，见到好多琼楼玉宇，奇花异石，忽然间一阵幽香过后，隐隐有机杼声传入耳中，循声而去，竟来到织女织锦的地方。织女们看到张骞惊奇之下一起围了过来，殷勤地款待他，并且向他问了好多人间的事，他都一一作了解答。临走时，一个年龄较大的织女从机下抽出织机石一块，赠送给他，作为纪念。他郑重地接过来，藏在自己的袖筒里。

一觉醒来，日已过午，他举手整冠，准备上路，只觉得袖中沉甸甸的，用手一摸，摸到一块石头，原来织女送他的织机石仍然在他的袖中。于是后人便把这段神话作为神松的由来，神木的名称由此而来。