历史上，确有一段传奇故事是有关钟楼迁址的。明万历年间关中发生大地震，一位叫高承之的道士断言，灾祸是一巨鳌在地下作怪所致，于是知府将钟楼迁到现址，镇住妖孽作祟的穴口，西安才得以太平。“钟号景云鸣采凤，楼雄川口锁金鳌”，现如今钟楼北面的这副楹联就印证了这段传说。但史实究竟是怎样的呢？西安
市钟鼓楼保管所的工作人员揭开了谜底，钟楼始建于明洪武十七年（公元1384年），原址在西大街广济街迎祥观，是城中心之所在。后因扩建西安城，随着城中心的东移，钟楼才于明万历十年（1582）迁建到了现在的地方。巨钟轶闻：钟楼的西北角上陈列着一口明代铁钟，重5吨，钟边铸有八卦图案，建造于明成化年间(1465～1487年)。但它比钟楼早先悬挂的铜钟却小得多了。钟楼原先悬挂的巨钟是唐代景云年间铸造的“景云钟”（现藏于碑林博物馆）。据说，迁到今址之后，虽然楼的式样大小并没有改变，景云钟却怎么也敲不响了。无可奈何，只有另换。钟楼除了报时，还曾以派过许多用场。辛亥革命时，义军曾与在钟楼布防的清军激战。护国运动时，陕西督军陈树潘正是从钟楼开始了反对袁世凯的暴动。1927年，从美国留学回来的石林，在钟楼开设了声电影院，这是西安历史上第一家电影院，抗战时期，钟楼由于其地势高拔，而成为预警日军空袭的报警台。国民党反动派也曾经利用钟楼的四面门洞，关押刑讯革命者和进步人士。解放后，逢五·一和国
庆钟楼都成为，游行、检阅和庆祝大会的主席台。朱德、周恩来等国家领导人曾多次登临钟楼。许多中外友人也在钟楼留下了他们传播友谊的足迹。西安鼓楼位于西安城内西大街北院门的南端，东与钟楼相望。
鼓楼始建于明太祖朱元璋洪武十三年（1380），比钟楼大四岁，迄今已有625年历史。清康熙三十八年（1699）和清乾隆五年（1740）先后两次重修。楼上原有巨鼓一面，每日击鼓报时，故称“鼓楼”。历经岁月沧桑，如今巨鼓早已不存，惟余鼓楼巍然耸立。