香米园这个名称的来历，不仅和北宋宰相有关，和香米也是有关系的。香米园东起洒金桥，西到北马道巷，长712米、宽5米，北出香米园有东、北、西三条支巷。据元《类编长安志》记载，北宋宰相寇准的花园，曾位于香米园西段。因轩门上刻有“香墨园”，又传寇准曾在此种植香米，后演变为“香米园”。清末曾用名“香苜蓿园”。1966年改为繁荣巷，1972年恢复为香米园。

书院门的地名起源于在它里面的关中书院,关中书院是明、清两代陕西的最高学府，也是全国四大著名书院之一，西北四大书院之冠。是一个明代的叫做冯从吾的工部尚书，给皇帝上书，说皇帝“沉溺酒色、荒于朝政”，结果被革职回家，然后潜心研究易理，在宝庆寺讲学，后来又拉上陕西省当时的最高行政长官汪可受，进行“联镳会讲”，来听讲的人足有几千人，所以从此把那个地方修了一所书院，就是关中书院。