铁塔位于开封市东北角归远门里原甘露寺东侧，这座铁塔的建造同一颗设立有关，相传释迦佛设立被古印度的8个国王均分。其中摩陀国中的一份在200年后被信仰佛教的阿育王所有。据说他取出佛舍利分藏在8.4万个小塔内，运送到各地，其中一部分传入中国。浙江宁波的阿育王寺就是因为得到一份阿育王的佛舍利而建造的，到了五代时期，占据浙江一带的吴越王将阿育王寺的佛设立迎入杭州供奉，后来宋朝军队逼近吴越,当时吴越王降宋。宋太祖赵光义就把佛舍利供奉在东京的滋福殿中，后来又命人在城内开宝寺的福圣院中修建了当时被称为"京城之冠"的13层木塔，用作供奉，这座就是我国历史上有名的开宝寺塔。　　开宝塔在建成55年后毁于雷火。1049年当时宋仁宗重修开宝塔，这次重修，换了地方,由福盛院改到了上方寺。为了防火，柴了由木料改成了砖和琉璃面砖，这就是今天我们见到的铁塔。