强行购买
自同治七年，直隶总督大权掌握在湘淮两系总头目曾国藩手中，曾国藩曾派人在保定城外购义地设置了义冢，用来埋葬和祭祀死亡的将士。到了清光绪中期，李鸿章的政治地位以及在朝廷中的作用和影响已开始走向他一生中的巅峰。光绪十四年（公元1888年），李鸿章在山东威海奏准成立“海军公所”之后，又奏请奉诏在保定城内修建“淮军昭忠祠暨公所”。该祠堂和公所选址在保定旧城区的西南隅的一片菜园处。该处原为清苑县城隍庙、土地祠的故址。清咸丰初年（公元1851年），庙宇废弃，被清苑县平陵村的一位名叫胡汉秋的人向官府出资购为私产，辟为菜地。菜地的西南角有一水塘，总面积约30亩，后被李鸿章强行购买。
修建祠堂
李鸿章对修建该祠堂很为重视，他自己为修建祠堂捐款1.5万两白银，并号召各地淮系将领为修建该祠堂捐款。于是，先后共有包括周盛波、周馥、丁汝昌、叶志超等高级淮军将领63人捐资5.5万多两白银。很快从江南找来能工巧匠，仿照他老家徽式祠堂样式修建而成。自光绪十四年五月至光绪十七年十月（公元1888年一1891年），历时3年有余，工程才得以告竣。据保定老人传说：当年修建祠堂时，轰动了省城，特别是保定府的建筑行业不服，但限于权势又无法将南方工匠撵走，最后折衷办法是南北工匠比翼双飞，在施工中两派工匠各自争奇斗巧，力显其能。其结果是把这座大院建成了一座具有南北风韵的艺术载体，颇具观瞻性。
盛大典礼
祠堂建成后，随即举行了盛大的典礼活动。曾从京城请来戏曲名角在刚建成祭场内的戏楼上演戏数天，以表庆贺。一般淮系要人兴高采烈，自居功臣，热闹非凡。当时有曾国藩门人、莲池书院院长桐城吴汝纶为祠堂书对联云：“此乡仍侠窟遗风，万荡白虹马生角。何处访战场余事，一堆黄土豹留皮。”意味深长。
制定条例
该祠堂建成后规制很高，直接由李鸿章的亲信卫汝贵领导，重大事宜要报李鸿章批准。祠堂内设总理一名，正副值年各二名，每年春秋至祭，举行隆重的祭祀活动，并制定了明细的规章条例，刻石于墙上。按此规章条例第二条：“自同治四年以后，淮军剿捻阵亡伤故将士；同治九年以后，分调淮军来直防海，间有在北洋积劳病故人祠衬（查）祀者”的规定。入祭本祠堂的准系将士只总督、提督、巡抚、总兵等职衔者达60多人，其中有抗法保台战争中立下赫赫战功的刘铭传；有不屈于日寇而临危服毒就义的丁汝昌；有在甲午海战中拼死一搏的邓世昌、刘步蟾；有为抵御八国联军入侵，血战天津八里台英勇殉国的直隶提督聂士成等等，这些爱国的英灵永远值得我们敬佩和怀念。但该祠堂只运行了10年，到了公元1901年，李鸿章死后，奉诏将祠堂的东路主体建筑改做“李文忠公祠”（李鸿章专祠），西路徽院仍保留为淮军祠堂。清朝逊位后，该祠废弃。
中学移入
1926年，保定私立志存中学移入该祠。学生达400余人，至1937年，卢沟桥事变时解散。建国后，河北省军区驻此。省会迁石，遂变成机关家属宿舍至今。
重视修复