胡适故居坐落于绩溪上庄村，这是一座典型的徽派古建筑，小青瓦，马头墙，三开间，两层楼。门罩门楼，水磨砖雕。前庭有天井，两旁有厢房，楼上为“通转楼”，楼下是堂屋。后进为内庭，栏板隔扇，精雕细刻，梁托上一对荷花仙子栩栩如生，门窗上饰以兰花雕板，出自胡开文墨庄制模高师胡国宾之，返映出胡适“我从山中来，带来兰花草”的浓浓乡土之情。

故居有一个展室，展出一些图书和照片，还有胡适先生曾经穿过的几件衣裳。图书无多，只有几个研究单位赠送的几部，都是常见之物。照片主要为复制品，有几幅颇为罕见，例如有一帧曹佩声青年时代的照片，人很漂亮而且时髦。曹佩声是胡适三嫂的妹妹，胡适结婚时的伴娘。1923年，美丽聪慧的曹佩声在杭州与胡适相遇，两人互相倾慕已久，遂成双出入西湖钱塘，泛舟江边，坠入了爱河。胡适回北京后向发妻江冬秀提出离婚，泼辣的江冬秀一怒之下，顺手抓住一把裁纸刀掷向胡适面部，幸而被胡适躲过。一击未中，江冬秀操起菜刀相威胁：“离婚可以，我先把两个孩子杀掉。我同你生的孩子不要了。”吓得胡适面如土色，再也不敢提及离婚一事。曹佩声终身未嫁，临终前要求把骨灰归葬在安徽绩溪旺川村的公路旁，那是通往邻村胡适家乡上庄村的唯一必经之路。她盼望胡适归来的那一天，能在自己的墓前停留片刻，但她至死都不知道，早在十年前，远在海峡那边的胡适先生就已先她而去……

  故居总面积为208平方米，为三开间，前后进，通转式石库门楼。故居最值得观赏的是门窗上的精致木雕，屋里堂外的窗门都镂刻着栩栩如生的兰花，刀笔流畅，平底浮雕。“兰为王者香，不与众草伍”，满堂香溢，反映出居室主人高洁的立世风格。胡适先生晚年作过一首题名<希望>的诗，诗句中有“我从山中来，带着兰花草”，道出了他对故乡的思念之情。