高邮文游台始建于北宋太平兴国年间，原为东岳庙（即泰山庙），因苏轼过高邮与本地乡贤秦观(秦少游)、孙觉、王巩会集于此，饮酒论文而得名，从此，这座本来依附东岳大帝神韵的庙台便独领风骚，历朝历代名人雅士纷纷登台，一瞻风采，并留下千古不朽的诗文。光亭文游台西侧为明代建造的专为纪念秦观、苏轼、孙觉、王巩的古四贤祠，祠后是幽静典雅的秦观读书台，再往西为“映翠园”“重光亭”等古典建筑。文游台前为盍簪堂，四壁嵌有《秦邮帖》，乃清代嘉庆年间高邮知州师兆龙集苏东坡、黄庭坚、米元章、秦少游、赵子昂、董其昌等名家书法，由著名金石家钱泳勒刻而成，它具有较高的艺术价值。文游台古迹是古秦邮八景之一，现为江苏省文物保护单位。
文游台在抗日战争期间曾经是日军指挥部。文游台全景文游台是筑在东山（亦称泰山）顶端的高台建筑，登高四望，东观禾田，西览湖天，秦少游所描绘的“吾乡如覆盂，地处扬楚脊，环以万顷湖，天粘四无壁”的水乡自然景象尽收眼底.间师亮采，光绪年间洪磐以及民国年间王宜仲等曾先后主持过文游台及台前盍簪堂的修缮。1980年以来，逐年抢救修复了文游台、盍簪堂、四贤祠、秦观读书台等古建筑，并兴建重光亭、映翠园、门厅、牌坊、展厅、碑廊等仿古建筑，使之逐步形成文游台风景区。
现存建筑为清代重建。1979年至1984年加固文游台后身台基，修复盍簪堂、四贤祠、秦观读书台，复建了重光亭、映翠园。1991年兴建入口牌坊、石拱桥、门厅。1993年在西部建博物馆展厅、碑廊。1996年至1997年，对文游台主体楼落架大修，发现了20米长、近1米宽，最高达3.5米的宁代墙体和几个排水孔、印证了文游台始建于北宋年间的史实。现占地面积37000平方米，建筑面积3200平方米，四周有河沟环绕。入口牌坊、门厅、秦观塑像和盍簪堂、文游台呈一轴线。展厅两侧有院墙，院西偏北有泰山北斗门厅、四贤祠、秦观读书台等泰山北斗。文游台古迹是古秦邮八景之一，现为江苏省文物保护单位。