秦皇岛之名的起源地是指今海港区东山，这是一座由风化花岗岩组成的剥蚀性残山，海拔20余米，方圆不足平方公里。今天与陆地连在一起的东山，在200多年前，还是一座名副其实的岛屿，直到19世纪末，随着港口的建设，岛屿才与陆地相连，成为大陆的一部分。

秦皇岛相传因秦始皇东巡至此而得名。秦皇岛之名最早见于明英宗天顺五年（公元1461年）杨琚《秦皇岛》一诗，其中有“古殿远连云缥缈，荒台俯瞰水潺湲”之句。

明弘治十四年（公元1501年）《永平府志》中有关于秦皇岛的记述：“秦皇岛在抚宁县东七十里，有山在海中，世传秦始皇求仙驻跸于此”。万历年间，蒋一葵在《长安客话》中记述的更为详细：“关（山海关）南六里有孤山，屹然独立于海上，四面皆水，俗呼秦皇岛……俗传秦皇至此山见荆，愕然曰：‘此里师授吾句读时所用朴也’。下马拜，荆皆垂首向地，如顿伏状，至今犹然。石上有秦皇下马迹，因名秦皇山”。之后，地方史志和文人诗作中多有记述。到清代，又有秦王岛之说。秦王岛之名最早见于康熙八年《抚宁县志》，其中有“秦王岛误秦皇岛，在县东七十里，四面皆水，惟岛居中，唐太宗征高丽驻跸于此，岛上荆条伏生。相传秦王下拜，伏。”秦王岛之名传说与李世民征高丽回师途中经此地有关。至此之后，一直到民国年间，地方史志和文人诗作中，则将秦皇岛与秦王岛并用。