云台山座落在江苏北部，是全省最高的一座山峰。屹立在黄海之滨，对岸是连岛山，两山之间有个小港，可以停靠船员，人们就以两座山名的头一个字取名为连云港。很早以前，当地人又叫这小港为“老窑”，追其来历，其中有神奇的传说。
东海龙王敖广的小女儿——白龙公主，久居水晶宫，寂寞难熬。听说人间有座花果山福地，犹如仙境，她就私自偷出龙宫，跃出水面，看到山清水秀，奇花异草，高兴得摇头摆尾、翻滚跳跃。霎时，海面上飓风骤起，恶浪如山，海水咆哮，暴雨倾盆，刮得船翻人亡，浮尸满海。山上的大树东倒西歪，小树连根拔起、飘上天空，山上的民房被风雨摧毁，变成一片废墟，到处闻听凄凉的哭声，急得山神束手无策，急上天奏请玉皇大帝派清风大仙下山，镇锁孽龙。
小白龙来到花果山，饿了吃仙桃，渴了饮泉水，大小山头游玩一遍，窜入水帘洞里洗个澡，顿觉心旷神怡，饱览了人间仙境。正欲返回时，撞遇清风大仙骑白鹿，乘清风，驾祥云飘然而来，挡住了白龙归路。小白龙见势不妙，吐出一团白气，隐形逃遁。清风大仙放出一道金光，跟踪追拿，又对坐骑白鹿耳语几句，白鹿会意化作小僧而去。
小白龙被金光追得满山乱窜，无处躲藏，从南云台窜到北云台，想从鹰游门处入海，不料此处烈火熊熊、浓烟滚滚，小白龙双眼熏朦了，看不清东南西北，只好伏地就擒，头在海边西山坡，尾巴还在山顶上，虽有白气护身，但被大仙的金光团团围住。清风大仙怒指白龙说：“孽畜，你残害生灵，可知罪？”小白龙那能料到清风大仙派白鹿小僧在此掘土烧窑熏阻它，后悔莫及，连连点头哀求道：“大仙饶命，我只因羡慕花果山美景，出于好奇，玩得尽兴忘形，残害生灵本非我意。”清风大仙说：“念你幼稚，放你一条生路，必须做到一点：一要虔诚修善，二要改邪归正，三要重犯定斩不饶，若能做到，立即放你回龙宫。”小白龙一一答应。清风大仙收回金光，小白龙随着白气逃回龙宫。
后来当地人就用这个窑烧炭营生。一年是新窑，二年称旧窑，年代变了，本地人就把连云港称作“老窑”，但在新社会，政府仍把“老窑”改称“连云港”。

连云港地名的由来：
连云港地区的人类活动史可追溯到10万年前。马陵山的大贤庄遗址考证约在10万年前，古人类就在此狩猎、采集和生活。锦屏山（原称马耳山）桃花涧旧石器时代遗址、白鸽涧旧石器时代遗址证实，在距今一万至2万年前，我们的祖先就在这里创造了被考古界称之为“小石片工业”的古代文化。华盖山遗址、二涧遗址及将军崖崖画，都说明4000至7000年前连云港地区就有了农业生产活动。
根据《史记》记载，将连云港历史沿革分述如下：
夏商时代：属徐州，称“人方东夷”、“人方国”、“隅夷”。
西周时代：属青州（一说兖州），称“人方国东夷”。
春秋战国时期：先属鲁后楚，叫“郯子国”。
秦代称东海郡，辖朐县、郯城、兰陵、襄贲、缯、下邳、淮阴、盱眙、东阳、 堂邑、广陵、凌12个县。
西汉时称东海郡，属徐州刺史部。辖朐县、郯城、兰陵、襄贲、缯、良城、下邳、平曲、戚、开阳、临沂、利城、海西、兰祺、南城、山乡、即邱、祝祺、费、厚丘、容邱、东安、合乡、丞、建阳、曲阳、司吾、于乡、都阳、阴平、？吾乡、武阳、新阳、建凌、昌虑、都平、建乡、平曲38个县。
东汉时期称东海郡，隶属于徐州刺史部。辖朐县、郯城、兰陵、襄贲、戚、利城、祝祺、承、厚丘、合乡、昌虑、赣榆、阴平13个县。
三国时期称东海国，属魏。辖朐县、郯城、兰陵、襄贲、戚、利城、祝祺、承、厚邱、昌虑、合城11个县。
西晋时期称东海郡，隶属于徐州。辖朐县、郯城、兰陵、襄贲、戚、利城、祝祺、承、厚邱、昌虑、合乡、赣榆12个县。
东晋时期称东海郡，隶属于后赵、前燕、南燕、东晋。辖朐县、郯城、利城、襄贲、祝祺、厚邱、赣榆7个县。
南朝前期称东海郡，辖齐郡、东莞、琅玡、西海、东海、北海郡；南朝后期辖青州、冀州（侨置）辖地同上。
南朝齐、梁称：（一）东莞郡、琅玡郡，辖即丘、南东莞、北东莞3个县；（二）北东海郡，辖襄贲、僮、下邳、厚丘、曲城5个县；（三）北海郡，辖都昌、广饶、赣榆、胶东、剧、下密、平寿7个县；（四）齐郡。辖临淄、齐安、宿豫、尉氏、平虑、昌国、益都、西安、泰9个县。
北朝东魏称琅玡郡（又称海州朐县）。（一）东彭城郡，辖龙沮、安东、勃海3个县。（二）东海郡，辖赣榆、安流、广饶、下密4个县；（三）海西郡，辖襄贲、海西、临海3个县；（四）沭阳郡，辖下邳、临渣、怀文、服武4个县；（五）琅玡郡，辖朐、海安、山宁3个县；（六）武陵郡，辖上鲜、浴安2个县。
北齐北周称海州。（一）东海郡，辖广饶、东海2个县。（二）朐山郡，辖朐山县；（三）武陵郡，辖上鲜、洛安2个县；（四）沭阳郡，辖沭阳县；（五）海安郡，辖襄贲县。
隋朝称海州，后称东海郡。辖朐山、东海、涟水、沭阳、怀仁5个县。
唐朝隶属于河南道。先称海州总管府，后称海州，又称东海郡。辖朐山、东海、沭阳、怀仁4个县。
五代时属吴、南唐、后周，称海州，辖朐山、东海、沭阳、怀仁4个县。
北宋时属淮南路，后淮南东路，称海州，辖朐山、东海、沭阳、怀仁4个县。
南宋时期属山东东路，称海州。辖朐山、东海、沭阳、赣榆、涟水5个县。
元朝属河南行省淮安路，先称海州路总管府，后称海宁府，又称海宁州。辖朐山、沭阳、赣榆3县。
明朝属南京淮安府，称海州。辖赣榆、朐山2县。
清朝属淮安府，徐州道，江苏布政司，江宁布政司，淮扬（海）道。称海州直隶州，辖赣榆、东海2县。
民国时期属江苏省淮海专署、江苏省徐州绥靖公署。先称徐海道，后称东海行政区，辖东海、灌云、沭阳、赣榆、连云市5个县市。
中华人民共和国成立后，属山东鲁中南行署。先称新海连特区后称新海连市，辖新海市、连云市、云台办事处（后又分前云台区、后云台区）两市一区。新海连市时，辖新华区、民主区、锦屏区、浦西区、云台区、连云区等7个区。
1953年1月1日起划入江苏省，归徐州专署管辖，1961年新海连市更名为连云港市，1962年为江苏省直辖市。1983年国家地市体改时，江苏省将原徐州地区的赣榆、东海、灌云3县划归连云港市；1996年江苏省又将灌南县划归连云港市，辖四县四区。
2001年行政区划调整撤销云台区，现辖东海县、赣榆县、灌云县、灌南县、新浦区、海州区、连云区、开发区。