史前时期：约1万多年前，先连云港附近即有人类活动。1959年于海州区锦屏山南麓发现古人类遗址，1979年又于东海县发现大贤庄古人类活动遗址。同年，发现将军崖岩画，证其为古代东夷人主要遗存。
先秦时期：夏商时期，连云港地区属青州或徐州，主要为东夷人活动区域；西周时期，西境为郯国之地；北境有祝其等国。春秋时期，北境赣榆县属莒国，西部为鲁国之东境。春秋末年，南方越国亦拓境至此。
战国时期，为齐楚两国所争。
秦汉时期：秦朝灭六国，此地设立朐县，属薛郡，后薛郡析出郯郡，朐县属郯郡所辖。秦始皇35年（前212年），立石于东海上朐县界，称朐为“秦东门”，今位于海州。
西汉时期，大部属东海郡，赣榆之境属琅琊郡，南部灌南一带属广陵郡。境内主要县、侯国有：朐县（今连云港市区）、曲阳（侯国，今东海县南部）、东安（侯国，今东海县北部横沟乡一带）、郯、利城（临沭县东部和赣榆县西南部）、祝其（属琅琊郡，位于赣榆中部和西北部）、海西（今灌南、响水一带）、厚丘（今沭阳北部东海县南部）、赣榆（今赣榆东部）
东汉时期，县数减少，仍属东海郡不变，主要县、侯国主要有：朐县、海西、曲阳、厚丘、祝其、利城、赣榆等县。
六朝时期：所谓六朝指三国两晋南北朝这段时期。由于政治动荡战乱频仍，本地区建制变更亦十分频繁。三国时期属魏，本地区设有朐、海西、曲阳、厚丘、祝其、利城诸县。其中朐、厚丘、祝其、利城诸县属东海国，海西属广陵郡，曲阳属下邳郡。
西晋初仍设东海国，后复为东海郡，治郯不变，本地区存有朐、赣榆、祝其、利城、海西、厚丘诸县。五胡十六国时期，东海太守萧诞以叛降于后赵石勒。晋元帝初，割海虞北境（今江苏省南部）侨置郯、朐、利城等县，而祝其、襄贲诸县寄治于曲阿。后赵亡则属南燕。
东晋末，宋武帝刘裕北伐，此地复为晋有。徐州州治侨置于朐之钟离，东海郡寄治厚丘（今沭阳），宋明帝时失淮北，侨置青、冀二州于海上郁洲（今连云港新埔城区以东之地，时为海上一大岛），北海郡亦侨置于本地郁县（连云港连云区）。除侨置诸县外，尚有赣榆、东海、郁等县，厚丘废，置僮县，属南彭城郡。
南齐时，侨置青、冀、徐诸州，北海、琅琊、东莞、东海诸郡，领有赣榆、都昌，东海县改为广饶县，僮县亦为厚丘县。
梁武帝时，改朐县为招远，于今沭阳之地置僮阳郡，今灌云北境置龙沮县。南北二青州仍复置于此地。而西北祝其、利城皆为魏有。其他有赣榆、都昌、广饶诸县。
东魏孝静帝武定七年（549年），魏占淮北，此地皆为魏有。魏置海州，治龙沮（今灌云县龙沮镇），领六郡十九县：龙沮（属东彭城郡）、朐、海西、洛要（今赣榆县南部）、东海郡、赣榆、安流（原都昌县）、广饶；义塘郡（治黄郭城）领义塘（治黄郭城）、归义（今赣榆县北部，治盐仓城）、怀仁（今赣榆县东部）三县；下城（今沭阳县南）、临渣、怀文、服武，南朝陈太建中皆省入怀文，武定七年（549年）复置服武县。
北齐北周时期，北齐文宣帝移海州理琅琊郡，琅琊郡改朐山郡，分广饶县置东海县。
宋元明清时期：元至元十五年（1278年），海州升为海州路，后改为海宁府，未几，复降为州，隶属于淮安路。领三县：朐山、赣榆、沭阳；
明洪武初，复海宁州为海州，省朐山县入州治，隶属于淮安府，仅领赣榆一县，沭阳县划出，归淮安府。明成祖迁都北平，改应天为南直隶，淮安府属南直隶。
清初废南直隶为江南省，海州属焉，隶淮安府不变，属江南江宁布政使司。清康熙七年（1668年）六月十七日，郯城地震，赣榆县海滩隆起，海水退30里。云台地区周围海域逐渐变浅。清雍正二年（1724年），海州升为直隶州，直隶于江苏省，属淮徐道，同时沭阳划归海州，共辖州治、赣榆、沭阳三地。嘉庆八年（1803年），改属淮扬道。清咸丰五年（1855年），黄河改道，转向东北，由大清河入海，结束了700年由淮入海。今云台地区逐渐淤平，与陆地联成一体。
民国至今民国元年（1912年），废海州直隶州，更名为东海县，属徐海道。同年4月，析县之东南境为灌云县；
民国25年，析东海县之东部与灌云县之北部筹设连云市，议归江苏省直辖。辖境初为新浦、板浦以东，烧香河以北，临洪河以南。后因时局动荡及抗战，一直处于筹建阶段，并侨寄于东海县城海州。
国民政府时期，设立东海行政区，为江苏省第8行政区，辖东海、灌云、沭阳、赣榆四县及筹建中的连云市。
民国34年，抗战结束，连云市正式设立，张振汉任市长，35年4月正式到任。
1949年初，国共内战后重建政权，析东海县之海州、新浦为新海市，与连云市合并成立新海连特区，后更名为新海连市，隶属于鲁中南行署。经国共内战民国政权体系溃散，原江苏、山东等省级政府均已不存，中共建政初期代之以苏南、苏北、鲁中南等行政公署并辖于华东大区，徐海地区因靠近山东解放区而被划入鲁中南行署，此实为战后之过渡体制。
1953年，政权稳固重建省区，华东大区之苏南、苏北行署和南京特别市合并组建为江苏省。原属于江苏省之徐海地区亦重新划回江苏省，以恢复江苏省之历史传统辖境，但和安徽省之间局部亦有调整。新海连市由江苏省直辖，但东海、赣榆、沭阳、灌云原海属地区四县则分别归入徐州、淮阴两地区行署。
1961年，新海连市更名为连云港市，归江苏省直辖。此次更名是以港口之名“‘连云’港”为城市之名，但随之产生港口之名变为拗口之“‘连云港’港”。
1983年，国家在江苏试行地市体制改革（市管县），原海属地区除沭阳外再次划归连云港市，连云港市辖境基本恢清时海州直隶州之旧境。
1996年，江苏省调整市县行政区划，灌南县划入连云港市；
2001年，云台区撤销，并入新浦、连云两区；
2008年，东海县岗埠、浦南划入市区；
2009年，灌云县板浦镇划入市区；
2010年，江苏省青口盐场、江苏省东辛农场、海军某部队农副业基地划入市区。