孔望山因相传孔子曾在此望海而得名。

关于孔望山摩崖造像，明代始有记载，清嘉庆《海州直隶州志》卷十一引《淮安府志》，谓孔望山“有诸贤摩崖像，冠裳甚古，如读汉画”。从1950年到1981年，历经多次的调查、研究，造像的材料才逐步公诸于世。
摩崖造像位于山南麓的西端，依山崖的自然形势，共雕刻出造像105个，分成十八个组体，分布在东西长15.6米、高9.7米的峭崖上。最大的人物造像有1.54米，最小的头像仅10厘米。在摩崖造像东侧约70米处，有一尊大型圆雕的石象，略大于实物，长鼻巨牙，卷尾粗足，体貌丰腴粗壮，上刻一丁字形头式的象奴，手持钩鞭，脚带镣铐，右书“象石”二字。石像南25米处有一顶部凿有碑槽的“馒头”状巨石，造像群以南150米处还有一尊圆雕的石蟾蜍。

造像多以释迦牟尼的本生故事和本行故事为主题，有涅槃图、舍身施虎图，还有宴饮图、叠罗汉图以及立佛像、坐佛像、供养人等，是中国最早的石窟艺术雕刻，比人们认为最早的敦煌莫高窟佛教艺术（366年）还要早约200年，它是中国佛教的早期雏形。摩崖画像里的人物肖像，各具神态，雕刻手法大部分属汉画像石中“拟浮雕”的一类：人物浮起，面孔、手脚、衣格显现出的部分，均以粗率劲直的线条凿出，风格浑厚朴实。一方石槽内的宴饮像属“拟绘画”一类，精雕细凿的手法使线条飘逸有致，堪称后世“白描”绘画的楷模。