回澜阁对面那座小岛是小青岛。小青岛位于胶州湾入海口北侧的青岛湾内，美景天成。小岛原名就叫青岛，这个小岛因为常年林木葱郁，对面有黄岛，彼黄此青而得名青岛，青岛市1929年建置，当时也是由这个小岛得名而来。其距离海岸720米，海拔仅为17.2米，面积也只有0.012平方公里。
  清乾隆十六年（1751年）的《灵山卫志》载：“小青岛在淮子口对岸，入海者必由之道”。因该岛形如古琴，水如弦，风吹波音铮铮如琴声，故又被人们称为“琴岛”。每逢夏季，海风吹拂，树木葱郁，有“琴岗翠滴”的美誉。岛上的“琴女”雕塑，也是青岛的象征之一。
德国占领青岛时，将小青岛命名为“阿克那岛”，1914年日本取代德国占领青岛后，将该岛改为“加藤岛”。青岛回归后，胶澳督办公署将其命名为小青岛，并于20世纪30年代初开辟为“小青岛公园”，设有茶厅、花圃、石凳、石椅、辟建了道路，修筑了游艇码头，游人可乘船前往。日本二次侵占青岛后，成为日军驻地，此后一直被作为军用。1942年修筑长377米、宽8米的堤坝与陆地相连，成为陆连岛。
小青岛最高处有一座白色灯塔，它于1900年由德国人建造，是青岛市重点保护文物，高15.5米，呈八角形，塔内装有水晶棱镜镶成的反射镜，并以牛眼形旋转式闪光灯发光，1997年更换为西班牙制造的航标灯，原灯送到秦皇岛航标博物馆收藏。这座灯塔海上射程15海里，是海上过往船只进出胶州湾的重要航标。它与栈桥一起，被视为青岛市的主要标志。有“茫茫海湾有红灯，时明时灭自从容，翠岛白塔沐夜色，琴屿飘灯传美名。”之说。
1988年夏，小青岛经重新规划建设成为前海一处旅游景点。如今的小青岛，遍植黑松、樱花、碧桃、石榴、木槿、紫薇等花木。