山名清凉，名符其实。山上以橡林为主，葱茏茂密，掩映成荫，又有清泉数处，两沟流水潺潺。相传春秋时代老子李耳云游天下，一年盛暑上山，身上热汗全消。老子登上山顶，远望眼底田园，美景如画。近看满山林木，若万把天伞清风徐徐拂动绿荫，老子感叹其清凉，山名因此而得。

主峰两侧沟溪将清凉山环抱于中，有二龙戏珠之称。环绕主峰，梨、桃、杏、李各布一方，杨、槐、松、柏环绕其间。山上最早建有清殿，西汉后历代皆有增建。明万历年间，全面进行修建，后被毁坏。1985年对三清殿、药王洞、老母洞、土地庙进行了修缮，恢复了娘娘洞、药王庙、王母宫、灵官殿、朝天门。增建了三清泉亭、山门楼。已恢复大小雕塑二十余尊、壁画二十余幅。

每年春季，清凉山有二次盛会，首次农历二月十五日为老子诞辰日，第二次农历六月十五日为老子乘凉讲经日。每次盛会7－10日，目前已颇具规模，热闹非凡。