据山中老冉洞中石刻上的记载，山上建筑始建于明代，历代劳动人民依山顺势，在悬崖峭壁上修建了二十多处殿字。进入高悬“香炉山”、“头天门”二匾的牌坊门，依径上行，沿路有太阳殿、碑亭、五圣宫等13处建筑，千秋不一，无不精巧。至五圣宫后，山路即分左右，左通东峰连云阁，右达西峰三清殿，这些建筑飞檐斗拱，画栋雕梁，奇巧称绝。旧时每逢农历四月初八、九月初九举行盛大庙会，朝山游客成千上万，商贩云集。每当庙会期间戏台上唱大戏时，更是万头攒动，热闹非常。

香炉山的建筑群，在清同治五年(1866年)、清光绪二十一年(1895年)和民国17年(1928年)的三次兵燹中焚毁殆尽。近年来，永登群众自发集资，重修了连云阁等建筑。现在的“引大入秦”工程已通水此间，香炉山将树林葱茏盛景再现，更胜当年。