横龙洞内有纯阳观，始建于宋，扩建于明，兴盛于清。据萍乡县志记载：“宋时依岩结茅，明覆以瓦。天顺间，知县王施率邑人王廷兰建避尘轩、濯缨亭；四十八年，知县胥绳武建四奇亭，枕流桥于观后，道光间重修，咸丰间补葺。”说明宋代始建时称庵且为茅草结构，入明后，因得到了当时行政长管的垂青，不断改观和增建，观内建有十八拱长廊，是南方古典园林建筑中少见的珍品，形成了中国古典园林布局，显得清幽典雅。