仙人寨属典型丹霞地貌，为地垒式快状山地，南北长约500米，东西宽约400米，面积0.2平方公里，山势险峻。主峰挺起，海拔260米，四面悬崖峭壁，无路可上，须用二乘长梯相接方可攀登。顶峰有岩洞，相传为神仙-之处，有仙人在此蜕骨升天，故名仙人峰。清咸丰年间（1851—1861），太平天国势及上饶，广信知府沈保桢在同顶设碉堡防守，因此，又名仙人寨，现有古石墙保存完整。

顶峰平坦，竹青青木荫荫，有大片青竹、紫薇、八月桂，风景秀丽。正中有仙人峰寺，为唐代鹅湖峰寺智孚僧建，香火鼎盛，历代都有增修。并有方井一口，长约2米，宽约1.5米，深约1米，澄冷可掬，四季不枯，为山上和尚用水之处。侧面八仙岩，高达6尺，相传是八仙在此修道，另有舍利洞，尚存历代和尚骨灰十二个。

山下有一半敞洞穴，面积约2000平方米，

发现于1983年元月，穴中有夹红砂软质印纹陶片及陶罐底足，单一方格纹饰，另有三件较粗糙的形似磨制石器的石片，初步鉴定为商周文化遗址。