到公元527年郦道元写《水经注》时，说它叫风山。因为传说中的女娲氏是风姓人，后人（约在宋朝前后）为了塑造这个山与风姓人的关系，说：“人根之祖曾在吉州”，将它改称人祖山。这些说法尽管有些荒谬、臆造，但作为一地风光仍受到人们的保护，屡增建筑，越来越完整地向传说中的人祖山方面发展，给这里留下众多宝贵文化遗产。人祖山主峰为人祖庙，海拔1742.4米，周围建有大小庙宇16座。