五马山属太行余脉,主体为沉积石英砂岩;东侧堆粟山、张良山等为石灰岩。植被主要有荆、山皂角、白羊草。五马山上旧时建筑很多,均在山之东铡,有南顶、北顶、玉皇顶等,其中以浚泽公庙最为著名,这些建筑大多废于三四十年代,山北岩上有观音石堂,宋元丰八年(1085年)建。
白马泉位于赞皇五马山的云凌寺,泉水很清很浅,白马泉不是汩汩外涌的泉水,而是用浅红色的硅砂石砌成的两口井泉,所以人们又称她为“对子井”。五马山历来庙会香火繁盛,那些信男信女们把该山做为苍岩山的下院。每年农历三月十七和十月十五日,附近乡民及元氏、高邑、赵县、柏乡等地香客络绎前来进香,加上观光游客,常达数万人。