太初宫为殿宇式古典建筑。殿脊和山墙檐边上塑有麒麟、狮、虎、鸡、狗等珍禽异兽，神形兼备。殿顶飞梁纵横，椽檩参差，虽然屋架复杂，但却自成规矩，殿宇宽阔，中无撑柱。史载，太初宫始建于西周。现存太初宫主殿建于唐以前，元、明、清各代均有修葺。庙院现存石碑两通，一通立于元大德四年，一通立于清顺治年间，上面都记载着老子骑青牛过函谷关的故事。