律吕神祠位于浑源县城北2.5千米永安镇神溪村东部的孤石上。据史料记载,祠始建于北魏时期,后代多次维修。坐北朝南,南北37.5米,东西30.4米,占地面积976.5平方米。现存有大殿、山门、五龙影壁及钟鼓楼。根据现状推测,大殿应为元代建筑,其他建筑时代较晚。
大殿面阔三间,进深六椽,单檐歇山顶,筒板瓦屋面,建筑总面积129.6平方米。檐下设有斗栱,形式为四铺作出单昂,内转四铺作出单杪,重栱计心造。大殿在山墙使用减柱做法,本应为四柱三间,只用了三柱,变成二间。梁架为通檐六椽栿用两柱,平梁中间置蜀柱,两侧施叉手承托脊槫,殿内墙面保存有壁画,梁架上保留有彩画。山门为砖砌拱券式门洞,上檐用砖雕出斗栱及垂花柱,青灰色瓦屋面。钟鼓楼均为单檐歇山顶,灰筒板瓦屋面。
律吕神祠建筑格局较完整,大殿基本保存元代建筑的特征,特别是殿内的壁画甚为珍贵,具有较高的历史价值。
2013年5月,律吕神祠被公布为第七批全国重点文物保护单位。