1949年8月15日，中国人民解放军第三野战军第10兵团第271、272、276团，奉命自闽东挥师南下，以迂回穿插、钳形推进战术断敌海陆逃路，同时从马尾高山、沿江围攻国民党青年军603、953团，展开激烈的山地战、巷战，16日夺取闽海重镇马尾，为解放福州扫清障碍。在战斗中，我军100多位优秀指战员为人民的解放事业献出了宝贵生命。由于原部队建制撤销及历史原因，陵园主要根据解放军陆军第31军保存的烈士档案资料，将已查找到的散葬在各处的36位为解放马尾而英勇献身的烈士忠骨移放陵园内，供后人瞻仰。

为纪念解放马尾战斗中英勇牺牲烈士，马尾区政府于1991年4月动工修建马尾烈士陵园，1993年12月竣工。陵园主体建筑由一坪台“烈士陵园”碑，二坪台“园志、后记”碑，三坪台烈士墓、烈士名录碑、“革命烈士永垂不朽”屏碑等组成，总建筑面积1150平方米，陵园居高临下，墓道依山铺设，全长108米，整体庄严肃穆。

马尾烈士陵园于1994年被中共福州市委、福州市人民政府公布为福州市爱国主义教育基地。