林祥谦意识到残酷的斗争即将到来。2月7日中午他把分工会的图章藏在家里的炭火盆里，匆匆赶回工会。下午5时20分，反动军阀带着两营士兵，包围了江岸分工会会所，开始了疯狂的射击。在这场野蛮的屠杀中，江岸30多名工人牺牲，200多人受伤，酿成了震惊中外的“二七惨案”。林祥谦带领工人同前来镇压的反动军队进行了英勇搏斗，终因寡不敌众，与十几名工会领导人和工人代表被敌人逮捕。

当夜，天降大雪，敌人把林祥谦绑在江岸车站站台的木桩上。反动军阀以死威胁逼迫林祥谦下令复工，遭到林祥谦断然拒绝。敌人恶狠狠地命令刽子手举刀砍向林祥谦左肩：“上不上工？”林祥谦斩钉截铁地说：“上工要总工会下命令。我头可断，血可流，工不可复！”屠刀砍向林祥谦右肩，他血流如注，昏死过去。醒过来，敌人再次恶狠狠地问他：“现在怎么样了？”林祥谦拼尽最后的力气怒斥敌人：“现在还有什么话可说？可怜一个好好的中国，就断送在你们这班军阀手里了！”林祥谦壮烈牺牲，时年31岁。

为纪念这位工人运动的先驱者，新中国成立后，党和政府在福州修建了林祥谦烈士陵园，包括二七烈士纪念堂、陵墓、千人广场和6米高的烈士花岗石雕像等建筑。纪念堂以丰富的图片和资料，详细介绍了林祥谦的生平事迹。陵墓后面是郭沫若题写的“二七烈士林祥谦之墓”的青石墓碑。陵园内苍松繁茂，芳草如茵，守护着烈士不灭的英灵。