1951年2月14日，农历正月初九，卢木斋之子卢开源来看望张伯苓，告诉张氏北京方面准备请张伯苓出任全国政协副 。张很高兴，下午6点多亲自送卢到户外，当天天气很冷，晚间张伯苓突患脑栓塞，延至23日病逝，享年75岁。在张伯苓生命垂危之际，南开校友会会长阎子亨提议代张伯苓立遗嘱。黄钰生获大家公推代笔，遗嘱经黄钰生草就之后，由南开大学中文系教授张清常润色并定稿。遗嘱全文如下：

一八九七年，余愤于帝国主义之侵略，因严范孙先生之启发，从事教育，五十年来，矢志未渝。凡余所致力而未逮之科学教育、健康教育、爱国教育，以允公允能，日新月异，与我同学共勉者，今将在人民政府之下，一一付诸实施。余所尝效力之南开大学、南开中学、重庆南开中学，在人民政府之下，亦将积极改造，迅速发展。今日之人民政府为中国前所未有之廉洁良好政府，其发展生产、友好苏联之政策，实为高瞻远瞩，英明正确之政策。凡我友好同学，尤宜竭尽所能，合群团结，为公为国，拥护人民改府，以建设富强康乐之新中国。无限光明远景，余将含笑待之。友好同学，务共努力。

1951年2月24日，周恩来到天津出席志愿军第20兵团的军事会议，一到天津就来到张伯苓的家吊唁、敬送花圈，缎带上写着:“伯苓师千古！学生周恩来敬挽”。2月26日，《天津日报》以“前南开学校校长张伯苓病逝，遗嘱友好同学拥护人民政府”为题刊登了一则简讯外，此后数十年中，中国大陆报刊对张伯苓几乎毫无报道。张伯苓逝世后，南开学校校友、时任中央人民政府政务院总理周恩来亲自吊唁了张伯苓，对张伯苓的评价提出“看一个人应当依据他的历史背景和条件，万不可用现在的标准去评论过去的人。张校长在他的一生中是进步的、爱国的，他办教育是有成绩的，有功于人民的。人民政府对张校长十分关心，对他寄予希望。他突然去世，十分可惜。”，但大多数人受到当时政治环境的影响仍在观望，怕受株连。

当时，台湾有关对张伯苓的逝世也颇为关注，流传着另外一个版本的张伯苓遗嘱，但被张伯苓长子张希陆证实为假托之名伪造。1951年2月27日，得知张伯苓病逝的蒋中正在其日记中写下了“痛悼无已”的字句。同年3月31日，南开旅台校友会与中国国民党中央改造委员会等团体在台北的北一女中为张伯苓举行了隆重的公祭典礼，由蒋中正亲临主祭，并亲写挽联“守正不屈，多士所宗”；王宠惠、陈诚、王世杰、张厉生、章嘉等张氏的好友皆参加典礼。。

与台湾方面的隆重悼念不同，4月8日，天津南开女中礼堂举行了小规模的张伯苓追悼会，不热烈也不悲壮，反而十分零落冷清，由于没有向社会披露，以致很少有人知晓。追悼会在南开大学教授司徒月兰的钢琴声中开始，南开校友、追悼会 阎子亨宣读了张氏遗嘱。黄钰生致悼词，喻传鉴、李烛尘、中国科学院副院长陶孟和、杨石先先后发言追思。一年后，喻传鉴在重庆主持召开了张伯苓追悼会，同样冷清。由于张伯苓生前曾有“愿故后埋葬在南开大学校园内”的遗愿，因此第一场天津的追悼会结束后部分人就此事进行了讨论。最终，中共南开大学党支部表示，现在南大的同学与张伯苓的关系不深，同学们认为南大是人民的，不是张伯苓的，因此最好不要葬于南大。因此，张伯苓逝世后先葬于天津吴家窑地区的永安公墓，后因该地建设迁至天津东郊杨家台祖坟，1962年张伯苓夫人逝世后，二人合葬于天津北仓第一公墓。1975年火化后，两人骨灰置于长子张希陆北京的家中。1979年在天津水上公园烈士陵园举行了张伯苓的骨灰安放仪式，后再次迁至北仓烈士陵园。最终，在官方对张伯苓重新给予极高的评价后，1989年10月16日，张伯苓及夫人的骨灰迁至南开大学中心花园，安放于张伯苓铜像下方。