金岳霖最具传奇性的故事，是他的终身不娶以及他终生不娶的原因，他喜欢林徽因。“一身诗意千寻瀑，万古人间四月天”，这是林徽因追悼会上引人瞩目的一副金岳霖、邓以蛰联名题写的挽联。据说此后金岳霖经常还探访林徽因的墓地，很多人是因此才知道他的，或许也因此疑惑，因为人们常常习惯以自己的生活态度来评判他人。其实，大凡徜徉在理念空间的哲人，很少会被尘世的欲望所缠绕，如很多大哲终其一生都没有结过婚。
金岳霖和林徽因柏拉图式恋爱的传闻极广，也非常感人。据说：林徽因去世后某一年，金岳霖突然把所有老朋友请到北京饭店一起吃饭，饭吃到一半，他站起来说：今天是徽因的生日。有一次编纂林徽因诗文集告竣，请金岳霖为之写篇文章，金岳霖却一字一顿地说：“我所有的话，都应同她自己说，我不能说。我没有机会同她自己说的话，我不愿意说，也不愿意有这种话。”“极赞欲何词”，这是爱到深处的表达。当然，说到林徽因，就不能不说徐志摩、梁思成、金岳霖这三个人。
它不是俗套的“三角”或“四角”故事。据说金岳霖曾为梁思成、林徽因夫妇题有“梁上君子、林下美人”的对联，在他们之间，有一种超凡脱俗的友谊。又如梁思成所曾言：最爱林徽因的人，其实是金岳霖。金岳霖自己说他并不完全了解沈性仁，只是“稍微懂得她一点”。他最懂得的是林徽因。用张爱玲的话说，就是“因为懂得，所以慈悲”。这种慈悲之爱自不必被婚姻形式拘束，后人也不必对此“匪夷所思”。
还有一个著名的民国琐谈——“太太的客厅”的故事。当年梁思成、林徽因夫妇每天在客厅都有固定的茶会，金岳霖则每天风雨无阻到场，并时为林徽因诵读各种报章读物，其中绝大部分是英文书籍，内容则广涉哲学、美学、城市规划、建筑理论及英文版的恩格斯著作等。在他的诵读过程中，不时还杂夹着听众的议论。 “太太的客厅”在北平的北总布胡同二十四号，它不同于周氏兄弟的八道湾和老虎尾巴，也不同于胡适的米粮库四号以及沈从文的达子营、徐志摩的石虎胡同、冰心的中剪子巷、凌叔华的史家胡同，当年这些“京派”作家和文人的文化沙龙都有它们不同的魅力，这里最大的不同，就是它是“太太的客厅”，是“京派”文学和贵族文化的殿堂。经常出入“太太的客厅”的有徐志摩、金岳霖、沈从文、费正清等等以及他们的家眷们。它也是文人教授们“议政”的一个角落，举凡时事政治的议论、社会弊病的针砭、思想感情的交流等，都是这里经常的节目。在这里，有着严重肺病的梁太太保持着她与生俱有的开朗态度滔滔不绝，阐述着真知和灼见。
萧乾曾回忆说：那绝不是结了婚的妇人的那种闲言碎语，是有学识、有见地、犀利敏捷的批评；费正清的夫人也回忆说：梁太太的健谈是人所共知的，其话题从诙谐的轶事到敏锐的分析、从明智的忠告到突发的愤怒、从发狂的热情到深刻的蔑视，几乎无所不包，她总是聚会的中心人物。当她侃侃而谈的时候，她的那些爱慕者们总是为她那天马行空般的灵感中所迸发出来的精辟警语而倾倒。金岳霖，也一定是在这里臻于他“蓦然回首”的三昧境界的。
世间难有金岳霖，世间更难有梁思成 ，两个伟大的男人和一个奇女子，两份伟大的爱情让今人感慨。
