潘光旦最大的愛好就是研究家譜。因此他在新居落成后，特地開辟一室，整天沉溺于家譜的搜集工作。有人問他：“為什么你這么喜歡看人家的家譜，而不修自家的家譜呢？”潘笑而不答。為此，有人還送給了他一副對聯(lián)：“尋自身陜樂，光他姓光他姓門楣?！辈贿^，潘光旦雖然喜歡研究家譜，但他并不是無原則地“光他姓門楣”。權貴孔祥熙就曾經(jīng)托人到潘處說情，請他證明孔祥熙為孔子的后代。他就一口拒絕說：“山西沒有一家是孔仲尼的后人。”弄得來人十分尷尬。