后来李世民在皇宫西面开设了文学馆，招纳文学之士十八人为学士，号为“十八学士”，并命著名画家阎立本为“十八学士”画像，褚亮作赞词。房玄龄当时即为“十八学士”之首。后世史学家在评论唐代宰相时，无不首推房玄龄，总是说：唐代贤相，前有房杜，后有姚宋。

    就是这个“十八学士”之首，他的儿子却极不争气。《新唐书房玄龄传》中提到其第二子房遗爱。房玄龄次子房遗爱。荒诞c率性而为c不学无术。但有一把子力气。因为凭房玄龄的功劳，娶了高阳公主，做了右卫将军。太宗皇帝本来很宠爱高阳公主。所以对她礼遇都高于其他人。但公主傲气并且脾气古怪。一直嫉妒房遗直作为长子继承了房玄龄官爵。遗直知道了此事，有些害怕，上书要求让出爵位，但皇帝不允许，并开始对公主稍有冷淡。公主心情不好，开始与一个叫辩机，他其是陈玄奘之徒，长安名僧的和尚乱来。皇帝发火，斩了和尚，并因此事杀了公主身边奴婢数十人。因此公主怀恨，之后，皇帝驾崩，公主哭而无泪。

    高宗继位，外迁遗直汴州刺史，遗爱房州刺史。公主诬陷房遗直有罪。高宗派长孙无忌查问。于是得到了高阳公主与房遗爱谋反的情由，遗爱被杀，高阳公主赐死。遗直被看在房玄龄的面子上免罪，只贬为铜陵县尉。“房遗爱谋反”事件指房遗爱和妻子高阳公主阴谋发动的宫廷政变。高阳公主骄傲专横，辩机被腰斩而死后，高阳公主一直心中不平。高宗即位以后。高阳公主c房遗爱便联络与高宗不和的薛万彻c柴令武（，打算发动政变。废掉高宗，拥立荆王李元景为帝。但是事不机密，计划被泄露，一干人都被逮捕。高宗派长孙无忌审理此案，长孙无忌借此机会将吴王李恪也牵连进来，李元景c李恪c房遗爱c高阳公主c薛万彻c柴令武c巴陵公主等全部被杀。

    而相比较房玄龄跟房遗爱，杜如晦父子也不差多少。

    杜如晦，凌烟阁二十四功臣之一，华国唐初名相。唐武德元年（618）如晦被李世民引为秦王府属官。如晦常从征伐，参与机要c军国之事。剖断如流。四年，李世民建天策府，以如晦为从事郎中。当时世民弟兄间皇位继承的争夺十分激烈，太子建成企图翦除世民羽翼，在唐高祖李渊前谮毁世民的幕僚，因此如晦和房玄龄同被斥逐。九年，潜入秦王府谋划玄武门之变，以功擢拜太子左庶子。

    太宗即位，如晦迁兵部尚书。进封蔡国公，贞观二年（628），以本官检校侍中，摄吏部尚书。仍总监东宫兵马事。三年，任尚书右仆射，仍领选事。四年三月卒。如晦为相时。正值唐新建不久。他与房玄龄共掌朝政，典章制度皆两人所定。时称如晦长于断。玄龄善于谋，两人配合默契。同心辅佐太宗，后世论唐代良相，首推房c杜。贞观四年，杜如晦病重，李世民亲自去他家中探望，抚之流泪，在他咽气前超升其子杜构为尚舍奉御。

    即使皇帝如此贵重其人，杜如晦仍旧抗不过疾病之侵，死时年仅四十六。太宗哭之甚恸，赠司空，徒封莱国公，谥曰成，并手诏为制碑文。后来有一次唐太宗吃块美味的香瓜，忽然忆起杜如晦，怆然泪下，遣人以所食之半奠于这位文臣的灵牌前，不时送御馔祭奠。在杜如晦的每年忌日，太宗都派人到他家里慰问其夫人儿子，一直保持其公府的官吏僚佐职位。“终始恩遇，未之有焉。”

    杜如晦次子杜荷，《新唐书。杜如晦传》中说他，性情残暴，不守法度。娶了城阳公主，官做到了尚乘奉御，封襄阳郡公。承乾谋反时，杜荷说：“琅邪郡人颜利仁善于星相，说天上有变数，应该建立大事业，当今陛下应当做太上皇。请你说有疾病，皇帝必然来看你，可以乘机起事。”及承乾事败，杜荷也被杀。不知晚年的李世民，是否因为三子反叛而伤透了心神，再也顾及不到这位功臣的后人了。