1987年10月，当中共“十三大”召开时，他已七十有五了。他不再是中共中央委员，退居二线了。

    他担任中共中央文献研究室主任、中共中央党史研究室主任。对于中共中央文献的编纂、中共党史研究，他出了大力。他多年来曾经起草过诸多中共中央文件，在毛泽东身边长期从事秘书工作，后来又多年担任中共中央领导工作，他确实是他担任中共中央文献研究室主任、中共中央党史研究室主任最佳人选。

    胡乔木非常重视中共党史的研究。

    谷羽曾经回忆说：

    《关于建国以来党的若干历史问题的决议》通过后，乔木又一直希望编写出一部完整、详尽、准确、可信的党史着作。经他提议成立的中央党史研究室，开始还由他担任主任，后来不担任了，他对党史工作仍一直很关心。他本想亲自主持编写一部党史，但到1990年9月他的病被确诊力癌症后，确实已是力不从心了。在医院和家中，医生都一再叮嘱他静养休息，他只得请胡绳同志尽快主持写出一部完整的七十年党史本子来。虽然他不动手了，可是他的心总是安静不下，他经常思考的还是如何写好这部书。

    ……

    到了1991年7月中旬，看看他那日渐衰弱的身躯，我真觉得心疼，我坚持要他到北戴河休养。开头几天，我把他看住了，不让他看书写东西，只是每天读读报，谈谈诗，散散步。我常常劝他：“你已经病成这个样子，现在应该注意自己的身体了，养好病，今后的时间还长，事情可以慢慢去做。”但是，乔木天生没有这份“清闲”的福气。7月28日，胡绳同志送来《中国共产党的七十年》的清样，请他审阅。这本书是为迎接党的七十周年生日，由尚昆同志，一波同志和他，以中央党史工作领导小组的名义，要求中央党史研究室牵头组织力量赶写的。乔木对这本书很重视。胡绳劝他不着急，看身体情况，慢慢来，着重看七，八，九章就行了。他一拿起清样，又不顾一切了。

    虽然由于病情加重和药物反应，他经常头晕，恶心，但他还是用了不到五天的时间，把这三章看完了。他在清样上作了许多修改，有的地方是成段地补写，写得十分精采。他还写了许多小纸条，就某一事件的史实或论断提出具体修改意见。又找胡绳来谈了很久。乔木对这部书稿作了很高的评价，言谈之间显得十分高兴。他深情地对胡绳等同志说，要赶快将书印出来，我要对这本书表示负责，要写题记肯定这本书。尚昆同志听了乔木同志对书稿的评价，读了一些重要章节，赞成乔木的意见。8月下旬，在北戴河召集了中央党史工作领导小组会议，批准了《中国共产党的七十年》的出版。

    《中国共产党的七十年》的那篇《题记》，开始为了减轻他的负担，请党史研究室的同志代他起草了一稿。他看了之后，亲自动手修改。他反复改了好几遍，才算定稿。定槁几乎是全部重写的。在外人看来，像乔木这样的大手笔，文章还不是一气呵成吗其实，在我的记忆中，乔木的文章总是一次次修改才能写成，有时直到送去排印时还在修改，几乎没有最后“定稿”的时候。他常说：“我的文章都是改出来的。”这篇《题记》，是乔木一生写的最后一篇评论文章。后来听说钱钟书读了甚为欣赏，誉之为“思维缜密，词章考究”。

    在胡乔木主持下，为中共党史研究立下诸多“规矩”。比如，逄先知便曾经回忆，胡乔木对注释工作作出了重要的改革①：

    1984年，他对注释工作讲了一篇重要的意见。他说：最近几年，我修改了一些文选的注释，先是《鲁迅全集》的注释，后来又有《周选》，《邓选》的注释。我感到起草这些注释的同志都有一种通病，就是议论多，断语多，好像法官作判决一样。这个毛病可能是受《毛选》注释的影响。陈伯达当时搞