阀官僚拥汉者尚多，为曹操所深忌，而荀彧、崔琰等著名人物都因对曹氏代汉有异议而不得善终。大概司马懿在这个关键问题上早就表示支持曹操，因此曹操才对他由猜忌逐渐转为信任。

    曹操进封魏王后，升任司马懿为太子中庶子，佐助曹丕。时司马懿“每与大谋，辄有奇策”，为曹丕所信任和重用，所以关系一直很好。司马懿还与陈群、吴质、朱铄并称四友。此后，司马懿更是常谋国事，多出奇策。不久，司马懿转为丞相军司马。他指出荆州刺史胡修粗暴，南乡(治南乡，今河南淅川东南)太守傅方骄奢，都不应驻守边防，曹操未予重视。

    同年六月，刘备继取汉中后，派孟达、刘封攻占汉中郡东部的房陵、上庸等地，势力有所扩展。七月，孙权欲攻合肥，魏军大部调动淮南防备吴军。镇守荆州的蜀前将军关羽，乘此机会，留南郡(治江陵，今湖北江陵)太守糜芳守江陵，将军傅士仁守公安(今湖北公安西北)，自率主力北攻荆襄(魏荆州治新野，今河南新野；襄阳郡治襄阳，今湖北襄樊)。围魏将曹仁，水淹于禁七军，斩庞德。时樊城守军仅数千人，城墙因水淹多处崩塌，曹仁曾考虑放弃樊城，被辅助曹仁的汝南太守满宠所劝止。曹仁决心奋勇抵御。胡、傅二人果然乘机降蜀。此时，陆浑(今河南嵩县东北)人孙狼等，亦杀官起兵，响应关羽。关羽声势一时“威震华夏”

    当时都城在许昌，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都河北。司马懿和曹椽蒋济及时劝阻：“禁等为水所没，非战守之所失，于国家大计未有所损，而便迁都，既示敌以弱，又淮沔之人大不安矣。孙权、刘备，外亲内疏，羽之得意，权所不愿也。可喻权所，令掎其后，则樊围自解”。曹操从其计，孙权果然派吕蒙袭取江陵，关羽被其俘杀。

    此战的胜利，曹操利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权。

    徐晃击退关羽后，曹操嫌恶荆州及附近百姓，想把他们都迁走。司马懿认为：“荆楚轻脱，易动难安。关羽新破，诸为恶者藏窜观望。今徙其善者，既伤其意，将令去者不敢复还”。曹操从之，没有移民。藏窜逃亡者果然都复出归化。

    延康元年(220年)，曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。

    同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。

    时孙权率军向西。朝臣认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。司马懿则认为不该放弃二城：“孙权新破关羽，此其欲自结之时也，必不敢为患。襄阳水陆之冲，御寇要害，不可弃也”。曹丕未依其言，命曹仁放火烧毁二城。后来孙权果然没有入侵。曹丕悔之不及。

    同年，曹丕登皇帝位，史称魏文帝。由于司马懿为曹丕“篡汉”出了大力，所以登基后，曹丕任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。

    黄初二年(221年)，免去督军官职，升任侍中、尚书右仆射。

    黄初三年(222年)，和黄初五年(224年)，曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯。黄初六年(225年)春二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息。此非以为荣，乃分忧耳”。

    同年，曹丕又大兴水军攻吴，仍命司马懿留守，“内镇百姓，外供军资”。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿。曹参虽有战功，而萧何为重。使吾无西顾之