皖系操纵的选举鼎力支持。在湖南搞选举的时候，皖系政客本以为有张敬尧的强力外援，当选应不成问题，不料投票后，非皖系的人当选颇多，而皖系指定的人反而落选。皖系的人大骇，急忙请张敬尧想办法，张敬尧笑道：“你们这些人哪，亏你们还读书识字，就这点屁事还搞不定？小事一桩嘛！”

    皖系的人问他怎么办，张敬尧说：“这又什么难办的？把选票都毁喽，再重新搞一套就是了，一句话而已。”旁人说：“这万一犯了众怒，可怎么办？”张敬尧拍着胸脯保证说：“有我张某承当，湖南人还敢捋虎须耶？”后来选举结果一公布，皖系的人全部上榜，舆论一片哗然，但在张敬尧的淫威之下，又能奈何？

    可惜好景不长。1920年后，皖系段祺瑞与直系曹锟、吴佩孚矛盾激化，双方剑拔弩张，形同水火，由此连带张敬尧的好日子也就到头了。原来，张敬尧在湖南的两年太平日子，完全是倚仗吴佩孚的第三师替他守住了山门、挡住了南军（滇、桂、粤的护法军），但此时吴佩孚的军队已经在衡阳待得再也不耐烦了：你想，督军是他张敬尧，我吴佩孚有什么好处、又凭什么给他看家护院呢？

    在吴佩孚的第三师下令北撤后，其他直系的北洋军也纷纷撤防，张敬尧这下慌了手脚，因为他的第七师早已因腐败而孱弱不堪了。在初入湖南的时候，第七师本与第三师战斗力相当；但入湘之后，这些大兵们养尊处优，不耐劳苦，加上军纪败坏，水平已经远不如前。作为主将的张敬尧更是如此，当年剿“白狼”时还算能吃苦、敢打仗，但做了督军之后只知道吸鸦片、玩女人，非但置公事于不问，其人也变得胆小如鼠。

    某日，长沙南门外银盆岭有土匪百人乘夜沿途抢掠，枪声四起，该处驻军以为是南军大至掩袭，竟吓得仓皇四窜。有人以电话报告到督军署，此时张敬尧正在吸烟，他听到后即刻坐一小轿，出小西门，藏到了往来湘汉的一艘日本商轮上。直到午后，张敬尧才返回督军署，手下报告说昨夜乃是土匪而非南军，张敬尧抹了抹头上的汗，大骂道：“既是土匪，怎么谎报南军？害得老子白受了一夜的惊吓。”

    这样的军队，在南军的攻击之下自然是不堪一击。由于吴佩孚撤军前已经与南军达成协议，吴军一走，湘军赵恒惕部随即北上接防，不到一周，衡阳、莱阳、祁阳、宝庆等地便落入了湘军手中，而张敬尧属下的湖南暂编第一师吴新田部、暂编第二师田树勋部很快溃逃，兵败如山倒。

    眼见大势已去，张敬尧能做的就是赶紧把这两年来搜刮的钱财紧急北运，随后便放弃长沙，撤往岳州。在撤出长沙之前，为免资敌，张敬尧还下令将军火库放火焚烧，结果长沙城内一片火光，在轰隆隆的炮弹爆炸声中……张督军逃了。

    兵败之后，张敬尧发电报指责其他北洋部队坐视不救，不战先逃，以推卸自己的责任。可惜的是，此时的北京政府对他早已失去了信心，随即便下令将张敬尧革职查办，由段祺瑞的小舅子吴光新接任湖南督军。张敬尧逃到汉口后，吴光新让他把湖南督军和省长的两颗大印交出来，张敬尧开始还不相信，吴光新便拿出电报给他，张敬尧看后气呼呼地要求吴光新拿200万大洋作为交印的条件。吴光新哪肯理会这一套，当场便令卫兵将张敬尧的印夺了下来。

    后来，惶惶然如丧家之犬的张敬尧又跑到武昌去找湖北督军王占元，诡称自己还有一师一旅的兵力，希望老朋友拉他一把，接济点军饷和派点援兵，以打回湖南，继续做他的督军。王占元坐镇湖北已经七八年，早已是官场老狐狸，他哪里肯相信张敬尧的鬼话，当场便不客气地拒绝了。被拒绝后，张敬尧还想发火，王占元呵呵一笑，又掏出一张电报给他看，张敬尧一看，一屁股在椅子上半天都没有起来：电报上明明白白地写着，令吴新田代理第七师师长并收容