不但没有使其他江西官员束手，反而令他们变本加厉。接替陈启迈任江西巡抚的文俊行事一如陈氏，江西官员在他的率领下团结起来处处给曾国藩下绊子设障碍。甚至曾国藩的兵勇也被人毒骂痛打，遭受侮辱。曾后来在给朋友的信中回忆这段经历说：“江西数载，人人以为诟病。”又形容当时的苦况说：“士饥将困，窘若拘囚，群疑众侮，积泪涨江，以夺此一关而不可得，何其苦也。”

    当然，使他“积泪涨江”的根本原因，不是江西官员的个人素质，而是咸丰皇帝对自己不信任。在籍之员出山带兵，本是基于对王室的忠心，不想皇帝却对他如此提防，曾国藩的寒心和委屈可想而知。他无时不想挂冠而去，但时势之危与圣人之教又不容许，只好百计隐忍，甘受煎熬，长年寸心如焚。“国藩昔在湖南江西，几于通国不能相容。六七年间，浩然不欲复闻世事。”“虹贯荆卿之心，而见者以为淫氛。碧化宏之血，而览者以为顽石。古今同慨，我岂伊殊。屈原所以一沉而万世不复者，良有以也。”委屈痛苦，溢于笔端。甚至这样对好友刘蓉说：“所至龃龉，百不遂志。今计日且死矣，君他日志墓，如不为我一鸣此屈，泉下不瞑目也。”种种不平之鸣，证明这是他一生中精神最痛苦的时期之一。一向对曾国藩多所讥评的王恺运，在编写《湘军志》时，也在日记中对曾国藩深表同情：“夜览涤公奏，其在江西时，实悲苦，令人泣下……涤公言：‘闻春风之怒号，则寸心欲碎；见贼船之上驶，则绕屋彷徨’，《出师表》无此沉痛！”

    这就是曾国藩所说的“为江西所唾骂”，以及“又参抚臬，丙辰被困南昌，官绅人人目笑存之”的难堪经历。

    正在曾国藩痛苦万分之时，他接到了父亲的讣告。这个噩耗此刻倒成了摆脱困境的天赐良机。他立刻上疏要求回家守孝，并且不等皇帝的回复，把军队抛在江西，径直回到了湖南老家。

    皇帝当然不会批准他在家守孝三年，在回复中催他立刻回到军中。曾国藩给皇帝上了一封奏折，一股脑地把自己压抑已久的愁苦愤懑都说了出来，期望皇帝会体谅他的苦衷，授予他职权。

    曾国藩在奏折中将官场的潜规则说得很清楚。

    他说，带兵打仗，必须依靠地方官员的支持。“至于筹饷之事，如地丁、漕折、劝捐、抽厘，何一不经由州县之手？”但地方官员只认他们权力体系内的运转规则，只听能掌握他们升迁权力者的话。他名义上为部长级官员，而“文武僚属，大率视臣为客，视本管上司为主。宾主既已歧视，呼应断难灵通”。他“身非地方大吏，州县未必奉行，百姓亦终难可信”，所以“或臣抽厘之处，而州县故为阻挠；或臣营已捐之户，而州县另行逼勒。欲听之，则深虑事势之窒碍；欲惩之，则恐与大吏相龃龉”。

    他虽有保举权，但由于所保人员非国家正规军出身，“徒有保举之名，永无履任之实”。许多战功卓著的部下，“虽保举至二三品，而充哨长者，仍领哨长额饷。充队目者，仍领队目额饷。一日告假，即时开除，终不得照绿营廉俸之例，长远支领”。

    他直言不讳地说：“以臣细察今日局势，非位任巡抚有察吏之权者，决不能以治军；纵能治军，决不能兼济筹饷。臣处客寄虚悬之位，又无圆通济变之才，恐终不免于贻误大局。”如果皇帝不给他督抚之权，他就只能“在籍终制”，就是说不复出山。

    曾国藩以为他已经把委屈和困难说得够充分了，皇帝没有任何理由不给他这个卖命的走狗以必要的支持。没想到逞妇人之智的咸丰皇帝却和曾国藩较上了劲。适值此时天京内讧之后，太平军内部分裂，势力大衰，看起来已经指日可平，有没有曾国藩好像也没有大碍。于是顺水推舟，批准他在家守制三年，实际上解除了他的兵权。

    这当头一棒差点把曾国藩打昏。