第五战区司令长官李宗仁后来记述,他对日军狂妄地孤军深入是有所预见的:“我当时的作战腹案,是相机着汤军团让开津浦路正面,诱敌深入。我判断以敌军之骄狂,矶谷师团长一定不待蚌埠方面援军北进呼应,便直扑台儿庄,以期一举而下徐州,夺取打通津浦路的首功。我正要利用敌将此种心理,设成圈套,请君入瓮。”
之所以选择汤恩伯的第二十军团担任侧击主力,根本原因还在于汤恩伯部属于精锐的中央军部队。军团下辖第十三、第五十二、第八十五军。第十三军军长由汤恩伯兼任,下辖第一一〇师,师长张轸。第五十二军军长关麟征,下辖第二师,师长郑洞国;第二十五师,师长张耀明。第八十五军,军长王仲廉,下辖第四师,师长陈大庆;第八十九师,师长张雪中。——“该军团装备齐全”,是当时中国陆军中的“精华”。
负责台儿庄正面防御的,是从第一战区调来的孙连仲的第二集团军。该集团军名义上下辖两个军,即田镇南的第三十军和冯安邦的第四十二军,但在之前的平汉路和娘子关作战中,冯安邦的第四十二军损失惨重,仅仅剩下一个空架子,孙连仲多次请求补充都未获批准。所以,此时的第二集团军,实际上只有三个师可以参加作战,即黄樵松的第二十七师、张金照的第三十师和池峰城的第三十一师。
第二集团军属西北军旧部,来徐州战场前被调来调去:先丛山西调到豫鄂交界处的武胜关一带修筑国防工事;后又奉命把修了一半的国防工事交给滇军第六十军,北调至郑州附近去守黄河;刚走到黄河边上,听闻滕县失守,于是奉命东进徐州,归第五战区司令长官李宗仁指挥;走到半路,又接到命令,要求赶赴台儿庄地区归汤恩伯指挥。此时,孙连仲的任务仅仅是牵制住日军,以便汤恩伯部主力从侧背出击。
因部队过郑州时师长池峰城因事停留,李宗仁将师参谋主任屈伸叫到了徐州,当面交代给第三十一师的任务是:背靠台儿庄,向北面的峄县出击诱敌;在日军受到引诱发起进攻时,坚决守住台儿庄阵地。李宗仁说:“敌如出而迎战,贵师应尽力堵击,迨汤恩伯军团进击侧背,全力压迫敌人于微山湖畔聚而歼之;敌如固守待援,贵师应尽力牵制,监视敌人,掩护关麟征军北上与王仲廉军协力包围攻击,歼灭枣庄之敌,再回师合击峄县之敌,将战线推进到兖州以北。为了