台儿庄位于山东省峰县东南，与江苏省峄县相连。运河绕城而过，城墙以砖石砌成，远远眺望是一座不错的县城，因附近有煤矿，城外又有几处炼焦厂，所以商业较为繁盛。城内住有千户左右居民，又因当地石头多，居民不仅用来铺路，还喜欢叠石围墙，青石板铺就的街道不宽，可容马车通过。

    正如李宗仁在回忆录上所说的，千户石垒民房，再加上第2集团军修筑的70余座碉堡，便成为守军的工事阵地。但是，在台儿庄这块弹丸之地上，无论你怎样构筑工事，都难以抵挡日军重炮和飞机的轰击。

    事实确实如此。3月27日黄昏，日军开始进攻。在台儿庄外前沿阵地上的守军同敌人交火，不一会儿，便退到台儿庄主阵地上来了。顿时，台儿庄便遭到日军万发炮弹的狂轰滥炸，顷刻间码头、商铺一片火海，残垣断瓦把街道堵塞，守军伤亡惨重。

    矶谷第10师团的进攻异常猛烈，他们改变了在滕县的作战方法，全部采取大规模的集团式的冲锋。当大炮停止时，步兵五六千人在几十辆坦克的率领下，一窝蜂地涌入台儿庄。那架势让人看见就全身发抖。

    日军首先攻击的是台儿庄的正面主阵地。防守在台儿庄车站正面的是池峰城的第31师。池峰城的第31师在整个台儿庄大战中，充当了主要角色。在台儿庄大战开始前，池峰城率本师的第93旅对盘踞在峰县的日军据点实施佯攻诱敌，在向峄县敌军进行佯攻路上不时同日军发生冲突，好几支分队同敌人打得十分惨烈。佯攻诱敌任务完成得很出色，他们把日军主力吸引过来了。

    现在日军正大举向主阵地猛烈进攻，池峰城师长命令全师官兵奋起反击。但是毕竟敌人火力强势，他们在坦克战车的掩护下，冲进庄内占据了一片民房。台儿庄的民房大多是石头砌成，守军没有平射炮，对石头房屋没有有效的攻击办法。冲进来的日军步兵以石头房子当碉堡，逐步扩大地盘。

    第31师是很善于防守的，他们挖出许多宽大的壕沟，让敌人的坦克跨不过去。敌人步兵没有坦克战车的掩护，进攻相对来说要慢得多。这样他们就同进庄来的敌人短兵相接，逐屋逐院进行争夺。

    在日军强大的炮火压制下，正面主阵地有多处被敌人突破。中国军队在庄内一退再退，有时为一座屋一座院落，争抢好几个来回。善于总结战斗经验的中国军人在肉搏争夺战中发现日军的飞机、大炮发挥不出自己的优势，倒是自己手里的大刀起了作用。

    全师官兵发挥自己的长处，同敌人开展近战、夜战，想尽一切办法，用各种手段打击敌人。白天尽最大努力抵抗住敌人的进攻，夜晚以小分队的方式主动出击。在台儿庄形成白天敌人占领大片地盘，晚上又被守军收复回来的拉锯局面。

    日军最害怕夜战，中国守军专门在半夜三更出动，摸黑夜袭，每次都有不大不小的胜利，一夜间，敌我双方几进几出，双方伤亡都不小。第2集团军参谋处长何章海回忆说：

    在台儿庄大战中，中国军队的大刀发挥了很大的威力。有一名大刀队员，砍杀敌兵九人，也有砍杀五人的，参战的大刀队，平均每把大刀砍死敌人一个半。

    第31师的官兵，用手榴弹和大刀同敌人血战了五天五夜。

    大刀始终敌不过敌人的飞机、大炮和坦克，池峰城师长的官兵伤亡巨大，他的部队整班、整排、整连地轮番填了进去。进攻的日军每天都有增援，进攻的规模一次比一次凶狠，而守卫在台儿庄的部队只有靠减少伤亡来保存有生力量，得不到丝毫的增援。

    台儿庄正面阵地的守军处在最艰难的关头，日军组织数百人的敢死队，在炮火猛烈轰击之后，呼啦啦一下子占领了台儿庄的西北角，切断了师部与阵地的联系。守卫在西北角的王祖献营长阵亡，全部官兵伤亡殆尽。