三月初，贼兵的援军眼见自己的前锋部队在岳阳一带迟迟拿不下湘军，于是他们绕过岳阳，另择道路向湖南腹地扑去。仅仅不到十天时间，绕过湘军扑向湖南的那股贼军就连下湘北数县，兵锋直指长沙、湘潭。
本就兵力不占优势的曾国藩，无奈又只能派负责在自己后方压阵的塔奇布、彭玉麟带领一部分紧急驰援长沙、湘潭。塔奇布、彭玉麟两部一走，曾国藩手里的可用之兵就更加捉襟见肘了。再加上，湘军将士绝大多数都是长沙、湘潭两地人士。为了惑乱湘军将士的士气军心，贼兵匪首派人大肆宣扬长沙、湘潭马上就要失守的消息。在这诸般不利情况下，在岳阳苦战的湘军从原来的勉强坚守，瞬间就支撑不住，开始节节败退。眼见如此情况，曾国藩为了保住手下湘军将士的有生力量，当机立断，下令弃守岳阳，回防长沙、湘潭。到时候说不定还能凭借湘军对地形更加熟悉的优势扳回一局。
正所谓兵败如山倒，曾国藩撤退的命令刚刚发出，他手下的一部分湘军瞬间就做鸟兽散，丢盔弃甲的调头往南疾逃。