虽在意料之中，殷峤也不禁胆寒，急忙遣人东出去打探成皋关的消息。复一日余，哨探归报，说关上仍然插着我晋的旗号，尚未易手。殷峤这才舒了一口气，就问：“其关左右山上，可有营垒么？”得到的回复是：“连营密垒，不下十余座。”
殷峤拍案大喜道：“幸亏祖公有先见之明，我等无忧矣！”
祖逖所率数万大军，除分守卷县和阳武外，都在荥阳及其周边地区，而没有分守成皋，这是为什么呢？一则军分即力弱，唯有集合起来，才有望御羯；二则就是，他其实对于成皋关的守备，并不太过担心。
当日与裴该勘探之后，裴该挥师西往关中，祖逖就调动人力、物资，于成皋关附近山头建筑堡垒，并且铺设道路，连通关上。诸垒多不过二百人，少不足百人，连同关隘，常年有两千多兵护守，轻易不撤，而且粮草、箭矢充裕。此番东出御羯，即使参军王愈守关，复得冯宠率关下残部退入关上，只要士气不堕，足以拮抗十万大军。
其实没有冯宠那几百人，守关也足够了，祖逖之所以此前要派冯宠、童建临时在关下凭水设营，就是为了麻痹石勒，让他以为并不难破，就此将主要突破方向，始终指向成皋关。祖逖是担心真要把石勒给逼急了，他不敢去打成皋，却一门心思向南冲，蹂躏豫州，甚至于妄图自嵩山、阳城山之间突入伊洛，那自己应对起来就比较烦难啦。
固然羯军兜这么个大个圈子，粮道难以保障，但荥阳南部，直至豫北的颍川、襄城，可都是膏腴之地啊，这一路烧杀抢掠过去，也足能保障一两万人的吃喝吧？自己等于已经轻弃了兖北，若再容羯贼践踏司、豫，即便最终打赢了，恐怕朝野间的指责声也将不绝于耳……祖大将军还是很看重面子的。
因而王阳、逯明等羯将既渡汜水，得至关下，便即毫不休歇地发起了猛攻。他们当初跟随石勒在司、豫间流蹿，也曾多次经过成皋、荥阳之间，对于山形、地势，心里还是有数的。本以为成皋雄关，恐怕不下定决心，拿人命铺路，将难以克陷，可谁成想即便拿人命铺路了，却仍然打不下来！
从晋怀帝时代开始，胡势日炽，洛阳周边的天险就不能守，胡骑多次出没于伊洛盆地，那时候成皋险关，几乎形同虚设。而等到“永嘉之乱”，胡汉基本上控制了整个河南后，虽亦稍稍修复成皋，派兵守卫，但刘聪以为晋朝已日暮途穷，中原残余的几支兵马根本就不足惧，数年间天下可定，所以也没把这座关隘太当回事儿。
倘若当日胡军固守成皋，估计裴该绝不可能那么轻松便将关隘拿下。刘、刘丹等本打算在兖州境内便击败北伐的晋军，故此并未加固成皋之防，而等刘粲进入洛阳后，成皋已经丢了，也无从再守。
故此王阳、逯明等将对于成皋关的印象，还停留在祖逖增筑营垒之前，以为只要鼓足勇气，便可攻取。可谁想到数里长的山道，几乎全都被山上营垒所控扼，箭矢如雨般投射，滚木石亦不时抛下，真正是一步一尸。石勒勒令他们三日破关，结果连攻五日，损失惨重，却根本攻不上去。
报至石勒处，石勒不禁勃然大怒道：“昔石虎于平阳北破晋垒，以尸堆至堡上，难道汝等不能为么？胜负在此一举，岂能再不忍浪掷士卒性命？即死万人，亦须夺取成皋！”
王阳等人暗中叫苦，心说石虎当日所为，这形势不同，不可复制啊除非我们把士兵的尸体堆得跟两旁山崖一样高，那可能吗？
最终石勒急了，亲自前往成皋关下，指挥作战。但当观看了关上形势后，就连他都不禁倒吸一口凉气，心说这地方，哪怕不计士卒伤亡，没有一两个月也拿不下来啊……正在筹思无计，忽得急报，州县失守！
陆和在得到李矩的首肯后，当即率兵越过王屋山，进入河内，随即他亲率两千骑兵，昼夜兼程，驰至州县城下。晋军既得增援，士气大振，相对的城内赵军却开始动摇。于是不待关中军正式加入战场，李矩便将新造成的云梯推至壕边，猛攻一日，终于打开了州县的城壁。
才入州县，便有天使到来，通报成皋关遭敌猛攻之事，要调祖涣南归，护守京师。然而李矩劝止祖涣，说：“我既克州县，山阳、怀县亦唾手可得，由此向东，可直入汲郡以断贼后路。祖公曾于成皋左右山上，密设营垒，其关雄峻，岂易失哉？我但贾勇而前，成皋、荥阳之困自解；倘若此时南归洛中，实于战事无所补益，反会丧失时机啊！”
于是便以“将在外，君命有所不受”为辞况且军权都在祖逖手上，尚书省岂可随便干涉啊遣还天使，随即大军沿着沁水直进，杀到怀县城下。
州县、山阳、怀县虽然呈三角形布防，但自然顶在最前面的州县驻军最多、最精，防御也最为严密，其余两城就要差得多了，且此前为救州县，野战中也早已损耗了不少兵马，更致士气蹉跌。由此晋军又顺利攻克了怀县，山阳赵军出城来救，被关中军半道拦截，轻松击溃。
怀县失守的同时，州县的败报终于传至荥阳境内，石勒不禁仰天长叹道：“此天欲亡我乎？！”随即苦笑道：“非干老天事，我既然豪赌，自当承受败局……”当即号令三军，说如今进也是死，退也是死，不如迎敌而死，尚可留千古忠烈之名“卿等随朕，直上成皋关去！”就打算身先士卒，向关上发起冲锋。
诸将全都傻了，就目前这种形势，谁上去谁死啊，活着退下来的机率实在太低了，即便天王您有百神呵护，终究箭矢不长眼，滚木更是一扫一大片……赶紧把石勒给死死拽住。跟随前来的孔苌更是跪伏身前，磕头苦谏。
孔苌说了：“我军虽受挫，祖逖在荥阳，其力亦疲，此时急退，犹有生路。若能将十万之众，退回河北，封堵李矩等东出之路，复召将军、支屈六来，恃大河、太行之险，必能与晋寇拮抗数载。数载之后，形势或有变化，譬如太傅所言，裴该或谋篡僭，裴、祖或起龃龉，我赵复振有望。陛下在，赵不会亡，若陛下求死，其奈诸将何？！”