司马睿使王导亲自去招顾、贺，二人应命来见，分别任命为军司马和吴国内史。司马睿有一次对顾荣说：“寄人国土，时常怀惭。”荣跪对说：“王者以天下为家，殷商从耿迁毫，东周由镐及洛，古来如此，愿陛下勿以迁都为念。”从两人的问答语中可以窥知，双方已有某些合作的默契。从此，南方士族归附，成为未来东晋政权的一个构成部分。
司马睿得到情况说石勒准备南攻，急忙整兵，以纪瞻为都督，带重兵镇守寿春。
到了永嘉六年春季，江淮发了水灾，大雨下个不停。石勒的军营全部被水淹，粮食都长了毛，后勤运输也极为不便。石勒军中断了粮，并且瘟疫流行，有一大半士卒都得了病，很多人病死。这时晋军趁势来袭，右长史刁膺劝石勒向晋朝请降，请晋军退兵。石勒手下大将都是久经战阵的人，一齐斥责刁膺，向石勒请战。大将孔苌道：“我们没有粮可以抢晋军的粮，我们的地方被淹可以占晋军的城。只要将军下令，不出半年，必破晋军。”
石勒问张宾该怎么办，张宾道：“您攻陷了洛阳，把晋朝的天子捉到平阳去，把晋朝王公都杀死，把晋朝皇帝的后宫妃子全部掠走。您对晋朝来说，就是拔光头发，也不足以数清您的罪过啊。您怎么能够去投降晋朝呢？其实您本就不该来此，而现在的气候更不能让咱们在此久留，我看还是回河北吧。河北的邺城本就不错，何必要来江东争地呢？将军依据河北，一统北方之后，不但江东，天下迟早都是您的。”
石勒道：“我何尝不想北退呢？可是我若撤军，晋军必会追击，我该怎么办？”
张宾道：“将军可先派人押着辎重向北，再派一大将率军向寿春佯攻。等辎重北撤之后，再带轻兵北还。寿春晋军必不敢追击。”
石勒听后连称佩服，反过来责备刁膺道：“你作为我的谋士，应当助我共成大业，怎么可以动不动就劝我投降？本来我当将你斩首立威，但我知道你本来就是个胆小之徒，这回饶过你。”遂尊张宾为“右侯”，由张宾率辎重先行北退。又以孔苌为前锋，率两千精骑兵杀向寿春，扬言进攻寿春。
纪瞻先令城外居民全部搬到城内，又命人将五十船粮草停在港口，每船只派两名士兵守着，告诉他们，如果对方来抢，你们只管逃就是了，不要和他们争。又命令祖逖和桓彝埋伏一千人守在港口，准备伏击对方。
孔苌来到港口，见了许多粮船便上前去抢。晋兵跳水逃走，孔苌派兵上船，准备把粮船运回。哪里知道船上既没有竹篙也没有船桨。孔苌到这个时候仍然没有明白过来，竟然命令所有的将士一齐下马，将粮草搬运上岸，放在马背上，欲从陆路运回去。正在忙乱着搬运东西时，祖逖、桓彝各率晋兵两路杀来。孔苌的军队，有的马上驮着粮草，有的正在搬运粮草，兵器扔了一地，根本没有防备，一下子便被冲乱。接着纪瞻率大队军马赶到，孔苌几乎全军覆没。幸而石勒及时赶到，才救下孔苌。纪瞻不知虚实，退回寿春。石勒也无心恋战，也退兵结营。
这时张宾已经走远，石勒于是带兵北行。晋军见石勒不带辎重，也不敢追赶，石勒得以从容北去。然而石勒所到之处，所有的粮食都被收割光了，村庄里的人则全部跑到城里去了。石勒的军队来到河南后，这里又是历年征战之地，更是没有人烟。石勒的军队实在是饿得没有办法，先是杀马而食，最后竟然杀掉伤兵弱兵作为食物。一直挨到黄河南岸。有汲郡人向冰聚众数千为匪，将黄河南岸的所有船只收走。石勒的大军无法渡河。石勒先派鲜于丰去攻打向冰。向冰虽是地方土匪，却十分勇猛，竟然把鲜于丰给打败了。石勒亲自带兵上阵，才把向冰的营垒攻破。这一仗收获颇丰，不仅夺得了渡河的船只，还从向冰的老巢中搜出大批的粮食。石勒军心大振，挥师渡过黄河，直奔自己原来的根据地邺城。
石勒出倾国之兵先取河南，再下江东，在河北留下来的守城士兵很少。石勒本以为北方除了汉主刘聪，再没人敢招惹他，也没人有这个能力和他较量，所以才敢以倾国之兵南下。可偏偏就有一个人不信邪，这个人不是别人，正是当年带了五百兵丁来晋阳，竟然在刘聪的地盘内扎下根来，固守晋阳多年的刘琨。
刘聪之所以不去打眼皮底下的刘琨，是因为他知道刘琨并不好惹，要拔去晋阳这根钉子得费点工夫，但刘琨兵力不强，守有余，攻不足，所以刘聪也不着急先灭他，而是一直致力于去攻取洛阳、长安等晋地。当然，其中他也有一次派兵去试攻过晋阳，结果手下大将刘虎，被打得大败，全军覆没，刘虎一路西逃，直逃过黄河到了陕西才敢停步。
刘琨又与北方新兴起的拓跋鲜卑族结为联盟，与该族的首领拓跋猗卢结为兄弟。两者联兵扫掠晋北。结果猗卢占领相当于今天大同、朔州的地盘，刘琨占领相当于今天忻州、太原、吕梁、晋中、阳泉等地，基本上瓜分了山西的中部和北部地区。猗卢即由云中进入雁门，部落越发兴盛。刘琨也趁这个机会发展起来，势力渐强。他见石勒南下，便派刘舆的儿子刘演夺了河北邺城，刘舆也是刘琨的哥哥，当年接手了范阳王司马虓的邺城，缢死司马颖。现在刘演重占邺城，也算是物归原主了。除了邺城，刘琨的势力一直达到山东西部，一时成为北方的诸强之一。
石勒见邺城已失，便要猛攻。张宾说，邺城易守难攻，刘演也有上万兵马，硬攻既消耗兵力也浪费时间。河北这么大，您再找个地方先把兵马歇下再说。自古得地者昌，失地者亡。等您安定军心，休养生息，筹集粮草，发展生产之后，然后再攻天下，立霸业也不迟。
于是石勒在襄国（今河北邢台）立住脚，又攻下被刘琨占去的冀州，在河北算是安定下来。这时刘琨把石勒的母亲给送来了。
石勒早年被卖为奴隶，从那个时候就与他的母亲王氏离散，已经有很多年不见了。刘琨是个有心人，一到了并州，便派人到处查访，终于将王氏找到，然后带到自己的府中，像对待亲生母亲一样侍奉。等石勒回到河北时，刘琨便派人把石勒的母亲送去，并附劝降信一封，希望石勒能“共扶晋室”。
恩情是恩情，事业归事业，一码是一码，石勒当然不会答应，派人给刘琨回送了珍珠宝马，拒绝了刘琨的劝降。刘琨见了石勒的回信，长叹一声道：“这是上天不保佑晋朝啊！”
这时晋朝大约分为四个割据地方。其一为晋阳的刘琨，其二为东北幽州的王浚，其三为长安的皇太子司马邺，其四为江东的琅琊王司马睿，正所谓四分五裂。
其中王浚是个很有野心的人，他得到少帝被刘聪的汉国俘虏的消息，又有许多中原人士投奔到他这里，便自称有人把少帝的密诏也带到了幽州，说是请王浚为尚书令，节制百官，号令天下，说白了就是让他代行皇帝的一切权力。王浚虽无皇帝之名，但有皇帝之权。天下任何人都看得出来，王浚是想代晋自立。
王浚设坛告天，然后任命百官，其制度俨然就是一个小朝廷。经过一番养精蓄锐之后，王浚派段务勿尘的儿子段疾陆眷、段匹、段文鸯及侄子段末柸，挥兵南下，打算先占河北。虽然祁宏当年被张宾射死和段务勿尘病逝，王浚连失两员名将，但段家四兄弟有勇有谋，打仗一点儿也不比父辈差。
石勒令张宾与孔苌守城，亲率诸将迎战，因为见对方将领都是些没经过战阵的年轻娃娃，有些轻敌，第一仗便被段家军杀得大败，段末柸带兵将石勒围住，眼看就要擒获石勒。忽有一员小将冲进来，将石勒救出。这个小将正是石勒大哥的儿子石虎。
真是江山代有才人出；一代新人胜旧人。这场大战，竟成为双方小将表演的战场。
这里多说一句，小将石虎这年一十七岁，因为从小性情暴躁，动不动就伤人杀人，石勒差一点儿就把这个侄儿杀掉。幸而石勒的母亲劝说石勒说这娃子虽然经常搞破坏，但大了一定是一员骁将，石勒才放下杀石虎的心。
石勒在石虎的护送下回到襄国，一回到襄国第一件事情就是封石虎为征虏将军，从此对这个侄儿刮目相看。段家军紧跟其后，兵临城下，猛攻北城门。石勒紧守不出，双方一攻一守打了数日，不分胜负。石勒按照张宾的计策，在北城下偷偷凿了二十多个暗道，每个暗道中藏精骑五百，共藏一万精骑。段军再来攻城时，万余精骑突然冲出，直杀入段家军的军阵。段家军猝不及防，被杀得大败。段末柸被生擒，段疾陆眷领兵败逃，退回渚阳。
段家兄弟情深，段疾陆眷派人带着重礼去和石勒谈判，如果石勒能放还段末柸，他愿意退兵。段文鸯担心私自退兵会被王浚怪罪。段疾陆眷道：“为了兄弟，我也顾不了那么多了。”最终和石勒谈成了条件。石勒多了个心眼，不但不收段疾陆眷送来的重礼，反赠段末柸大笔金银，并和段末柸结为义父和义子的关系。双方握手言欢，各自带兵回去。
这时王浚已经派枣嵩再率数万兵马去增援段疾陆眷，使段疾陆眷回兵再攻石勒。段疾陆眷说：“我已经和石勒签了退兵和约了，下回吧。”王浚屡次催兵，段疾陆眷就是不从。因为段疾陆眷自己也有一批人，占着河北大片地盘，只是名义上受王浚节制，所以王浚也拿他没办法，但二人从此生隙。
石勒认为王浚没了段氏的帮助，势力必然削弱，便打算去攻王浚。张宾道：“王浚和刘演比起来，很明显刘演更弱一些。当年不打刘演，是因为您刚从南方带着疲惫的士兵回来，而且没有扎根的地方。现在时机已经成熟了，您不如攻下邺城，壮大实力之后，然后再北攻不迟。”
张宾说得很有道理，岂有嘴边的肥肉放着不吃，却去和猛兽辛苦争食的道理。�