祖逖原本出身于西晋末年的北方大族，后来家道中落。在当时的乱世之中，祖逖带了几百乡亲来到淮河流域一带。在逃难的过程中，祖逖主动把自己的车马让给老弱有病的人，把自己的粮食、衣服也分给大家。乡亲们都十分敬重他。

　　不久，逃难的人群来到了泗口(今江苏靖江北)。这时，祖逖手下已经聚集了一批壮士。他们都是背井离乡的人。大家眼看着自己的家园被外族侵占，都很愤恨，见祖逖是一个胸怀大志的人，就推选祖逖做了首领，希望祖逖带领他们早日打回家乡去。

　　当时，司马睿还没有即位做皇帝，祖逖曾劝说他领兵收复失地，司马睿当时并没有收复中原的打算，但听祖逖说得慷慨激昂，也不好推辞，就勉强答应了祖逖的请求，并派他做豫州(今河南东部和安徽北部)刺史，拨给他一千个人吃的粮食和三千匹布，但不给他战衣和兵器，还让他自己想办法集结士兵。

　　祖逖带着随同他一起来的几百乡亲，组成一支队伍，横渡长江。船到江心的时候，祖逖拿着船桨，在船舷边拍打，向大家发誓说：“我祖逖如果不能扫平占领中原的敌人，绝不再过这条大江!”他激昂的声调和豪壮的气概，使随行的壮士个个感动，人人激奋。

　　到了淮阴，祖逖停了下来，一面制造兵器，一面招兵买马，等到聚集了两千多人马后，才向北进发。当时，长江以北的不少豪强地主，趁中原大乱的机会，占据堡坞，互相争夺。祖逖说服他们停止内争，随他一起北伐，祖逖的威望越来越高。

　　祖逖的军队一路上得到人民的支持，迅速收复了许多失地。后来，祖逖收复了黄河以南的大部分领土，许多敌军也陆续向祖逖投降。晋元帝即位后，觉得祖逖功劳太大，于是封他为镇西将军以节制其权力。