汉王在途中遇到他的嫡长子后来的孝惠帝刘盈和长女鲁元公主，就用车载着他们一起走。楚军骑兵疾追过来，汉王慌急，把两个孩子推下车去。滕公夏侯婴任掌管车马的太仆，他总要下车把两个孩子收载起来，这样做了三次，于是滕公说道：“现在尽管情势紧急，车子也不可赶得太快，怎么能抛下孩子啊！”所以就慢慢地行走。汉王很是恼火，有十多次想杀掉滕公。这样，滕公终于保护着两个孩子脱离了险境。审食其随太公、吕后从小路寻找汉王，没遇见汉王，反而碰上了楚军。楚军就将他们一起带回，项羽便经常把他们安置在军营中作人质。
此时，吕后的哥哥周吕侯为汉王领兵驻在下邑，汉王即走小路去投奔他，逐渐地收集到属下一些溃散的士兵。诸侯王于是又都背叛了汉王，重新去亲附楚王。塞王司马欣、翟王董翳也逃亡降楚。
田横进攻田假，田假逃到楚国。楚国杀掉了田假，田横于是重又平定了三齐的土地。
汉王问群臣说：“我想舍弃函谷关以东地区作为封赏，你们看有谁可以与我共同建功立业呀？”张良道：“九江王黥布，是楚国的一员猛将，他同项王之间有些隔阂；另外彭越正联合齐王田荣在梁地起兵反楚。这两个人可以立即使用。再就是汉王您的将领中，唯有韩信可以托付大事，独当一面。如果您要把关东的地方作为赏地，赏给这三个人，楚国即可以打败了！”
当初，项羽攻打齐国时，曾征调九江国的兵力，九江王黥布以生病为借口不亲自前往，而是派将领率军几千人去跟随项羽。汉军攻破楚国彭城时，黥布又托病不去援助楚军。楚王项羽因此非常怨恨黥布，多次派使者去责备他，并要召见他。黥布愈加害怕，不敢前往。项羽因正在为北方齐、赵两国和西面汉国的反楚势力担忧，而能够亲附的只有黥布一人，且又器重他的才能，打算亲近他加以重用，所以才没有攻打他。
汉王从下邑转移到砀地驻扎，随后到了虞，对身边的随行官员说：“像你们这样的人，没有够得上可以共商天下大事的！”谒者随何进言道：“不知陛下指的是什么？”汉王说：“有谁能为我出使九江王那里，让他起兵叛楚？只须把项羽拖住几个月，我夺取天下就十分有把握了。”随何便道：“我请求出使！”汉王就派他带领二十个人一同前往。
