对象就是自己；第二，卢绾已经贵为燕王，连萧何、曹参、周勃等人都不能跟他比，这么高的地位谁不想一直拥有？正因为他对刘邦的心思琢磨不透，所以就动了自己的心思。
很显然，两人之间的关系已经发生了改变，患难之交淡化了，君臣大义增强了，两人身边又都聚集了很多幕僚。因此，刘邦和卢绾的关系已经不再是单纯的两个人的关系了，而变成了两个利益集团之间的关系。所以，彼此之间也开始变得不像以前那样相互信任了。
世上没有不透风的墙，陈豨被周勃斩杀后，其副将降汉，这位降将为了给刘邦纳投名状，便把他所知道的那些关于陈豨、卢绾和匈奴之间的龌龊事全部倒了出来。这把刘邦惊到了，我最好的兄弟居然背着我搞这种居心不良的小动作！惊得刘邦都怀疑人生了。
为了验证真伪，刘邦故意派使臣去召卢绾进京，结果卢绾称病不去。这样一来，刘邦心中基本上明白怎么回事了，但为了不冤枉自己的好兄弟，刘邦再次派辟阳侯审食其、御史大夫赵尧去召卢绾，并借机调查他的部下。
卢绾得知情况后，内心充满恐惧，一来这事确实是自己对不住大哥，二来是自己的拳头也确实没有大哥硬。于是，干脆闭门谢客，以逃避的方式来应付。
私下里为了让自己心安和解释自己的不厚道，他对亲信们说：“现在的异姓王只有我和吴芮了，去年春天朝廷灭了韩信，夏天又诛杀了彭越，这都出自吕后的计谋。现在皇上生病，政事都掌握在吕后手里，这个娘们可不是好人，逮到机会就要对诸侯王和功臣下手，我这么做也是没办法，兄弟是亲兄弟，嫂子却不一定是亲嫂子啊。”
一见卢绾还是以生病为借口就是不听召唤，卢绾的很多下属都觉得大祸临头了，便逃跑躲藏起来。
另一方面，任务在身的审食其通过多方打听，也了解了主要实际情况，便回去详细向刘邦做汇报。
心里很受伤的刘邦更加生气了，再加上刘邦又从匈奴投降的人那里听到了张胜在匈奴为燕使者的消息，终于接受了现实：“卢绾果然造反了！”
前195年2月，刘邦以樊哙为将军率军击燕。经过卢绾这么一刺激，刘邦心里更加不相信任何人了，包括他的老兄弟兼连襟樊哙。所以，后来又让周勃去取代樊哙了，并打算弄死樊哙。
卢绾带着全体部下、家属以及数千骑兵驻扎在长城边上，想等刘邦的病情好转一些再入朝解释。《史记》记载：【使樊哙击燕。燕王绾悉将其宫人家属骑数千居长城下，
…。。