这件事，秦王也认识到吕不韦的门客只是为吕不韦服务的，唯吕不韦之命是从，根本没有把他这个秦王放在眼中。从此刻开始秦王把吕不韦的门客也视为敌对势力。
吕不韦眼见无法起复，便暂时回到了封地洛阳。仰慕他的人也不远万里前往拜会，虽然吕不韦被罢官，相比以前，吕府门前却更加热闹！
东方各诸侯国得到秦王亲政处死嫪毐，罢黜吕不韦的消息，反应各不相同。
齐王、赵王、韩王都认为秦王处事果敢，因此都派出使者来庆祝秦王亲政，这是亲政后第一件让秦王感到有面子的事情，秦王甚为高兴，摆酒设筵款待！
楚王和魏王却觉得秦王嫉贤妒能，竟然罢黜了具有栋梁之才的吕不韦，心道，如此人才，你秦国不用，我们来用！于是争相派出使者邀请吕不韦到本国为相！唯恐被他人捷足先登了。吕不韦对此也十分得意，热情的招待了使者，每日与宾客宴饮。
吕不韦并没有认识到这诸侯国派来的使者分明就是催命鬼！
不仅如此，吕不韦还有大量的门生故吏在咸阳为官，他对咸阳的动态也了如指掌，仍然有很多人都跑来向他求官，他也总会热情的指点。
这一切当然都逃不过秦王的眼睛，在秦王看来，吕不韦已经成为秦国的一大威胁，一旦他东去六国为相，那秦国的很多机密将不再是秘密。秦王自始至终都在派人暗中观察吕不韦和他的门客，如今的情形让秦王更加担忧，无论是吕不韦去六国为相还是谋反，都对秦国极为不利。
此时李斯也得到了吕不韦在洛阳受到六国邀请的消息，便拜见秦王道：“吕不韦居住洛阳，与六国相邻，一旦有变我们将无法应变。”李斯是指吕不韦可能会与六国合伙谋秦。
秦王亦是万分担忧，道：“以卿之见，当如何处置？”
“不若迁至蜀地，以绝诸侯之念！”
秦王认为可行，便赐给吕不韦一封信，信中写道：“你对秦国有什么功劳？秦国把你封在河南，食邑十万户；你跟秦国有什么亲戚？竟然被称为仲父！不觉得羞耻吗？你还是跟家人一起迁到蜀地去吧！”
吕不韦接到诏书，万念俱灰，他现在才明白秦王对自己的恐惧和愤怒已经到了如此地步，甚至超过了刚被处死的嫪毐，他害怕迁到蜀地后会进一步遭到贬黜，最后像嫪毐一样被诛三族，他思索良久，决定自杀，以求保全家人。当晚他便喝下酖酒自杀而死。
由于吕不韦是自杀而死，因此无法举行国葬，他的门客便收敛了他的
…。。