刘伯温是被胡惟庸给害死的，当时胡惟庸只是一只替罪羊罢了，幕后的黑手可能是朱元璋，因为朱元璋当时把胡惟庸给定罪了，罪名是毒害刘伯温，朱元璋这样做是想洗清自己。所以事实的真相到底是怎样的，我们也无从知晓了。
刘伯温当时因为要杀李彬，所以就得罪了李善长，李善长和当时领导的淮西集团就把京城一直不下雨的责任推给了刘伯温，他们一直给皇帝上书要弹劾刘伯温。刘伯温见此状，就赶紧主动请辞，打算回到老家，隐姓埋名了。
刘伯温回到老家之后，就隐姓埋名，从不打听国家大事，一些当地的官员听说刘伯温回来了，就纷纷想要见刘伯温一面，但是刘伯温没有见任何人。据说有一次，青田县的就上山求见刘伯温，刘伯温也是一点面子都不给。当时知县觉得自己一定要见上刘伯温一面，于是就打扮成了老百姓的样子，第二次上山求见刘伯温。
当时的刘伯温正在屋里洗着脚，听说门外求见的是老百姓，于是就让自己的侄子把人带到了屋里。进到屋的知县大人，就表明了自己的身份，说道“我是青田县的知县，今天能见到大人十分荣幸啊。”刘伯温一听来的人是知县，于是就赶紧起身，对着知县大人行礼，等行完礼之后，刘伯温就再也不出来见知县大人了。
为什么当时刘伯温如此的害怕见一些官员呢?有人猜测，因为刘伯温是一个做事很小心谨慎的人，所以他自己知道，即便是自己退出朝堂了，胡惟庸等人也不会放过自己。他们肯定会派一些人来打听自己的住处，并且偷偷暗杀刘伯温。如果刘伯温与一些官员见面的话，那么一些官员可能会陷害自己，那个时候刘伯温和朱元璋的关系已经不如从前那么好了。如果有很多人在朱元璋面前说他的坏话，那么朱元璋很可能就会听信他们的谗言，以至于会处死自己。所以刘伯温在回老家之后，就一直过得很低调，不参与政事，不打听也不过问。
