刘伯温嫉恶如仇，法律严明，最后却因后怕而去。
制定严法
刘伯温的性情刚烈，嫉恶如仇，尤其痛恨非法之事，只要被他抓住了，无论是谁都决不放过，因此经常与他人发生冲突，也因此得罪了不少人。
刘伯温认为宋元几朝的最终崩溃，其原因都在于法制废弛，刑狱过宽，世人没有畏惧之心，以致最终酿成天下大乱的局面。所以，他建议朱元璋，在建国之初就应该建立起严密的法律制度，并且要严格执行，这样才能使朝政振作，官民一心，都不敢为非作乱，在这个基础之上，才能谈到对百姓施行仁政的问题。他的说法很接近法家的学说，主张以严刑治国，使臣民畏惧听从。这在建国之初局势还没有稳定下来的时候是有一定的合理性的，只有百姓迅速安定下来，才有可能谈到休养生息或是国家建设的问题。从历史的发展表明，他的这个意见受到了朱元璋的大力赞同，他命刘伯温等文人制定了完备的法律，并多次亲自厘定，在以后数十年的皇帝生活中也是毫不犹豫的身体力行着。
严格执法
在具体的执法问题上，刘伯温总是保持着一种刚正严肃的作风，也要求他手下的官员都要如此做，作为国家耳目的御史，纠察百官时必须要铁面无私，无所畏惧，只以朝廷纲纪为准绳，只以事实根据为凭证。遇到有官吏犯了法，他就马上收捕，加以无情的惩治。正因为他的铁面无私，执法时的六亲不认，当时朝中的官员、侍卫、内官无不惧怕他的威严，力求行事正经，就怕被刘伯温抓到了错处。
当时中书省有个官员叫李彬，他利用手中的权力贪污受贿，违反了国家的法纪，按照律令应该被处以重刑。但是这个李彬很受宰相李善长的信任和喜爱，李善长知道他犯了法被人揭发，很怕刘伯温对他不利，就亲自去找刘伯温求情，希望刘伯温放过李彬这一次。但是刘伯温一向嫉恶如仇，又怎么肯徇私情而放了他呢？他不假思索地拒绝了李善长的请求，还马上派人去向此时正在外地巡视的朱元璋报告，要求尽快处理李彬这个案子。朱元璋也和刘伯温一样憎恨贪官污吏，见到报告，立刻就批准了刘伯温的请求。
当时正值金陵一带大旱，因为皇帝不在城中，所以就由李善长主持搭建了一个高台作为祈雨之用。朱元璋的文书到后，他知道李彬就要被处决，想以祈雨之时不能杀生作为借口，尽量拖延李彬被处死的时间，再另寻解救他的办法。刘伯温却是毫不动摇，坚持要立刻处决李彬，并且说正是因为有了李彬这样为非作歹的人在，老天爷因此很愤怒，才以干旱作为惩罚人们的手段，所以只有立刻就杀了李彬，才能消解上天的不满，才能祈得降雨。
如此一说，使李善长再也没有什么话可以回答。刘伯温见他不再出言反对，就立刻命令手下把李彬推到祈雨的高台之上，当着众多围观的百姓宣布了李彬的罪状，并且命人将他就地斩首，这一下，台下的百姓都拍手称快，纷纷叫好。
后怕而去
李善长因为这件事，对刘伯温恨之入骨。本来刘伯温所显示出的聪明才智已经让他非常忌惮，朱元璋很信任刘伯温，常常与刘伯温单独在密室里长谈，谈话的内容从没有人知道，所以他总是担心有一天刘伯温会抢了自己手中握着的大权。通过李彬这件事，他更觉得非尽快除掉刘伯温不可。朱元璋一回到京城，他就马上去告状，说刘伯温在祭神之日杀人，是对上天的不敬，触怒了神灵，因此到现在还没有下雨。其他一些吃过刘伯温亏而嫉恨他的人也纷纷趁机落井下石，在朱元璋的面前说刘伯温的坏话。
朱元璋一听果然不太高兴，就找来刘伯温询问此事。刘伯温也知道皇帝现在正宠信李善长，必定会对自己产生不满，他对这件事的解释是因为那个地方有数万士兵家属居住，因此阴气汇集造成不下雨，只要解决这个问题就会有降雨的。朱元璋采纳了他的意见，不知是否真是刘伯温的神机妙算，还是因为他精通天文，早已算出会有降雨，不久果真大降大雨，朱元璋才转怒为喜。
虽然过了这一关，刘伯温明白只要自己在朝中，还是会有许多奸诈小人设法陷害，这次虽然平安过关，但是难免早晚会触怒皇帝而招来杀身之祸。正巧这时他的妻子去世了，他就以自己哀伤过度、精力衰竭为借口，请求辞官回乡养老。
朱元璋亲自颁布一道诏书，表彰他的功绩，并赏赐了他很多东西，允许他辞官回乡，并派专人护送他离去。刘伯温谢绝了皇帝的一切封赏，孑然一身的离去了。