刘伯温的刚正不阿，一身正气，赢得了百姓的赞誉。
他在任官的五年内，处理地方事务的原则是“严而有惠爱”，能体恤民情，但不宽宥违法的行为；对于发奸摘伏，更是不避强权。因此受到当地百姓的爱戴，但因为他的正直，地方豪绅对他恨之入骨，总想找事端陷害他，幸得长官及部属信任他的为人，才免于祸患。
刘伯温看到官场的腐败后，当下辞官返回青田。
至正三年，公元1343年，朝廷征召他出任江浙儒副提举，兼任行省考试官。后来因检举监察御史职，得不到朝中大臣的支持，还给他许多责难，他只好上书辞职。
至正六年，公元1346年，刘伯温接受好友欧阳苏的邀请，与欧阳苏一同来到丹徒，在距欧阳苏家附近的蛟溪书屋住下，过了一段半隐居的生活。他以教授村里中的子弟读书来维持生活，偶尔和月忽难、陶凯等好友时相往还。
至正八年，公元1348年，刘伯温结束在丹徒约两年的半隐居生活，再度投入人群。他来到杭州居住，他的夫人为他生下一个儿子，即刘琏。
他在杭州的四年当中，和竹川上人、照玄上人等方外之士时相往来，也和刘显仁、郑士亭、熊文彦、月忽难等文士诗文相和。
