海瑞固然是以清正廉洁而闻名于世，但是与此同时，他也以古怪孤僻而著名。
双面的青天
当海瑞死去时，百姓为他痛哭流涕，不过也有人兴高采烈，许多士人都纷纷庆幸这个“偏执”、“疯癫”、“爱管闲事”的南海狂人终于死去。然而，就是在骂他的人中，也有人暗暗佩服他，例如当时的大地主何良俊，与海瑞势不两立，但是他也不得不承认海瑞是“铮铮一汉子”。海瑞作为清官，似乎已经盖棺定论，但是看看有关史料的记载，却又能发现一些海瑞不为人知的事情。比如，他性喜易妻纳妾，引起了当时不少士人的批评与不满。据说海瑞罢官在家的十几年中，曾经九次娶妻，并且毫无理由地更换正妻。所以有人批评他说“此老大概好异，做事多不近人情”。
在海瑞的一生中，确实有多次频繁娶妻纳妾的记录，先后被他收为妻妾的就有王氏、潘氏、许氏、丘氏、韩氏等人。他在六十多岁的时候还娶了两个年轻貌美的小妾，以至于引起妻妾不和，造成了二人同日自缢的家庭悲剧。他休妻也没有什么特别的理由，往往只是因为一语不和，或是一事之失，就会毫不留情地把妻子赶出家门。像他的妻子潘氏、许氏二人，被休回家，却竟然不知自己为何原因被休。
饿死女儿
又有记载说他为人残忍冷酷，活活饿死自己的幼女。这件事是说，海瑞有一个五岁大的女儿，有一天她肚子饿了，正拿着童仆给的东西吃，不巧正好被海瑞撞见了，海瑞就厉声责问她食物从何而来，女儿回答说是童仆给的，海瑞就发怒了，责怪女儿不应该接受别人给的东西，辱没了自己的身份地位。并且命令女儿，只有把自己饿死，才能证明她不愧是海瑞的女儿。
小女孩儿真的拒绝了家人送来的食物，一连饿了七天，活活把自己饿死了，而这时候的海瑞仍是无动于衷。试问一个五岁大的孩子，肚子饿了找东西吃，接受了童仆送来的吃食，又有什么不可以的呢？自己的孩子被饿七天丧命，作父亲的海瑞竟然无动于衷，这实在是有些太过于不近人情了。难怪明代有的人说，海瑞尽管娶了这么多妻子，却没有生下一个儿子，只有这一个女儿，又被他饿死了，也许这正是天道的报应吧！他的一生，基本上没有过正常的家庭生活，临死时身边一个亲人也没有，孤孤单单地离开了人世，这不能不说是因为他异于常人的个性原因造成的吧？
人非完人
再如，海瑞要求别人行事不要铺张，而自己出行却又讲究排场，又极为喜欢以圣人自居，很容易就让人产生反感。还有，海瑞在处理案件时刚愎自用，只是按照自己的感觉断案，而往往不管事实真相如何。虽然大多数时候他偏向普通老百姓是正确的，但是也不乏被刁民欺骗利用之事。
不可否认，海瑞在执法时是铁面无私的，可是行事却又太过迂腐刻板。户部司农何以尚是海瑞的好朋友，曾经因为替海瑞说话而受过重刑，两人因此结成莫逆之交。可是海瑞复出就任南京吏部右侍郎时，何以尚以下属的身份去见海瑞，他却摆起了上官的架子，自己高坐在主位上，而让何以尚坐在角落里。何以尚非常生气，他说，若是单以官位来讲，这也没什么。但是，两人是好友，难道海瑞就不能以客人之礼待他吗？海瑞对他的抗议仍然不发一言，还是一副冷硬的面孔，不加理睬，最后两人不欢而散。这件事传到京城中，大家也都对海瑞十分不满，认为他寡情少义，恩将仇报。这虽是一件小事，却也不难看出海瑞的行事为人尚有待议之处。
这些材料是否属实，许多人都曾经提出过怀疑。海瑞刚正不阿，敢说敢干，这是不容争辩的事实。但是，他不大讲究工作方法，有时操之过急，有时又不切实际，当时得罪了不少人，受到许多攻击和诋毁，连著名的政治家张居正也因为担心他说话太直易坏事，而把他闲置起来，坐了十几年的冷板凳。其实，这些事情若是真实的，到也并非全无道理。那只是因为海瑞过于刚直、宁折不弯的性格造成的，他待己以苛，同样也待人以苛，恨不得全天下的人都和他能一样成为道德的典范，成为伦理的圣人，而不管别人的想法如何，是否能够作得到。他并不认为这样做有过火之嫌，他坚信着“矫枉必须过直”，否则就不能矫正不良风气。这样一来，他的一切行为都有了一个合理的解释。