魏相当宰相后肩负了治国重任，不能不忧虑霍家的权势和霸道。他早就听说霍家子孙身居高位但狂傲奢侈、放纵不羁，已经引起了朝廷上下的强烈议论。这不仅不利于国家，也威胁着他的相位。于是上密奏说：“以前大将军因为辅佐先帝和陛下，安定刘家江山有功，先帝和陛下已经给了他最大的权力和最高的荣誉。可是对他们的子孙不可这样。我听说鲁国季友，晋国赵衰，齐国田完都有功于朝廷。鲁王、晋王、齐王不仅对他们的功劳有回报，而且对他们的子孙也给了很大的权力。可是结果如何？季家在鲁国世代专权，赵家瓜分晋国，田家夺取齐国政权。孔子在《春秋》中说，臣僚的世袭制度是国家祸乱的一个重要原因。如今，霍家既然有三位侯爵封号，就不要再给他们政府的职务。”
刘询没有听取魏相的意见，一直认为他应该以高官厚禄报答大将军的拥立之恩。
霍家的蛮横霸道不幸被魏相言中，而且偏偏发生在他们将相两家之间。
隆冬腊月下了一场厚厚的大雪，京城内外的道路冰封雪盖。此时，有两辆马车分别从狭窄的官道两头迎面驰来。一辆是三马驾着的拉水车，一辆是绿罩盖顶的官用轿车。轿车夫远远就喊着：“喂……我们有急事请让开路。”对面拉水车的车夫也喊着：“我们是霍家的车，请你们早点退回去。”轿车上的人又喊着：“我们是宰相府的，请让开路！”拉水车毫不退让，直冲过来。轿车急忙刹住，在雪地上划出一道雪痕，两辆车险些撞在一起。从相府轿车上下来一个年轻官吏，宰相府车夫介绍说：“这位是相府的长史。”同时，从拉水车上也下来一个人，冷眉横眼地打量着年轻官吏，轻蔑地问：“什么？你是相府的长史？”接着哈哈大笑起来：“自杨敞宰相吓死以后，皇上就再也没有任命过一个宰相，既然没有宰相，也就没有相府，没有相府，何来你这个相府长史。我看你们都是冒牌驴，如果知趣的话就早点让开路，免得老爷我动手伤人。
”相府长史说：“我们的确是相府的人，的确是去接相爷的。你是何人？”拉水车夫狐假虎威，拉着长腔说：“连大将军府的王总管你都不认识，狗眼长到屁股上了。”轿车夫说：“你怎么骂人？”王总管鼻子哼了一声说：“骂人，再不让开我还要打人呢！”轿车夫说：“你敢打相府的人？狗胆不小啊！”王总管问：“你一口一个相府、一口一个相爷，这相爷到底是谁？”长史说：“就是魏相。”“魏相？”王总管又哈哈笑起来：“我知道这个人，他姓魏叫相，可不是宰相，只不过是个御史。”相府长史息事宁人地说：“我们也不是拿相爷压人，确实是急着去接相爷的，求大管家高抬贵手，让我们先过去吧！”王总管“嘿嘿”地冷笑着说：“说得轻巧。别说你们是去接相爷的，就是去接皇帝老子我也不让路。”说着把手一挥，霍家车夫挥鞭策马要冲过去。相府的车夫也不示弱，策鞭催马冲过来。在梢马几乎相撞时，车夫们又刹住了车，两辆车僵持在那里。
相府长史知道霍家的威势，命令车夫让开路。车夫也不愿这样僵持下去耽误时间。可是，路面狭窄，又无处可退，再看看霍家车辆后边不远处有一块宽阔的路面，用商量的口气说：“你们后边好退，还是让我们过去吧。我们的事情的确很紧急。”王总管抱着肩歪着头说：“我们拉的是皇后赐给诰命夫人的御用水，耽误了诰命夫人吃水你们担得起吗？”相府车夫说：“耽误了时间，宰相会怪罪我们的。”王总管说：“宰相怪罪不怪罪我管不着，我只知道耽误了诰命夫人用水是要挨板子的。说，你们到底让不让路？”说着挽起袖子对随从吼道：“把他们的车推过去。
”相府车夫身子一横，扎起打架的姿势说：“你敢？”王总管说：“你看我敢不敢，上！”霍家拉水车上的三个家丁和车夫一拥而上，抓住相府的马车向路旁推去。路基下面是一个冰封雪盖的死水塘，相府的轿车被推翻，滚下了路基，砸破了冰层跌进了水塘里，驾车的两匹马嘶叫着在水塘里挣扎。相府车夫大怒，抡起长鞭向霍府的拉水车抽去。拉车的梢马和辕马一惊，拉着车向前跑去。“吁，吁……”霍家车夫喊着，越喊马跑得越快，车轮撞在一块大石上，拉水车栽倒在路边，水桶被一块尖石扎破，水从桶里喷流出来。霍家家丁哪受得了这个气，一齐扑过来将长史和车夫按倒在地，拳打脚踢。长史和车夫被打得鼻口出血，倒在地上昏了过去。王总管还不罢休，挥着拳头说：“打到御史府去！”
他们来到魏相府外才发现门楣上新刻着“魏宰相府”四个蓝底金字，这才相信魏相真的当上了宰相。一个家丁鼓动说：“管他是魏宰相、王宰相、李宰相，我们霍家还怕他们不成。”其他家丁也附和着：“对，休管他是什么宰相不宰相，打进去再说。”王总管在众人的怂恿下把手一挥说：“上！”家丁们跑上台阶，砸着相府的门。
相府里传出院公的问话：“谁在府外张狂？”
“我们是霍家的人，快开门。”霍家家丁一齐喊着。院公开了门，王总管一把推倒院公，冲了进去。宰相夫人从客厅里走出来，站在台阶上问：“你们是什么人，有话慢慢说。”王总管问：“你是宰相夫人吗？”宰相夫人说：“是，有话你们跟我说。”王总管说：“你们家长史把皇后娘娘赐予诰命夫人的水桶打烂了，诰命夫人在家里急等着用水，你说让我们回去怎么交差。”宰相夫人不相信地摇着头：“不会吧，我家长史一向温良恭俭，别说是给诰命夫人拉运的御用水桶，就是平民百姓的水桶他也不敢动一指头。”王总管看宰相夫人包庇自家的长史更加气愤，指着宰相夫人的脸说：“告诉你，他们敢打破霍家的御用水桶，我们就敢把相府砸个稀巴烂。”回头对家丁命令：“打，砸！”家丁们蜂拥而上，抓起相府客厅里的摆设乱砸乱摔。宰相夫人大喊起来：“来人呀，我家来强盗了。”相府的十几个家奴从后院跑出来。王总管好汉不吃眼前亏，喊了声：“撤！”家丁们跟着逃走了。宰相夫人用拐杖指着远去的霍家家人大骂着：“好你个霍家的奴才，你们不得好死！”
这件事被魏相告到了廷尉那里。廷尉也惧怕霍家，最后不了了之。魏相从此对霍家有了怨恨。