李义府利用各种手段发展自己的个人势力，因而引起一些朝官的不满。
梦想进入旺门
中书令杜正伦尤其讨厌李义府，便暗地里与中书侍郎李友益商量，设法查清李义府的罪恶活动，然后除掉他。可消息走漏，李义府秘密派人向高宗奏明此事，来个恶人先告状。高宗找来杜正伦与李义府，当面问询原委，二人争辩不休，互相攻击。唐高宗十分生气，各打他们五十大板，接着，杜正伦被贬为横州（今广西横县南）刺史，李义府被贬为普州（今四川安岳县）刺史，李友益被流放到峰州（今越南河内西北）。当时，高宗本想偏袒李义府，但朝中大臣多支持杜正伦，才不得不作了“两责之”的处罚。李义府虽被贬，仍受到武后的袒护，不到一年，便回到京城担任吏部尚书，而杜正伦则扔在一旁无人管。
一日，闲来无事，李义府偶翻贞观时修的《氏族志》，觉得自己的家族未列入志，甚是遗憾。于是，他将此事告诉武后，武后也感到《氏族志》有问题，应该重新修订。于是，由许敬宗、李义府主持重修工作，规定“皇朝得五品官者，皆升士流”。李义府曾多次为其子向魏齐旧姓求婚，但是均未成功。出于个人恩怨，李义府请求武后下诏规定，旧有七姓崔、卢、李、郑、王等望族，不得互为婚姻，并将《氏族志》更名为《姓氏录》。
新修氏族志，对李义府来说，是跻身于名门望族的关键一步。他曾自言本出于赵郡李氏，还常与诸李氏论亲疏远近，一些李姓子弟，也趋炎附势、附和苟同，称他叔祖的不在少数。当李义府贬为普州刺史时，本族给事中李崇德将李义府一支从赵郡李氏族谱中抹去。等李义府官复原职、重为宰相后，李义府毫不客气地加以报复，叫人罗织罪名，将李崇德下狱，迫其自杀。
盘剥百姓，不顾死活
李义府出身自寒微之家，深知民间疾苦，一旦当上官便翻脸不认人，干起盘剥百姓的罪恶勾当。李义府的母亲去世，他在居丧一年后，又复起为司列太常伯、同东西台三品。不久，李义府要改葬他的祖父，墓地选在永康陵的旁边。他这样做的目的一是为了光宗耀祖，装潢门面；二是看看自己的能量到底有多大。他示意附近各县调派丁夫、牛车为他祖父修建陵墓。三原县（今陕西富平县）令李孝节为讨好李义府，私下征集大批丁夫，昼夜不停地劳作。别的县令见了，谁也不敢得罪李义府，均起而效之。高陵县令张敬业为人恭谨，是个老实人，苦于李义府的压力，终日操劳，竟累死在工地上。
这次声势浩大的迁葬活动，有出力的自然也有出物的。自王公以下的各级官员，争先恐后地为他送礼，赠送迁葬所需物品。一时间，赶来迁葬的车马，浩浩荡荡，从灞桥到三原七十多里的道路上，人欢马叫，络绎不绝。高宗还下诏让“御史哭节”，以致“蠕媚刍偶，僭侈不法，人臣送葬之盛典无与伦比者”，成了唐王朝以来王公大臣们从未有过的豪华葬礼。
在李义府居母丧期间，有一个名叫杜元纪的风水先生，说李义府宅第有“狱气”，需要花掉积钱两千万，才可以“厌胜”，除去晦气。李义府信以为真，为了免除牢狱之灾，更加急切地收敛钱财，中饱私囊。
那时，高宗准许李义府初一、十五休假在家哭丧。但李义府并未把哀事放在心上，却利用这个机会换上普通百姓的衣服，与杜元纪悄悄溜到东城，于凌晨登上左塚瞭望风水。此事被人发现，议论纷纷，推测他出来窥视星象，意欲图谋不轨。可李义府置人们议论于不顾，暗里继续敛财赎罪。他派儿子右司议郎李津找到长孙无忌的孙子长孙延，对他说：“我为你可求一官，数日后诏书便可下来。”过了五天，果然授了长孙延司津监的职务，并向他索钱70万。
铜山大贼
李义府的倒行逆施，不能不引起朝臣的义愤和高宗的恼怒。在他大修祖墓而糜费钱财时，武后也委婉地劝他：“你这样不体恤民力，实为自掘坟墓之举，一旦事发，我也无力保你了。”聚敛成性的李义府，却当作耳旁风，仍然一意孤行。右金吾仓曹参军杨行颖向高宗上表，揭发了李义府的种种罪恶。高宗命司空李勣和司刑太常伯刘祥道共同督办此事，经过核查和对李义府本人反复拷问，所犯之罪属实，高宗这样做，是下了一定决心的，因为他的胆大妄为已危及到高宗的统治。高宗下诏将其官爵尽除，并长期流放。他的长子李津，专门倚仗其父权威为非作歹，贿赂无厌，交游非所，潜报机密，也被长期流放振州（今海南崖县西）。次子李洽、三子李洋和女婿柳元贞等人，均被除名，长期流放廷州（今广西天峨东北）。李义府及全家受到应有的惩处，人们弹冠相庆，拍手称快。有人以民间说唱形式写了《河间道行军元帅刘祥道破铜山大贼李义府露布》张贴于大街小巷。所谓“铜山大贼”，是指李义府劫掠铜铁钱财，堆积如山。后遇朝廷大赦，但长期流放的人不在此列。李义府只好呆在寓所，忧愤成疾，死时才53岁。