但到了永徽六年，李义府连这种原地踏步的机会也没了。大概是由于他在工作上犯了一点小错误，对他横竖看不顺眼的长孙无忌便打算将他调到四川壁州担任司马。
得知这个消息，李义府很郁闷。他知道，一旦被调离长安，也许这辈子就没机会再回来了，毕竟自己出身于庶族，在朝中没有一张属于自己的家族网络支撑，而原来的靠山马周早死了。
可是能抗令吗？
说不定长孙无忌就在等他违令，然后干脆将他的官衔全给夺掉。想到这儿，李义府不禁义愤填膺，同时苦苦思索着对策。
忽然，他想到了一个人。这个人叫王德俭，跟李义府一样同为中书舍人，xìng情狡诈且多智。听说这事后，王德俭还真给李义府出了一个主意。而恰恰就是他的这个主意，让李义府的仕途命运转了个弯。
王德俭对李义府说：“皇帝想立武昭仪为皇后，可是一直犹豫未决，因为长孙无忌等权臣觉得有悖伦理，不予支持。如果你现在能上书表示支持皇帝立武昭仪为皇后，很可能就有转祸为福的机会。”
经此点拨，李义府顿时豁然开朗。
果然，唐高宗在收到李义府的那份恳请册封武昭仪为皇后的奏章时，大喜过望。当天，他就与武则天一起召见了李义府，问他为什么支持“废王立武”。
李义府只说了一句：“现在天下百姓都希望陛下立武昭仪为皇后，臣只是顺应民心，说出百姓的心声罢了。”
一直以来苦于得不到支持的唐高宗听了李义府这话，自然高兴不已，又岂能让第一个支持者离开长安？
就这样，唐高宗一高兴，马上把长孙无忌的调令变成了一张废纸。第二天，唐高宗又送给李义府一个好消息一一升他为中书侍郎。
榜样的力量是无穷的，在李义府这个敢于吃螃蟹之人的带动下，原来不敢吱声的大臣也一个个站了出来，请求唐高宗“废王立武”。李治、武则天与长孙无忌的较量由此扭转了局面。
随着武则天地位的稳固，李义府的官位自然水涨船高，与此同时，他也显露出了一些掌权者的坏毛病，变得越来越狂妄，卖。官鬻爵之事也时有发生。
不过由于唐高宗与武则天都还特别需要李义府的支持，所以也就帮着他掩盖，出了事都尽量压下去。到了显庆二年，唐高宗还擢升他为中书令。
不过，李义府此时虽官爵显赫，但庶族的出身一直让他抬不起头来。所以当上宰相后，他最想做的事就是改变自己的出身。
恰好有一个叫李崇德的官员，出身于赵郡李氏，这一支乃是李氏第二大分支，地位仅次于皇族的陇西李氏，为了巴结李义府，便谄媚的把他的名字添到了自己的族谱里。
这样一来，李义府摇身一变，成了赵郡李氏中的一员。当然，他马上投桃报李，将李崇德提拔为五品官员。
此后，真正赵郡李氏里面的一些无赖之徒便纷纷跑到李义府家里与他攀亲。面对这立竿见影的改变，一直受到出身压抑的李义府显得十分得意。
可是好景不长，一个叫杜正伦的官员看不惯李义府的得瑟劲儿，公开跟他叫板。李义府自然不爽，两个人因此较上了劲儿，矛盾越闹越大。到后来，两人居然因一件小事，在唐高宗面前闹得不可开交。杜正伦也是唐高宗一手提拔起来的，为了公平起见，唐高宗干脆各打五十大板，将两人同时贬官。
李义府被贬官后，李崇德立马就将李义府的名字从族谱中除去，以示与他撇清关系。然而后来的事实证明，李崇德确实眼光短浅。还不到一年，武则天出于政治需要，就想办法将李义府召了回来，让他继续当宰相。
返回权力中心后的李义府岂能容忍李崇德这样反复无常的做法？于是随便找了个借口，将他送进了监狱。可李义府依然觉得恶气难消，干脆来个更狠的，“劝”李崇德撞墙。谁知李崇德还真乖乖地撞了，而且撞得一命呜呼。
李崇德莫名其妙地自杀，引起朝廷一片哗然。可是，唐高宗与武则天装作不知此事，依旧对李义府宠信有加。
冒充望门贵族的计划失败了，李义府又想到了一个主意：想方设法帮儿子寻找一个望门贵族出身的媳妇。
想法很美好，现实却很残酷，所有望门贵族竟然没有一个愿意把女儿嫁到李家。
多次遭受打击的李义府从此对望门贵族恨到了极点。显庆四年，耿耿于怀的李义府忽然想到了一个睚眦必报的狠招，于是上书朝廷，希望重新编辑《贞观氏族志》，并更名为《姓氏录》。
《贞观氏族志》编辑于太宗执政初年，其本意是要把血统来一个重新洗牌，淡去一些隋朝老贵族的身影，给庶族一个进阶的机会，最重要的是把自己的李氏地位提高到至高无上的地位。
可是当《贞观氏族志》的初稿呈上来时，太宗傻眼了，他的李姓仍然排在后面。相当生气的太宗马上责令重编，但重编后的结果是，除了将太宗一脉的李姓调到前面外，其他的只是做了一些换汤不换药的文字修改。面对着这种根深蒂固的迂腐，太宗也只好作罢。
正因如此，当接到李义府的这份奏章后，唐高宗与武则天立即欣然同意，并且让李义府做《姓氏录》的主编。
唐高宗之所以支持，想法很直接，就是完成太宗未竟的事，至于武则天的支持，原因其实跟李义府差不多—她也是庶族出身。
《姓氏录》出版后，以“七姓五望”为代表的贵族一片哗然，气得七窍生烟，对李义府可谓切齿痛恨，而新贵们却振臂欢呼，热泪盈眶地感谢着李义府，高呼zhèng fǔ万万岁。
为了进一步打击老牌贵族的气焰，在编辑《姓氏录》的过程中，李义府又上了一道折子，希望通过立法，禁止原来的望门贵族相互通婚。
唐高宗同样也给予批准，这个做法的意图很明显，就是逼这些贵族的少男少女和其他家族的男女通婚，以彻底打破他们高贵的血统。
为了显示zhèng fǔ唯我独尊的新气象，李义府接着又给唐高宗上了一道折子，希望将原来散发在大臣们手中的《贞观氏族志》全部收回。经过这么一系列调整，社会上追捧旧贵族的气氛确实是淡了不少。
由于长期身居宰相高位，且被皇帝、皇后宠着罩着，红得发紫的李义府自然难免行为出格。随着时间的推移，唐高宗对他的一些举动也产生了反感。
有一次唐高宗召来李义府，对他说：“李爱卿，朕最近常听说你家人做事很不谨慎，朕也尽可能替你掩饰，你以后千万要注意点。”
谁知狂妄成xìng的李义府第一反应却是反问唐高宗：“这事是谁告诉陛下的？”
不用说，潜台词就是“回头我一定要好好收拾他”。
唐高宗很不高兴，说：“我是从哪听来的，你就不要管了！”
按常理，唐高宗的话说到这份儿上，李义府至少应该做出一副接受教训的谦虚姿态才对，哪怕是装一下也行，可他却没有这样做，而是完全把唐高宗当成透明人，转身缓步走了。看着李义府的背影，内心相当不爽的唐高宗萌生了处置他的想法。
不过，如果认为唐高宗是因不能容忍李义府的狂妄行为和违法举动才痛下决心的，显然是小看了唐高宗。
其实，与自己的政治利益需要相比，李义府的放纵在唐高宗眼里根本算不上什么。唐高宗之所以产生了收拾李义府的念头，主要是因为他与皇后武则天之间出现了裂痕。
当初，为了册封武则天为皇后，夫妻俩可谓拧成一股绳。但后来，随着反对派大臣的一个个坠落，权柄rì益增大的武则天也与渐渐弱势的唐高宗产生了分歧。
要知道，一个人不管多么懦弱，多么没本事，只要他拥有了权力，他就一定会有驾驭权力的**，唐高宗就是如此。
唐高宗与武则天之间的貌合神离，使得他们原来的支持者也自然分成了两派。李义府由于平时与强势的武则天接触多一些，自然就被唐高宗划到了对立面，这才是唐高宗想收拾李义府的真正原因。
唐高宗此举的目的很明确，就是想起到一个敲山震虎的作用，告诉皇后武则天，他李治才是帝国的no。1。
经过那次jǐng告，李义府越来越明显地感觉到唐高宗对他的不满，但他依然没有反省，而是做出了一个极为雷人的行为，让一个叫杜元纪的术士到自己府邸上望气，看看自己究竟怎样才能重获唐高宗的宠信。
按照李义府的要求，术士开始装模作样地推算起来，最后对李义府说：“宰相府邸的风水确实出现了严重问题，但这还是可以化解的，只要宰相在某间屋子积财两千万缗，便能压住此股不祥之气。”听了术士的话后，李义府频频点头。
平时，李义府通过卖。官鬻狱也攒了不少银子，可在此时却舍不得掏两千万缗钱出来厌胜。但厌胜之事肯定是要做的，于是李义府想出了一个自认为两全其美的办法，把心思动到了长孙无忌的孙子身上。
长孙无忌倒台后，他的子孙们被流放到了全国各地，但其中有一个叫长孙延的孙子后来好不容易回到了长安，不过只是一个普通百姓，没有任何官职。于是，李义府找来长孙延，对他说，只要能凑出七百万缗，便想办法帮他谋到一个六品的官职。
世上没有不透风的墙，这边李义府刚向长孙延勒索完毕，那边马上就有人把这事报告给唐高宗。
一直在等待李义府出事的唐高宗马上要求有关部门对此事进行严查。严查的结果可想而知。最后，李义府不但被免去宰相之位，还被流放到帯荩淖优⑴雒且卜直鸨涣鞣诺搅瞬煌胤健�
尽管那时的李义府依然是武则天手上一颗非常重要的棋子，武则天也很想继续保护他，但武则天毕竟只是个皇后，唐高宗才是一把手。思来想去，武则天最终还是忍痛舍弃了李义府。
流放之初