高纬赏赐给穆提婆的地方在晋阳，是军事要地。斛律光不乐意了，阴沉着脸对高纬说：这些田地，从神武帝以来一直种谷物，饲养几千匹马，打算对付入寇的外敌。现在赏赐给穆提婆，恐怕会影响国家的军务吧！”高纬尴尬一笑，连忙称是，收回了对穆提婆的赏赐。
穆提婆在一旁脸红脖子粗，只能吃了这个哑巴亏，祖珽听到了这一切，他知道，斛律光的敌人又多了一个。
散朝后，高纬回到后宫，正要和穆黄花妹妹亲热，却被遛娃的斛律皇后撞见。斛律皇后很生气，又不敢顶撞高纬，只好指着太子高恒对穆黄花骂：“恒儿还不到两岁，你就知道玩儿，也不来看看他。”穆黄花一脸无辜，心想，高恒不是交给你来抚养了么，这也是皇帝答应了的，今天怎么埋怨起我来了？
高纬知道斛律皇后话里有话，本来让她抚养高恒也不过是看着斛律光的面子，不过是迫不得已，高纬一直不喜欢斛律皇后，这也不是什么秘密。“皇后什么意思？你是拐着弯骂朕呢，你不就仗着你父亲斛律光吗？朕想去哪儿、想干什么还要你的批准么？”高纬受够了这场政治婚姻，受够了斛律家族给自己的压力。
高纬也失去了打情骂俏的兴致，于是找来祖珽、穆提婆几人饮酒作乐。高纬的心事都写在脸上，祖珽、穆提婆开始说斛律皇后的坏话，说她不解风情，不懂皇帝，不懂男人，是个木头。高纬也是把内心压抑已久的不满都宣泄出来，得知皇帝的明确态度后，祖珽心里有底了，一个阴谋正在他脑海里酝酿着，他到处重金收买斛律光的下属，寻找斛律光的犯罪证据。
和士开死后，北齐并没有回到发展壮大的道路上，因为更加聪明的权臣祖珽上台了，他找到了施展才华和抱负的舞台，大小事都独断专行。现在北齐的政坛现在是这样的，尚书左仆射祖珽是最大的当权派，左丞相、咸阳王斛律光是最大的实力派，二者之间必定发生冲突。
1.祖珽的阴谋
每次看见祖珽，斛律光就远远地就开骂：“使国家多事、贪得无厌的小人，又想搞什么样的诡计？”祖珽因为眼瞎，也不知道斛律光在骂谁，自顾自地走了。斛律光更生气了，转头对身边的部下说：“军事兵马的处理，尚书令赵彦深还常常和我们一起商量讨论。这个瞎子掌管机密以来，完全不和我们说，一定会误了国家的大事。”
虽然斛律光是左丞相，但丞相府的实际工作都是由仆射来办，斛律光只是个名义上的领导，他的主要工作还是带兵打仗，所以，每次祖珽的所作所为都没有向斛律光汇报，直接执行了。
一次，斛律光在朝堂上帘子后面坐着，祖珽骑着马从他前面经过，斛律光又生气了：“这个小人竟然无视我的存在！”斛律光跟了上去，准备训斥他，祖珽来到门下省安排工作，说话声音高亢缓慢，斛律光光听到他的腔调后，又生气了，走到他面前发飙：“祖珽，你胆敢瞧不起本王？”
斛律光贵极人臣，未曾放纵自己，向来节俭，不玩弄女人，也很少接待宾客，深居简出，从不爱慕虚荣、贪恋权势，对自己的弟弟斛律羡、儿子斛律武都等人都要求很高。斛律羡常年镇守幽州，被突厥称为“南可汗”，他自己感到不安，多次上书高纬，要求免除职务，要清闲养老。人家跟你客气，你可不能真当回事，高纬这点智商还是有的，也就没同意。
除了生活上，在工作上斛律光也无可挑剔，斛律光常常在最后发言，说的话总是很符合情理。遇有上表或奏疏，叫人拿了笔，由自己口述，替他写下来，务必简短真实。用兵时仿照他父亲斛律金的办法，军队的营房没有落实，自己不进帐幕；或者整天不坐，身上不脱铠甲，打仗时身先士卒。士兵犯了罪，只用大棒敲打脊背，从不随意杀人，所以部下的士兵争相为他效命。
这样一个人，可以说是完美的，在朝中、军中都有极高的威望。斛律光越是这样完美，高纬就越是害怕。压死骆驼最后一根稻草的，是来自周齐边境
祖珽一脸懵逼，什么回事？我怎么就瞧不起你了？我啥也看不见，我做了什么得罪你的事情？没等祖珽解释，斛律光就走了。为啥斛律光这么跟祖珽较劲，当初却没怎么与和士开较劲？和士开虽然擅权，但实际上是个庸才，脑子不够用，折腾不了多大的风浪，即便封了王，也不过是个弄臣罢了。
祖珽不一样，不仅才华横溢，而且智慧过人，关键还品行不端有小偷小摸、贪污受贿的习惯，这样一个能人对国家的破坏力是巨大的，和士开之流远远没法比。斛律光也有点搞笑，明明知道祖珽是瞎子，还说祖珽对他不礼貌，无视他的存在。
被骂过几次后，祖珽终于意识到自己得罪了斛律光，于是贿赂斛律光的奴仆，询问原因。奴仆回答说：“自从您当政以来，咸阳王每夜双手抱膝叹气，说‘瞎子入朝，国家必毁’，痛恨您独断专行。”“原来如此，可恶的斛律光，我独断专行？你在朝中威望那么高，又长年带兵，我看你也是想独揽大权吧！”祖珽此后开始敌视斛律光。
斛律光帮助高纬拿下高俨后，斛律家在北齐的地位就更上一层楼了，想巴结斛律光的人就更多。穆提婆登门拜访，想取斛律光的女儿为妻，一脸谄媚。斛律光正在为祖珽而生闷气呢，听说穆提婆想娶自己女儿，什么玩意儿！斛律光懒得搭理，直接让手下的奴仆去打发他走了。
穆提婆热脸贴了冷屁股，回去找到高纬哭诉。“别哭了，斛律光不愿意，朕也没办法。这样把，朕赏赐你一些土地，补偿你。”穆提婆毕竟和自己是发小，一起玩儿到大的，高纬从不亏待他。