小皇帝亲政，首要的事情就是排除异己，巩固皇位，因此他杀了弟弟琅玡王高俨，又杀了功臣斛律光。敌国北周听说斛律光被杀，高兴地大赦境内。不过按照他们高家的传统，不会就杀这么几个人就算完的。接着，他又猜忌上了战功卓著的兰陵王高长恭。高长恭是高澄的第四子。此人骁勇善战，但因为相貌柔美纤丽如同女子，上阵就常带一个铁面具来威吓敌人。他曾在邙山之战辅助高湛取得大胜，武士们吟唱歌谣，名为《兰陵王入阵曲》，国人传唱，声名显著。他还谦卑下人，得到好东西，哪怕是瓜果之类的，都要和将士们分享，因此大得将士之心。于是高纬就对他猜忌起来。一次，高纬问他：“你打仗时深入敌阵，如果失利的话后悔也来不及呵。”兰陵王快人快语：“家事亲切，不知不觉就冲了进去。”这本来是效忠皇帝的话，但“家事”一词却犯了高纬的忌讳，于是派人送毒药给他。兰陵王喝药前对妻子长叹：“我忠以事上，为什么要被毒死呢。”妻子哭着劝他亲自面见皇帝诉说无罪。他却说：“天颜何由可见！”于是饮药而死。小皇帝杀戮一番，觉得异己已尽，也就渐渐安生下来。

    虽然安生了，但他并没有管理国事的心思，而是要想方设法大玩特玩。皇帝要想荒唐，自然是要视钱财如粪土，看官爵比瓦砾。于是那些阿谀奉承的佞臣都被封了高官，侍奉他的宫婢都获封为郡君。他喜欢养马，亲自给马配制饲料，有十几种之多，还给公母马交配特地建造“青庐”，甚至给这些马郡守一样的名号，还得食禄。他还大肆挥霍，动辄赏赐巨万。宫女锦衣玉食者五百多人，一件裙子的花费价值万匹布，而且只穿一天就扔掉了；一个镜台也能用上千两黄金。他为宠爱的穆皇后造七宝车，载满金银到北周买珍珠。北周恰逢太后丧礼，不肯卖给他，他就更花费巨亿从别的地方买来制造宝车和裙袴。他大兴土木，而且好恶反复无常，尽管各处宫苑修得富丽堂皇，却屡毁屡修，从事建筑的工匠没有一时的休息，夜里点起火把照明施工，天冷时得用热汤和泥。又在晋阳做十二院，开凿晋阳西山塑造巨大佛像，一夜间要点燃万盆油灯，灯光可以照到宫中，劳费数亿计。如此胡闹，不久就府库积蓄匮乏，民不聊生，于是皇帝也觉得自己穷了，要做乞丐。就专门在华林园旁，设立一个贫儿村，自己穿上破衣烂衫，向人行乞，还觉得好玩得不行。他又仿照民间开设市场，自己一会儿装卖主一会儿装买主，忙得不亦乐乎。他还喜欢玩打仗游戏，画下西境一些城池的图样，依样仿造，让卫士身穿黑衣模仿北周兵攻城，他却用真正的弓箭在城上射杀这些“敌兵”。皇帝玩得高兴，真不知道天下还会有什么让人忧愁的事，便亲自创作了一支曲子，名曰《无愁》，还亲自弹奏琵琶演唱，让左右数百人唱歌跳舞来应和。于是，民间就把这皇帝叫做“无愁天子”。

    不过比起他们高家前几代皇帝那些匪夷所思的暴行来，高纬这些胡闹真是太小儿科了。于是他就向自己的亲戚们“努力学习”。有人向他告发南阳王高绰的种种暴行：这个王爷在定州刺史任上荒淫残暴，无所不为。他喜欢养波斯狗，经常纵狗咬人。一次，在路上看到一个女子抱小孩，就上前从她怀中夺走孩子，丢在地上喂他的波斯狗。女子号哭，高绰大怒，又纵狗去咬她，那狗刚吃饱小孩，不去咬，他就把小孩身上的血涂抹于女子身上，众狗便一扑而上，把女子撕裂食尽。高纬听说此事，不禁对这个同父异母兄弟如此有“创意”大感佩服。于是立刻召他进京。两人一见面，高纬就迫不及待地问他在定州什么事情最好玩。高绰说把人和蝎子放在一起，看他们斗来斗去，是最有意思的事情了。高纬就派人连夜搜寻蝎子。第二天早晨，忙碌了一个晚上的侍从们好不容易捉到了两三斗蝎子，高纬把蝎子放在一个大浴盆里，然后绑了个人扔了进去，蝎子蜂拥而上，那个人被蜇得号叫翻转，哀声