日中天的时候，不知怎的就招惹上了颜飞，被颜飞一人一剑杀上“独霸堂”的总坛。
当时颜飞在中原武林已是声名鹊起，但说到底还只是一个出道不足一年的后起之秀，而独孤霸却已经是成名多年的高手，所以并不惧怕颜飞，在见到颜飞出手之前，他心里想的是，同为化境高手，我的功力比那姓颜的小子深那么多，《灭绝魔功》又独步天下，一定可以教这不知死活的小子好看！
但当独孤霸见到颜飞闯入总坛，一剑便将自己麾下武功最高的左右护法同时击毙之后，独孤霸便知道，和颜飞交手，会死。
于是，以往遇到任何强敌都从不退却的独孤霸在面对颜飞时第一次选择了后退，让手下的高手去缠住颜飞，而他则从总坛的密道逃走了。
当时的独孤霸并不觉得自己做错了，他是“独霸堂”的堂主，“独霸堂”数万成员的身家性命都系于其一身，他不能出差错，而且江湖之上，想要解决对手有很多方法，一味好勇斗狠终究是落了下乘，自己的选择没有错。
但是，随着独孤霸机关算尽，用尽方法都没能让颜飞受到一丁点的损伤，反而逐耗光了“独霸堂”众多分部的力量，身边只剩下几名心腹的独孤霸终于明白，颜飞绝非自己能对付的人。
如果说颜飞是绝顶高手，那独孤霸还可以勉强安慰自己，并以此自勉，让自己早日达到绝顶高手的境界再去雪耻，但问题是，当时的颜飞和他一般，都只是化境高手，而且进入化境的时间比独孤霸要短上不知道多少年，功力积累远逊于独孤霸，在这样的情况下，颜飞却令独孤霸连一战的勇气也没有，这对素来心高气傲不将天下高手放在眼里的独孤霸来说无疑是最为沉重的打击。
早知如此，还不如在第一次见到颜飞的时候便和他拼个你死我活，这样的话，起码不用让自己活成一个笑话……
心灰意冷的独孤霸如此这般对自己道，同时也宣布彻底解散“独霸堂”，自此销声匿迹，再也不现于江湖。
之后虽然因为“暗武”的邀请重新出山，但在面对颜飞的儿子时，同意和其他人一起联手对付他，这也足以说明，在面对颜家人时，独孤霸已经彻底失去了傲气。
但是在内心深处，独孤霸还是希望能凭借自己的《灭绝魔功》单人独立击败颜家人，以此来证明自己的实力。
和颜开硬拼了一掌，独孤霸和颜开各退开几步，虽然内力一阵翻涌，但也让独孤霸确信颜开的功力确实没有以往那般刚猛。
眼中浮现出自信的神
…。。