事情上报，也没把这事放在心上。霍去病就不同了，有一次霍去病和李敢一起陪同武帝打猎，霍去病在背后放冷箭，将李敢射杀。武帝偏袒，为霍去病隐瞒了事实，只对外宣称李敢是被鹿给撞死的。
霍去病能取得如此骄人的战绩，并不能因此认为卫青的军事才华不如他。其实，这完全是两个人不同的性格所致。卫青宽厚仁慈，爱惜士卒，所以在他看来，孤军深入这样的冒险行为并非总是可取的，他只有在很有把握的时候才会出击。霍去病虽然出身贫贱，但是一直过的都是贵公子的生活，这让他与下层出身的士兵难免有隔阂，其表现为，当他归来的时候，辎重车里的酒肉都已腐臭了，可是却不断有士兵饥饿而死。与卫青相比，年轻的霍去病不懂得什么是“悲天”，什么是“悯人”。
也许是杀伐过盛，遭了天谴，年纪轻轻的霍去病忽然得了暴疾而死，那一年他只有二十四岁。霍去病死后，武帝非常伤心，将他的墓修成祁连山的模样，以表彰他的战绩。霍去病的墓，就修在武帝墓的一旁，可见武帝对他的爱惜。
经过卫青、霍去病的连连打击，匈奴人的日子可谓江河日下，他们不断地向北迁徙，躲避汉人的追击，自此以后，匈奴人再也不能像以前那样对汉朝造成威胁了。