霍去病是卫青的外甥，他的身世与舅舅卫青相似，也是一个私生子，不过他要比舅舅幸运得多，因为他刚满周岁的时候，卫子夫已经成了皇后。他在大将军卫青的培养下长大，从小就擅长骑马射箭。而且他胸怀豪情壮志，总想到前线跟随舅舅杀敌立功，不想像其他王孙公子那样在长安城里放纵声色，享受长辈的荫庇。
霍去病十七岁的时候，第一次跟随卫青和匈奴作战。在漠南，霍去病旗开得胜。他带领八百人甩开主力几百里，孤军深入寻找战机，斩获匈奴两千多人，还俘获匈奴的相国，杀死单于的祖父，整个部队没有比他更勇敢的人。回国后汉武帝非常赞赏他，封他为冠军侯。
公元前121年，汉武帝任命十九岁的霍去病为骠骑将军，令其率领一万骑兵出塞北击匈奴。霍去病率领一万骑兵在六天之内转战五个王国，越过焉支山一千多里袭击匈奴。此战异常惨烈，汉军损失七千多人，但是斩获匈奴八千九百多人，并斩杀了折兰王和卢侯王，俘获浑邪王的儿子及相国。
此战胜利后，汉武帝想乘胜追击，令霍去病为统帅再次出击匈奴。霍去病又一次孤军深入，取得大胜。这次他斩杀三万多匈奴兵，俘虏匈奴王五人，还有王母、王子、相国、将军等一百多人，降服匈奴浑邪王手下四万多人。匈奴人只得逃到更荒凉的地方，一向作战勇猛的匈奴人也悲伤地感叹：“失我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色。”
这两次战争，匈奴损失非常严重，匈奴单于大为震怒，下令召回浑邪王，准备处死。浑邪王害怕，便打算投降汉朝，派出使者向汉武帝乞降。汉武帝不知道浑邪王是真心还是假意，担心他们想以诈降的手段偷袭边塞，于是命令霍去病去受降。霍去病渡过黄河，与浑邪王的部队遥遥相望。这时，浑邪王的将士改变主意，不愿意向汉朝投降，纷纷逃走。霍去病知道后，立即骑马闯进浑邪王的大营，将企图逃跑的八千多匈奴兵斩杀，然后遣浑邪王单独面见汉武帝，同时让浑邪王的四万部下全部渡过黄河。这件事情之后，霍去病的地位更加尊贵了，和舅舅卫青的地位不相上下。汉武帝还专门下命令说“在汉朝，骠骑将军和大将军的地位是相同的”。
公元前119年，为了彻底消灭匈奴主力，汉武帝命大将军卫青和骠骑将军霍去病各领五万骑兵攻打匈奴。霍去病作战勇猛，敢于孤军深入打击匈奴，因此这次令霍去病正面攻击匈奴单于。由于情报错误，霍去病没能遭遇匈奴单于。霍去病率军出塞两千多里，遭遇匈奴左贤王。霍去病以摧枯拉朽之势击败左贤王，擒获匈奴王三人，以及将军、相国等八十三人，在狼居胥山祭祀天神，姑衍山祭祀地神，又登上翰海（今俄罗斯贝加尔湖）旁边的山峰眺望，共俘获匈奴七万多人。此战中，汉军共消灭匈奴八九万人，匈奴因此远迁漠北。
论功行赏时，汉武帝增设大司马一职，由卫青、霍去病同时担任，还规定霍去病的官级和俸禄与卫青一样。从此以后，卫青的权势日渐衰落，而霍去病日益尊贵。很多卫青以往的朋友和门客改投霍去病，马上得到了官职。卫青并没有把这些放在心上，霍去病对舅舅的尊敬也丝毫没有改变。在李广自杀后，他的儿子李敢怨恨卫青，出手打伤了卫青，霍去病知道后，射杀了李敢为舅舅报仇。
汉武帝曾经想赐给霍去病一座豪宅，但是霍去病拒绝了，说道：“匈奴未灭，何以家为？”意思是说，消灭匈奴的大事还没有完成，哪里有心思住豪宅呢？听了这句话，汉武帝很感动，也更加敬重这位年轻的将军。
不过，天妒英才，霍去病二十四岁就去世了。汉武帝对他的死非常悲伤，调来铁甲军，让他们列成阵从长安一直排到霍去病的墓地，还把霍去病的坟墓修成祁连山的样子，以表彰他的军功。
汉武帝对霍去病年幼的儿子寄予厚望，亲自找老师教导他，去泰山封禅也带着他。不过这个孩子寿命也很短，十岁左右就去世了。
焉支山：又称燕支山、胭脂山，位于现甘肃境内，曾被匈奴占据。山上有一种植物可以用做胭脂，东汉学者习凿齿提到“（焉支山）山下有红蓝，北方人探取其花染绯黄，采取其上英鲜者作燕支，妇人将用为颜色”。