霍去病的母亲是卫青的二姐卫少儿，卫少儿，原平阳公主府的侍女，和平阳县小吏霍仲儒私通，生下儿子霍去病。霍仲儒不敢承认自己与公主府的女奴私通，并不承认尚未出生的孩子，回去后另娶妻生子。所以霍去病的身份是私生子。霍去病少年有成，卫少儿才告诉霍去病他的身世。

就这样，霍去病顶着私生子的省份沈国了十几年，长大了。而在这十几年间，霍去病跟舅舅卫青的关系最为亲近。卫青也在这么多年中，受到了汉武帝的赏识，征战天下，被封了侯爵，卫青的姐姐卫子夫也当上了汉武帝的宠妃，甚至成了皇后。因此，霍去病也渐渐的想要跟随舅舅卫青一起征战天下，建功立业。

元朔六年(公元前123年)，十七岁的霍去病被汉武帝任为骠姚校尉(又称霍骠姚)，随卫青击匈奴于漠南(今蒙古高原大沙漠以南)，以800人歼2028人，俘获匈奴的相国和当户，并杀死匈奴单于祖父一个辈分的若侯产和季父，勇冠三军，受封冠军侯。

元狩二年(前121年)春，汉武帝任命十九岁的霍去病为骠骑将军。于春、夏两次率兵出击占据河西(今河西走廊及湟水流域)地区的匈奴部，歼4万余人。俘虏匈奴王5人及王母、单于阏氏、王子、相国、将军等120多人，降服匈奴浑邪王及部众4万人，全部占领河西走廊。匈奴为此悲歌：“失我祁连山，使我六畜不蕃息;失我焉支山，使我嫁妇无颜色。”

同年秋，霍去病奉命迎接率众降汉的匈奴浑邪王，在部分降众变乱的紧急关头，率部驰入匈奴军中，斩杀变乱者，稳定了局势，浑邪王得以率4万余众归汉。从此，汉朝控制了河西地区，打通了西域道路。

元狩四年(前119年)春，汉武帝命卫青、霍去病(22岁)各率骑兵5万分别出定襄和代郡，深入漠北，寻歼匈奴主力。霍去病率军北进两千多里，越过离侯山，渡过弓闾河，与匈奴左贤王部接战，歼敌70400人，俘虏匈奴屯头王、韩王等3人及将军、相国、当户、都尉等83人，乘胜追杀至狼居胥山(今蒙古境内)，在狼居胥山举行了祭天封礼，在姑衍山举行了祭地禅礼，兵锋一直逼至瀚海(今贝加尔湖)。经此一战，“匈奴远遁，而漠南无王庭”。

霍去病用兵灵活，注重方略，不拘古法，勇猛果断，每战皆胜，深得武帝信任。因此，霍去病与卫青被称为帝国双璧。并留下了“匈奴未灭，何以家为”的千古名句。

元狩六年(公元前117)霍去病逝世，年仅24岁(虚岁)。