卫青的父亲姓郑，是平阳侯家的一个小官。他与一个叫卫媪的婢女私通生下了卫青。卫青还有一个同母异父的姐姐叫卫子夫。
卫媪自己没有什么钱，就把卫青送到他的父亲那里。但是在父亲家没有人把他当做亲人看，总是像使唤奴仆一样对他呼来喝去。卫青长大一点后，忍受不了这种生活，偷偷跑回母亲那里，成了平阳侯家的一个仆人，长大后又成为一个骑兵，负责保护平阳公主。
卫子夫被选入皇宫，并逐渐得到汉武帝的宠幸，这引起了陈皇后的嫉恨。陈皇后的母亲长公主刘嫖为了报复卫子夫，将卫青囚禁起来，意图杀死他。卫青在好友的营救下，最终得以逃出。汉武帝得知这件事情后，召见了卫青并授予官职，卫青由此逐渐得到重用。
公元前129年，匈奴兴兵南下。汉武帝果断任命卫青为车骑将军，迎击匈奴。卫青率军直捣龙城，斩获匈奴七百多人，是四支出征汉军中唯一一支取得胜利的军队。卫青的这次胜利意义重大，是自汉朝建国以来第一次对匈奴作战取得胜利。汉武帝大喜，赐封卫青为关内侯。
匈奴吃了败仗后，心里非常不甘。匈奴右贤王集结重兵，再次卷土南下，先杀死了辽西郡太守，掳去百姓两千多人，之后又入侵渔阳郡和雁门郡，在两地大肆杀掠。汉武帝任命卫青率军三万从高阙出塞攻打匈奴，其他几路汉军配合打击。匈奴右贤王认为汉军路遥，不能迅速赶到，所以放松戒备，终日饮酒作乐。没想到，卫青率军连夜赶到他的驻地，将他的大营团团围住。右贤王惊慌失措，连忙带着几百名精兵冲出包围圈向北逃跑了。此次战役，汉军俘虏了一万多匈奴兵，还有各种牲畜近一百万头。卫青带兵返回边塞，汉武帝的使臣早已携带着大将军的印信在那等候，于是卫青在军中被封为大将军。
等卫青回到朝中，汉武帝又增加了他的封地，还想将他的三个儿子封为列侯。卫青坚决推辞说：“我有幸在军中效力，仰仗陛下神威获得大胜。我已经获得封赏，而我的儿子尚在襁褓之中，并没有尺寸功劳，功劳来自全军将士。如果陛下封赏没有功劳的人而遗忘了有功之士，就不能激励将士们奋勇战斗。”汉武帝大为感叹，说道：“我并没有忘记有功的诸位将士。”于是将此次随卫青出征的多位将军加封为侯。
但是匈奴并没有就此认输，他们仍旧不断进犯中原。卫青又几次出塞对抗匈奴。有一次，他带领全军攻打匈奴，杀了一万多敌军。他手下的两个将军苏建和赵信各自率领部队跟匈奴的部队作战，因为人少，这两位将军的形势很危急。最后赵信没有抵抗住匈奴的诱惑，投降了。苏建的部队也遭到重创，只有他一个人逃了回来。右将军苏建在与匈奴作战中全军覆没，只身逃回，按军律应当斩首。卫青问长史、议郎等属官：“苏建应当如何处置？”议郎周霸说：“大将军出兵以来，从未斩过一名偏将小校，如今苏建弃军逃回，正可斩苏建的头来立大将军军威。”卫青说：“我因是皇上的亲戚而带兵出塞，并不怕立不起军法的威严，你劝说我杀人立威，就失掉了做臣子的本分。我的权限虽可以斩杀大将，然而我把专杀大将的权力还给皇上，让皇上来决定是否诛杀，以显示我虽在境外，受皇上宠爱，却不敢专权杀将，这不是更好吗？”众属官听完，都钦佩地说：“大将军高见，属下等万万不及。”于是卫青派人把苏建押回长安，汉武帝怜惜其才，并未杀他，让他出钱赎罪，对卫青的处置也大为满意。
苏建后来又跟随卫青出塞攻打匈奴，或感卫青恩德，他劝卫青说：“大将军的地位是至尊至重了，可是天下的贤士名人没人夸赞传扬您的威名。古时的名将都向朝廷推荐贤良才能之士，自己的名声也传遍四海，希望大将军能学习古时名将的做法。”卫青摇头说：“你只知其一，不知其二。以前武安侯田蚡、魏其侯窦婴各自招揽宾客，结成朋党，以颂扬自己的名声，皇上常常恨得咬牙切齿。亲近贤士名人，选用贤良贬黜不肖，这都是皇上的权柄，我们做臣子的，只知遵守国法，履行自己的职责而已。”卫青恃才不傲物，做人本分，深得汉武帝器重。
汉武帝为表彰卫青击退匈奴有功，谕令群臣见到卫青都要行跪拜礼，以显示大将军的尊贵。群臣不敢抗旨，见到卫青无不行礼，只有主爵都尉汲黯见到卫青依然行平揖礼。有人好意劝汲黯：“对大将军行跪拜礼是皇上的意思，你这样做不怕皇上恼怒吗？”汲黯昂然道：“跪拜大将军的多了，多我一个不多，少我一个不少。难道说大将军有一个平礼相交的朋友，就不尊贵了吗？”卫青听说后，非常高兴，亲自登门拜访汲黯，谦虚地说：“久仰大人威名，一直没有机会和大人结交，现在有幸承蒙大人看得起，请把我当做您的朋友吧。”汲黯见他态度诚恳，不以富贵骄人，便交了这个朋友。
卫青虽然出身奴仆，但是擅长骑马射箭，勇力超过常人，而且有着出色的军事才能；对待将士有恩，使人乐于效命，所以每次率兵出征都能立下战功。更难能可贵的是，卫青虽然位极人臣，但是为人十分谦让仁厚，因此在朝中很有威望。