公元前139年，汉武帝去探访他的姐姐平阳公主，看中了平阳公主府中的歌女卫子夫。卫子夫的母亲卫媪，是平阳公主的家奴；平阳公主于是就把卫子夫送入后宫，卫子夫从此日益得到武帝的宠幸。
卫子夫和卫青是同母异父的姐弟，卫青的父亲郑季，原本是平阳县的县吏，后来到平阳侯家里侍奉当差，和卫媪私通后，生了卫青，并让他冒充卫姓。后来卫青长大了，就在平阳侯家中做骑奴。
大长公主曾把卫青囚禁起来，打算杀掉他，多亏卫青的好友公孙敖把他从公主那里给救了回来。此时，他的姐姐卫子夫正得汉武帝宠幸，汉武帝听说这件事后，便召见卫青，命他为建章宫的宫监，还赐他官衔，给卫青的赏赐几天之内就高达千金。没过多久，汉武帝封卫子夫为夫人，并让卫青做了太中大夫。
匈奴入侵上谷郡，杀害官吏，抢掠百姓。武帝命令将军卫青从上谷郡出兵，公孙敖从代郡出兵，公孙贺从云中郡出兵，李广从雁门郡出兵，各率一万骑兵，攻打在边关贸易市场附近的匈奴军队。
卫青攻到了龙城，斩首俘获匈奴700人；
公孙贺一无所得；
公孙敖被匈奴打败，损失了7000骑兵；
李广也被匈奴打败。
匈奴人活捉了李广，把他安置在两匹并行的马中间，让他躺在用绳子结成的网袋中，走出了十多里，李广一直假装昏死，麻痹了押送的人，突然间，李广跃起，跃到一个匈奴人骑的马上，夺下他的弓箭，向南奔驰，得以逃脱。
此次战斗，只有卫青立功，被赐关内侯的爵位。
公元前124年，匈奴右贤王屡次率兵侵扰朔方郡。汉武帝命令车骑将军卫青率领三万骑兵从高阙出塞，又分别派出各路将领，共十几万人，一同进攻匈奴。
匈奴右贤王一直以为汉军距离自己路途遥远，一时半会儿不可能到达，所以就喝得酩酊大醉，毫不防备。
卫青等将领率军走出边塞六七百里，连夜赶到，团团包围了右贤王的大营。右贤王大惊，乘夜潜逃，仅仅率领了数百名精壮骑兵冲出汉军包围圈向北奔逃。
汉军俘虏右贤王手下各部将领十多人，匈奴男女部众一万五千多人，牲畜近百万头。于是，汉军很快就班师回朝。
卫青率大军刚返回到边塞，汉武帝就已经派使臣带着大将军的印信到来，于是就在军中拜卫青为大将军，各路将领全部归卫青统领。
封功赏侯，言辞谦虚，以各校尉为先
夏季，四月初八，又加封给卫青八千七百户的食邑，封他的三个儿子卫伉、卫不疑、卫登为列侯。
卫青坚决辞谢道：“ 我有幸能够待在军中效力，完全是仰仗陛下您的庇护，如今出师大捷，都是众校尉奋力作战的功劳。我现在已经很有幸地得到了陛下加封的食邑，我的儿子们都还在襁褓之中，并无任何功劳，陛下却要分封土地给他们三人为侯，这不是我效力军中、鼓励众将士奋力杀敌的本意。 ”
汉武帝说：“我没有忘记各校尉的功劳。”
于是，封护军都尉公孙敖为合骑侯，都尉韩说为龙侯，公孙贺为南窌侯，李蔡为乐安侯，校尉李朔为涉轵侯，赵不虞为随成侯，公孙戎奴为从平侯，李沮、李息以及校尉豆如意都被封为关内侯。
此后，汉武帝对卫青的尊宠超过了朝中任何一位大臣，王公贵族以及各级官员都对卫青卑躬屈膝，极力地讨好他，唯独汲黯始终对卫青不卑不亢。
于是就有人劝汲黯道：“皇上有意让群臣都居于大将军之下，大将军的地位如此尊贵，你不可以不下拜。”汲黯说：“以大将军的身份而有长揖不拜的客人，正体现出他的礼贤下士，大将军反而会因此不尊贵吗！”
卫青知道这件事后，越来越欣赏汲黯的贤明，先后多次向汲黯请教国家和朝廷的众多疑难大事，待汲黯要比别人尊重得多。
卫青虽然地位显贵，但有的时候入宫侍奉，汉武帝会坐在床边接见他；丞相公孙弘在汉武帝空闲的时候谒见，汉武帝有时会不戴帽子；可是等到汲黯拜见时，汉武帝没有戴好帽子是不会出来接见他的。
一天，汉武帝刚好坐在陈列兵器的帐中，这时汲黯前来奏事，汉武帝没有戴帽子，远远地望见汲黯前来，慌忙躲进了后帐，并派人传出话来，批准汲黯所奏之事。由此可见，汲黯受到汉武帝的尊重和礼遇是非同一般的。
公元前123年，二月，大将军卫青率兵从定襄郡出发，攻打匈奴。汉武帝命合骑侯公孙敖为中将军，太仆公孙贺为左将军，翕侯赵信为前将军，卫尉苏建为右将军，郎中令李广为后将军，左内史李沮为强驽将军，全都归大将军卫青统领，斩杀匈奴数千人后，回到定襄、云中、雁门一带扎营，休养兵马。
苏建所率部队在抵挡匈奴单于的战斗中伤亡殆尽，他独自返回。
议郎周霸说：“自大将军出师以来，从未斩过一位部将。如今，苏建丢弃本部人马，应将其处死，以示大将军的威信。”
军正闳、长史安说：“不应这样，兵法上说：‘小部队的战斗力再强，也会被大部队所击败’，此次，苏建以数千人马抵挡匈奴单于数万人奋战了一天多，将士伤亡殆尽，而苏建仍坚持不投降，独自返回。如果将其斩首，就是告诉其他将领，说以后战败就别回来了，所以不应杀苏建。”
卫青说：“ 我有幸以皇上近亲的身份统领大军，不怕没有威信，周霸劝我杀苏建来显示威信，很不符合为人臣的本分。况且，即使我有权处决将领，作为地位尊贵又深受皇上宠信的大臣，却也不敢擅自诛杀大将于国境之外。应将苏建交给皇上，由皇上亲自裁决，以显示做人臣的不敢专权，不也很好吗？ ”
部下一致同意，于是将苏建送到汉武帝所在的地方，让汉武帝进行裁决。
卫青虽然出身于奴仆，但善于骑马射箭，勇力超人，对士大夫以礼相待，对士兵爱护备至，众人都愿意为他效力，他有做军事统帅的才能，所以每次率兵出征都能立下战功，天下人由此佩服武帝知人善任。
司马光在《资治通鉴》中对卫青的评价是：卫青虽然出身微贱，但善于骑射，才力过人，与士大夫交往很注意礼节，对士卒很关心，很宽容，常施恩惠，因而大家都乐于接受卫青的调遣。
卫青是汉朝第一位打败匈奴的将军，学者们认为卫青是中国古代大规模骑兵集团作战思想的创始人，也是汉朝对匈奴战争的奠基人。
卫青参加并指挥了七次反击匈奴的大战，在极其艰苦的战斗中，他作战英勇顽强，身先士卒，遇敌临危不惧，指挥若定，善于利用机动灵活的策略取得很大的战果。
卫青拜官至大司马、大将军，直到去世。一生中与匈奴进行多次大规模决战，没有打过败战，这是一个奇迹。
