但他的一生都不太走运，功劳虽多，却一直不能封侯。最后一次出征途中，由于迷路没有及时与卫青的大军汇合，不愿受到刀笔小吏的诛讨审判，拔剑自刎。
公元前149年，汉武帝元朔元年六月，匈奴攻入雁门郡，直到武泉县，攻入上郡。
匈奴人抢走朝廷放养在那的马，汉军将士2000多人战死。
当时李广任上郡太守，他率领着百名骑兵出行，突然遇到了几千名匈奴骑兵。
匈奴人看见李广的小队伍以为是汉军大部队派出来的诱敌，都感到很吃惊，连忙到跑山上摆开阵势。
李广手下的骑兵们都很害怕，他们想要逃跑。李广劝阻他们说：“我们距离大军数十里，如今仅仅靠百名骑兵往回跑，一旦匈奴人追杀射击，我们马上就会输。”
“现在，我们留在这里，匈奴人一定会把我们当成大军的诱敌队伍，不敢轻易地来攻击我们。”
李广命令队伍继续前进，队伍来到距离匈奴阵地约有二里的地方停了下来。李广命令士兵们都下马解下马鞍。
他手下里的骑兵说：“敌人很多，而且离我们很近，一旦有什么紧急情况发生怎么办呢？”
李广道：“敌人以为我们会逃跑，现在我们都解下马鞍，就是向他们表示我们不会逃跑，用这个办法来让他们坚定地认为我们是诱敌部队。”于是匈奴骑兵果真不敢进攻他们。
有一位骑白马的匈奴将领带领着他的人马出阵，李广飞身上马，带上十多个骑兵飞奔过去，射杀了骑白马的将军。等他重新返回，抵达到他的阵营之后，解下马鞍命令：让士兵们都解开战马，躺下休息。这个时候正好是黄昏，匈奴骑兵始终对李广部队的行动感到惊奇，不敢轻敌。
到了半夜，匈奴军队仍然认为附近有汉朝大军的埋伏，可能准备在夜里突袭他们，并悄悄地领兵撤走了。黎明时分，李广率军返回到了汉军大营。
公元前128年，秋季，匈奴出动两万骑兵入侵汉朝边境，杀死了辽西的郡太守，俘虏了2000多人，包围了韩安国守卫的汉军壁垒，在两地各杀害、俘虏了1000多人。
韩安国率军迁往东边，驻军北平，没过几个月就病死了。
汉武帝再次启用李广，拜李广为右北平太守。匈奴称李广为“汉朝的飞将军”，他们对李广十分畏惧，不敢轻易侵犯，所以有意的躲避，连续数十年都不敢轻易的入侵北平郡。
公元前119年，大将军卫青出塞，从匈奴俘虏中得知单于的住地，于是亲自率领精兵挺进，同时命令前将军李广与右将军赵食其兵合一处，从东路进军。东路迂回遥远，而且水草稀少，所以李广主动请求说：“我的部队是前将军的部队，现在大将军却让我改为从东路进军，我从少年时就与匈奴作战，直到今天才有机会正面对抗单于，我愿做前锋，率先和单于拼个你死我活。”
卫青出征前曾暗中受汉武帝的嘱托：李广年纪已大，运气又不好，千万不要让他与单于正面交锋，担心他难以完成擒获单于的任务。
公孙敖那时刚刚失去侯爵的爵位，曾有恩于卫青，卫青想让公孙敖同自己一道正面攻击单于，使他有作战立功的机会，所以将前将军李广调为东路。李广得知内情后，坚决要求为先锋，卫青拒绝了他，李广没有向卫青行礼就转身离去，心中非常恼怒。
前将军李广与右将军赵食其率领的东路军因为没有向导，在沙漠中迷路了，落到了大将军卫青的后面，没来得及参与和单于的那一场战争。卫青班师回营经过沙漠南部时，才碰到迷路的李广和赵食其。卫青责问二人迷路的原因，让两人立即到大将军处听后发落。
李广说：“众将士们都没有罪，是我自己迷失了方向，我现在就一个人到大将军的府里去听候处置。”
李广又对他的士兵们说：“我从年少时作战到现在，和匈奴大大小小有过70多场战争，如今好不容易跟从大将军和匈奴单于当面交锋。而大将军却把我从前锋调到东路。路途本就曲折遥远，又迷失了方向，这一切难道不是天意吗？何况我已经60岁了，哪里还能再去面对那些刀笔小吏的审判？”于是拔刀自刎了。
李广一生为人清廉，得到赏赐，就分给部下，与部下一起吃住。做了40多年二千石俸禄的官，家里没有多余的财产。他的手臂像长臂猿一样又长又灵活，擅长射箭，如果预料到射不中目标，就不放箭。
行军打仗中在给养困难的情况下，如果发现水源，士兵没有全部喝过，李广就不会靠近水边；士兵们没有吃饱，李广就不会进食。士兵们因此很乐意做他的部下，等到李广死后，全军都为之痛哭。百姓听到他死去的消息，无论与李广认不认识，也无论年老的还是年幼的，都为他伤心落泪。
