但是，匈奴人思维单纯，认为李牧不敢出战是个胆小表。即使是赵军将士中，也有很多人不理解李牧的这种做法，也有与匈奴一样的想法，赵王也不例外。为此，赵王曾屡次责备李牧，命令他适当地迎敌、出击，可是李牧还是坚持他一贯的做法。最后，赵王大怒，召回了李牧，派遣另外的将军代替了他。
在李牧离职的一年多时间里，匈奴人每次来进犯，新任的赵国将军都率军出战。结果，赵军每次都是失利，军队的伤亡、损失很大，而赵国边境的居民也不敢耕种、放牧了。赵王只得再请李牧出山收拾残局，而李牧则以有病为借口，闭门不出。最后，赵王以法令强制他出任边将，李牧只得服从。但是，他却对赵王说：“如果大王执意任用为臣，就要听任为臣以前那样的做法，如此，为臣才敢接受您的任命。”赵王全部答应了他。
李牧回到北边境以后，按照他原先的法规、号令办事。结果，匈奴人连续几年一无所得，但是，他还是给人以胆小的印象。赵国的将士们时常得到李牧的奖赏，他们却不随便使用、花费，觉得自己得到的奖赏与自己的军功无关，自己受之有愧，始终希望与匈奴人一战，堂堂正正地得到奖赏。李牧认为军士的这种心理，正是同匈奴作战的成熟时机。便一精一选出一千三百辆兵车、一万三千匹战马、五万名勇士和十万名射手，组织他们进行军事演习。同时，李牧还组织人民放牧，让民众、牲畜布满原野，来引一诱匈奴人。匈奴人看见眼前的利益，便派出小鄙军队前来掠夺，赵军在李牧的指挥下假装败逃，故意让匈奴俘虏自己几千人。匈奴单于闻讯，便亲率大军入侵。李牧事先布置好了许多灵活、奇特的战阵，匈奴进入圈套以后，李牧命令军队包抄敌人的两翼。结果，李牧大败匈奴，斩杀了十余万敌军。接着，李牧率军北进，消灭了詹蓝，打败了东胡，又迫使林胡投降，于是，匈奴单于逃往更北的地方。这次战役以后的十余年间，匈奴人始终不敢再入侵赵国的边境城邑。
赵悼襄王元年，廉颇逃到了魏国。赵王只能派遣李牧率军攻打燕国，拿下了武遂、方城地区。七年以后，秦军在武遂（今河北磁县附近）地区击败了赵军，十万赵军战死，赵将扈辄被杀。于是，赵王任命李牧为大将军，李牧率军在宜安（今河北石家庄东南）与秦军交战，击败并且驱逐了秦军。李牧回到邯郸，被赵王赐封为武安君。三年以后，秦军卷土重来，攻打番吾（今河北灵寿西南），李牧又一次率军迎击，再次击败了秦军。随后，他又率军南进，抵御韩、魏两国的进攻。一时间秦国拿李牧毫无办法，一点儿便宜都没占到。可以说，没有李牧，赵国早就亡国了。
赵王迁七年，秦国派遣将军王翦率军攻打赵国，赵王派遣李牧、司马尚率军迎击。秦国暗中贿赂赵王的一宠一臣郭开，施行反间计。于是，郭开向赵王进谗言，说李牧、司马尚兵权在手、图谋不轨。赵王大概遗传了家族的通病，耳根子软，相信谗言，完全忘记了自己的父辈长平之败的教训，又中了秦国的反间计。赵王于是改派赵葱和齐国将军颜聚代替了李牧，李牧却不肯接受赵王的任命。于是，赵王派人将其秘密逮捕并杀害，司马尚也被撤销了职务。三个月以后，王翦乘机猛攻赵军，赵葱等人兵败被杀。不久，秦军攻入邯郸，俘虏了赵王迁和诸位大臣，赵国灭亡。