洪武建国时，明朝的管辖范围仅只限于中原、江南和闽广地区。夏国的割据势力还统治着四川，元宗室梁王把匝剌瓦尔密的几十万军队还盘踞在云南，元河南王扩廓帖木儿的十几万军队和李思齐、张良弼、孔兴、脱列伯等几支地主武装还控制着秦、晋、关、陇地区。天山南北仍为察合台后王所控制，东北则驻扎着元将纳哈出的20万大军和也先不花、洪保保、刘益、高家奴等一些元军。以元顺帝为首的蒙古贵族退出大都后，并没有逃往漠北的根据地和林（今蒙古国哈拉和林），而是逃到上都开平，继续沿用元朝国号，史称“北元”。任命辽阳行省左丞相也先不花为中书左丞相，而以纳哈出为辽阳行省左丞相，并封扩廓帖木儿为齐王（寻升中书左丞相），封中书右丞相也速为梁王。同时，下诏向其属国高丽征兵征饷，令也速屯守全宁（今内蒙古翁牛特旗），并令太子爱猷识里达腊率军驻守红罗山（今辽宁兴城北），与大宁、辽阳互为犄角，联结上都，构成一道防线，试图以此保住北方地区，进而南下中原，以图恢复对中原的统治。此时的北元，不仅保存完整的政权机构，而且拥有相当的军事力量，“引弓之士，不下百万众也，归附之部落，不下数千里也，资装铠仗，尚赖而用也，驼马牛羊，尚全而有也”，实力与明朝相差无几。朱元璋削平各地割据势力，消灭元朝残余力量，实现全国统一的任务，仍然相当艰巨。

洪武元年（1368）八月，朱元璋接到征虏大将军徐达、副将军常遇春率北伐军攻克大都的捷报后，决定乘胜统一北方地区，对蒙古采取以军事征服为主、政治恩抚为辅的策略，“威德兼施”，两手并用。当月，他下诏改大都路为北平府，置六卫，命令都督孙兴祖、佥事华云龙领兵3万负责防守，徐达与常遇春则按照北伐前制定的作战指导方针，率师进取山西，并任命汤和为偏将军，与副将军冯胜、平章杨璟俱从徐达出征。八月二十五，朱元璋再次来到开封，具体部署作战行动。十月初十，他回到京师，为了安定北方的秩序，进一步动员百姓支持统一战争，又在第二天发布《克服北平诏》，宣布：“避兵人民，团结山寨，诏旨到日，并听各还本业”；逃匿他方的元朝故官及军民人等“果能自拔来归，并无罪责，仍令完聚”；“北平府新附地面应有犯罪及官有逋欠，但系前代事理，并行革罢”；“新附州城官吏，非奉朝廷明文，毋得擅科取索，骚扰百姓，以妨农业”。为了分化瓦解元朝的残余势力，诏书还宣布：元顺帝父子“果能审识天命，衔璧来降，待以殊礼，作宾吾家”；残元领兵头目“有能率众来归，一体量材擢用”；朔方百姓及蒙古、色目人民“自归服之后，并仰各安生理，趁时耕作，所有羊马孳畜，从便牧养，有司常加存恤”。

常遇春、傅友德按照朱元璋的部署，于九月率领明军的先头部队自北平出发，连克保定、中山（今河北定州）、真定。冯胜、汤和也在十月率兵由河南渡河，攻占泽州、潞州（今山西长治），与常遇春、傅友德形成两路夹攻之势。十一月，徐达率薛显等统御大军离开北平，至真定与常遇春会师，准备分兵攻取山西。元顺帝在北逃上都的途中，曾命扩廓帖木儿率兵出雁门关，经居庸关进袭北平。这时，扩廓帖木儿已带兵离开太原。有部将建议徐达回师以救北平，他没有同意，而是采取扼亢捣虚之策，率兵经井陉，向太原前进。扩廓帖木儿进到保安（今河北涿鹿），急忙回救太原。十二月，明军与扩廓帖木儿军在太原城西激战三日，未分胜负。徐达采纳郭英的建议，令其率精骑夜袭敌营，常遇春率大军继后。正在营帐中秉烛夜读的扩廓帖木儿措手不及，慌忙骑上一匹孱马，带着18名骑兵往大同方向逃去。常遇春率兵追击，扩廓帖木儿又逃往甘肃（治今甘肃张掖），常遇春追至忻州，找到从前被扩廓帖木儿扣住不放的使臣汪河。汪河被扩廓帖木儿扣留了很长时间，知其虚实，“及还，陈方略，扩廓由是多败”。徐达乘胜分兵攻取山西未下州县。

山西平定后，下一个目标是攻取关、陇。洪武二年（1369）正月，朱元璋遣使赍敕至太原谕诸将领：“近者（御史）大夫汤和定浙平闽中，平章杨璟靖湖湘，定广西，班师还朝，未曾定赏，为大将军等灭胡未还故也。于是再遣各官从大将军征进，以汤和为偏将军，杨璟听调。……今定右副将军冯宗异（冯胜）居遇春之下，偏将军汤和居宗异之下，偏将军杨璟居和之下，协力同心，剪除余虏，勿以细巧虑朕之所见也。倘朕法有未当，调度未周，尔等慎勿执一，更审而行之。”徐达接到敕书，派人转告康茂才、郭兴，并命令他们坚守陕州和潼关，厉兵积粮，准备配合大军西征，夺取关、陇。

洪武二年二月，徐达派常遇春、冯胜等率军渡河趋陕西。三月，徐达亲率大军入奉元路。元将张良弼先已弃奉元奔庆阳，元平章王武率官属士民迎降，徐达整师入城，改奉元路为西安府。此时关中正发生饥荒，朱元璋下令赐每户米一石，接着又派人至孟津仓库取米，每户再给米二石，“民大悦”。徐达命耿炳文驻守西安，常遇春、冯胜西攻凤翔。元将李思齐率所部10余万人西奔临洮，凤翔遂为常遇春所克。四月初二，徐达与诸将会集凤翔，讨论出击方向。诸将都认为张良弼的才干不如李思齐，庆阳也比临洮好打，主张先由豳州（今陕西彬县）攻取庆阳，然后再从陇西进攻临洮。徐达说：“不然。思道（张良弼）城险而兵悍，未易猝拔。临洮之地，西通蕃夷，北界（黄）河、湟（水），我师取之，其人足以备战斗，其土地所产足以供军储。今以大军蹙之，思齐不西走胡，则束手就降矣。临洮既克，则旁郡自下。”诸将表示同意。徐达乃留汤和看守营垒辎重，金兴旺、余思明等戍守凤翔，自己率师西取陇川（今陕西陇县），进克巩昌，然后兵分两路，命冯胜攻临洮，顾时、戴德攻兰州。四月十三，顾时等克兰州，冯胜也在同一天抵达临洮，李思齐势穷力蹙，举城投降。朱元璋得到捷报，遣使告谕徐达：“李思齐既降，宜进攻庆阳、宁夏。张思道（张良弼）兄弟多诈，若来降，当审处之，勿堕其计也。”徐达派人将李思齐送至京师，朱元璋任命他为江西行省左丞，食禄而不之官。

徐达遵照朱元璋的命令，回师东向，连续攻克安定（今甘肃定西）、会州（今甘肃会宁）、靖宁（今甘肃静宁）、隆德，东出萧关（今宁夏固原东南）而下平凉。与此同时，另一路明军也在指挥朱明的率领下攻克延安。张良弼在庆阳听说临洮被明军占领，惧走宁夏，把庆阳交给他弟弟张良臣、平章姚晖去守。张良弼到宁夏后，为扩廓帖木儿所不容，连同部将金牌张等全都被捉。徐达在五月间攻占平凉后，即谋取庆阳。他命令汤和派兵攻打泾州（今甘肃泾川），同时派遣指挥张焕率骑兵至庆阳侦察，并派人招降张良臣。张良臣表示愿以城降。徐达派薛显率步骑兵前去受降，张良臣却乘夜偷袭薛显营帐，张焕被俘，薛显负伤逃回。徐达闻讯，对诸将说：“上明见万里外，今日之事，果如前日所谕。然良臣之叛，只取灭亡耳，当与诸公戮力翦之！”他率师疾趋泾州，冯胜、傅友德也自临洮率兵前来会师。为了阻止张良臣的党羽救援庆阳，徐达先派傅友德、俞通源、陈德、顾时分别攻占庆阳东、西、南、北四面的据点，切断所有进出庆阳的通道，然后亲率诸将进逼庆阳，以重兵四面围城。张良臣几次出兵挑战，都被击退，派人去宁夏向扩廓帖木儿求援，半途又被明军俘杀。扩廓帖木儿见庆阳危急，派韩札儿前去增援。徐达急调诸将分守庆阳西南30里的驿马关和邠州（今陕西彬县）、灵州（今宁夏灵武）诸地，并伺机截击韩札儿的援兵，韩扎儿败回宁夏。张良臣坐困孤城，粮饷匮乏，至煮人汁和泥充饥。八月，姚晖等人见大势已去，开门迎降。徐达率师入城，张良臣父子投井自杀未死，被捞出斩首。陕西地区至此平定。朱元璋命徐达与汤和回京“议功赏”，令右副将军冯胜权镇庆阳，节制各镇兵马。十一月初一，徐达还京。过了13天，急于领赏的冯胜竟私自引兵还京。扩廓帖木儿乘机“纵游骑掠平凉、巩昌北鄙人畜，大为边患”。朱元璋严厉批评了冯胜，后来大赏平定中原及征南将士，赏给冯胜的金帛也少得多，“不能当大将军（徐达）半”。

洪武二年二月，当徐达、常遇春率领明军西攻陕西之时，图谋复辟的元顺帝见北平无重兵防守，便命也速率万骑南下，进袭通州。驻守通州的明军只有千人，守将曹良臣巧布疑阵，惊退敌军。四月，为确保北平的安全，朱元璋命副将军常遇春自凤翔回师北平，以李文忠为偏将军，准备出塞进攻开平。六月，也速再次引兵南下，进攻通州。朱元璋即命常遇春、李文忠率步卒8万、骑兵1万，往取开平。也速闻讯，领兵北返。常遇春与李文忠经会州（在今河北平泉南），取大宁，败也速兵，进克开平。元顺帝北奔，蓟北悉平。七月初七，常遇春还师柳河川（在今河北宣化北），突然暴病而死。此时，庆阳尚未攻克，朱元璋命偏将军李文忠率领明军，自北平会攻庆阳。元顺帝逃至应昌（在今内蒙古克什克腾旗达里诺尔湖畔），又令脱列伯、孔兴以重兵进攻大同。李文忠率领明军西进，八月在太原得到消息，对左丞赵庸说，将帅统兵在外，只要对国家社稷有利的事，可以自己独断专行。现在大同受围，如果坐等朝廷命令，那就来不及了，“机不可失，盍往救之”？遂挥师由代州（今山西代县）出雁门关北上。脱列伯率兵迎战，大败被俘。孔兴逃往绥德，为部将所杀。元顺帝知道大势已去，从此“无复南向矣”。

北元的几支武装，以退据甘肃的扩廓帖木儿最能打仗。洪武元年八月，刘基告老还乡时曾提醒朱元璋：“王保保未可轻也。”洪武二年八月，朱元璋再次给扩廓帖木儿写信劝降，但扩廓帖木儿置之不理，并在十二月间乘明军南还，从甘肃引兵袭击兰州，击败来援的明军，俘杀明将于光。朱元璋决定出兵还击。三年（1370）正月，命徐达为征虏大将军，李文忠为左副将军，冯胜为右副将军，邓愈为左副副将军，汤和为右副副将军，率领大军出征。出师之前，他问诸将应该先打哪里？诸将认为：“保保之寇边者，以元主犹在也。若以师直取元主，则保保失势，可不战而降者。”朱元璋没有同意，说：“王保保方以兵临边，今舍彼而取元主，是忘近而趋远，失缓急之宜，非计之善。”他提出两路分兵之策：“一令大将军自潼关出西安，捣定西，以取王保保；一令左副将军出居庸，入沙漠，以追元主，使其彼此自救，不暇应援。况元主远居沙漠，不意吾师之至，如孤豕之遇猛虎，取之必矣。事有一举而两得者，此是也。”

遵照朱元璋的部署，徐达率西路军西出潼关，三月抵达定西。扩廓帖木儿急解兰州之围，退屯兰州东面的车道岘。四月，徐达带兵出定西，进驻沈儿峪（又名沈鱼儿峪，今甘肃定西巉口镇），与扩廓帖木儿隔着一条深沟布阵，于是爆发了一场数十万人的大战。扩廓帖木儿派数千精兵偷偷从东山穿过小道而下，突然袭击明军东南的营寨，守营的明将胡德济惊慌失措，士卒溃散。徐达亲自带兵出击，打退北元军队，并斩杀几名守营的将校，将胡德济押送南京治罪。翌日，重新整顿队伍，挥师出击，终于在深沟北部的一片坟场上大败元军，活捉北元郯王、文济王及国公阎思孝、平章韩扎儿、虎林赤等1865人，俘虏将校士卒84500余人，获马15280余匹和大批骆驼、骡、驴及其他牲口。俘获的“部下大小将帅，悉擒至兴元斩之，士卒派隶各卫”。扩廓帖木儿与妻子数人向北逃窜，“至黄河，得流木以渡，遂由宁夏奔和林”。五月，徐达命邓愈南下临洮，进攻河州（治今甘肃临夏）。河州在洪武二年四月曾为冯胜所攻克，但他“以化外之地，不可守，将城楼库房尽行焚烧殆尽，拘虏南归，自洮河至积石关三百余里，骸骨遍野，人烟一空”。邓愈攻占河州后，命凤翔卫指挥副使韦正镇守，并遣使招谕吐蕃。六月，北元陕西行省吐蕃宣慰使何锁南普至邓愈军门投诚；元宗室、吐蕃地区法理上的所有者镇西武靖王卜纳剌，亦在韦正的招抚下，领所辖吐蕃诸部大小番酋持元朝所授金银铜印、金银牌面宣敕及金玉图书来降。“于是，河州以西，甘朵、乌思藏等部皆来归，征哨极甘肃西北数千里始还”。

李文忠于二月间率10万东路军越过野狐岭（在今河北万全北），经兴和（今河北张北）北上，在察罕脑儿擒获北元平章竹贞，并在附近的骆驼山击败北元太尉蛮子等，于五月间进抵开平。五月十三，向应昌挺进，途中俘获北元报丧的信使，得知元顺帝因患痢疾已于四月二十八死去，乃全速进军。两天后，遭遇北元军队，激战败之，进围应昌。五月十六，明军攻占应昌，俘获元顺帝孙买的里八剌并后、妃、宫人及诸王、省院官员等，缴获宝玺及大批驼马牛羊。只有皇太子爱猷识里达腊携数十骑逃脱，李文忠亲率精骑追击，至北庆州（在今内蒙古巴林右旗境内），不及而还。爱猷识里达腊向西北方向，逃奔旧都和林。

十一月，徐达、李文忠班师还京，朱元璋论功行赏，进宣国公李善长为韩国公，信国公徐达为魏国公，封常遇春子常茂为郑国公，李文忠为曹国公，邓愈为卫国公，冯胜为宋国公，封汤和、唐胜宗、陆仲亨、周德兴、华云龙、顾时、耿炳文、陈德、郭兴、王志、郑遇春、费聚、吴良、吴祯、赵庸、廖永忠、俞通源、华高、杨璟、康茂才子康铎、朱亮祖、傅友德、胡美、韩政、黄彬、曹良臣、梅思祖、陆聚等28人为侯，各赐铁券，食禄有差。所封公、侯，俱令子孙世袭。封汪广洋、刘基为伯，各赐诰命，食禄有差。据《实录》载，当年十二月，又封薛显为侯，翌年还追封已在四川战死的汪兴祖为侯。但据钱谦益、潘柽章的考证，洪武三年十一月封侯的共30人，包括薛显、汪兴祖在内，惟薛以专杀，汪以杀降，均封而不与铁券。

明军这次两路出击，逼使北元势力从应昌、定西一线北撤。接着，朱元璋再次发动招抚攻势。当年四月，沈儿峪战役之后，他遣使带信给元顺帝，再次劝元顺帝“奉天道，顺人事，遣使通好，庶几得牧养于近塞，藉我之威，号令其部落，尚可为一邦之主，以奉其宗祀”。五月，得到元顺帝的死讯，认为“敬其主则其臣悦”，又为之上谥号曰“顺帝”，并遣人致吊，亲为祭文曰：“今闻君殁于沙漠，朕用恻然。”六月，李文忠遣送买的里八剌及其母妃到达南京，中书省臣杨宪等建议用唐太宗对待王世充的办法献俘于庙，他没有采纳，而是以礼相待，让买的里八剌穿着蒙古服装于奉天殿朝见，朝毕赐给汉族衣冠，封买的里八剌为崇礼侯，赐宅第于龙山，“且以后妃不能耐暑，况北狄但知食肉饮酪，敕中书省臣：务使饮食居第适宜；若其欲归，当遣还沙漠”。同时，颁布《平定沙漠诏》，声明：“朕既为天下主，华夷无间，姓氏虽异，抚字如一”，宣布北元嗣君、买的里八剌之父爱猷识里达腊如能归附，“当效古帝王之礼，俾作宾我朝”；北元官吏能倾心来归，“不分等类，验才委任”；其宗王驸马部落臣民能率众来归，“当换给印信，还其旧职，仍居所部之地，民复旧业，羊马孽畜，从便牧养”。七月，又释放北元平章彻里帖木儿北归，带信给爱猷识里达腊，进一步提出：“前事之失，兹不必较”，要他“遣使一来，公私通问”；如能臣服明朝，“尚可为一邦之主”，“藉我之威，号令部落”。

朱元璋的招抚政策，逐渐收到了效果。这一年九月，北元宗王札木赤、指挥把都、百户赛因不花等11人自官山（在今内蒙古卓资山北）来降，朱元璋诏立官山等处军民千户所，以把都为正千户，赛因不花等三人为百户。洪武四年正月，北元枢密都连帖木儿等自东胜州来降，又设置失宝赤、五花城、干鲁忽奴、燕只、翁吉剌等五个千户所，以都连帖木儿等为千户。二月，北元辽东行省平章刘益接受招抚，又诏置辽东卫指挥使司，以刘益为指挥同知。不久，北元平章洪保保、马彦翚等发动叛乱，杀死刘益。叛乱平息后，朱元璋又置定辽都卫指挥使司，以马云、叶旺为都指挥使，总辖辽东诸卫军马。这样，明朝北方近塞地区基本平定，防御力量大大加强了。

但爱猷识里达腊仍然拒绝朱元璋的招降。他自幼受丞相脱脱家的抚养，六岁还宫后接受比较系统的教育，被立为皇太子后开始参决政务，具有较高的汉文化修养和处理政务的能力，颇想挽回元室既倒的颓势。元顺帝死后，他继位称必力克图汗，取杜甫《北征诗》“周汉获再兴，宣光果明哲”之意，改元宣光，以扩廓帖木儿为中书右丞相，并继续重用也速、哈剌章、蛮子、纳哈出等大臣，不时派兵南下骚扰，力图与明朝抗衡。一些元朝遗民，对他寄予厚望。沿边有些宗王、官吏，便固守山塞，负隅顽抗。如“元四大王”即据守岢岚山，时扰武（治神武，在今山西神池东北）、朔诸州。一些已归附明朝的宗王、军民，也纷纷采取策应北元军队的行动。洪武四年四月，北元降将、知院白文显在华亭（今属甘肃）聚众叛乱；七月，大同官山千户所百户速哥帖木儿、捏怯来等“谋叛，杀其千户把都等”；十月，北元知院小保、司丞蛮子等在忻州“聚众作乱”。

这种状况，使明朝的许多将领产生了急躁情绪。洪武五年（1372）正月，朱元璋在武楼与诸将讨论北方边防问题，徐达建议北征沙漠，说：“今天下大定，庶民已安，北虏归附者相继，惟王保保出没边境，今复遁居和林。愿鼓率将士，以剿绝之。”朱元璋一贯主张“贵于持重”的作战方针，所以起初并不赞成徐达的意见，说：“败亡之众，远处绝漠，以死自卫。困兽犹斗，况穷寇乎！姑置之。”但诸将一致支持徐达的建议，说：“王保保狡猾狙诈，使其在，终必为寇。不如取之，永清沙漠。”朱元璋遂贸然同意，询问北征沙漠需要多少兵力。徐达说有兵10万就足够了，朱元璋认为10万人太少，决定出动15万军队，兵分三路，并任命魏国公徐达为征虏大将军，曹国公李文忠为左副将军，宋国公冯胜为征西将军，分别统帅三路大军北征，“以清沙漠”。临出征前，朱元璋对诸将宣布他的战略部署：“今兵出三道，大将军由中路出雁门，扬言趋和林而实迟重，致其来击之，必可破也；左副将军由东路自居庸出应昌，以掩其不备，必有所获；征西将军由西路出金兰取甘肃，以疑其兵。令虏不知所为，乃善计也。卿等宜益思戒慎，不可轻敌。”即采用疑兵之计，由徐达率领主力中路军，扬言欲攻和林，引诱北元军队至近边决战；李文忠率领东路军，同前两次一样，奔袭北元汗庭；冯胜率领西路军，主要则是迷惑和牵制北元西北诸王的军队，配合中路军作战。二月，徐达率中山侯汤和等领中路军进抵山西，以都督蓝玉为前锋，出雁门关，在野马川击败蒙古游骑。三月，又在土剌河（在今蒙古国乌兰巴托西）击败扩廓帖木儿的军队。扩廓帖木儿吸取上次在甘肃沈儿峪战役与明军正面对峙惨遭败北的教训，步步后撤，力图引诱明军深入漠北腹地，然后发挥自己骑兵队伍机动作战的优势，在广阔的草原上与明军周旋，再寻机加以歼击。一向“持重有纪律”的徐达，却无视自己的部队步骑相杂，互相牵制，粮饷运输困难，不便机动的弱点，违背朱元璋的引诱北元军队至近边决战的战略决策和“不可轻敌”的诫谕，恃屡胜之威穷追不舍，深入漠北。五月，明军进抵杭爱岭北（约在今蒙古国乌兰巴东北），既疲惫又轻敌麻瘅，结果遭到扩廓帖木儿及其骁将贺宗哲的围击，“死者万余人”。徐达急忙下令收兵，固守营寨，“故彻侯功臣无死者，虏亦不敢入塞”。七月，殿后的汤和又在断头山遭遇敌军，吃了败仗，平阳左卫指挥同知章存道战死。

李文忠率都督同知何文辉领东路军出居庸关后，经应昌北上，至口温（在今内蒙古查干淖尔南边），当地的蒙古部落弃营夜遁。北元军队仍然执行诱敌深入之策，步步后撤。李文忠进至胪朐河（今蒙古国克鲁伦河），令部将韩政看守辎重，自率大军，每人携带20天口粮，兼程急进，直趋土剌河。北元太师蛮子、哈剌章尽驱部众渡河，列骑以待。李文忠引兵逼之，待敌稍却，渡河西进。六月，在阿鲁浑河（今蒙古国鄂尔浑河）畔，与北元骑兵展开一场激战。此役明军虽“获人马以万计”，但自己也遭受重大损失，宣宁侯曹良臣、指挥使周显、常荣（常遇春之弟）、张耀俱战死。进至称海（在和林偏北的鄂尔浑河一带），蒙古骑兵重新集结，李文忠采用疑兵之计，“勒兵据险，椎牛享士，纵所获马畜于野，示以闲暇”。过了三天，北元骑兵怀疑明军有埋伏，引兵他去。此时明中路军已经败退，东路军陷于孤军奋战的困境，李文忠只得下令班师。

冯胜率临江侯陈德、颍川侯傅友德等领西路军出发后，于五月间抵达兰州。傅友德率骁骑5000，直趋西凉（今甘肃武威），败北元将领失剌罕，追至永昌，又败北元太尉朵儿只巴。进至埽林山（在今甘肃北部），与冯胜合兵，又击败敌军，杀死北元平章不花，降北元太尉锁纳儿加、平章管著等。六月，冯胜等率军进抵甘肃，北元守将上都驴率所部吏民830余户投降。冯胜乘胜进军亦集乃路，降北元守将卜颜帖木儿，又进至瓜（治今甘肃安西西南）、沙（治今甘肃敦煌对岸）而还。西路军扫荡了北元甘肃行省全境，但北元军民大多退走，所以战果不大，只俘获了一些居民和牲畜。十二月，冯胜“将甘州所葺城池、营房、仓库、转运米麦料豆二十余万石及军需尽焚之，弃城归，并宁夏、西凉、庄浪三城之地亦弃，仅以牛羊马驼令军人赶归”。

这次对北元用兵，中路军战败，东西两路虽然取得了一些胜利，但所获不多，而明军自己却受到不小的损失，估计三路大军总共牺牲了几万人。班师后，徐达虽深入岭北惨遭败北，但朱元璋“以达功大”，没有问罪；李文忠得不偿失，“以故赏不行”；冯胜虽“全师而还”，但有人揭发他私藏缴获的驼马，也“赏不行”。二十五年后，朱元璋回想起这个战役，还后悔不迭，写信告诫镇守北方边境的晋、燕二王说：“吾用兵一世，指挥诸将，未尝败北，致伤军士。正欲养锐，以观胡变，夫何诸将日请深入沙漠，不免疲兵于和林，此盖轻信无谋，以致伤生数万。”

北元军队乘机发动反攻，不时袭击从辽东直至甘肃沿边地带，并重新攻占兴和、亦集乃和甘肃的西北地区。爱猷识里达腊还乘胜派人联络云南和高丽，从洪武五年四月起与云南的梁王建立了联系，高丽后来也于洪武十年（1377）正式奉北元正朔，“中外决狱，一遵至正条格”。北元的统治逐步稳定下来，爱猷识里达腊在给高丽的诏书中得意地声称：“顷因兵乱，播迁于北，今以扩廓帖木儿为相，几于中兴。”

明朝的北部边境出现了严重的危机，迫使朱元璋冷静下来，重新考虑对北元的策略方针。他认识到，此时卫所制度尚在建立之中，明军主要是原先参加起义的所谓“诸将所部兵”和投降过来的元朝军队及各个割据势力的队伍即所谓“胜国及僭伪诸降卒”，而以“诸将所部兵”为主力。这支队伍主要来自江南地区，步卒数量虽多，骑兵队伍不大，不适于深入漠北草原作战。况且，这时明朝的经济尚未恢复，统治很不巩固，实力不够强大，加上长城以内尚未完全统一，特别是云南地区还为北元梁王势力所控制，明军北征不免有后顾之忧，因此一时也难以消灭北元。于是，他吸取这次北征失败的教训，暂时放弃主动出击的策略，改取积极防御的做法。洪武五年（1372）十一月，朱元璋下令将北征将士调回山西、北平等地。第二年三月，命徐达为征虏大将军、李文忠为左副将军、冯胜为右副将军、邓愈为左副副将军、汤和为右副副将军，统兵往山西、北平等处练兵备边，反复诫谕他们：“御边之道，固当示以威武，尤必守以持重，来则御之，去则勿追，斯为上策。若专务穷兵，朕所不取，卿等慎之。”“但保障清野，使来无所得，俟其惰归，则率锐击之，必掩群而获”。实际上是重申“贵于持重”和“固守疆圉”的方针。洪武八年正月，又遣卫国公邓愈、河南侯陆聚往陕西，中山侯汤和、平章李伯昇往彰德、真定，指挥冯俊、孙通、赖镇往汝宁，李谧、耿孝、黄宁、李青、陈方、庸武兴往北平、永平督兵屯田，开卫戍守。第二年正月，复命中山侯汤和、颍川侯傅友德、都督佥事蓝玉、王弼、中书右丞丁玉帅师，往延安防边。为了加强对蒙古的防御，明朝在长城沿线的军事要冲之地陆续增置卫所，并通过“归附”“谪发”特别是“垛集”的方式，大量补充沿边卫所的兵力，修建城池关隘，屯田防守，并将沿边百姓迁入内地，实行坚壁清野。如洪武六年八月，迁朔州边民于内地；九月，迁山西弘州、蔚州、安定、武、朔、天城、白登、东胜、丰州、云内等州县民“居于中立府”；十一月，迁绥德、庆阳之境居民于内地；十二月，“以瑞州逼近虏境”，罢瑞州州治，迁其民于滦州（治今河北滦县），并“徙抚宁县治于洋河西，民之近边者皆徙内地”；洪武七年四月，又命太原都卫将“塞外夷民皆令迁入内地”。经过一段时间的经营，东起辽东，西至关、陇，卫所林立，堡塞相望，构成一道坚固的防线。纳哈出、扩廓帖木儿及其他北元将领多次遣兵入犯，皆被击退。

在积极加强北方边境防御的同时，朱元璋继续对北元发动招抚攻势。洪武五年（1372）十二月，他主动赍书与爱猷识里达腊，谓“自古国家，必有兴废，以小事大，理势之常”，劝其仿效南宋事金之例以事明，并报告自己优待其子的情况，令其“遣使取归”。同时，还致书谕北元大臣刘仲德、朱彦德，要他们规劝爱猷识里达腊接受明朝的招抚，并取回其子。七年九月，朱元璋又主动命已归降的故元宦官咸礼、袁不花帖木儿护送买的里八剌回漠北，并致书招抚爱猷识里达腊，说：“若能悟我所言，必得一族于沙漠中，权时自为，或得善终”；“君若不悟，不效古人之事，他日加兵于彼，祸福有不可测者矣”。连同以前的几封劝降信，这已是对元顺帝父子的第五封劝降信。对扩廓帖木儿的招抚，朱元璋更是煞费心思。扩廓帖木儿败奔和林之前，朱元璋先后给他写过七封信，“皆不答”。扩廓帖木儿败奔和林后，明军俘虏了他的家属，朱元璋又逆用汉代刘敬提出的公主远嫁之策，封其妹为秦王妃，并再次派人招抚。但扩廓帖木儿仍“不应”。洪武七年，他又派李思齐亲去蒙古劝降。扩廓帖木儿对李思齐假装以礼相待，留他住了几天，然后派骑兵送他返回明朝，在边界上要他留下一只胳膊作为纪念。李思齐忍痛砍下一只胳膊，回到京师不久就死了。朱元璋曾感慨地说：“（常）遇春虽人杰，吾得而臣之。吾不能臣王保保，其人奇男子也！”还感叹说：“天下一家，尚有三事未了：一少传国玺，一王保保未擒，一元太子无音问。”后来，扩廓帖木儿随爱猷识里达腊迁徙到金山（今阿尔泰山）之北，洪武八年八月死于哈剌那海的衙庭，妻子毛氏也殉夫死。

扩廓帖木儿死后，北元中路和西路的军事力量日渐削弱，不能再南下深入内地骚扰。到洪武十一年（1378）四月，爱猷识里达腊病卒，其弟（一说为其子）脱古思帖木儿继位，称乌斯哈勒汗，改元天元，声势更加衰微。就在这一年，朱元璋命第二子秦王朱樉、三子晋王朱棡就藩西安、太原，十三年令四子燕王朱棣就藩北平，授予他们军事大权，准其建立护卫，益以军卒，以加强北方的军事力量，边境的形势进一步稳定下来了。