对忽必烈来说，他对远东的征服战绩辉煌。但另一方面，转变成中国天子的他因抛弃了纯蒙古人传统，逐步融入汉族人的生活方式而与其他同族有了明显的差异。
那些忠实于老传统的蒙古人和蒙古化的突厥人纷纷对他表示反对。阿里不哥是第一个反对忽必烈的人，但更有个性、更有魄力的却是窝阔台的孙子海都，他首先发难，起兵讨伐忽必烈。
海都的目标就是要恢复自己作为窝阔台家族合法继承人的身份，在中亚建立一个大汗国。他首先起来反对的是察合台家族。1267~1269年，他打败察合台长子木阿秃干的孙子八剌，占领了伊犁河流域和喀什噶尔，只把河中地区留给八剌，把八剌和他的继承者们当作自己的属臣。此时的海都公然称汗，并和忽必烈分庭抗礼。
1275年，忽必烈派四子那木罕率军前往阿力麻里平定海都，随之出征的是那木罕杰出的智囊团，其中包括脱脱木儿和蒙哥之子昔里吉。1276年，脱脱木儿伙同昔里吉拘捕了那木罕，并宣布拥护海都，
将昔里吉交给海都的盟友，即钦察汗忙哥帖木儿，并游说其他一些宗王加入反叛的队伍。海都率部从阿力麻里向哈拉和林进发。为应付严峻的局势，忽必烈召回了最杰出的爱将伯颜。伯颜在额尔浑河畔击溃昔里吉，把他赶到也儿的石河畔，脱脱木儿则躲到达唐努乌拉的黠戛斯人境内，之后又被忽必烈的军队逐出该地区。
紧接着，反叛者们内讧不断，昔里吉杀死了脱脱木儿，并和察合台次子撒里蛮反目成仇。最后，撒里蛮捉住了昔里吉，将他作为投降的见面礼送给了忽必烈。撒里蛮得到了宽恕，昔里吉却被流放到荒岛上，反忽必烈同盟就此解散。1278年，那木罕王子获释。
海都仍然和忽必烈对峙着。作为窝阔台家族的首领，他统治着叶密立、伊犁河流域、喀什噶尔等地，控制着察合台家族，以中亚可汗的身份对抗着忽必烈这位远东可汗。
1287年，海都组成了新的反忽必烈同盟，其中包括蒙古帝国各支的首领一成吉思汗弟弟们的后代，以及一些宗王：斡赤斤铁木哥的后裔乃颜；成吉思汗大弟哈撒儿之孙势都儿；成吉思汗二弟哈赤温的后裔哈丹。他们在东蒙古和满洲地区都有封地。
忽必烈迅速行动起来。1288年，他命令伯颜留守哈拉和林以拒海都，他自己则和博儿术的孙子玉昔帖木儿将军攻打满洲。为了打赢这场至关重要的战争，他做了充分的准备。帝国舰队带着大量的战备物资从长江下游港口出发，在辽河登陆。72岁的忽必烈坐在由四头大象驮着的木塔上指挥作战。
战争初期，双方势均力敌，打得难分难解。但忽必烈有效地利用军队，在兵力上占据了优势，取得了最终的胜利。忽必烈以不流血的方式，在毡毯下闷死了乃颜。
那些曾追随乃颜的聂思托里教教徒最终得到了忽必烈的饶恕。忽必烈的孙子铁穆耳完泽笃进一步镇压了其他部落的反叛，使该地恢复了往日的平静。
海都陷入了孤军作战的局面，但他仍统治着杭爱山以西的西蒙古和突厥斯坦。忽必烈的孙子甘麻剌王子负责保卫杭爱山边境不受海都侵犯。双万展开激战，被海都击败的甘麻剌被围困在色楞格河附近，费尽九牛二虎之力才得以逃脱。
1289年7月，年事已高的忽必烈决定亲自上阵以扭转当时的危急形势，然而，海都已按游牧方式远遁。1293年，伯颜以哈拉和林为基地，成功地发动了一次对叛军的远征。同年，忽必忽的孙子铁穆耳王子接过伯颜的使命，继续攻打叛军。伯颜则成了忽必烈的宰相，帮他治理国家。
1294年2月18日，忽必烈驾崩。遗憾的是，他生前没能等到反海都之战的结束，窝阔台家族的首领仍然统治着杭爱山以西的蒙古和中亚地区。忽必烈的孙子，其继承者铁穆耳完泽笃继续了这场战争。
1297~1298年间，海都联合统治着突厥斯坦的察合台兀鲁思首领都哇一起对抗忽必烈的拖雷家族。都哇对当时元军的统帅--铁穆耳皇帝的女婿阔里吉思发动突然袭击，并将他生擒。他又企图袭击保卫着唐兀惕边境的阿难答王子，却被元军击溃，落荒而逃。为了泄愤，他在逃亡途中处死了阔里吉思。
1301年8月，海都集合了窝阔台系和察合台系的许多宗王再次进攻哈拉和林。当时镇守该地的是铁穆耳皇帝的侄子海山王子，双方在哈拉和林与塔米尔河之间展开激战，海都战败，并死于撤退途中。
海都之子察八儿继承父位，成为了叶密立地区窝阔台兀鲁思的首领，他和察合台兀鲁思首领都哇一起继续反元。但无休止的、屡战屡败的战争让都哇感到厌倦，他说服察八儿一起停止战争，承认了铁穆耳的宗主地位。1303年8月，两位宗王派使者向铁穆耳表示效忠，至此，窝阔台和察合台的兀鲁思归顺，拖雷家族再次统一蒙古。1306年，都哇和察八儿之间因利益而起纷争，都哇囚禁了察八儿，逼他交出东、西突厥斯坦。都哇死后，察八儿举兵进攻都哇之子、其继承者怯伯汗，企图重新控制察合台兀鲁思。但他最终被怯伯汗击败，四处逃亡。
至此，统治了中亚四十多年，与拖雷家族持续抗衡的窝阔台家族从此消失。 此时的元朝，已经成为其他蒙古汗国的唯一宗主，其远至多瑙河和幼发拉底河的疆土，大都成为世界之都。
