忽必烈即位后，接受了大臣们的建议，决定“帝中国当行中国事”，并在《即位诏》中明确宣布：“朕惟祖宗肇造区宇，奄有四方，开功迭兴，文治多缺，五十余年于此矣。”指出父祖们靠强大的武功创立了帝国，但不能靠武功来治理它，而必须“行汉法”，即“新朝立纲陈纪，当以国朝之成法，据唐宋之故典，参辽金之遗制。”
元朝之前的宋朝，赵匡胤为了加强中央集权，极力从军、政、财、司等各方面削弱地方，造就强干弱枝的政治局面；元朝后面的明代也是把地方权一分为三，分别为承宣布政使司、提刑按察使司、都指挥使司，这也是通过分化地方之权来加强中央集权的制度；而处于宋代和明代之间的元朝却反其道而行之，实行行省制度，地方行省权力相当之大，以至于“军国重事，无不领之”。但是这种制度并没有造成国家分裂、军阀割据，而是使这个由草原游牧民族建立的大一统王朝，加强了中央集权，使空前广袤的疆域维持了近百年。
中统元年（1260年）四月，忽必烈在开平设立中书省，作为中央最高行政机关。以后随着统一的进程，陆续在全国设立了十一个行省作为中书省的派出机构，它们是：岭北行省、辽阳行省、陕西行省、甘肃行省、河南江北行省、江浙行省、江西行省，湖广行省、四川行省、云南行省和征东行省。每个行省下辖路、府、州、县四级地方行政机构。