山东省，位于我国华东沿海北端、黄河下游，自古不仅文化灿烂、人杰地灵，还濒临渤海、黄海，有鱼盐之利，一直为我国历史上政治、经济、文化最为发达的地区之一。山东是孔子、孙武、吴起、孟子、墨子、诸葛亮等先贤故里，为儒家文化的诞生地，也是中华民族和华夏文明的重要发祥地之一。
我国“行省制度”发端于元朝并沿用至今，是元朝所做出的的贡献之一，山东尽管历史悠久，但元朝时并未设省。元朝时期，山东地域由中书省直辖，为“腹里”，明朝建立后山东才设省，后改为山东承宣布政使司，但仍通称为山东省。
明朝初期，山东政区变化频繁，山东行省设于明洪武元年（1368年），同年徐达攻克元大都，北平府、永平路等曾短暂归山东行省管辖，1376年山东行省改为山东承宣布政使司，1377年布政使司衙门由青州移治济南，济南自此成为山东政治中心。1385年以后山东所辖才基本稳定为六个府及辽东都司，其中济南府、东昌府、兖州府称西三府，青州府、莱州府、登州府称东三府。
兖州为古九州之一，最初只是一个地理范围，大致为古河水（古黄河）与古济水之间的山东西部、河北南部、河南东北部等地区，是华夏民族早期生存的核心区域。兖州作为政区名始于西汉汉武帝时，当时刘彻将全国划为十三刺史部，兖州刺史部就为其一，但最初仅为监察区，到汉末逐渐演变为行政区。
早期，兖州治所多变，到南北朝时期才移治瑕丘县（今兖州），此后历代均为鲁西南的重要中心。到元朝时，兖州为济宁路所辖，明初改济宁路为济宁府，兖州为其所辖散州。明洪武十八年（1385年），兖州升为兖州府，而济宁则降为州，其所辖囊括山东西南，面积广大。
明朝时期，兖州府以嵫阳（后改为滋阳，即今兖州区）为附郭，到明末直辖滋阳、曲阜、鱼台、宁阳、泗水、金乡、成武、滕县、邹县、峄县、单县等十一县及济宁州（领本辖及嘉祥、郓城、巨野三县）、东平州（领本辖及汶上、东阿、阳谷、寿张、平阴等五县）、曹州（领本辖及曹县、定陶两县）、沂州（领本辖及费县、郯城两县）共四州二十三县。
兖州府明朝时期占有鲁西南全部，包括现在的菏泽、济宁、枣庄、临沂等市的全部或大部及泰安、济南、聊城部分地区当时均由兖州府所辖。清朝建立后，兖州仍为府，但其所辖的四个州曹州、沂州、东平州、济宁州先后析出为直隶州，共割县十三座。
济宁州是原兖州府所辖四州中最后析出的一个，其在1724年至1730年曾短暂析出，乾隆四十一年（1776年）又升为直隶州。兖州府自此至清末仅辖滋阳、曲阜、泗水、寿张、汶上、阳谷、宁洋、邹县、滕县、峄县等十县。
兖州府一分为五后各部结果也各不相同。曹州、沂州升为直隶州由兖州府析出后升为了曹州府、沂州府，东平州则又降为散州，改属泰安府，到清末这部分为三府一直隶州一散州。民国初，兖州府废，仅余滋阳县，建国后改称兖州县，现为济宁市兖州区。
