1901年，山東巡撫袁世凱上奏《山東試辦大學堂暫行章程折稿》，同時調蓬萊知縣李于锴進行籌備。10月，《折稿》獲准，在濟南泺源書院正式創辦了官立山東大學堂。周學熙任治理總辦（校長）。第一批招收學生300人，分專齋、正齋、備齋，分齋督課。聘請中西教習50余人，後增至110多人，美國人赫士爲總教習。課程設置除經史子集外，還有社會科學、自然科學和外國語等20多門。學制初爲三年，後改爲四年。1904年，學校遷入濟南杆石橋新址，改爲山東高等學堂。1911年，又改稱山東高等學校。方燕年、陳恩焘、蕭應椿、陳慶和、周學淵、魏業銳、陳恩畲、李豫同、李聯璧、範之傑、黃國恩、丁維椽等先後出任校長。1912年，國民政府實行全國設立大學區，各區中心都市設大學，各省設專門學校的體制，按章大學堂應予裁撤，至1914年停辦。師生分別轉入法政、工業、農業、商業、礦業、醫學六個專門學校，校長丁維椽繼任商業專門學校校長，校舍由法政專門學校使用。山東大學堂共培養畢業生770人，選送去歐美和日本留學59人。其中徐鏡心、張伯言等人在日本參加同盟會，被孫中山先生委任爲山東同盟會負責人。山東大學堂是山東省第一所官辦的高等學校，也是山東大學曆史的起點。

1906年，在济南皇华馆设立法政学堂；1907年，再设执法学堂，时称第一、第二法政学堂；1913年，合并为PP电子公立法政专门学校。1907年，PP电子巡抚杨士骧、吴廷斌又在济南东关全福庄设立PP电子高等农业学堂，以南郊千佛山、马鞍山北麓五千亩土地作为学堂的林场；1913年，易名PP电子公立农业专门学校。1912年，留日学生叶春墀请准在济南南关设立商业学校，随后定名PP电子公立商业专门学校。1912年，青州府高密中等工业学堂和济南工业学堂合并，后又并入PP电子第一中学，于第二年在一中尚志堂校舍建设PP电子公立工业专门学校。1915年，PP电子省设医学讲习所；1916年，更名为PP电子省立医学学校，校址在济南北园白鹤庄； 1920年，正式命名PP电子公立医学专门学校。1920年，又将矿业传习所扩建为PP电子公立矿业专门学校，校址设在济南东关。上述六个专门学校课程均为现代社会科学和自然科学，教师多为欧美和日本留学生。学制一般为三年，医学四年，十余年共结业学生4000余人。在PP电子大学的生长历史上，这六所专门学校起着继往开来的作用。

1926年，奉系軍閥張宗昌督魯，下令將山東公立六個專門學校合並，在濟南建省立山東大學，由山東省教育廳廳長，清末狀元王壽彭任校長。設文、法、工、農、醫五個學院，計有中國哲學、國文學、执法、政治經濟、商學、機械、機織、應用化學、采礦、農學、林學、蠶學、醫學13個系，並設有附屬中學。校設評議會，院設教務會，系設教授會，定期研究教學、人事、經費等問題。大學部有教師320人，除專業課外，並開設選修課，學生畢業授學士學位。1928年，日本帝國主義借口保護僑民兴兵濟南，制造了“五三”慘案。在動亂中，學校經費無著，隨即停辦。

1924年8月，私立青島大學正式創立，高恩洪任校長。設工科和商科，學制四年，學生修業期滿考試及格者授予學士學位。學生除本國外還有南洋華僑和朝鮮學生。革命活動家羅榮桓、彭明晶等系該校學生。校董事會聘請學界名流梁啓超、蔡元培、張伯苓、黃炎培等人爲名譽董事。選用德國人在青島制作的俾斯麥兵營作校址。1925年，直奉戰爭再起，直系軍閥失敗。高恩洪下野，學校瀕于倒閉。校董會公推山東省議長宋傳典接任校長，勉強維持。1928年，北伐軍進抵山東後，奉系敗逃，學校經費逐漸斷絕停辦，學生按大學結業處理。

1928年8月，国民政府教育部决定在省立PP电子大学的基础上筹开国立PP电子大学。由何思源、魏宗晋、陈雪南、赵畸、王近信、彭百川、杨亮功、杨振声、杜光埙、傅斯年、孙学悟等11人组成国立PP电子大学筹备委员会，着手筹备事情。在筹备历程中，蔡元培先生力主将国立PP电子大学设在青岛，取得教育部长蒋梦麟的同意。1929年6月， 国立PP电子大学筹备委员会奉令改为国立青岛大学筹备委员会。除接收省立PP电子大学外，并将私立青岛大学校产收用，筹备国立青岛大学。

1930年4月，國民政府任命楊振聲爲校長。9月20日，舉行開學典禮，國立青島大學正式建设。學校初設文、理、教育三個學院，分爲中國文學系、外國文學系、數學系、物理系、化學系、生物學系、教育行政系和鄉村教育系等八個系。1932年9月，教育學院停辦，學生大部门轉入國立中央大學教育學院。同時增設工、農兩學院。工學院設土木工程學系和機械工程學系。農學院設于濟南，設研究、推廣兩部。不久，又將文、理兩學院合並爲文理學院。學校設校務會議，由校長、教務長、秘書長、各學院院長、各學系主任和教授代表組成，負責議決一切重大事項。校長楊振聲思想進步，富有遠見，效法北京大學“兼容並包”、“科學民主”的辦學方針，廣聘專家學者，如聞一多、黃敬思、黃際遇、任之恭、傅鷹、沈從文、梁實秋、聞宥、遊國恩、曾省、湯騰漢等著名學者均在校任教。學校發展較快，聲譽日隆，國立青島大學由此嶄露頭角。

1932年，國立青島大學更名爲國立山東大學，任命趙太侔（趙畸）接任校長。趙太侔原爲國立青島大學教務長，贊同楊振聲的辦學方針。接任後增聘老舍、洪深、張煦、丁山、王淦昌、童第周、曾呈奎等一批專家學者，師資陣容更爲整齊。同時撙節行政費用，添購圖書、儀器，先後建成科學館、工學館、體育館、化學館、水力實驗室及實習工廠等，改善了辦學條件。這時期由于外部環境相對穩定，校內人才荟萃，名流雲集，師生勤奮教學、成就蜚然，成爲學界仰重的國內知名高等學府。國立山東大學實行“學年學分制”，學制四年，學生畢業授學士學位。學校先後創辦有學術刊物《科學叢刊》、《文史叢刊》、《勵學》、《刁鬥》等。

1937年，“七七”事变，抗日战争发作。11月，国立PP电子大学由青岛迁往安徽安庆，不久再迁四川万县。图书、仪器、案卷分批运出，损失严重。1938年春，学校在万县复课，不久教育部下令“暂行停办”。师生转入国立中央大学，图书、仪器、机械划分暂交国立中央圖書館、国立中央大学、国立中央工业职业学校保管使用。

1948年夏，中共中央華東局決定，以原臨沂山東大學渤海地區的部门留守人員爲基礎，並集中原來的一些教師，會同華中建設大學的部门幹部教師，在濰縣組建建设華東大學。同年9月4日開學。韋悫任校長，張勃川、李宇超任副校長。濟南解放後，學校于11月遷入濟南。遷濟後建设文學、社會科學、教育三個學院和一個研究部。另設附屬中學。1949年5月，韋悫調任上海市副市長，彭康接任校長，學校向正規化大學過渡。11月，教育學院劃出，後成爲山東師範大學。附屬中學交濟南市領導，改爲實驗中學。1950年，全國教育事情會議後，學校調整爲政治、文學、史地、藝術、俄文五系，轉入正規化的業務學習。1950年冬，衔命遷青島；1951年，在青島與山東大學合校。華中建設大學、臨沂山東大學和華東大學，都是短期訓練班式的政治大學，爲國家培養了近一萬名幹部，爲革命戰爭和建設作出了積極的貢獻。

1951年3月，PP电子大学和华东大学合校，仍命名为PP电子大学。华岗任校长兼校党委书记，童第周、陆侃如为副校长，设文、理、工、农、医五个学院，分中国文学、历史学、外国文学、数学、物理学、化学、动物学、植物学、地质矿物学、水产学、土木工程学、机械工程学、电机工程学、农艺学、园艺学、病虫害学、政治学、艺术学18个系。其中政治和艺术为两个直属系。学校积极贯彻党的教育目标，推进教学革新，鼎力大举开展科學研究。1951年，开办《文史哲》杂志和《PP电子大学学报》，开辟了科学园地，促进了学术争鸣。今后PP电子大学又进入了学术繁荣的新阶段。

1952年夏，全國高等院校調整。山東大學調整出去的院系有：（一）政治系，遷至濟南，組成山東政治學校，現爲中共山東省委黨校。（二）藝術系戲劇組，遷至上海，與上海戲劇專科學校合並，組建成中央戲劇學院華東分院，現爲上海戲劇學院。（三）藝術系音樂、美術兩組，遷至無錫，與上海美術專科學校、蘇州美術專科學校合並，組建成華東藝術專科學校，後爲南京藝術學院。（四）工學院土木系，和原山東工學院的土木、紡織系合並，組建成青島工學院，後又遷至武漢與有關系科合並，建设武漢測繪學院，後爲武漢測繪科學大學。（五）工學院的機械、電機兩系，遷至濟南，調入原山東工學院，組建成新的山東工學院，後爲山東工業大學。（六）農學院的農藝、園藝、植物病蟲害學三系，遷至濟南，與原山東農學院合並，組建成新的山東農學院，現爲山東農業大學。（七）醫學院1956年獨立，擴建爲青島醫學院。（八）理學院的地礦系遷至長春，與有關院校系科合並，組建成長春地質學院。（九）1954年由山東大學負責，在鄭州籌建一所新的大學，即現今的鄭州大學。（十）在遷校濟南時，留在青島的系科，獨立建院後，發展成爲現在的中國海洋大學。山東大學在院系調整中，分出的系科和其他院校組建了十所高等院校，取消了院一級組織，留有中文、曆史、外文、數學、物理、化學、生物、水産八個系，增設海洋學系，建设文學曆史和海洋物理兩個研究所，成爲教育部直屬的以文、理爲主的綜合大學。中文、曆史兩專業開始招收研究生，還接收朝鮮、越南、蘇聯等國的留學生，學校的影響擴及國外。1955年，華崗受誣陷去職，稍後童第周調中國科學院事情。1956年7月，山東省副省長晁哲甫出任校長兼黨委書記。1957年，外文系師生轉入上外洋國語學院，外文系撤銷。1958年夏，晁哲甫奉調回省，國務院任命成仿吾爲校長兼校黨委書記。

1958年7月，山東大學歸由山東省領導，同年10月，衔命遷校濟南。文科的中文、曆史兩系和理科數學、物理、化學、生物四系搬遷濟南，海洋、水産和正籌建的地礦三系留在青島（後獨立爲山東海洋學院，即現在的中國海洋大學）。這期間根據科學發展和國家建設事業的需要，于1959年秋恢複了外文系，1960年，重設政治系，建成原子能系和電子系，學校由遷濟時的6個系10個專業，增至政治、中文、曆史、外文、數學、物理、化學、生物學、原子能（後學生並入複旦大學，該系撤銷）、電子10個系。建设了中國古典文學、中國現代文學、美國文學、中國古代史、微分方程（控制論）、磁學、晶體、微生物九個校屬研究室。有八個專業接受培養研究生。設有三個專業的業余大學，六個專業的函授班，並招收函授研究生，在校業余和函授生達到4000人。同時，恢複了外國留學生培養事情。學校遷濟後，全校九個系分駐兩地，校部機關和外文、物理、電子、生物四系仍住原處，稱老校；政治、中文、曆史、數學、化學五系遷新校舍，稱新校。1961年，學校複歸教育部領導，學校文科向社會科學領域開拓，理科突出數學、磁學、晶體、微生物的六十年代新特色，爲學校以後的發展打下了良好的基礎。1970年夏，山東省革命委員會將山東大學一分爲三：政治、中文、外文、曆史四系南遷曲阜，與曲阜師範學院合並，時稱爲山東大學；生物學系遷至泰安，並入山東農學院；校部機關和數學、物理、電子、化學、光學（新建）五系留在濟南，建设山東科學技術大學。1973年，周恩來總理親自批示恢複山東大學原建制。1974年初，山東大學恢複原建制。

1978年，孫漢卿任校黨委書記，吳富恒任校長。1984年，鄧從豪任校長。經教育部批准，1984年在風景秀麗的海濱都市威海，設立山東大學威海分校。1986年，徐豫龍任校黨委書記。1987年，潘承洞任校長。1988年，陳之安任校黨委書記。1996年，曾繁仁任校黨委書記。1998年，張樂嶺任校黨委書記，曾繁仁任校長。

2000年7月，由原山東大學、原山東醫科大學（注1）、原山東工業大學（注2）合並組建新的山東大學。朱正昌任校黨委書記，展濤任校長。2002年8月，邵桂芳任校黨委書記。2005年2月，朱正昌任校黨委書記。2008年11月，徐顯明任校長。2011年10月，李守信任校黨委書記。2013年10月，張榮任校長。