山东省图书馆创建于1909年（清宣统元年），是中国十大图书馆之一，据《山东创建图书馆记》载，山东提学使罗正钧于省城旧贡院东北隙地创建图书馆仿浙江宁波范氏“天一阁”旧制， 院内古木假山，曲水拱桥，极为风雅别致，人称“历下风物，此为最胜”。

截止到2004年底，该馆馆藏文献612万（册）件，其中轻工、医学、哲学等门类的收藏已达研究级水平，而齐鲁方志专藏、海源阁专藏、易经专藏、山东革命文献等收藏较为丰富。

据2016年3月图书馆官网信息显示，山东省图书馆新馆于1994年动工兴建。整个工程分两期进行，第一期工程综合阅览楼，建筑面积为35830平方米，投资11048.1万元。主体建筑为六层中空式，内部全部采用大开间柱网结构，柱网间距7.2米，每层面积自2000余平方米至6000余平方米不等。二期工程书库楼共12层。开架借阅室由以前的2个增加到8个，开架图书由以前15万册增加到150万册以上。开放各类阅览室、研究室35个以上，读者阅览室座达2000个以上。

2022年5月17日起，山东省图书馆总馆、国学分馆、少儿分馆三个馆区所有部门全部恢复正常开放，实行入馆总量控制；自习室、阅览室、电子阅览室座席实行半数管理，隔位就座；实行人员限流，取消预约。