山西大学图书馆创建于1902年，始称山西大学堂藏书楼。辛亥革命后改称山西大学校图书馆，1931年定现名。1949年以后，随着学校办学规模的调整扩大，图书馆也在不断建设发展并四迁馆址。现有馆舍以2012年竣工、2013年启用的坞城校区总馆为主，2014年随着太原电力专科学校的并入，新增了大东关校区图书馆分馆。目前，图书馆总建筑面积约33455平方米，阅览座位近3700个；并即将建设山西大学东山新校区图书馆。

坞城校区图书馆总馆在外观设计上采用了新古典主义建筑手法，建筑整体造型庄重典雅，北侧巧妙地嵌入了山西大学原工科大楼钟楼四层主体样式，充分体现出山西大学“中西会通”的深厚文化底蕴。内部共有四层，一层为基本书库、古籍特藏、中心机房；二层以借阅为主，主要分为社科图书阅览区、自科图书阅览区、工具书阅览区等；三层以期刊阅览区、电子阅览室、视听室为主，也包括行政办公区；四层则以样本（保存本）图书阅览为主，另有特藏图书和培训教室。图书馆全部采取大开间、全开架设计，各层都安排有大面积的读者学习区和休息区，空间通透明亮，环境舒适，是学校的文献信息中心，以及教学育人、学科发展的重要公共服务平台之一。

图书馆馆藏资源丰富，截止2018年底，馆藏纸质文献逾253万册（件），中外文数据库56种145个，电子图书、期刊约210万种，中外文学位论文约80万种，自建数据库13个。此外还收藏有一定数量的光盘、缩微资料、视听资料等多种载体文献。有馆藏古籍线装书及拓片13万余册（件），其中不乏孤本与稀见之本。2010年6月山西大学图书馆被文化部命名为“全国古籍重点保护单位”。

山西省高等学校图书情报工作委员会挂靠山西大学，其秘书处以及教育部高等教育文献保障系统（CALIS）山西省中心、《晋图学刊》编辑部均设在山西大学图书馆。山西大学图书馆为中国高校创建高水平大学、山西省高校建设一流高校图书馆发挥了重要作用。