蒙山大佛本是开化寺后的佛像。开化寺建于公元559年（北齐天保二年），北齐文宣帝高洋赐额开化寺。寺后凿石修路，在寺后一里处依山凿刻佛像，即蒙山大佛。[2]  [3] 

蒙山大佛开凿的年代存在争议。一种观点根据《永乐大典》中《太原志·太原县》的记载，认为蒙山大佛的开凿始于北齐天保二年。另一种观点根据明嘉靖《太原县志》、明成化《山西通志》的记载，认为蒙山大佛的开凿在开化寺建寺之后，即晚于天保二年。有研究者根据五代苏禹圭《重修蒙山开化寺庄严阁记》中所述北齐文宣帝天保末年，凿石通蹊，依山刻像，认为蒙山大佛的开凿始于公元559年（天保十年）。[4] 

隋朝仁寿年初，开化寺中新建佛阁以保护大佛，并改名为净明寺。公元620年（唐武德三年），唐高祖李渊曾来此礼佛，并将寺名改回开化寺。另一说李渊礼佛是在称帝之前，礼佛回去后当夜梦化佛满空，毫光数丈，登基后李渊将寺名改为开化寺。公元657年（唐显庆二年），唐高宗李治巡幸并州，与皇后武则天同游童子寺、开化寺，童子寺佛像高一百七十多尺，开化寺大佛高二百尺，李治与皇后、妃嫔、宫人施舍了很多珠宝、财物、衣服。[5] 

公元844年（唐会昌四年），开化寺佛阁在唐武宗灭佛中废毁，蒙山大佛遂暴露在风雨中。公元895年（唐乾宁二年），盘踞并州的河东节度使、后来追封后唐武皇帝的晋王李克用参拜蒙山大佛后，命人重建开化寺佛阁。历经五年，佛阁终于建成。公元945年（后晋开运二年），镇守太原的北平王、后来的后汉高祖刘知远到开化寺焚香礼佛后，出资重修佛像和佛阁，留有苏禹圭所撰《重修蒙山开化寺庄严阁记》。

公元990年（北宋淳化元年），开化寺中新修二座高二丈释迦牟尼舍利塔（即今开化寺连理塔）。元朝末年，开化寺毁废，只有僧房舍利塔尚在。通常认为，蒙山大佛在这时一齐被毁。

1983年，参加太原地名普查的市政工作人员王剑霓重新发现了蒙山大佛。因调查地名时，王剑霓发现太原蒙山一带有很多带寺字的地名，还有一处地名叫做大肚崖，觉得非常奇怪。实地调查时，发现大肚崖其实是蒙山大佛的胸部，大佛的头部已经遗失，露出的胸部高度为15.75米，胸部以下埋在土石之中，土石厚达数十米。佛像背后的山崖顶上的平地还有绵延大约五百米的古建筑遗迹。1983年12月11日，《人民日报》的简讯中报道了这一消息。2001年9月21日蒙山大佛被列入太原市第二批重点文物保护单位。2006年9月，新修佛头工程开工，2008年1月，佛头安放完毕，10月7日，完成修复的蒙山大佛景区向公众开放。