“三晉”的叫法來源于春秋時代的晉國。在春秋末年,曾經非常強大的晉國大權旁落,朝政被六家大夫把持,他們是趙氏、魏氏、韓氏、智氏、範氏、中行氏,史稱“晉國六卿”。他們各自有自己的武裝和地盤,互相攻打,範氏和中行氏兩家先後被打敗,還剩下智氏、趙氏、韓氏、魏氏。這四家中,又以智氏的勢力最大。
由此韓、趙、魏分别建立了獨立的政權。公元前403年,周威烈王正式冊命韓虔、趙籍、魏斯為諸侯,史稱“三家分晉”。因為韓、趙、魏是從一個晉國分出的三個國家,所以習慣上稱為三晉。由于晉國當時的勢力範圍主要在現今的山西省,而且從晉國分出的趙都城就在今天山西省會太原的東南,所以,現在山西又稱為三晉大地。