中國文學寫杏悠久曆史，先秦文獻《管子》記載：“五沃之土，其木宜杏。”，《山海經》記載：“靈山之下，其木多杏。”

杏花将開未開之時，嫣紅如胭脂，迎風怒放之時，粉嫩欲滴，而将要凋謝之時，卻燦白一片，花開花落，妩媚嬌豔，姿态萬千，楊萬裡的《詠杏》詩"道白非真白，言紅不若紅，請君紅白外，别眼看天工。"寫出了杏花的獨特景象。

對于杏花的嬌豔，還有神奇的傳說，《西京雜記》中記叙道:"東海都尉于台，獻杏一株，花雜五色，六出，雲仙人所食。"《述異記》也記載說，天台山有五色六瓣的杏花，叫仙人杏。

在中國古代文學早期（唐代以前），無論是文人雅士賦詩還是民間傳說，大多都隻是着眼于贊美春風中怒放的杏花的豔麗、馨香或者杏的神奇。無論是杏樹還是杏花，在人們眼裡都隻是植物，更不用說有“出牆”的含義了。

如較早的有南北朝庾信的《杏花詩》：

春色方盈野，枝枝綻翠英。

依稀映村塢，爛漫開山城。

好折待賓客，金盤襯紅瓊。

杏花開在二月，春天剛到杏花就争相開放，村裡村外到處都是，詩人竟然折來放在金盤之中款待賓客，可見對花開爛漫的杏花有多麼喜愛。

如唐代溫庭筠的《菩薩蠻》：

南園滿地堆輕絮，愁聞一霎清明雨。

雨後卻斜陽，杏花零落香。

無言勻睡臉，枕上屏山掩。

時節欲黃昏，無聊獨閉門。

寫的是杏花即使在飽受風雨摧殘之後，顯得七零八落，稀疏飄零，但是風停雨歇之時，斜陽照射之下，落花猶香。

到了公元九世紀初，杏花在人們心中的形象開始有所轉變，杏花第一次成了一個活色生香的美女。如唐代詩人薛能的《杏花》詩：

活色生香第一流，手中移得近青樓。誰知豔性終相負，亂向春風笑不休。

在這詩中，這位杏花化作的美女站在青樓旁邊，沾染上了青樓女子的習性，一點都不專情，反而滿臉春風，朝人亂抛媚眼。

到了公元870年左右，美女杏花第一次遇到牆，牆裡牆外的美女杏花，變得越來越暧昧。

如晚唐詩人吳融《杏花》詩雲： 粉薄紅輕掩斂羞，花中占斷得風流。 軟非因醉都無力，凝不成歌亦自愁。 獨照影時臨水畔，最含情處出牆頭。 裴回盡日難成别，更待黃昏對酒樓。

這首詩把杏花比作一位嬌俏的美女，在和煦的春風中的輕輕搖擺，她婀娜多姿，時而在水邊顧影自憐，時而探出牆頭脈脈含情，似有所期盼。

這首詩是紅杏出牆的最早出處，但是這時候僅僅是形容紅杏的美豔多情，并沒有出軌的含義。

花再豔麗多姿，也比不過人比花嬌，自吳融之後，杏花就成了一個與牆結下了不解之緣的幽怨的美女，有時候站在牆外被牆裡人羨慕；有時候伫立在牆裡羨慕牆外的人。

描寫紅杏遇到牆的還有宋代張良臣的《偶題》：

誰家池館靜蕭蕭，斜依朱門不敢敲。

一段好春藏不住，粉牆斜露杏花梢。

這首詩寫出的僅僅是園中美麗的春色和春天的勃勃生機流露出作者對春天的喜愛之情，還不如唐代詩人吳融把杏花比喻成一個脈脈含情的美女。

還有宋代詩人葉紹翁的《遊園不值》：

應憐屐齒印蒼苔，小扣柴扉久不開。

春色滿園關不住，一枝紅杏出牆來。

詩裡的小園門前台階布滿青苔，可見這座花園的幽僻冷清，而主人又不在家，敲門很久，無人答應，顯得無比幽靜，可是火一般的一枝紅杏出牆，把滿園春色透露了出來，從冷寂中寫出繁華，使人感到一種意外的喜悅。

葉紹翁是南宋中期詩人，他的這首《遊園不值》描寫的紅杏，其意象還是春色，與出軌和外遇沒有什麼聯系。

金代元好問《杏花雜詩》雲：

杏花牆外一枝橫，半面宮妝出曉晴。

看盡春風不回首，寶兒元自太憨生。

描寫一枝紅杏橫斜牆外，宛若一位盛裝的宮女，粉臉半露，在晴朗的清晨斜倚牆頭，楚楚動人。

以上舉例說明，直到12世紀末，紅杏出牆依然沒有女人外遇的含義。

真正用“牆頭”暗示女性出軌的是元代戲劇家白樸的《牆頭馬上》，劇中說尚書之子裴少俊，奉命到洛陽購買花苗，在牆頭邂逅女子李千金，二人一見鐘情，私訂終身，李千金被私藏與裴家後花園七年。

而最早讓“紅杏出牆”與女人出軌直接聯系在一起的是話本《西山一窟鬼》裡形容一個女子的一句話：“如撚青梅窺少俊，似騎紅杏出牆頭”。當女人、紅杏再加牆頭，三者相遇，就更加有了暧昧。

雖然馮夢龍說《西山一窟鬼》是宋話本，但是許多迹象表明其為元話本，應該在白樸的《牆頭馬上》之後成書。

由此可見，“紅杏出牆”到元代以後才有女性出軌的含義，因為“牆”本來就是一個壞東西，深院之中，一牆之隔，便成了癡男怨女。

紅杏本來就是春意的代名詞，在古代有着特殊的含義，所以紅杏遇到牆，牆是無能為力的，因為已經“春色滿園”了，牆能關得住嗎？所以“紅杏出牆”是必然的。自從元代以後，紅杏的含義在曆代文人的詩文中有了很大的發展，逐漸有了一種含蓄的指代——女性出軌。