北京胡同的形成是随着北京城的形成而變化、發展、演進的。公元前1045年,北京是奴隸制的古燕國的都城,叫薊城,當時的城牆是用夯土築成的。到了戰國時期,《周禮·考工記》記載:“匠人營國,方九裡,旁三門,國中九經九緯,經塗九軌,左祖右社,面朝後市。”這就是胡同的雛形。
以後的兩千多年間,從秦、漢開始,無論是三國、兩晉、南北朝,還是隋、唐、五代和宋朝,這塊地界兒一直都是北方的重鎮。
公元10世紀初,遼朝建立,把這兒當成了陪都,改稱南京,又稱燕京。公元12世紀,金朝建立,在此建都,稱為中都,中都城裡出現了坊、街、道、巷,這些可算作是“胡同”的最早雛形。