懷仁當地有傳說“先有西安堡，後有懷仁城”，有史籍認為西安堡可能是懷仁縣的舊治或
李克用與
耶律阿保機相會的“東城”。比較可靠記載稱，西安堡為
明代天順八年（公元1464年）所建，萬曆三十一年（公元1603年）包磚，為大同鎮的城堡之一。
清順治五年（公元1648年），鎮守
大同府的
姜瓖叛清歸順
南明，清軍擊敗姜瓖部，
阿濟格命令在大同屠城。大同府治所遂由大同城遷至西安堡，直至順治九年（公元1652年）才遷回原處。
西安堡南北長230米，東西寬200米，南北兩側各有一堡門。舊時城牆上、城堡內都有很多廟宇，現已不存。堡牆的包磚也已在1946年、1958-1960年的幾次破壞中被拆除殆盡，多被居民用來蓋房。第四屆
東京電影節最佳影片、
寧浩執導的《香火》主要在西安堡內拍攝。
