公元547年，涉及到該城堡的文字記錄第一次出現。同年，城堡所在領域被盎格魯撒克遜（Anglo-Saxon）統治者艾達（Ida）占領，城堡也在這之後成為了艾達的居所。在590年的戰爭期間，大不列顛人曾暫時地從他的兒子胡撒（Hussa）手中將城堡奪回。 艾達的孫子在去世的時候將城堡交給了他的妻子柏芭（Bebba）。公元993年，北歐海盜破壞了這座早期的防禦工事。 就在該防禦工事的原址之上，諾曼第人修建了一座新的城堡，而這座城堡也正是如今我們看到的這座巴姆伯格城堡的核心。在遭到城堡的擁有者——諾森伯蘭郡伯爵（Earl of Northumberland）羅伯特·德·莫布瑞（Robert de Mowbray）的抗議，1095年，威廉二世（William II）對城堡實行包圍，但是並沒有獲得成功。不過在羅伯特被俘之後，他的妻子繼續抵抗，由於國王以要挖去她丈夫的雙眼為威脅，致使羅伯特的妻子最終繳械投降。 巴姆伯格城堡最後成為了在位的英國國王的財產。亨利二世（Henry II）還對其進行修復。作為一處重要的英格蘭前哨，城堡時不時地就會成為蘇格蘭的攻擊目標。1464年，正值玫瑰戰爭（Wars of the Roses）期間，在由第16世沃里克伯爵（16th Earl of Warwick）理察·內維爾（Richard Neville）率軍包圍城堡9個月後，巴姆伯格城堡成為了英格蘭第一座被炮兵攻下的城堡。 雖然巴姆伯格城堡在隨後出現了破損，但是在18世紀和19世紀期間得到了連續地修復。在維多利亞工業家威廉·阿姆斯壯（William Armstrong）最終將城堡購買下來之後，城堡得到了全面的修復。 第二次世界大戰期間，英國皇家海軍輕巡洋艦（Royal Navy corvette）還以該城堡命名。
