在1873年,英國皇家海軍以沽售旗下醫院船所得的資金收購了位於灣仔的海員醫院(英語:Seaman's Hospital),並把該院的名稱更改為皇家海軍醫院(英語:Royal Naval Hospital)。醫院所處的山丘亦以Charles Frederick Alexander Shadwell中將的姓氏被命名為Mount Shadwell(中文名稱醫院山)。約1931年對面的山丘亦興建了傳染病醫院,並將傳染病醫院所處的山丘以約翰·巴里士準將(John E. Parish)命名為巴里士山。在山下亦設定了界石,劃定皇家海軍用地的界線。界石上刻上了數字7、船錨圖案及1905(年份)。
在1941年12月24日晚上,C. M. Maltby少將曾警告政府日本軍隊可能會使用防空洞。在第二天(聖誕日)部下回報表示日本軍隊與保衛軍於巴里士山附近激戰。不久以後,巴里士山落入了日方手中。防衛軍及後於灣仔街市附近防守,阻擋日軍進軍中環,並於防空洞口發射大炮,希望逼使日軍離開防空洞。Maltby少將於稍後向港督楊慕琦表示保衛方已無法抵禦日方的攻擊。楊氏亦於稍後宣布投降,香港保衛戰結束。