楚塞樓、至喜亭、三游洞在宋代曾被稱為峽州三勝，“西塞晚霞”為一時勝景。《東湖縣誌》卷八《古蹟志》載：“楚塞樓在縣治後。張權詩："巴渝東畔楚塞樓，江轉荊湖第二州。"寇準詩："道路連巴蜀，風煙接楚邱。"即此。今廢。
文史專家歐陽運森考證：此樓初為二層四角，後改為三層六角。門上聯“上收蜀道三千之雄”，下聯“下銷夷陵一方之局”，橫額為“楚西塞樓”。不過，這裡是否是楚塞樓的確切位置並不確定。歐陽運森根據宋人查籥詩：“浪痕自記岑彭壘，岡勢原依陸抗城”推斷，楚塞樓始建時間應在漢建武十一年（公元35年）以後。
公元33年，割據稱帝的公孫述為阻止劉秀漢軍入川，派遣田戎、任滿等人率兵數萬人於荊門山與虎牙之間架起橫跨長江的浮橋，在楚西塞安營紮寨。據稱，這座浮橋比元代四川益州（成都）橋早一千多年，堪稱萬里長江第一橋。兩年後，岑彭從津鄉發兵6萬人，率戰船直衝浮橋，利用順風縱火，使橋樓崩壞，打敗了公孫述，斬其這些箭簇、弓箭頭，讓人想起金戈鐵馬，當年發生在這裡的戰爭。汪大銀的兒子汪華展示自己撿回的寶貝。汪華撿回的古錢幣。將領任滿等人。歐陽運森在其文章中稱，岑彭打敗公孫述後，為了張揚自己的功德，鼓舞將士的鬥志，激勵後人，於是便在荊門山上建起了楚塞樓。後來，經此出入三峽的文人墨客大多都曾登臨斯樓，面對大江感世傷懷，留下大量詩文。
