賓陽門城牆長約26米,高3.2米,趾厚10.2米,用條石與塊石相間壘築。城門洞分內外兩層,外層磚砌,拱券形,高2.26米,寬2.65米,深3.4米;內層方形,兩股塊石壘築,高3.2米,寬3.35米,深6.85米,頂部以條木代石跨空。城樓面寬5間,通面寬14.77米,通進深9.11米,梁架明間抬梁工,歇山頂。城樓左右各有廂房兩間。城牆和城門洞,從建造至今未經修建,尚是明初遺構,但城樓已非原建築,歷經翻修,現樓為晚清、民國時期所建。1986年賓陽門被列為瑞安縣第二批文物保護單位。
賓陽門城樓是我市目前僅存的一座與抗倭鬥爭有關的歷史性建築和實物見證。