趙王府於滿清時改為寺院,只存後半部分。 明永樂三年(1405年)明成祖第三子朱高燧被封為趙簡王,於洪熙元年(1425年)將府署改為趙王府。現存高閣寺,為明成化六年(1470年)重建。高閣寺建在梯形的方台上,台高8米,長寬各13米,周圍有石板護欄。閣高10米,重檐九脊,琉璃瓦頂。正面設台階32層。叮登台頂,舉日西眺,與文峰塔遙遙相望。閣壁石雕游龍25尾,形象各界,栩栩如生。