賀與故太守卒史孫萬世交通，萬世問賀：「前見廢時，何不堅守毋出宮，斬大將軍，而聽人奪璽綬乎？」賀曰：「然。失之。」萬世又以賀且王豫章，不久為列侯。賀曰：「且然，非所宜言。」（漢書·武五子昌邑王傳》：元康三年，封賀為海昏侯。後數年，揚州刺史柯奏云云，制曰：「削戶三千。」）
