儘管天主教徒聲稱他們都是政治獨立的,然而新教徒堅信教皇庇護九世 Pius IX 鎮壓了1848年自由主義革命,他是自由和民主的敵人。這些都與一個被鼓吹的陰謀論有關,陰謀論謠傳教皇通過指定的愛爾蘭人主教進行一系列的對移民的控制,去征服美國。1849年,一個受誓約約束的名為“Order of the Star Spangled Banner”的秘密社團,由查爾斯·艾倫(Charles Allen)在紐約建立。它變成了美國人黨內一些群體的核心。
在1855年至1856年期間,該黨很快就在北方衰落。在1856年美國總統選舉中,“一無所知”因為奴隸問題而敗北。因為其中一個派別支持總統候選人美納特·菲爾莫爾(Millard Fillmore)和副總統候選人安德魯·傑克遜·唐尼爾森(Andrew Jackson Donelson),他們獲得了23%的選民投票和馬里蘭州的八張選舉人票。菲爾莫爾在賓夕法尼亞州沒有得到足夠的選票去阻止詹姆斯·布坎南(James Buchanan)進入白宮。 大多數進入美國人黨的反奴隸制人士在極富爭議的德雷德·史考特(Dred Scott)裁決案發生之後加入共和黨。美國人黨中親奴隸制的一派仍然在一些南方州份的州和地方各級仍然實力強悍,但是在1860年美國總統選舉中,他們不再是一支重要的國家政治運動力量。米勒德·菲爾莫爾總統
一些歷史學家認為,“一無所知”南派從根本上說是和“一無所知”北派不同的,他們受本土主義或者反天主教主義的影響比保守的聯邦主義的影響要小;“一無所知”南派大多數都是害怕民主黨親奴隸制極端主義者和北方反奴隸制共和黨出現的前輝格黨人。在路易斯安那州和馬里蘭州,“一無所知”爭取到了天主教徒的支持。不過,歷史學家Michael F. Holt則認為,“一無所知”主義起初在南方發展起來;同樣,它也在北方——孕育著本土主義、反天主教主義和對不負責任的政客的憎恨——中發展起來,而不是保守的聯邦主義。他還引用了前田納西州州長威廉·B·坎貝爾(William B. Campbell)在1855年1月寫的話,“我對支持他們那種觀念的普遍態度感到很震驚——也就是說美國本土主義和反天主教主義——它無所不在。
“一無所知(Know Nothing)”這個措辭比該黨本身更能夠被人銘記。在19世紀末,民主黨把共和黨稱作“一無所知”,以保證天主教徒的選票支持。直到20世紀初,“一無所知”已經成為了帶有挑釁和誹謗意味的措辭,暗示著對手既是本土主義者,也是無知的人。2006年,《旗幟周刊》(The Weekly Standard)的總編輯威廉·克里斯托爾(William Kristol)寫了一篇社論,批判了民粹派共和黨人,稱他們沒有意識到把“老大黨(Grand Old Party,共和黨的別稱)”變成一個反移民、“一無所知”的政黨是存在潛在危險的。[9] 2007年5月20日,《紐約時報》(New York Times)發表了一篇關於正在擬議的移民法案的頭版社論,提及到“這一代的‘一無所知’人...”
政綱
美國人黨提出的政綱,還包括以下內容:
嚴格限制移民入境,特別是天主教國家移民。
只允許本土出生的美國人進入政府機關工作。
強制實行移民必須居住滿21年才能申請入籍。
只允許新教徒成為公立學校教師。
強制實行公立學校進行每天閱讀聖經。
限制酒類銷售。
一無所知運動
美國人黨在2002年被電影《紐約黑幫》(Gangs of New York)呈現在世人面前,其中丹尼爾·戴-劉易斯 (Daniel Day Lewis)飾演被稱為"屠夫比爾"的威廉,這個角色的原型來自“一無所知”的領導者威廉·普爾。“一無所知”在作家諾亞·戈登寫的歷史小說Shaman中,也扮演了一個主要角色。