輝格黨於1833年冬天至1834年之間，由前民主共和黨（Democratic-Republican Party）與國家共和黨（National Republican）兩黨黨員亨利·克萊（Henry Clay）與約翰·昆西·亞當斯（John Quincy Adams）等，以及南方的州權擁護者如威利·頗森·緬甘（Willie Person Mangum）等共組。在建黨之初，輝格黨僅因反對安德魯·傑克遜總統之政策而協同一致，特別是對其不經國會同意即自合眾國第二銀行結清政府款項感到不滿。在拒行聯邦法危機（nullification crisis）中，因傑克森總統以民族主義反對南卡羅萊那而深受冒犯的南方人如約翰·泰勒（John Tyler）等亦受輝格黨所吸引。輝格黨矢言維護國會至上之地位，以反對‘安德魯大帝’（"King Andrew"）之施政；黨名因此取自反對君權而支持英國國會掌政的英國輝格黨。輝格黨認為安德魯傑克森總統行為反動，為反對社會、經濟、道德現代化的危險人物。由於傑克森整肅異已、否決境內改進（internal improvements）、又摧毀合眾國央行，驚慌不安的地方蓄奴人士開始反擊。他們主張，美國國會，而非美國總統，代表美國人民之意願。在控制參議院一段時間後，傑克森的政敵們通過譴責案，通令譴責傑克森以行政權傲慢地僭越國會所代表的真實民意（此案後遭刪除）1830年代的爭議核心為合眾國第二銀行（Second Bank of the United States），在歷經1832年的亨利·克萊（Henry Clay）以及1836年多名候選人的混戰後，反對者終於在1840年團結一致支持孚眾望的威廉·亨利·哈里森（William Henry Harrison）將軍，證明全國性的輝格黨足以贏得大選。扎卡里·泰勒與米勒德·菲爾莫爾
因摒棄組織緊密的民主黨式習慣性政黨效忠，輝格黨始終受派系之爭所苦。另一方面，輝格黨擁有一流的新聞網路作為境內資訊體系，而其領袖為強而有力的紐約論壇（New York Tribune）之主筆荷瑞斯·葛雷利（Horace Greeley）。在其全盛時期，1840年代，輝格黨曾因製造業發達的東北部與邊境各州之強力支持而贏得49%的州長選舉。然而隨著事態之發展，民主黨增長快速，而輝格黨于越來越多次的地方選舉中以微小差距落敗。在票數接近的1844年選舉後，民主黨廣占優勢，而輝格黨僅能靠對手分裂來贏得全國性大選。部分是由於西部各州與愛爾蘭天主教徒及德裔移民之政治重要性漸增，而他們多傾向於支持民主黨。
1836年總統大選前，輝格黨並未成立有效的組織以推舉出單一的全國性候選人，於是由各候選人自行從事競選活動：威廉·亨利·哈里森（William Henry Harrison）在北方各州、休·勞森·懷特（Hugh Lawson White）在南方州、而丹尼爾·韋伯斯特（Daniel Webster）則在家鄉麻薩諸塞州，希望各輝格黨籍候選人可累積足夠的選舉人團（Electoral College）票以打破馬丁凡伯倫（Martin Van Buren）的過半數支持。依美國憲法規定，在這種情況下，選舉應轉由美國眾議院進行。於是院中占優勢的輝格黨員即可選出最孚眾望的輝格黨籍候選人當選總統。此一策略未能奏效，但在將當年的副總統選舉轉入美國參議院中發揮了作用。
1839年，輝格黨首次召開全國性會議並提名威廉·亨利·哈里森（William Henry Harrison）為總統候選人。哈里森因1837年經濟大恐慌與其後的大蕭條而得以極大的差距挫敗凡伯倫連任的企圖而獲勝。哈里森任職總統僅31天，成為第一位逝於任內的美國總統；其後由來自維吉尼亞的州權至上論者約翰·泰勒（John Tyler）繼位。他於1841年否決自己政黨所提出的經濟法案，並因此被開除黨籍。輝格黨的內斗與全國持續的復甦使該黨激進的經濟計畫不再令人感到事關重大，終於導致1842年國會選舉中災難性的結果。
短暫的黃金時期
1844年，輝格黨開始恢復元氣，提名亨利·克萊（Henry Clay）參選。克雷以極的小差距敗於民主黨候選人詹姆斯·波爾克(James K. Polk），其西向擴張（尤其是兼併德克薩斯）與自由貿易政策大勝克雷的保護主義政策以及對兼併的質疑。輝格黨人不分南北強烈反對美墨戰爭（包含輝格黨籍國會議員亞伯拉罕林肯在內），視其為毫無原則的土地霸占行為，但因1846年的威爾莫特但書（Wilmot Proviso）而意見分裂。1848年，輝格黨因提名克雷或推行黨的經濟政策都成功無望，於是選擇美墨戰爭英雄扎卡里·泰勒且不採納任何黨綱。泰勒大勝民主黨候選人路易斯·凱斯（Lewis Cass）及反對蓄奴的自由之土黨（Free Soil Party）所提名的前總統馬丁·范布倫。范布倫在紐約分散了民主黨的選票，使輝格黨贏得該州；然而自由之土的黨員們也讓輝格黨於中西部數州付出代價。
泰勒若是活得夠久，很可能提早十年引爆內戰。他強烈反對1850年協定（Compromise of 1850），堅決以加利福尼亞州為非蓄奴州，並宣告將以軍事行為防止各州脫離聯邦。1850年7月4日，泰勒染上嚴重消化不良（可能因斑疹傷寒或霍亂所致）。五日後，他成為第二位逝於任內的美國總統。副總統米拉德·菲爾摩（Millard Fillmore）於繼位後，支持1850年協定。
1854年的堪薩斯—內布拉斯加法案引爆這樣的想法。南方的輝格黨人逐漸轉向支持該法案，而北方的輝格黨人持續強烈反對。剩下的輝格黨人，大部份如林肯一般加入了新成立的共和黨，並強力抨擊該法案，訴諸北方因該法案實質撤銷密蘇里協定而導致的群情激憤。另有些輝格黨人受一無所知黨（Know-Nothing Party）反對‘腐化’愛爾蘭裔與德裔，保護本土文化的聖戰所吸引，而於1854年加入該黨。在南方，許多輝格黨人成為無黨籍人士，後於1855年至1859年間支持由一無所知黨所改組的美國人黨（American Party）。若干輝格黨人於1856年支持菲爾摩，他於三個月後宣布放棄本土論述，接受美國人黨提名參選，對抗有引起內戰危險的共和黨提名人約翰·佛瑞曼（John C. Frémont）。據史家分析，菲爾摩的支持者中，86%來自南方於1852年支持輝格黨的民意；他僅有13%的支持者來自北方，但已足夠於賓夕凡尼亞州將共和黨自頂端拉下。此後，當時的觀察家皆預言共和黨將於北方取勝，而無人對萎縮的老政黨有任何期盼，且自1856年後，再也見不到任何輝格黨的組織。Holt p 979-80
1860年，許多未加入共和黨的前輝格黨人再組憲政聯合黨（Constitutional Union Party），僅提名全國性公職之候選人。該黨在懼生內戰之邊境各州擁有不容輕視的力量。其候選人約翰·貝爾（John Bell）在這場引發美國內戰的四人競逐中排名第三。領先二人為共和黨的亞伯拉罕·林肯與南方民主黨的約翰·布瑞肯里奇（John C. Breckinridge），北方民主黨的史蒂芬·道格拉斯（Stephen A. Douglas）則排名第四在戰爭末期及戰後重建（Reconstruction）時代，有些前輝格黨人企圖於南方再次組合，自稱‘保守派’並尋求與北方的前輝格黨人重新聯繫。但他們很快地便被民主黨所吞沒。
美國輝格黨創始人亨利·克萊
扎卡里·泰勒與米勒德·菲爾莫爾