1881年,舍曼與新澤西東奧蘭治(East Orange, New Jersey)的卡麗·巴布科克(Carrie Babcock, 1856-1931)成婚,兩人育有3子。長子謝里爾·B·舍曼(Sherrill B. Sherman)出生於1883年5月1日;次子理察·厄普代克·舍曼(Richard Updyke Sherman)出生於1884年7月29日;幼子托馬斯·莫爾·舍曼(Thomas Moore Sherman)出生於1885年12月21日,歿於1944年2月29日。
眾議院生涯
1886年,舍曼以共和黨黨員的身份參選並擊敗了在職的約翰·托馬斯·斯普里格斯(John Thomas Spriggs 1825-1888),成為美國國會紐約州第23選區的眾議員。1888年的另一場勢均力敵的競選中,舍曼成功連任。然而在1890年,舍曼被民主黨候選人亨利·威布爾·本特利(Henry Wilbur Bentley 1838-1907)擊敗,不得不從眾議院中退出。1892年,在擊敗了本特利後,舍曼再次當選眾議員(註:由於1891年紐約州選區重新劃分,故彼時舍曼屬第25選區)。1894年,舍曼再度成功連任,如此連續了六屆之久。在國會,舍曼先後從事諸多職務,例如眾議院印第安人事務委員會(House Committee on Indian Affairs)主席等。1898年,舍曼曾角逐眾議院議長一職。1899年,時任總統威廉·麥金萊(William McKinley 1843-1901)委任舍曼成為紐約港港務主管,但舍曼在聽聞尤蒂卡選民的反對聲之後婉拒了該職務。詹姆斯·斯庫克拉夫特·舍曼
當選副總統
1908年,舍曼被提名為共和黨的副總統候選人,與總統候選人威廉·霍華德·塔夫脫(William Howard Taft )一同參選。舍曼在黨內初選中獲得了超過4/5的黨代表的贊成票。1908年大選期間,舍曼遭到了來自洛杉磯的律師埃德蒙·布克(Edmund Burke)的言語攻擊,後者聲稱自己曾與舍曼共事並指責他利用眾議院的職務之便進行不當土地交易的內幕。 然而,上述指責對競選毫無作用,塔夫脫和舍曼成功擊敗民主黨候選人贏得大選。1911年,舍曼成為首位乘坐飛機的的副總統——他的飛行從紐約開始,僅僅持續了不到5分鐘。1908年共和黨競選海報(右側為舍曼)
在1908年大選之前,舍曼被確診罹患膽結石和腎病。通過遵從醫囑嚴格控制進食,舍曼勉強在1909年3月4日就職之後維持虛弱的身體狀況。然而,擔任副總統一職的高強度工作使得舍曼的健康狀態進一步惡化,甚至持續到了1912年大選前夕。1910年開始,塔夫脫與前總統西奧多·羅斯福(Theodore Roosevelt,1858-1919)意存齟齬,羅斯福遂脫離共和黨自立進步黨('Bull Moose'Progress Party 又稱‘雄麋黨’)。如此情況之下,共和黨政府欲尋求連任變得幾乎不可能。然而,舍曼的提名獲得紐約州選民的再度支持,故塔夫脫和舍曼於1912年大選中再次聯合參選。1912年共和黨全國大會