該軍前身是原西北軍一部,1937年8月,全國抗戰爆發後,原西北軍所屬陝軍高桂滋部改編為國民革命軍第17軍,高桂滋任軍長。下轄:第21師,李仙洲任師長;第84師,高桂滋兼任師長。該軍編成後隸屬於國民革命軍第七集團軍,隨即參加了平型關戰鬥和忻口戰役。同年12月,忻口防禦作戰結束後,該軍轉隸國民革命軍第十四集團軍。1938年至1939年上半年,該軍先後隸屬國民革命軍第五集團軍、國民革命軍第三十六集團軍。在此期間,第21師奉命轉隸國民革命軍第92軍,該軍僅轄第84師。1939年10月,高桂滋升任第36集團軍副總司令兼該軍軍長和第84師師長,率部參加了1939年的冬季攻勢作戰。1940年,該軍隸屬第二戰區直接指揮時,將原屬閻錫山晉軍的新編第2師(金憲章任師長),撥歸該軍代管。1941年,該軍改隸抗日戰爭第一戰區指揮,參加了晉南中條山戰役。中條山失守後,高桂滋免兼第84師師長職,由該師第251旅旅長高建白繼任師長。同年5月,該軍參加了晉南會戰。此次會戰中,第84師部隊被打散,部隊損失慘重。其中軍參謀長金醒吾、副官長王秀泉、新編第2師師長趙奎閣等人被日軍俘虜。1943年2月第84師師長高建白升任該軍副軍長。此時,該軍隸屬抗日戰爭第八戰區副司令長官胡宗南指揮。1945年1月,第36集團軍被裁減後,該軍位於寧夏固原地區,改屬第1戰區。同年8月下旬,國民革命軍第3軍奉命緊急開赴華北接受日軍投降。因任務緊急,第12師遠駐蘭州來不及歸建,滯留於大西北後暫歸第17軍建制。
抗日戰爭結束後,該軍原轄新編第2師改編為第48師;另將配屬該軍的第3軍第12師正式改隸該軍。1946年,國民革命軍第三十八集團軍副總司令高桂滋兼該軍軍長,率部駐防甘肅定西,隸屬西北行營。此時,該軍下轄:第12師,陳子乾任師長;第48師,高增級任師長;第84師,何奇任師長。1946年5月,國民黨軍進行整編,該軍改編為整編第17師,高桂滋任師長,率部駐防陝西洛南,隸屬整編第29軍(原第37集團軍),原轄第12、第48、第84師依次改編為整編第12旅、整編第48和整編第84旅。不久,高桂滋升任第1戰區副司令長官,原國民革命軍第67軍軍長何文鼎繼任整編第17師師長。1946年7月至1947年6月,該師在西北戰場與解放軍作戰,先後參加了中原圍追戰役中的堵截作戰、關中囊形地帶爭奪戰、甘肅慶陽西華池戰役、重點進攻陝甘寧邊區的攻取延安戰役、陝北戰役等作戰。其中,在西華池戰鬥中,第48旅被人民解放軍殲滅大部,旅長何奇被擊斃。其後,在1947年7月至1948年6月間,該師先後參加了沙家店戰役、岔口戰鬥、延清戰役等。國民黨軍從延安撤退後,該師改隸裴昌會第5兵團,參加了澄合戰役。1948年8月,胡宗南為擴大兵力,抽出該師第84旅為骨幹組建整編第13師。與此同時,師長何文鼎調離,該師第48旅旅長康莊繼任師長,