1901年8月29日,清政府詔令停止武科科舉考試。於是,新式軍事學堂就成為了培養軍隊將佐的主要途徑。湖南巡撫俞廉三根據清政府關於“函於各省會設立武備學堂,以培養將才,練成勁旅”的詔令,決定重新開設武備學堂。撫院委派留日歸國學生、湖南試用道
俞明頤為學堂總辦(相當於校長),主持學堂一切事宜;聘請兩江籍留日歸國學生單啟鵬、陶澍孝等任教習;學生由各州縣選送年齡在18-22歲之間,身體健壯、文理清暢、家庭清白、素行端正的學生,經考試合格後入學。
經過一年多的籌劃,新的武備學堂於1903年5月在長沙小吳門外大校場旁正式開學。第一期招收學生100名,教職員共有20名。學習期限為3年。學習內容包括內場和外場兩部分:內場有漢文、日文、算學、倫理學、軍制學、戰術學、城壘學、地形學等22門;外場有體操、馬術、劍術、步操、炮操、工程等6門。學堂實行分段教學制,即在學堂學習一年後,派赴部隊實習半年,然後再返回學堂完成其他學業。
為適應大規模改造舊軍和編練新軍的需要,武備學堂又於1903年l1月在長沙附設將弁、兵目、陸軍速成等3個學堂。將弁學會從綠營中挑選年富力強的千把總培訓一年,作為改造舊軍之用。兵目學堂從各營挑選目兵培訓一年,作為新軍的骨幹。陸軍速成學堂則從各營挑選目兵培訓一年半,以充任新軍初級軍官。武備學堂及其3個附設的學堂為湖南新軍培養了一批軍事人才。
1904-1908年間,湖南新軍兩個標6個營的管帶先後有16人17任,其中有4人是從湖南武備學堂或將棄學堂畢業的,其中下級軍官則有更多的為湖南武備和將弁學堂出身。
清末和民國時期有很多著名湘籍軍事將領畢業於武備學堂及其3個附設學堂,如
程潛、
周則范、
蕭昌熾、
林修梅、蔡鉅猷等是湖南武備學堂畢業生;田應詔、劉輔察等畢業於將弁學堂;
林德軒、張輝瓚、魯滌平、譚道源、陳渠珍等則畢業於兵目學堂。
1904年9月,清政府頒布《陸軍學堂辦法》,規定各省設立陸軍國小堂。根據這一規定,湖南巡撫端方於1905年夏將武備學堂第一期學生提前結業,將武備學堂及其3個附設學堂停辦,另在武備學堂原址上設立湖南陸軍國小堂。