俊家死後，嫡子第二代當主俊清早逝，次子俊直繼任第三代當主。俊直以武勇聞名，曾路遇五十餘名山賊，而當時身邊僅有數名隨從，俊直帶領隨從奮勇衝殺，擊潰山賊，一直追擊到日落，將這伙山賊全數殲滅。
俊直死後，傳位嫡孫俊恆，是為穴澤氏第四代當主。
當時，經過天文之亂，伊達家衰落，蘆名家乘機崛起，盛氏開始向南、東、西三個方向全面擴張。向南，盛氏於天文十二年（1543）擊破山內氏、降伏河原田氏，天文十七年（1548）降伏南山長沼氏，永祿元年（1558）再度降伏山內氏、永祿四年（1561）再次擊破南山長沼氏，最終統一全會津，穩定了後方；向東，自盛舜時代蘆名家就窺視著富饒的安達郡，到了盛氏時期，通過外交與軍事的手段，降伏二階堂家，與二本松家、相馬家、白河結城家、石川家、那須家、北條家訂立盟約，壓制伊達家、田村家、佐竹家的勢力，蘆名家最終將勢力衝出了封閉的會津盆地，得到了安達郡半領、安積郡三分二、岩瀬郡三分一、白川郡三分二、小田郡半領、行方郡三分二、宮城郡半領、千葉郡半領、結城郡三分一、那須郡三分一的廣大領地；向西，盛氏雖說與上杉家一直維持著不錯的關係，永祿四年（1561）還曾出兵川中島援助與武田家打得火熱的上杉謙信，但也在永祿七年（1564）暗連武田家、北條家，命小田切政清等出兵越後，攻占官名莊。總的來說永祿年間蘆名家的方針是在東部壓制佐竹家，因而在北方與伊達的邊境上採取了守勢。雖說天文之亂後伊達勢力衰落，但百足之蟲死而不僵，隨著蘆名家與伊達家關係的惡化，盛氏開始重視北方對伊達家的防務。
蘆名家與伊達家的邊境線上山巒密布不便通行，惟有米澤大道方便交通，從黑川城出發，向北經綱取城進入檜原谷地，再越過伊達家控制的檜原峠就可以直達米澤，所以檜原就成為防備伊達軍勢的最前線。穴澤氏作為檜原本地的豪族，又是盛高時期就侍奉蘆名家的重臣，理所當然的被付以重任。
穴澤俊恆選擇了在檜原湖西北岸海拔1037米的外山山頂築城。米澤街道經過山城東南方，一側是檜原湖，一側便是戶山城。在此處築城看似掐住了米澤街道的咽喉，但是築城經驗不足的穴澤俊恆也犯下了一個大錯。
得知穴澤氏築城的訊息，永祿七年4月12日，伊達輝宗派遣石川但馬守率1500人（其中騎兵200）攻入里磐梯平原，而穴澤俊恆、俊光父子的兵力僅有480人（騎兵17），戶山城正在緊張的施工中，還不具備防禦能力。面對強敵，穴澤俊恆調集工匠緊急砍伐了許多大樹，將樹的枝條砍去四分之三，僅留下一面不砍，隨後將這些原木平堆成胸牆，將有枝條的一面對外。伊達軍抵達後，利用優勢兵力仰攻山巔、但是被胸牆所阻、繁密的枝條讓這些胸牆無法攀登，穴澤俊恆率領士兵在胸牆後利用弓箭攻擊被阻的伊達軍，伊達軍數次攻擊未果後，只得退走。穴澤俊恆隨即率軍追擊，討取173人，而自身無一傷亡，對伊達家首次作戰就取得大勝。
戶山城築成後，伊達家派遣了眾多密探，終於發現了戶山城的一個致命缺陷——戶山城海拔雖高，但是北側背靠更加高聳的高曾根山和東缽山一脈，而且山上原始森林密布，如果派遣別動隊由此進攻，不僅難以被發現，而且還占據了俯攻的地利優勢。也許初次築城的穴澤俊恆壓根就沒想到敵人會穿越難以攀緣的高山由背後發動偷襲，所以當永祿八年（1565）7月17日黎明800名伊達士兵猶如神兵天降一般突然突破北側城垣時，戶山城內一片混亂，更何況，當時城內除了20餘名女眷外，就只有30名武士。但就是在這種危急情況下，穴澤俊恆體現了一個名將所應有的鎮靜，他迅速糾集身邊的兵力，固守本丸，面對數十倍於己的敵軍一直堅持到正午檜原村的援軍趕到，裡應外合將久攻不下、疲憊已極的伊達軍擊退。此戰雙方各損失七十餘人。
此戰之後，蘆名盛氏命穴澤俊恆毀棄戶山城，另築一城保衛檜原。這次，穴澤俊恆選擇在三面環水 ，只有西南面與陸地相連又直面米澤街道的堂場山半島構築岩山城。岩山城三面環水，本丸坐落在堂場山上，易守難攻，此後穴澤氏以此為基地，多次挫敗伊達家的入侵。
永祿九年（1566）一月檜原下了場大雪，由於1月10日蘆名家與伊達家已經達成了和議，而且那時的戰爭遇雪則止，所以穴澤氏的武士們都放鬆了警戒，一起去參加村中傳統的節日“二十三夜信仰の日”，很晚才回到城中。但就在第二天（1月24日），伊達軍千餘人卻突然攻入了檜原村，放火之後向檜原峠退卻。得知訊息的穴澤俊恆、俊光父子立刻集結兵力，倉促之間連同從檜原村來的佐瀨玄番的部隊一共只有300人而已，蘆名軍沿著米澤街道追擊，終於在一之渡趕上了正準備渡河的伊達軍。穴澤俊恆命令全軍隱蔽前進，悄悄進入渡口側後方的樹林埋伏，直到伊達軍渡過一半時才突然發動襲擊，受驚的伊達軍發生嚴重混亂，已渡河的部隊先行撤退，未渡河的軍隊遭到屠殺，或被逼入冬天刺骨寒冷的河水中。最終，穴澤俊恆以輕微代價討取了伊達軍530人。由於這次大勝，蘆名盛氏將耶麻郡大荒井村賞賜給穴澤俊恆。
永祿十二年（1569），在又一次擊退伊達入侵軍後，穴澤俊恆宣布在岩山城隱居，由長子俊光繼任為第五代當主。穴澤俊光，又名信堅、新右衛門。
這之後一直到天正十年（1582），幾乎沒有關於穴澤氏的歷史記錄，只知道伊達軍除了少數幾個年份，幾乎每年都會小規模地入侵檜原數次，也理所當然地被擊退。伊達家始終拿防衛嚴密、物資充足的岩山城沒有辦法。
天正十年（1582），穴澤俊光因為與小荒井村地頭小荒井阿波私鬥，導致父親苦戰得來的領地小荒井村被沒收。
天正十二年（1584）10月，伊達家和蘆名家分別發生了一件大事：伊達輝宗隱居，將家督之位傳給伊達政宗；而在蘆名家，家督蘆名盛隆卻被寵臣大庭三左衛門刺殺。由於家督被刺殺，蘆名家短時間陷入混亂之中，伊達政宗決定乘機攻克眼中刺岩山城。
11月26日， 伊達政宗從內應穴澤四郎兵衛（穴澤俊光從弟）處得知穴澤一族聚集在檜原名勝風呂屋遊興，果斷率領1500人突襲穴澤氏，遊玩中的穴澤武士損失慘重，隱居中的穴澤俊恆帶領100餘人從岩山城趕來增援，雖然遭遇伊達軍鐵炮隊、弓箭隊的阻擊，仍然突破封鎖救出了包括穴澤俊光在內的部分族人。穴澤氏一族退入岩山城，往大塩的退路被切斷，只有籠城血戰。由於兵力在城外損失殆盡，剩餘的武士們包括穴澤俊恆、俊光父子也人人帶傷，城防最終被突破，穴澤一門最後23名武士據守館內，連女眷也持武器作戰，最後穴澤俊恆、俊光父子放火燒毀館，舉族自焚。
穴澤氏剩餘少數族人在籠城前逃脫，退入柏木城。穴澤俊恆、穴澤俊次當時正作為使臣出使北條家，逃過一劫，回到黑川城後繼任為第六代當主。穴澤俊次，又名廣次。
天正十三年，終於攻入了檜原腹地的伊達政宗在小谷山構築了檜原城，報仇心切的穴澤俊次請求帶領士兵奇襲檜原城，但未被批准，隨後穴澤俊次被命令固守大塩，防備伊達軍進一步深入。
穴澤俊次在大塩得知伊達政宗在會津川河岸修建了跑馬場每日騎馬，就親帶武士埋伏意圖狙殺政宗，但是一直沒得到機會，於是穴澤俊次將一封書信綁在箭上射給了政宗，政宗看完書信後，留下後藤孫兵衛守衛檜原城，自己帶領親信連夜趕回了米澤城。
天正十四年農曆1月24日，伊達政宗派軍趁大雪攻擊大塩，被穴澤俊次擊敗，斬首530級。
天正十四年4月，穴澤俊次率領穴澤一族300人進攻設防嚴密的檜原城，擇地設伏後親帶100人至檜原城守軍見穴澤俊次兵力薄弱，派500士兵出城迎戰，穴澤俊次且戰且退，將敵軍引入伏擊陣地後發動反擊，討取五十餘人。
