1564年,父親時忠背叛里見氏從屬於
北條氏康的時候,作為人質被送往
小田原城。因為哥哥正木時通1575年突然死去,翌年父親也死去遂繼承
家督,本處在勝浦城。此後,擁立
里見義賴,成功擊滅正木憲時掌握了里見家的實權。可是,1590年
後北條氏滅亡
德川家康被移封關東,里見氏丟失
上總國領地,賴忠跟隨前往
安房國。
在賴忠的4個孩子裡,女兒的於萬成為德川家康的
側室生了
德川賴宣和
德川賴房。依靠兒子
正木為春成為賴宣的
家老的緣故,賴忠移到
紀伊渡過了餘生。同時,另一個兒子乳名菊松,成為糟谷的養子名糟屋軍次郎。剛去父親的勝浦城就被卷進梅王丸的叛亂,憲時攻擊勝浦城的時候,賴忠讓菊松逃出,跑到河津的母親處,自名正木織部,迎娶了清水小太郎的女人。
豐臣秀吉進攻小田原城的時候,蔭山氏廣與母親帶萬逃跑承繼北條屋敷回鄉務農。還有一個兒子成為
旗本。