他與清朝官員的關係不太好，後來因索餉毆傷道員
楊坊，並劫餉四萬餘元，朝廷命蘇撫李鴻章拿辦，撤去白職位。1863年7月憤而改投太平軍。他招攬了一些舊部下跟隨他，又得到鎮守
蘇州的慕王
譚紹光撥了二千人給他訓練，因人手有限，只訓練了一千人。白聚文本來期望太平天國可以給他獨自指揮一支軍隊，可是最終只被容許統領由他帶來的一小撮人。白聚文為不能一展所長而失望，加上對戰局不樂觀，在10月決定向常勝軍隊長
戈登投降。譚紹光準許白齊文及其部下可以離開蘇州，並且在他臨走時仍然優待他。
白聚文返回上海後，被美國領事遣送到日本，禁止他再到中國。他在1864年2月重返上海，又被美國領事遣回日本。1865年初，白聚文到福建，打算投效占據
漳州的侍王
李世賢，在
廈門被拘捕。清朝官員想殺他，但是害怕美國抗議，於是用船把他押往蘇州，半途在浙江
蘭溪把他溺死，對外宣布是意外溺斃。
