《基於多模聯合分類的校園暴力與言語欺凌識別算法研究》是依託哈爾濱工業大學，由葉亮擔任項目負責人的青年科學基金項目。
基本介紹
- 中文名：基於多模聯合分類的校園暴力與言語欺凌識別算法研究
- 依託單位：哈爾濱工業大學
- 項目類別：青年科學基金項目
- 項目負責人：葉亮
項目摘要,結題摘要,
項目摘要
校園霸凌是一種常見的社會現象，傷害青少年的身心健康，研究霸凌檢測技術對及時制止校園霸凌意義重大。目前對校園霸凌的防治都是被動的反饋方式，本課題首次用模式識別理論對身體暴力和言語欺凌進行主動檢測。分析霸凌動作與日常動作行為模式上的差異，建立混合坐標系提取動作特徵，設計複合模式模糊分類算法，在不同年齡對象群體中檢測出身體暴力，並與日常行為區分開。建立數學模型研究霸凌語境與日常語境的聲學特徵關聯，從理論分析和仿真實驗兩方面共同設計疊代增減量特徵優選算法選取最佳聲學特徵組合，同時用特徵模型擬合解析多重情感成分，結合語境識別和情感解析區分霸凌語境和日常語境。最後用基於複雜語境聲學特徵的精神壓力識別算法輔助動作識別和情感識別，結合分類置信度和匹配相似度做聯合判決，檢測校園霸凌事件。本課題首次用理論模型分析特徵關聯，以動作語音聯合特徵識別複雜環境中的霸凌事件，具有重要的科學意義。
結題摘要
校園霸凌是一種常見的社會現象，危害青少年的身心健康。校園霸凌有多種表現形式，其中身體暴力對青少年的傷害最大，言語欺凌發生最為頻繁。傳統的霸凌防治手段是人工的，即旁觀者向監護人報告，然而旁觀者可能因害怕報復而不敢報告，霸凌得不到及時制止。為此，本項目利用模式識別技術，提出能夠主動檢測校園霸凌事件，並在檢測出後自動向監護人告警的算法。本項目包含三項研究內容，其中前兩項是出於受害者自身角度進行檢測，而第三項是出於監護人的角度進行檢測：（1）基於運動感測器的身體暴力檢測算法。利用運動感測器採集佩戴者多個部位動作數據，根據暴力動作和日常動作行為模式上的差異，提取時域和頻域特徵。提出一種改進的Relief-F特徵選擇算法，在篩除無用特徵的同時降低選用特徵間的冗餘度，然後通過LDA算法對特徵進一步降維。設計DT-RBF算法對動作進行識別，並提出一種改進的D-S算法，對不同部位識別結果進行融合，最終對暴力動作識別率達90%，對日常動作識別率達95%。（2）基於語音情感的言語欺凌檢測。利用麥克風采集佩戴者周圍的語境信息，首先進行語音預處理，然後提取語境中的MFCC特徵和一階、二階差分特徵，利用LDA算法對所提取的聲學特徵進行降維。設計BPNN分類算法對霸凌語境和日常語境進行區分，因識別目標是混合語境，平均識別率僅為73.6%。當言語欺凌同時伴隨有暴力動作時，結合暴力動作分類，對言語欺凌的識別率可達90.9%。（3）基於圖像的霸凌場景檢測。利用校園內監控攝像頭採集指定區域圖像，利用KNN算法提取前景目標並通過形態學處理提取準確的運動人體。提出一種外接矩形框整合方法，消除非觀測對象，然後提取觀測對象的形態學特徵、外接矩形框特徵和光流特徵。利用Relief-F和Wrapper算法篩除無用特徵。設計DT-SVM算法對霸凌場景和日常場景進行分類，平均識別率達97.4%。最後，本項目已開發出基於Android手機的校園霸凌檢測演示平台，因手機性能受限，不能使用高複雜度算法，且只有單一感測器，暴力動作識別率僅為86.7%。
