《一種臂架撓度的測量方法、裝置及系統》是中聯重科股份有限公司於2012年7月10日申請的發明專利，該專利申請號為2012102374005，公布號為CN102798350A，公布日為2012年11月28日，發明人是塗宏斌、付玲、任會禮、鐘懿。
《一種臂架撓度的測量方法、裝置及系統》公開了一種臂架撓度的測量方法、裝置及系統，該方法包括：不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。該發明使用非接觸測量的方式，測量方式簡單、方便，測量精度較高，實時性很好，可以及時快速地測量出臂架的撓度。
2021年6月24日，《一種臂架撓度的測量方法、裝置及系統》獲得第二十二屆中國專利優秀獎。
（概述圖為《一種臂架撓度的測量方法、裝置及系統》摘要附圖）
基本介紹
- 中文名：一種臂架撓度的測量方法、裝置及系統
- 申請人：中聯重科股份有限公司
- 發明人：塗宏斌、付玲、任會禮、鐘懿
- 申請號：2012102374005
- 申請日：2012年7月10日
- 公布號：CN102798350A
- 公布日：2012年11月28日
- 地址：湖南省長沙市嶽麓區銀盆南路361號
- 代理機構：北京同達信恆智慧財產權代理有限公司
- 代理人：黃志華
- Int. Cl.：G01B11/16
- 類別：發明專利
專利背景,發明內容,專利目的,技術方案,有益效果,附圖說明,技術領域,權利要求,實施方式,專利榮譽,
專利背景
工程機械的臂架系統在工作時，在承受自重載荷、工作載荷、風載等作用下，臂架會像魚竿一樣發生彎曲變形，如果變形量過大就有折臂的危險，因此實時測量出工程機械臂架系統撓度變形量十分重要。
截至2012年7月，對臂架撓度的測量方法有多種，例如採用在臂架的多節臂上分別安裝感測器和電纜，測量時，分別測量各節伸縮臂的伸長量，將各節伸縮臂的伸長量與臂架的初始長度疊加，從而得到伸長後臂架的總長，這種方式需要預先在臂架的多節臂上安裝電纜和感測器，布置感測器和電纜的工作量較大，測量成本較高，如果感測器和電纜發生故障，查錯困難，可靠性不高的問題。
還有一種方法是使用雷射器射出的雷射打向臂架上的目標靶，目標靶將部分雷射回射到雷射器中的成像器上，成像器並將目標象送到線陣探測器中，線陣探測器將光信號轉換成信號後，經數據採集器，以及聯接的傳輸電纜輸入計算機中，計算機進行兩次位置差的計算，就得到主梁下撓變形量，並顯示及預報起重機主梁下撓度，測量方式比較複雜，如果雷射不能正常反射到線陣探測器上，則不能保證測量的精度。
發明內容
專利目的
《一種臂架撓度的測量方法、裝置及系統》提供一種工程臂架擾度的測量方法、裝置及系統，用以實現工程臂架擾度的非接觸式測量，從而避免2012年7月前相關的測量方式中布置電纜、感測器的工作量較大，測量成本較高，以及測量準確度較低的問題。
技術方案
《一種臂架撓度的測量方法、裝置及系統》的臂架撓度的測量方法，包括以下步驟：不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。
《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量設備，包括：獲取模組，用於不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像；三維坐標確定模組，用於分別確定各圖像中像素點在世界坐標系中的三維坐標；拼接模組，用於根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；標記點跟蹤模組，用於使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；撓度計算模組，用於根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。
《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量系統，包括：至少兩個相機，用於分別對多節臂架上設定的標記點進行拍攝；臂架撓度測量設備，用於不斷獲取所述至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。
有益效果
《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法、裝置及系統，使用至少兩個相機對多節臂架上的標記點進行拍攝，並獲取至少兩個相機對多節臂架上標記點拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，將至少兩個相機同一時刻拍攝的圖像拼接為一幀圖像；這樣，在拼接後的各圖像中使用粒子濾波跟蹤的方法不斷跟蹤標記點，根據各標記點在各拼接後的圖像中的三維坐標的變化，可實現對臂架系統中各節臂架撓度的測量。《一種臂架撓度的測量方法、裝置及系統》實施例使用非接觸測量的方式，不需要在臂架上安裝額外的測量儀器和設備，就能夠實現對體積較大的臂架的撓度的測量，利用對臂架上標記點的圖像進行跟蹤分析的方法獲取其三維坐標的變化，測量方式簡單、方便，測量精度較高，並且，由於可以實時獲取相機拍攝的圖像，並對圖像進行處理獲取臂架的運動參數，這種測量方式，實時性很好，可以及時快速地測量出臂架的撓度。避免了2012年7月前相關的測量方式所帶來的布置感測器的工作量較大、實時性不夠好以及測量方式準確度較低的問題。
附圖說明
圖1為《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法的流程圖；
圖2為《一種臂架撓度的測量方法、裝置及系統》實施例提供的相機標定過程中圖像坐標和世界坐標系的示意圖；
圖3為《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量設備的結構示意圖；
圖4為《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量系統的結構示意圖之一；
圖5為《一種臂架撓度的測量方法、裝置及系統》實施例提供的測量結果傳輸裝置的結構示意圖；
圖6為《一種臂架撓度的測量方法、裝置及系統》實施例提供的工程機械臂架系統工作幅度的測量系統的結構示意圖之二；
圖7為《一種臂架撓度的測量方法、裝置及系統》實施例提供的測量結果傳輸裝置與遠端PC互動的示意圖；
圖8為《一種臂架撓度的測量方法、裝置及系統》實施例提供的嵌入式系統模組與無線傳輸模組接口電路的示意圖；
圖9為《一種臂架撓度的測量方法、裝置及系統》實施例提供的遠端PC機中設定的無線傳輸模組與PC機串口之間的接口電路的示意圖。
技術領域
《一種臂架撓度的測量方法、裝置及系統》涉及數據處理技術領域，尤指一種臂架撓度的測量方法、裝置及系統。
權利要求
1.一種臂架撓度的測量方法，其特徵在於，包括以下步驟：不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；當連續多幀拼接後的圖像使用粒子跟蹤方法無法識別出標記點時，確定所述標記點發生遮擋；使用卡爾曼濾波算法，根據最近的識別成功的拼接後的圖像中標記點的三維坐標，依次預測出發生遮擋的多幀拼接後的圖像中標記點的三維坐標；根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果；其中，分別確定各圖像中像素點的三維坐標，包括：根據各圖像中的像素點在圖像坐標系的二維坐標，以及預先確定的圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，分別將各圖像中像素點的二維坐標轉換為對應的三維坐標。
2.如權利要求1所述的臂架撓度的測量方法，其特徵在於，所述圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，通過下述方式確定：對布置在所述臂架上同個標記點前方的至少兩個相機分別進行標定，獲取各相機的內外參數；根據各相機的內外參數中的旋轉矩陣和平移轉換矢量，確定圖像坐標系下二維坐標轉換成世界坐標系下三維坐標的表達式。
3.如權利要求1所述的臂架撓度的測量方法，其特徵在於，將至少兩個相機同時拍攝的圖像拼接為同一幀圖像，包括：對至少兩個相機同時拍攝的圖像分別進行幾何校正；對幾何校正後的各圖像進行圖像配準；將圖像配準後的各圖像進行融合，消除拼接痕跡；輸出拼接完成的圖像。
4.如權利要求1-3任一項所述的臂架撓度的測量方法，其特徵在於，還包括：根據遠端PC機的指令，將臂架擾度的測量結果通過無線傳輸方式傳送給所述遠端PC機，並在傳送結束後，向所述遠端PC機傳送傳送完畢的指令。
5.一種臂架撓度的測量設備，其特徵在於，包括：獲取模組，用於不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像；三維坐標確定模組，用於分別確定各圖像中像素點在世界坐標系中的三維坐標；拼接模組，用於根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；標記點跟蹤模組，用於：使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；且當連續多幀拼接後的圖像使用粒子跟蹤方法無法識別出標記點時，確定所述標記點發生遮擋；使用卡爾曼濾波算法，根據最近的識別成功的拼接後的圖像中標記點的三維坐標，依次預測出發生遮擋的多幀拼接後的圖像中標記點的三維坐標；撓度計算模組，用於根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果；其中，分別確定各圖像中像素點的三維坐標，包括：根據各圖像中的像素點在圖像坐標系的二維坐標，以及預先確定的圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，分別將各圖像中像素點的二維坐標轉換為對應的三維坐標。
6.如權利要求5所述的設備，其特徵在於，所述三維坐標確定模組，具體用於根據各圖像中的像素點在圖像坐標系的二維坐標，以及預先確定的圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，分別將各圖像中像素點的二維坐標轉換為對應的三維坐標。
7.如權利要求6所述的設備，其特徵在於，還包括：標定模組，用於對布置在所述臂架上同個標記點前方的至少兩個相機分別進行標定，獲取各相機的內外參數；根據各相機的內外參數中的旋轉矩陣和平移轉換矢量，確定圖像坐標系下二維坐標轉換成世界坐標系下三維坐標的表達式。
8.如權利要求7所述的設備，其特徵在於，所述拼接模組，具體用於對至少兩個相機同時拍攝的圖像分別進行幾何校正；對幾何校正後的各圖像進行圖像配準；將圖像配準後的各圖像進行融合，消除拼接痕跡；輸出拼接完成的圖像。
9.如權利要求5-8任一項所述的設備，其特徵在於，還包括：卡爾曼濾波處理模組，用於當連續多幀拼接後的圖像使用粒子跟蹤方法無法識別出標記點時，確定所述標記點發生遮擋；使用卡爾曼濾波算法，根據最近的識別成功的拼接後的圖像中標記點的三維坐標，依次預測出發生遮擋的多幀拼接後的圖像中標記點的三維坐標；根據預測出的三維坐標，繼續對所述臂架的撓度進行測量。
10.一種臂架撓度的測量系統，其特徵在於，包括：至少兩個相機，用於分別對多節臂架上設定的標記點進行拍攝；臂架撓度測量設備，包括：獲取模組，用於不斷獲取所述至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像；三維坐標確定模組，用於分別確定各圖像中像素點在世界坐標系中的三維坐標；拼接模組，用於根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；標記點跟蹤模組，用於：使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；且當連續多幀拼接後的圖像使用粒子跟蹤方法無法識別出標記點時，確定所述標記點發生遮擋；使用卡爾曼濾波算法，根據最近的識別成功的拼接後的圖像中標記點的三維坐標，依次預測出發生遮擋的多幀拼接後的圖像中標記點的三維坐標；撓度計算模組，用於根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果；其中，分別確定各圖像中像素點的三維坐標，包括：根據各圖像中的像素點在圖像坐標系的二維坐標，以及預先確定的圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，分別將各圖像中像素點的二維坐標轉換為對應的三維坐標。
11.如權利要求10所述的系統，其特徵在於，還包括：測量結果傳輸裝置，用於根據遠端PC機的指令，將臂架擾度的測量結果通過無線傳輸方式傳送給所述遠端PC機，並在傳送結束後，向所述遠端PC機返回傳送完畢的指令；遠端PC機，用於通過無線方式接收所述測量結果傳輸裝置傳輸過來的臂架撓度的測量結果。
12.如權利要求11所述的系統，其特徵在於，所述測量結果傳輸裝置，具體包括：數據採集模組，用於採集所述臂架撓度測量設備得到臂架擾度的測量結果；嵌入式系統模組，用於將無線傳輸模組設定為處於接收狀態，以及通過串口中斷來識別由遠端PC機通過無線信道傳送過來的指令，當確定接收到遠端PC機傳送的傳輸數據的指令時，將無線傳輸模組由接收狀態修改為傳送狀態，並將臂架撓度測量設備得到的撓度測量結果傳遞給無線傳輸模組；以及在無線傳輸模組傳輸完畢後，向所述遠端PC機返回傳送完畢的指令；並將無線傳輸模組由傳送狀態再次修改為接收狀態；無線傳輸模組，用於將撓度測量結果通過無線信道傳輸給遠端PC機。
實施方式
《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法，如圖1所示，包括如下步驟：
S101、不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像並分別確定各圖像中像素點在世界坐標系中的三維坐標；
S102、根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；
S103、使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；
S104、根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。
《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法中的步驟S101中，可以在各節臂架需要測量的位置上，設定標記點，標記點可以是任意形狀的標記例如常見的十字絲、圓形、對角圓等，由於臂架系統體積龐大，為了測量的方便，需要使用至少兩個相機分別對多節臂架進行拍攝，然後將拍攝的圖像拼接起來，實現對整個臂架擾度的非接觸性測量。
因此，上述步驟S101中，由於至少兩個相機分別對工程臂架系統上的標記點進行同時拍攝，需要不斷獲取至少兩個相機在相同時刻拍攝的圖像，並在步驟S102中，需要將至少兩個相機拍攝的圖像進行拼接，從而得到包含臂架系統上多個標記點的圖像。
上述步驟S101中，可以通過下述方式確定各像素點的三維坐標：根據各圖像中的像素點在圖像坐標系的二維坐標，以及預先確定的圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，分別將各圖像中像素點的二維坐標轉換為對應的三維坐標。其中，圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，可以預先通過相機標定過程來確定。
相機標定過程可採用非接觸式測量中的相機標定方法，非接觸式測量是基於雙目立體視覺測量原理，該原理是基於視差，根據三角法原理進行三維信息的獲取，由兩個相機的圖像平面和標定物之間構成一個三角形。首先以標定物為參照物，標定出一個相機的內外參數，然後以該相機和標定物為參照物，標定出另一個相機的內外參數。
以兩個相機為例，具體標定過程如下：
（1）設定標定物，具體包括：列印一張模板，模板以固定間距組成的若干個十字絲組成，並將該模板並貼在一個平板上，將貼有模板的平板放置到兩個相機的共同視場中，其位置信息已知。
（2）兩個相機從不同角度拍攝若干張（大於或等於3張）模板圖像；
（3）檢測每幅圖像中的目標點（例如十字絲中心）；
（4）根據標定公式，分別獲得兩個相機的內部參數以及外部參數；一般來說，相機的內外參數包括：比例係數、有效焦距、主點、平移矩陣和旋轉矩陣。在相機標定方法中，可先根據標定物，利用標定公式，標定一個相機，然後根據標定物，以及該相機來標定另一個相機。其中，標定公式即計算上述內外參數的過程，具體來說包括下述四個方面：（1）旋轉矩陣
，平移矩陣
的計算，具體計算過程屬於2012年7月前相關的技術，在此不再贅述；（2）確定圖像採集設備主點，主點是圖像的中心，可以近似為圖像的中心坐標值；（3）圖像採集設備比例係數的標定：以十字形狀標記為例，事先用尺量好十字標記的長和寬，然後在計算機上計算十字圖像長和寬所占的像素點，最後換算成一個像素點代表多大的實際物理尺寸；（4）有效焦距的計算：根據成像原理，當物距遠大於相距的時候，焦距F＝物距V（可以近似為鏡頭到物體的距離），在相機放置時候，該數值用捲尺可以量出。
（5）根據旋轉矩陣和平移轉換矢量，獲得兩個相機共同視場中某個點的三維坐標的表達式，該表達式表征了目標點在圖像中的二維坐標與該目標點的三維坐標之間的轉換關係。
如圖2所示，假設o-XYZ是左相機的世界坐標系，O1-X1Y1為左相機的圖像坐標系，f1為左相機的有效焦距；Or-xryrzr為右相機的世界坐標系，fr為右相機的有效焦距。
由相機透視變換模型可以得到：
上式中，MRT＝[R T]；且，分別為O-xyz坐標系與Or-xryrzr坐標系之間的旋轉矩陣和平移矩陣。其中：
上述公式中的AX，AY，AZ分別為在世界三維坐標系下，AX為標定過程中拍攝的目標點相對於X軸的傾斜角，AY為該目標點相對於Y軸的傾斜角；AZ為該目標點相對於Z軸的傾斜角。這三個角度可以通過安裝在固定相機的平台上的角度感測器測得。
較佳地，在《一種臂架撓度的測量方法、裝置及系統》實施例中，由於所需求得的臂架的撓度是相對量而不是絕對量（臂架撓度通過臂架上同一個標記點在臂架工作過程中三維坐標的相對變化量確定），而平移矩陣的意義是計算世界坐標系原點移動至圖像坐標系原點的平移量，相當於是做坐標平移，因此，在具體標定過程中，可以不需要按照平移矩陣的計算方式來計算出平移矩陣的具體數值，而將其整體直接作為零值考慮，即：
，將代入上述公式1，變為：
。
在《一種臂架撓度的測量方法、裝置及系統》實施例中，由於相機成像時不一定是水平正對著臂架的，所以會有相對於臂架的姿態角AX，AY，AZ，因此較重要是需要在標定過程中把目標點的姿態角反算成水平狀態下的坐標。而平移矩陣只是坐標系的平移，坐標原點不同而已，在《一種臂架撓度的測量方法、裝置及系統》實施例計算工程機械吊鉤的運動變化量這種相對量時可以不需完成平移矩陣具體數值的計算，直接將其設定為0即可。
由此可以計算出像素點的三維坐標（x，y，x）表達式，即圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係為：
，
，
。
其中，該像素點可為標記點上的一個像素點，以左相機採集到的一幅圖片為例，在圖像中有一個標記點，即可為該標記點上的一個像素點，在左相機中的二維坐標為（X1，Y1）。如果像素點在右相機中的二維坐標為（Xr，Yr），那么上式中x＝zXr/fr；y＝zYr/fr，z的計算公式與上式相同。
《一種臂架撓度的測量方法、裝置及系統》實施例並不限於使用上述標定方法，還可以使用2012年7月前相關的技術中其他類似的基於雙目立體視覺測量原理的相機標定方法來確定圖像中的二維坐標與該目標點三維坐標之間的轉換關係。
在上述步驟S102中，根據各圖像中各像素點的三維坐標，將至少兩個相機同時拍攝的圖像拼接為一幀圖像，拼接過程中，需要將兩幅圖像中具有相同三維坐標的像素點作為兩幅圖像重合部分，將兩幀圖像拼接到一起，依次類推，依次將多幅圖像拼接到一起。
具體的拼接過程包括下述步驟：對至少兩個相機同時拍攝的圖像分別進行幾何校正；對幾何校正後的各圖像進行圖像配準；將圖像配準後的各圖像進行融合，消除拼接痕跡；輸出拼接完成的圖像。
圖像校正主要是針對圖像有變形或者模糊的情況，對圖像進行復原的技術，圖像配準是指在圖像拼接過程中，針對兩個相機拍攝的同一個點的圖像，尋找最佳空間變化關係和灰度變換關係，實現兩幀圖像在拼接時的最大對準。
在上述步驟S103中，使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標。
在不同時刻的圖像中識別出了標記點後，可以根據該標記點的三維坐標在拼接後的各幀圖像中的三維坐標點的位置變化，測量出標記點在x、y和z方向上的位移（Δx＝x2-x1；Δy＝y2-y1；Δz＝z2-z1，x1、y1和z1為上一幀拼接後的圖像中標記點的三維坐標，x2、y2和z2為當前幀拼接後的圖像中標記點的三維坐標，Δx、Δy和Δz是標記點在三個方向上的位移），從而可以實現對標記點所在的臂架的撓度進行測量。
《一種臂架撓度的測量方法、裝置及系統》實施例提供臂架撓度的測量方法中，採用2012年7月前相關的技術中的粒子跟蹤方式實現圖像中標記點的識別。採用粒子跟蹤的方式是因為工程機械整個臂架在工作狀態下，伸出的長度很大，尤其是大噸位工程機械，臂架完全伸展常常是百米以上，而且作業現場環境複雜，不僅會有遮擋現象，而且隨著臂架的大角度轉動，貼在上面的標記點在成像時會發生放大縮小、扭轉等變化；相機可能會直接對著強烈陽光等複雜情況成像等，這些情況下，由於圖像成像的原因，多目標跟蹤可能會出現丟失、遮擋以及因為目標點圖像變形而產生跟蹤誤差，這種誤差會傳遞到測量結果上，加大測量誤差。所以針對臂架的複雜工況，《一種臂架撓度的測量方法、裝置及系統》實施例採用粒子濾波的跟蹤算法，該跟蹤算法具有對邊緣遮擋、目標旋轉、變形以及光照變化不敏感等優點，這樣就可對圖像中的標記點進行準確追蹤。
為了更好地說明《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法，下面對2012年7月前相關的技術中粒子濾波的跟蹤算法進行簡單說明。
該算法包括如下步驟：
（1）樣本初始化。在初始幀中通過運動目標識別算法確定目標區域，並計算目標模板的顏色機率分布；每一幅圖片中臂架做為運動目標的初始參數為其質心位置（xinit，yjnit），該參數確定為根據每個相機拍攝的標記點圖像，然後根據質心公式計算運動目標質心。創建N個粒子（粒子即要找的可能的運動目標，由於我們事先貼上了標記點，知道個數，因此我們創建的個數為貼上標記點的個數，因為運動目標最大數就是貼上標記點的個數，粒子參數為（si，sj），粒子權值wi為1，每個粒子代表一個可能的運動目標。
xi＝xinit+b1ξ，yi＝yinit+b2ξ，其中，ξ為[-1，1]內的隨機數，b1、b2是常數。搜尋的位移的步長由B決定，B也為設計參數，在跟蹤過程中B取[1，10]，具體數據根據圖像清晰度確定，越清晰數值越小。當由於強光、光照不均勻等情況導致標記點成像模糊、圖像變形等情況導致，當目標丟失，B取[20，40]，即在一個較大範圍找到目標，該數值由算法自動調節，首先從20開始取，如果沒有沒有搜尋到標記點圖像，則根據步長加1的方式一步步增加，其大小正比於之前若干時刻目標的平均狀態變化，根據經驗數據一般B取到40都能找到標記點目標，
（2）系統觀測：觀察每個粒子所代表的目標可能狀態和目標理想狀態之間的相似程度，接近目標理想狀態的粒子賦予較大的權值，反之權值較小。取最小平均絕對差值函式為衡量相似程度的工具，即對每個粒子可以計算一個相似值mad，根據相似值計算各粒子的權值wi，系統初始的權數是1/N（粒子數），權值的範圍為[1/N，1]，1表示完全吻合。
（3）後驗機率計算：t時刻的後驗機率，也就是目標跟蹤中所期望的目標參數（xt，yt）由於各個粒子的加權和計算得到：
，
。
至此一次跟蹤過程結束。下一時刻的跟蹤仍然從系統的狀態轉移步驟重新開始。
進一步地，由於工程機械的臂架系統工況往往比較複雜，在相機拍攝的過程中，難免出現臂架上標記點被遮擋的問題，例如當連續的多幀拼接後的圖像使用標準圖像作為模板或者使用更新後的模板都無法匹配成功時，可以確定標記點在這幾幀圖像中發生了遮擋，此時可以使用卡爾曼濾波算法，根據最近的匹配成功的拼接後的圖像中標記點所在的位置，依次預測出發生遮擋的多幀拼接後的圖像中標記點的三維坐標；根據預測出的三維坐標，繼續對臂架系統的運動軌跡進行測量，並且保證測量的精度。
工程機械臂架上目標點成像時，當臂架距離相機較遠時，目標所成的像較小或者發生轉動時，標記點的圖像會發生大小變化，並且由於臂架轉動導致的成像角度發生變化，導致標記的目標形狀發生變化；噪聲主要分兩部分，主要是相機的內部噪聲，主要特徵是室外成像環境下，陽光亮度高，灰塵大等因素，這些噪聲可以近似認為服從高斯分布或白噪聲。
通過上面粒子濾波得到的各個目標點區域。由於目標運動的連續性，目標第k+1幀的位置必定在第k幀位置的某個小領域內，以連續的三幀圖像鄰域軌跡預測算法為例，設目標i在第k幀的位置分別為
第k，k+1，k+2幀的位置分別為
，
，
則應滿足：
其中α為領域大小，該大小根據根據精度確定，如果現場干擾物多，則該值適當取大，增加魯棒性。如果滿足上式則判斷目標i為真實目標點，從此時開始記錄下目標位置，否則認為是虛假目標點予以刪除，以此類推，繼續找第k+3幀及以後幀的目標。
如果此時連續幾幀圖片都沒有跟蹤上目標點，這是利用卡爾曼濾波算法進行跟蹤估計。在該方案中利用如下：
1）首先對第k幀圖片裡面的所有目標點區域利用領域軌跡判斷在第k+1幀中是否存在相應的目標點位置，如果只存在一個目標位置則更新目標位置若不存在目標位置判定，則目標丟失；
然後對第k+1幀中存在的目標點在第k幀中尋找匹配點，如果有目標點不存在相應的匹配點，則認為該目標是新增目標並記錄其位置信息。
2）如果只存在一個新目標位置信息（當前目標點在圖像坐標系下的x，y坐標），則利用此刻新的位置進行該目標運動軌跡的卡爾曼（kalman）估計，進一步修正濾波中的狀態估計值。
3）如果丟失目標，則用kalman濾波預測出目標在第k+1幀中的位置，同時更新目標位置，並標記為預測值。連續預測次數不能大於設定值T（該值＜1/相機幀率），否則由於長時間沒有目標觀測值的修正，如果工程機械臂架出現加速或轉彎會使預測值於真實值直接的誤差越來越大，最終完全偏離真實軌跡。所欲當連續預測次數等於T時，認為目標已經完全丟失，拋棄目標，停止預測。
3）綜合上述兩種情況，得到第k+1幀的實際目標數量和位置。
最後，上面計算出的標記點二維坐標全部都代入到以下公式中：
求出臂架上各個目標點的三維坐標。
卡爾曼濾波器是一種效果較優的信息處理器。首先要利用系統的過程模型來預測下一狀態的系統。假設現在的系統狀態是K，根據系統的模型，可以基於系統的上一狀態而預測出現在的狀態。
這樣，就可以利用卡爾曼濾波器，依次確定標記點被遮擋的當前幀圖像的前1幀、前2幀......是否發生遮擋，直到找到最近的未發生遮擋的那一幀，然後根據找到的最近的未發生遮擋的那一幀圖像中標記點的位置，預測出發生遮擋的下一幀中標記點的位置，然後根據預測出的下一幀中標記點的位置，繼續預測該下一幀圖像的下一幀圖像中標記點的位置，依次類推，直至將發生遮擋的各幀圖像中標記點的位置都預測完成為止。
較佳地，《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法，由於具有臂架系統的工程機械往往體積龐大，為了保證測量者的安全，對測量結果進行獲取和分析這部分工作往往會在距離工程機械較遠的地方進行，這樣，《一種臂架撓度的測量方法、裝置及系統》實施例中，還需要根據遠端PC機的指令，將臂架擾度的測量結果通過無線傳輸方式傳送給遠端PC機，並且在傳送結束後，向遠端PC機傳送傳送完畢的指令。
將測量結果通過無線傳輸的方式遠距離傳輸出去，不僅保證了測量工作者的安全，而且還能保證測量結果的實時性。
基於同一發明構思，《一種臂架撓度的測量方法、裝置及系統》實施例還提供了一種臂架撓度的測量設備和系統，由於這些設備和系統所解決問題的原理與前述臂架撓度的測量的方法相似，因此該設備和系統的實施可以參見前述方法的實施，重複之處不再贅述。
具體地，《一種臂架撓度的測量方法、裝置及系統》實施例提供的一種臂架撓度的測量設備，如圖3所示，包括：獲取模組301，用於不斷獲取至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像；三維坐標確定模組302，用於分別確定各圖像中像素點在世界坐標系中的三維坐標；拼接模組303，用於不斷將至少兩個相機同時拍攝的圖像拼接為一幀圖像；標記點跟蹤模組304，用於使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；撓度計算模組305，用於根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。
進一步地，上述三維坐標確定模組302，具體用於根據各圖像中的像素點在圖像坐標系的二維坐標，以及預先確定的圖像坐標系下二維坐標與世界坐標系下的三維坐標的轉換關係，分別將各圖像中像素點的二維坐標轉換為對應的三維坐標。
進一步地，《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量設備，如3圖所示，還可以包括：標定模組306，用於對布置在臂架上同個標記點前方的至少兩個相機分別進行標定，獲取各相機的內外參數；根據各相機的內外參數中的旋轉矩陣和平移轉換矢量，確定圖像坐標系下二維坐標轉換成世界坐標系下三維坐標的表達式。
進一步地，上述拼接模組303，具體用於對至少兩個相機同時拍攝的圖像分別進行幾何校正；對幾何校正後的各圖像進行圖像配準；將圖像配準後的各圖像進行融合，消除拼接痕跡；輸出拼接完成的圖像。
進一步地，《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量設備，如圖3所示，還可以包括：卡爾曼濾波處理模組307，用於當連續多幀拼接後的圖像使用粒子跟蹤方法無法識別出標記點時，確定標記點發生遮擋；使用卡爾曼濾波算法，根據最近的識別成功的拼接後的圖像中標記點的三維坐標，依次預測出發生遮擋的多幀拼接後的圖像中標記點的三維坐標；根據預測出的三維坐標，繼續對所述臂架的撓度進行測量。
《一種臂架撓度的測量方法、裝置及系統》實施例提供的一種臂架撓度的測量系統，如圖4所示，包括：至少兩個相機401，用於分別對多節臂架上設定的標記點同時進行拍攝；臂架撓度測量設備402，用於用於不斷獲取所述至少兩個相機對多節臂架上分別設定的標記點同時拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，不斷地將至少兩個相機同時拍攝的圖像拼接為一幀圖像；使用粒子濾波跟蹤方法，識別出每個拼接後圖像中多節臂架上設定的標記點，並確定各標記點的三維坐標；根據每個拼接後圖像中各標記點的三維坐標，對臂架擾度進行計算得到臂架擾度的測量結果。
進一步地，《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量系統，如圖4所示，還可以包括：測量結果傳輸裝置403，用於根據遠端PC機的指令，將臂架擾度的測量結果通過無線傳輸方式傳送給該遠端PC機，並在傳送結束後，向改遠端PC機返回傳送完畢的指令；遠端PC機404，用於通過無線方式接收所述測量結果傳輸裝置傳輸過來的臂架撓度的測量結果。
進一步地，《一種臂架撓度的測量方法、裝置及系統》實施例提供的測量結果傳輸裝置403，如圖5所示，具體包括：數據採集模組501，用於採集臂架撓度測量設備得到臂架擾度的測量結果；嵌入式系統模組502，用於將無線傳輸模組503設定為處於接收狀態，以及通過串口中斷來識別由遠端PC機通過無線信道傳送過來的指令，當確定接收到遠端PC機傳送的傳輸數據的指令時，將無線傳輸模組由接收狀態修改為傳送狀態，並將臂架撓度測量設備得到的撓度測量結果傳遞給無線傳輸模組；以及在無線傳輸模組傳輸完畢後，向所述遠端PC機返回傳送完畢的指令；並將無線傳輸模組由傳送狀態再次修改為接收狀態；無線傳輸模組503，用於將撓度測量結果通過無線信道傳輸給遠端PC機。
圖6所示的是《一種臂架撓度的測量方法、裝置及系統》實施例提供的測量系統的架構示意圖，圖6中，標記點可以打在臂架任何需要測量的位置，至少兩個相機連線有工控機（或嵌入式系統），該工控機（或嵌入式系統）就是用於實現非接觸式測量的核心測量設備，負責對至少兩個相機採集的圖像進行拼接、處理得到臂架系統運動幅度的測量參數。
圖7所示的是《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量系統中的測量結果傳輸裝置403與遠端PC互動的示意圖，從該示意圖中可以看出，數據採集模組收集測量數據傳輸給嵌入式系統模組（單片機、ARM或者DSP等），然後經由無線傳輸模組將數據傳輸出去，嵌入式系統模組主要起到對指令和數據的收發進行控制的作用。
《一種臂架撓度的測量方法、裝置及系統》實施例在具體實施時，測量結果傳輸裝置中的嵌入式系統模組可以採用單片機（如：AT89C52），ARM（如：ARM9、ARM11），DSP（DSP28系列）；無線傳輸模組可以採用PTR2000無線數據傳輸模組。
無線傳輸模組和嵌入式系統模組通過串口相連。圖8是嵌入式系統模組（採用AT89C52的單片機）與無線傳輸模組（採用PTR2000無線傳輸模組）接口電路的示意圖。
圖8所示的僅是《一種臂架撓度的測量方法、裝置及系統》實施例提供的嵌入式系統模組和無線傳輸模組連線示意圖而已，《一種臂架撓度的測量方法、裝置及系統》實施例並不限於上述兩種晶片以及圖8所示的連線方式。
遠端PC機為了方便接收無線數據，也會在本地設定一個無線傳輸模組，該模組與PC機的串口連線，由於無線傳輸模組一般支持TTL電平，而PC機的串口信號滿足RS-232標準，在遠端PC機側，需要在無線傳輸模組與串口之間進行RS-232和TTL的電平之間的轉換。
圖9是遠端PC機中設定的無線傳輸模組與PC機串口之間的接口電路的示意圖，該圖9中，MAX202就是用來在無線傳輸模組（PTR2000無線傳輸模組）和串口之間進行電平轉換的晶片。
上述例子中，測量結果傳輸裝置和遠端PC機之間的互動過程如下：
1）測量結果傳輸裝置中的嵌入式系統模組在初始化時，將本地的無線數據傳輸模組設定處於接收狀態，通過串口中斷來識別由遠端PC機通過無線信道傳送過來的指令；
2）測量結果傳輸裝置根據接收指令的內容來決定當前需要採集數據並且需要啟動數據的傳送。
3）在數據傳送之前將無線傳輸模組設定為發射狀態，然後對數據進行編碼、校驗，然後經過串口傳送出去。
4）在數據傳送完畢後，測量結果傳輸裝置向遠端PC機傳送“傳送完畢”的指令，然後將本地的無線傳輸模組重設為接收狀態。
《一種臂架撓度的測量方法、裝置及系統》實施例提供的臂架撓度的測量方法、裝置及系統，使用至少兩個相機對多節臂架上的標記點進行拍攝，並獲取至少兩個相機對多節臂架上標記點拍攝的各圖像，並分別確定各圖像中像素點在世界坐標系中的三維坐標；根據各圖像中各像素點的三維坐標，將至少兩個相機同一時刻拍攝的圖像拼接為一幀圖像；這樣，在拼接後的各圖像中使用粒子濾波跟蹤的方法不斷跟蹤標記點，根據各標記點在各拼接後的圖像中的三維坐標的變化，可實現對臂架系統中各節臂架撓度的測量。《一種臂架撓度的測量方法、裝置及系統》實施例使用非接觸測量的方式，不需要在臂架上安裝額外的測量儀器和設備，就能夠實現對體積較大的臂架的撓度的測量，利用對臂架上標記點的圖像進行跟蹤分析的方法獲取其三維坐標的變化，測量方式簡單、方便，測量精度較高，並且，由於可以實時獲取相機拍攝的圖像，並對圖像進行處理獲取臂架的運動參數，這種測量方式，實時性很好，可以及時快速地測量出臂架的撓度。避免了2012年7月前相關的測量方式所帶來的布置感測器的工作量較大、實時性不夠好以及測量方式準確度較低的問題。
專利榮譽
2021年6月24日，《一種臂架撓度的測量方法、裝置及系統》獲得第二十二屆中國專利優秀獎。
