Q1 基于CCTV圖像的管道缺陷智能識別和分類技術是怎樣實現(xiàn)的?
A:從原理上看,該技術隸屬于計算機視覺研究領域,通過獲取圖像、圖像預處理、特征抽取、分類器設計和分類決策等程序,提取并辨認指 定目標圖像,從而建立人工智能系統(tǒng)。通俗地說,就是利用管道缺陷圖像數(shù)據(jù)作為“教學范本”,教會機器什么是我們需要的信息,并對信息進行判斷和分類,達到和人工判讀管道缺陷相同的效果。
排水管道缺陷檢測領域的計算機視覺相關方法主要有傳統(tǒng)基于規(guī)則的方法、傳統(tǒng)機器學習方法、深度學習方法和多策略融合方法。筆者調研相關論文所使用的各方法比例如下圖1所示:
圖1 引用文獻的個研究方法比例
(1)傳統(tǒng)基于規(guī)則的算法是指基于數(shù)學微分思想和形態(tài)學原理的邊緣檢測算法,根據(jù)圖片畫面中的亮暗、光影等特征,定位管道缺陷,實現(xiàn)檢測功能。但該方法存在較多不足,包括:相關研究的樣本較少,識別準確率參差不齊;依賴人工判斷,智能化程度不高;沒有訓練過程,泛化能力差等。因此,關于此方法的創(chuàng)新性研究不多。
(2)傳統(tǒng)機器學習方法是計算機從大量數(shù)據(jù)中提取數(shù)據(jù)特征并進行學習,通過模型訓練進而解決相應問題的過程。該方法的智能識別能力和綜合識別效果有所提升。但該方法只能提取少量缺陷特征,輸出結果較單一,因此僅能判斷管道是否完好或識別少量缺陷類別。
(3)深度學習方法是機器學習的分支,其中又以卷積神經網(wǎng)絡(Convolutional Neural Networks,CNN)應用最廣。主要流程為:將圖片輸入后由卷積層提取特征,使用激活函數(shù)加入非線性元素,經池化層降維處理,最 后通過全連接層分類輸出,如圖2所示。
圖2 卷積神經網(wǎng)絡結構示意圖
當前,管道缺陷檢測主要針對圖像分類和目標檢測問題展開,涉及各研究比例如下圖3所示。
圖3 深度學習方法用于不同視覺任務的論文比例
圖像分類需根據(jù)不同缺陷特征(結構性或功能性)將給定的缺陷圖片分類。應用較多的CNN模型有ResNet、AlexNet、VGG和GoogleNet等,模型訓練圖片數(shù)量從幾百至上萬,可區(qū)分的缺陷類別較多,絕大部分輸出準確率超過80%。
目標檢測需識別圖片中存在的缺陷并以選框形式標識出來,應用較多的CNN模型有YOLO和Faster R-CNN,引入目標檢測器或層級式類別注意力機制也能達到目標檢測效果。
相比前兩種方法,深度學習模型的訓練樣本數(shù)量可達數(shù)萬張,數(shù)據(jù)處理能力較強;缺陷特征提取過程減少了人工工作量,智能化程度較高;能實現(xiàn)圖像分類和目標檢測等任務,模型功能性豐富;大部分模型識別精度很高,輸出效果較優(yōu)。
(4)多策略融合方法采取模塊化、分步驟思路,由兩種或兩種以上機器學習或深度學習模型共同構成缺陷圖像檢測分類框架。該方法不僅能解決常規(guī)圖像分類和目標檢測問題,還在缺陷邊緣分割、細粒度分類、圖像動態(tài)特征捕獲、缺陷實例分割和全過程自動化評估等問題上體現(xiàn)了優(yōu) 越性。該方法更適用于視頻缺陷識別或其他特定場景,前瞻性很強,但還需繼續(xù)優(yōu)化模型運算速度和識別精度。
Q2 如何評價管道缺陷檢測模型的好與壞?
A:管道缺陷圖像智能檢測模型設計應考慮適用性、易用性和經濟性等多方因素。然而,對于模型評價使用的指標及結果可接受范圍等,業(yè)內尚未形成共識。概括來說有以下兩類指標:
(1)過程評價指標。它是模型在運行過程中表征其精度和速度的一系列指標。例如:“交并比(Intersection over Union,IoU)”表征模型識別區(qū)域面積與實際標記面積的大小關系,兩部門面積重合度越高,識別越精 準;模型運行速度表征檢測分類的即時性等。
(2)結果評價指標。它直觀有效地評估模型輸出效果,常用的評價指標有準確率(Accuracy)、精 確率(Precision)、召回率(Recall)、綜合評價指標(F-Measure)和ROC(Receiver Operating Characteristic)曲線等。
Q3 在當前國內市場上,管道智能檢測發(fā)展如何?
A:當前我國市場上的CCTV管道機器人在硬件層面已無需依賴進口,實現(xiàn)了國產化和自主化。國內二十余家管道檢測機器人制造企業(yè)和市政管網(wǎng)非開挖修復單位大力推進缺陷檢測軟件技術研發(fā),大多基于深度學習算法,已有可商用的產品。目前效果最 好 的管道缺陷視頻分割系統(tǒng)識別精度可達98%。
然而,現(xiàn)投入市場使用的缺陷檢測系統(tǒng)智能化、自動化水平仍不夠高,圖像識別以區(qū)分正常管段和缺陷管段為主,細小缺陷抓取準確率很低,對缺陷進行細分類的過程仍依賴人工。調研中還發(fā)現(xiàn),管道缺陷智能檢測技術的市場普及率較低。一方面,現(xiàn)有軟件還不能完全脫離人工操作;另一方面,智能檢測配套軟硬件成本較高,利用人工判讀較為經濟。
國內管道缺陷智能檢測領域還不成熟,仍處上升期。要加大對管道檢測智能系統(tǒng)的研發(fā)投入,不斷擴充深度學習模型樣本量,提高識別精度,實現(xiàn)細分類功能。必要時可考慮引入激光測距和3D掃描技術,實現(xiàn)軟硬件結合發(fā)展,進一步降低缺陷識別的成本。
Q4 管道缺陷智能檢測技術的未來和挑戰(zhàn)?
A:由于基于規(guī)則的圖像分割算法智能化程度不高、基于小樣本的傳統(tǒng)機器學習方法無法適應大量圖像分類要求,目前,以卷積神經網(wǎng)絡為主的深度學習方法成為了管道缺陷智能檢測技術的研究重點,并面臨以下挑戰(zhàn):
(1)持續(xù)擴充有效的圖像樣本數(shù)據(jù)庫。圖像樣本數(shù)量和質量是影響檢測速度和精度的重要因素,樣本數(shù)量少易產生過擬合問題,缺陷樣本數(shù)量不平衡會導致模型泛化能力弱,樣本圖像相似度高或光照條件弱會增加特征提取難度。
(2)加快現(xiàn)有智能檢測算法在管道檢測市場的推廣應用。多缺陷檢測和實例/語義分割技術已成為主流,應加大智能算法的遷移應用力度,優(yōu)化缺陷細分類檢測、多缺陷共存檢測和缺陷實例分割等功能。
(3)結合多技術手段,提升管道視頻識別精度。視頻缺陷的實時定位受照明和畫面模糊度影響很大,使用視頻自動化截圖會降低缺陷識別率。為了幫助缺陷特征提取,需提升傳統(tǒng)管道機器人硬件水平,如利用三維激光雷達或深度相機以獲取更多空間信息和缺陷細節(jié)。
(4)積極構建管道健康評估一體化智能系統(tǒng)。檢測系統(tǒng)應以我國現(xiàn)行規(guī)范為指南,考慮缺陷嚴重等級和管段綜合得分,優(yōu)化系統(tǒng)視覺體驗和交互體驗,生成智能檢測報告,選取修復工法,合理評估管道使用年限。
微信對原文有修改。原文標題:排水管道缺陷圖像的智能識別分類技術綜述;作者:廖嘉杰、黃 勝、馬保松、林沛元;作者單位:中山大學土木工程學院。刊登在《給水排水》2023年第7期。