邦騰科技：基于SVM和BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別系統(tǒng)

作者：bonteng  點(diǎn)擊次數(shù)：5960  發(fā)布時(shí)間：2020-7-25 7:16:25

針對(duì)車牌識(shí)別系統(tǒng)的車牌精確定位和車牌字符準(zhǔn)確識(shí)別問(wèn)題。提出一種基于SVM(支持向量機(jī))和BP神經(jīng)網(wǎng)絡(luò)的車牌定位與識(shí)別算法。通過(guò)將HSV顏色空間和形態(tài)學(xué)方法相結(jié)合確定候選輪廓,以判斷輪廓外接矩形的面積和長(zhǎng)寬比篩選符合車牌特征的區(qū)域,并利用訓(xùn)練好的SVM模型對(duì)候選車牌區(qū)域進(jìn)行測(cè)試判斷,終精確定位車牌的位置。此外,還可使用了BP神經(jīng)網(wǎng)絡(luò)進(jìn)行車牌字符識(shí)別。經(jīng)驗(yàn)證,該系統(tǒng)適用于復(fù)雜的車牌定位環(huán)境,且識(shí)別速度快,準(zhǔn)確率高。

車牌識(shí)別系統(tǒng)是圖像處理與模式識(shí)別技術(shù)在智能交通中的應(yīng)用,車牌的精確定位和車牌字符的準(zhǔn)確識(shí)別是車牌識(shí)別系統(tǒng)的關(guān)鍵問(wèn)題。常用的車牌定位方法有基于數(shù)學(xué)形態(tài)學(xué)的方法、基于彩色分割的方法、基于顏色和紋理分析的方法、基于小波和形態(tài)學(xué)的方法和基于混合特征的方法等。車牌字符識(shí)別方法有基于模板匹配的方法、基于Gabor變換和支持向量機(jī)的方法、基于小波和神經(jīng)網(wǎng)絡(luò)的方法等。本文首先利用HSV顏色空間和邊緣特征獲取車牌的候選區(qū)域,利用SVM機(jī)器學(xué)習(xí)方法判斷終的車牌區(qū)域,該方法可獲得較高的車牌定位率。提出一種改進(jìn)的粗網(wǎng)格車牌字符特征提取方法,利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練識(shí)別,可獲得較好地字符識(shí)別準(zhǔn)確率。后利用OpenCV機(jī)器視覺庫(kù)設(shè)計(jì)了整個(gè)車牌識(shí)別系統(tǒng)。

1　車牌定位

本文采用HSV顏色模型、垂直邊緣檢測(cè)和SVM分類器結(jié)合的方法進(jìn)行車牌的定位。算法的工作流程如圖1所示。

圖1　車牌定位流程

1.1　基于HSV顏色模型的二值化

由于RGB顏色模型對(duì)于兩種相近的顏色,其R、G、B值相差可能較大,因此在RGB顏色空間直接進(jìn)行車牌定位變得困難。所以,本文使用HSV顏色模型來(lái)定位車牌。HSV顏色模型是根據(jù)顏色的直觀特性創(chuàng)建的一種圓錐模型,其中H表示色調(diào)(Hue);S表示飽和度(Saturation);V表示亮度(Value)。由RGB模型到HSV模型的轉(zhuǎn)化公式可由式(1)得到

其中,max=max(R,G,B),min=min(R,G,B)。

中國(guó)車牌的底色主要有藍(lán)色、黃色、黑色和白色4種,由統(tǒng)計(jì)數(shù)據(jù)可得到各顏色在HSV空間中的范圍,如表1所示。

其中藍(lán)底白字車牌和黃底黑字車牌使用為廣泛，車牌識(shí)別系統(tǒng)主要針對(duì)這兩種類型車牌進(jìn)行顏色定位,對(duì)于其他類型車牌使用垂直邊緣檢測(cè)進(jìn)行定位。

為防止黃色車身藍(lán)底車牌和藍(lán)色車身黃底車牌中車身顏色的干擾,本車牌識(shí)別系統(tǒng)對(duì)轉(zhuǎn)換為HSV空間的圖像分別進(jìn)行了兩次二值化處理[9]。首先次以藍(lán)色底色為基準(zhǔn),將圖像中H、S、V分量落在表1藍(lán)色區(qū)域中的像素標(biāo)記為白色像素,也即設(shè)為255,否則標(biāo)記為黑色像素,即為0。第二次以黃色底色為基準(zhǔn),得到另一幅二值化圖像。這樣就將HSV圖像轉(zhuǎn)換為兩幅二值圖像了。實(shí)驗(yàn)處理結(jié)果如圖2所示,其中圖2(a)為原始圖像,圖2(b)是以藍(lán)色為基準(zhǔn)轉(zhuǎn)換的二值化圖像,圖2(c)是以黃色為基準(zhǔn)轉(zhuǎn)換的二值圖像。得到的兩幅二值圖將送人后續(xù)流程進(jìn)行處理識(shí)別。

1.2　垂直邊緣檢測(cè)

基于HSV顏色的車牌定位由于光照或者周圍環(huán)境顏色的干擾導(dǎo)致有些情況不能很好地定位,而根據(jù)車牌字符本身的特點(diǎn),采用垂直邊緣檢測(cè)則可較好地實(shí)現(xiàn)車牌定位。由于輸入的原始圖像包含很多噪聲和細(xì)小的尖刺,這些對(duì)于后續(xù)的邊緣檢測(cè)會(huì)產(chǎn)生很多干擾,所以首先要對(duì)圖像進(jìn)行去噪處理。本系統(tǒng)采用高斯模糊算法對(duì)原始圖像進(jìn)行處理。

車身紋理主要是水平邊緣,而車牌字符紋理主要為垂直邊緣,針對(duì)這個(gè)特點(diǎn)采用垂直邊緣檢測(cè)可以對(duì)車牌進(jìn)行粗定位。本系統(tǒng)采用Sobel算法實(shí)現(xiàn)垂直邊緣檢測(cè)。Sobel算法使用模板卷積的方法對(duì)圖像進(jìn)行變換,計(jì)算過(guò)程如式(2)所示式中,A代表原始圖像;Gx和Gy分別代表經(jīng)橫向及縱向邊緣檢測(cè)的圖像;G為合并橫向和縱向后的梯度大小;θ為梯度的方向。OpenCV中采用函數(shù)Sobel實(shí)現(xiàn)橫向的卷積計(jì)算,對(duì)所得結(jié)果求絕對(duì)值,這樣便得到了圖像在x方向上的Sobel檢測(cè)結(jié)果,也即檢測(cè)出了圖像的垂直邊緣。為便于后續(xù)形態(tài)學(xué)處理,需要對(duì)邊緣檢測(cè)的結(jié)果圖像進(jìn)行二值化處理,使用OTSU閾值算法實(shí)現(xiàn)二值化,圖3(a)的處理結(jié)果如圖3(b)所示。

1.3　形態(tài)學(xué)處理

經(jīng)過(guò)上述處理后,圖像中車牌區(qū)域部分由于字符的存在會(huì)包含眾多孔洞,為了去除噪聲并且填補(bǔ)這些孔洞,可采用數(shù)學(xué)形態(tài)學(xué)的方法進(jìn)行處理。數(shù)學(xué)形態(tài)學(xué)運(yùn)算包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算。

開運(yùn)算可濾除圖像中較小的區(qū)域,閉運(yùn)算能夠去除區(qū)域的孔洞,填平狹窄的溝壑和輪廓的缺口,并可平滑圖像的輪廓。系統(tǒng)采用閉運(yùn)算使車牌字母可以連成連通區(qū)域便于取輪廓。閉運(yùn)算處理前后結(jié)果分別如圖4(a)和圖4(b)所示,為方便顯示,圖中只截取了部分區(qū)域。從圖中可看出,經(jīng)過(guò)閉運(yùn)算處理后圖像中車牌部分由原先包含眾多裂痕和孔洞的區(qū)域連成了整體的一塊,這樣便于后續(xù)截取輪廓提取車牌。

1.4　SVM車牌定位

為使用SVM進(jìn)行車牌精確定位,首先要得到候選車牌區(qū)域。為此先對(duì)形態(tài)學(xué)處理后的結(jié)果進(jìn)行取輪廓,然后對(duì)輪廓求外接矩形。利用車牌的幾何特征對(duì)得到的外接矩形進(jìn)行濾除,即計(jì)算:(1)外接矩形寬高比Ratio;(2)外接矩形面積Area。設(shè)定車牌的大小寬高比,車牌面積的大小值,然后逐個(gè)判斷外接矩形的Ratio和Area是否同時(shí)滿足設(shè)定的要求。以圖4(b)為例,經(jīng)過(guò)處理后的結(jié)果如圖5(a)所示。因?yàn)檐嚺苾A斜角通常較小,為此可通過(guò)角度判斷進(jìn)一步去除不可能為車牌的矩形。后對(duì)剩下的矩形進(jìn)行旋轉(zhuǎn)校正和偏斜扭正,再進(jìn)行歸一化處理,這樣便得到了SVM判別模型的車牌候選區(qū)域。圖5(a)處理后的結(jié)果如圖5(b)所示。

圖5　候選車牌區(qū)域確定

SVM算法是以結(jié)構(gòu)風(fēng)險(xiǎn)小化為準(zhǔn)則的機(jī)器學(xué)習(xí)方法,在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出很多特有優(yōu)勢(shì)。本系統(tǒng)使用徑向基核函數(shù)映射的C-SVM實(shí)現(xiàn)車牌和非車牌的分類。

首先要訓(xùn)練SVM車牌判別模型,通過(guò)前面的處理過(guò)程可得到歸一化了的車牌候選區(qū)域,手工分類處理,得到車牌區(qū)域的圖片1 000張,非車牌區(qū)域圖片2 000張。選取分類器特征向量為樣本的水平和垂直直方圖值,使用徑向基核函數(shù)將特征向量轉(zhuǎn)化為與數(shù)據(jù)總數(shù)一樣的數(shù)量,即3 000維。使用OpenCV函數(shù)svm.train_auto,設(shè)置相應(yīng)參數(shù)可訓(xùn)練得到車牌判別模型。將候選車牌區(qū)域的特征向量輸入訓(xùn)練好了的車牌判別模型,從而可預(yù)測(cè)候選區(qū)域是否為車牌,這樣就實(shí)現(xiàn)了SVM車牌定位。以圖5(b)為例,經(jīng)過(guò)判斷確定為車牌的是左上角首先個(gè)區(qū)域。

2　車牌字符分割

車牌字符分割是將車牌區(qū)域分割成單個(gè)的字符,是車牌字符識(shí)別的前提。中國(guó)的標(biāo)準(zhǔn)車輛牌照包含有7個(gè)字符,首字符為漢字,第2個(gè)字符是英文大寫字母,后面5個(gè)為大寫字母與數(shù)字的混合。單個(gè)字符寬度為45 mm,高度為90 mm,第2個(gè)字符和第3個(gè)字符之間的間隔為34 mm,間隔中間有一個(gè)小圓點(diǎn),其余字符間隔為12 mm。利用車牌的這些特征,本文提出一種新的字符分割算法。

首先將定位得到的車牌區(qū)域進(jìn)行二值化處理,如圖6(a)所示。設(shè)定每行元素的階躍數(shù),當(dāng)階躍數(shù)目<7時(shí)認(rèn)為是柳釘,將該行元素都設(shè)置為0,這樣就去除了車牌上的柳釘?shù)母蓴_,處理結(jié)果如圖6(b)所示。對(duì)二值化車牌圖像尋找外接輪廓,并求這些輪廓的小外接矩形,通過(guò)驗(yàn)證矩形的長(zhǎng)寬比和面積大小,去除不符合車牌字符區(qū)域的矩形。由車牌字符分布結(jié)構(gòu)的特點(diǎn),首先尋找滿足第2個(gè)車牌字符位置的矩形,按順序依次可得到后面5個(gè)字符的矩形。由于漢字的特殊性,可通過(guò)第2個(gè)字符的位置往前推,猜測(cè)中文字符的位置和大小[10]。終,對(duì)上述分割處理得到的7個(gè)車牌字符進(jìn)行歸一化處理,結(jié)果如圖6(c)所示。

3　BP神經(jīng)網(wǎng)絡(luò)字符識(shí)別

目前車牌字符識(shí)別的方法有模板匹配法、特征匹配法和神經(jīng)網(wǎng)絡(luò)等方法。本文采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別。根據(jù)車牌字符特點(diǎn)使用改進(jìn)粗網(wǎng)格方法進(jìn)行特征提取。首先把分割得到的字符大小歸一化為20×20的二值化圖像,統(tǒng)計(jì)水平直方圖值和垂直直方圖值,這樣得到40維特征向量。然后將字符縮放到10×10大小,這樣可得到100個(gè)小區(qū)域,把每個(gè)小區(qū)域的值作為特征數(shù)據(jù)。后可得到車牌字符的特征向量X=(x1,x2,…,x140)。由此可確定BP神經(jīng)網(wǎng)絡(luò)輸入層神經(jīng)元個(gè)數(shù)為140[9-10]。

由于訓(xùn)練樣本限制,車牌漢字只選取了20個(gè)省份的車牌數(shù)據(jù),加上10個(gè)數(shù)字字符,24個(gè)字母字符(除去字符I和O),這樣可確定輸出層神經(jīng)元個(gè)數(shù)為54個(gè),網(wǎng)絡(luò)輸出采用對(duì)應(yīng)類別取1的方式來(lái)表達(dá)。確定隱含層神經(jīng)元數(shù)目方法較多,本系統(tǒng)通過(guò)調(diào)試確定隱層數(shù)目為40。

選取sigmoid函數(shù)作為BP網(wǎng)絡(luò)激活函數(shù),通過(guò)OpenCV提供的CvANN_MLP神經(jīng)網(wǎng)絡(luò)類進(jìn)行BP網(wǎng)絡(luò)的訓(xùn)練。使用CvANN_MLP_TrainParams這一類設(shè)置神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)。終,利用CvANN_MLP的train函數(shù)進(jìn)行樣本訓(xùn)練,并將訓(xùn)練結(jié)果保存在xml文件中。進(jìn)行字符識(shí)別時(shí)首先要加載BP的訓(xùn)練模型xml文件,然后使用Cv_ANN_MLP的predict函數(shù)進(jìn)行字符識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證數(shù)字和英文字母的識(shí)別率可達(dá)96.23%,漢字的識(shí)別率可達(dá)84.56%。

4　結(jié)束語(yǔ)

本文中提出了基于SVM的車牌定位方法和基于BP神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別方法。采用OpenCV2.4.9和Visual Studio2010開發(fā)平臺(tái)實(shí)現(xiàn)了整個(gè)車牌識(shí)別系統(tǒng)。選用300張不同環(huán)境下的車牌圖片,經(jīng)系統(tǒng)識(shí)別結(jié)果顯示,車牌定位率達(dá)到98.34%,車牌字符識(shí)別率達(dá)到92.46%。系統(tǒng)識(shí)別算法快速準(zhǔn)確,對(duì)復(fù)雜環(huán)境的適應(yīng)能力較好,且具有較強(qiáng)的魯棒性和實(shí)用性。