系統(tǒng)進(jìn)行視頻車輛檢測，需要具備很高的處理速度并采用的算法，在基本不丟幀的情況下實現(xiàn)圖像采集、處理。若處理速度慢，則導(dǎo)致丟幀，使系統(tǒng)無法正確檢測到行駛速度較快的車輛，同時也難以在有利于識別的位置開始識別處理，影響系統(tǒng)識別率。因此，將視頻車輛檢測與牌照自動識別相結(jié)合具備一定的技術(shù)難度。

自然環(huán)境下，汽車圖像背景復(fù)雜、光照不均勻，如何在自然背景中準(zhǔn)確地確定牌照區(qū)域是整個識別過程的關(guān)鍵。對采集到的視頻圖像進(jìn)行大范圍相關(guān)搜索，找到符合汽車牌照特征的若干區(qū)域作為候選區(qū)，然后對這些侯選區(qū)域做進(jìn)一步分析、評判，后選定一個佳的區(qū)域作為牌照區(qū)域，并將其從圖象中分割出來。

完成牌照區(qū)域的定位后，再將牌照區(qū)域分割成單個字符，然后進(jìn)行識別。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符間或字符內(nèi)的間隙處取得局部小值的附近，并且這個位置應(yīng)滿足牌照的字符書寫格式、字符、尺寸限制和一些其他條件。利用垂直投影法對復(fù)雜環(huán)境下的汽車圖像中的字符分割有較好的效果。

實際應(yīng)用中，牌照識別系統(tǒng)的識別率與牌照質(zhì)量和拍攝質(zhì)量密切相關(guān)。牌照質(zhì)量會受到各種因素的影響，如生銹、污損、油漆剝落、字體褪色、牌照被遮擋、牌照傾斜、高亮反光、多牌照、假牌照等等；實際拍攝過程也會受到環(huán)境亮度、拍攝亮度、車輛速度等等因素的影響。這些影響因素不同程度上降低了牌照識別的識別率，也正是牌照識別系統(tǒng)的困難和挑戰(zhàn)所在。為了提高識別率，除了不斷的完善識別算法，還應(yīng)該想辦法克服各種光照條件，使采集到的圖像利于識別。

采用計算機(jī)視覺技術(shù)識別車牌的流程通常都包括車輛圖像采集，車牌定位，字符分割，光學(xué)字符識別，輸出識別結(jié)果5個步驟。車輛圖像的采集方式?jīng)Q定了車牌識別的技術(shù)路線。目前國際ITS通行的兩條主流技術(shù)路線是自然光和紅外光圖像采集識別。自然光和紅外光不會對人體產(chǎn)生不良的心理影響，也不會對環(huán)境產(chǎn)生新的電子污染，屬于綠色環(huán)保技術(shù)。

自然光路線是指白天利用自然光線，夜間采用輔助照明光源，用彩色攝像機(jī)采集車輛真彩色圖像，用彩色圖像分析處理方法識別車牌。自然光真彩色識別技術(shù)路線，與人眼感光習(xí)慣一致，并且，真彩色圖像能夠反映車輛及其周圍環(huán)境真實的圖像信息，不僅可以用來識別車牌照，而且可以用來識別車牌照顏色、車流量、車型、車顏色等車輛特征。用一個攝像機(jī)采集的圖像，同時實現(xiàn)所有前端基本視頻信息采集、識別和人工輔助圖像取證判別，可以前瞻性的為未來的智能交通系統(tǒng)工程預(yù)留接口。

紅外光路線是指利用車牌反光和紅外光的光學(xué)特性，用紅外攝像機(jī)采集車輛灰度圖像，由于紅外特性，車輛圖像上幾乎只能看見車牌，然后用黑白圖像處理方法識別車牌。950nm的紅外照明裝置可抓拍到很好的反光車牌照圖像。因紅外光是不可見光，它不會對駕駛員產(chǎn)生視覺影響。另外，紅外照明裝置提供的是不變的光，所抓拍的圖像都是一樣的，不論是在一天中明亮的時候，還是在一天中暗的時候。的例外是在白天，有時會看到一些牌照周圍的細(xì)節(jié)，這是因為晴朗天氣時太陽光的外光波的影響。采用紅外燈的缺點就是所捕獲的車牌照圖像不是彩色的，不能獲取整車圖像，并且嚴(yán)重依賴車牌反光材料。

識別速度決定了一個車牌識別系統(tǒng)是否能夠滿足實時實際應(yīng)用的要求。一個識別率很高的系統(tǒng)，如果需要幾秒鐘，甚至幾分鐘才能識別出結(jié)果，那么這個系統(tǒng)就會因為滿足不了實際應(yīng)用中的實時要求而毫無實用意義。例如，在高速公路收費中車牌識別應(yīng)用的作用之一是減少通行時間，速度是這一類應(yīng)用里減少通行時間、避免車道堵車的有力保障。
在高速路的各個出入口安裝車牌識別設(shè)備，車輛駛?cè)霑r識別車輛牌照將入口資料存入收費系統(tǒng)，車輛到達(dá)出口時再次識別其牌照并根據(jù)牌照信息調(diào)用入口資料，結(jié)合出入口資料實現(xiàn)收費管理。這種應(yīng)用可以實現(xiàn)自動計費并可防止作弊，避免了應(yīng)收款的流失。目前，高速公路已開始實施聯(lián)網(wǎng)收費，隨著聯(lián)網(wǎng)范圍的擴(kuò)大，不同車型的收費差額也越來越高，司機(jī)利用現(xiàn)有收費系統(tǒng)的漏洞通過中途換卡進(jìn)行逃費的問題將越來越，利用車牌識別技術(shù)是解決此類問題的根本方法。