低照智能全彩技術采用全新的傳感器技術和圖像算法處理技術,在夜晚也可以達到清晰高品質的圖像效果,顯著提升了夜間圖像的識別效率。但是由夜間抓拍帶來的光污染也是一個非常普遍的問題,特別是交通卡口等場景,不僅影響駕乘人員的交通安全,也給周圍居民帶來了很大的困擾。近些年來,不少廠家在這方面做了努力和探索,但都收效有限,光污染問題并沒有真正解決。因此,如何提升夜間圖片質量并降低光污染,一直都是攝像機產業重要的研究方向。
新型高感光度sensor技術 傳統sensor技術 傳統sensor的色彩濾波器(color filter)一般采用Bayer陣列,它是一個4X4陣列,由4個格子(2X2陣列)重復排列形成,4個格子中有1個R(紅色像素),1個B(藍色像素),2個G(綠色像素)。其中,紅色、綠色、藍色像素點分別僅能通過紅色光譜、綠色光譜和藍色光譜的能量。 新型高感光度sensor技術 新型高感光度sensor主要在色彩濾波器上做了如下改進,通過提高色彩濾波器的透光率,進而提升各像素點的感光能力,最終增強低照環境下圖像的信噪比(即可識別能力)。 總體來看,傳統Bayer sensor和新型高感光度sensor的透光率對比如下。 方案效果對比 通過圖像對比可以看出, 新型高感光度sensor在靶面尺寸、像素大小、工藝一致的情況下, 成像物體可識別性較傳統Bayer sensor有明顯提升。 DNN ISP降噪技術 噪聲是在信號采集過程中引入的一種圖像失真,其中最主要來自光子散粒噪聲,除此之外,噪聲來源還包括暗電流噪聲、熱點噪聲、固定模式噪聲以及讀出噪聲。為了獲得高質量的圖像效果,需要先對圖像進行降噪處理,盡可能的保持原始圖片信息的完整性,又能去除信號中的無用信息,改善編碼效率。 傳統降噪技術:空域降噪 傳統的降噪算法分為空域降噪和時域降噪,空域降噪也稱單幀降噪,即對單幀畫面進行降噪,效果較好的算法有NL-Means(非局部平均)和BM3D(三維塊匹配濾波)。NL-Means的算法思想是對每個圖像塊在圖像內進行搜索,找到與之相似的一系列圖像塊,相似度越高,權重越大,最后將這些相似圖像塊在空間域做加權平均,這樣能夠較好地去掉圖像中存在的噪聲。BM3D的算法思想是將這些相似圖像塊變換到頻域,在頻域做濾波和閾值處理之后,再轉換回空域。 傳統降噪技術:時域降噪 時域降噪是一個廣義的概念,也稱多幀降噪,是在空域降噪的基礎上,引入幾個臨近幀的信息(即時域信息),對臨近幀中相似的像素塊在空間域做加權平均。時域降噪存在的問題是,如果前后幀內有運動物體,對不屬于同一個物體的兩個塊進行濾波處理會造成錯誤,產生拖尾現象。所以時域降噪的難點是要準確檢測出運動強度,根據運動強度對時域濾波和空域濾波的結果做加權平均。運動強度大時,減小時域權重系數,增大空域權重系數。運動強度小時,增大時域權重系數,減小空域權重系數。 傳統降噪技術:時域降噪 總結一下,傳統降噪技術存在兩個問題,一是降噪的同時會丟失圖像的細節或邊緣信息,二是對運動強度估計不準,特別當噪聲較大時,導致降噪結果在運動區域有很長的拖尾 ?;谏疃葘W習的降噪技術(DNN ISP降噪)在這些方面有較好的效果。DNN ISP降噪技術采用全新的算法架構,利用類似于人腦的學習功能,可以更好的區分運動和非運動區域,解決傳統降噪技術的運動拖尾問題,同時,還能更好的區分噪聲和細節,在抑制噪聲的同時保留更多的細節信息。 DNN ISP算法由預處理算法、深度學習網絡以及后處理算法構成。預處理算法負責將數據處理為適合網絡輸入的格式,深度學習網絡主要由卷積層構成,根據預先訓練的權重對輸入圖像進行降噪處理,網絡的輸出被送入后處理單元,得到了降噪后的圖像。 方案效果對比 通過圖像對比可以看出,DNN ISP降噪由于采用了含有真實噪聲的訓練數據來訓練網絡,因此降噪效果比傳統算法要好3~6dB左右,在最終成像的可識別度上具有明顯的優勢。 眩光的評估標準制定 夜間抓拍除了依賴傳感器技術和圖像算法處理技術之外,對光照條件也有要求。但理想光照條件下,對人眼的刺激非常高,甚至會達到極度不舒適的程度。目前業界對于眩光的評估和測量完全匱乏,未形成相關標準,導致高強度補光經常被應用在道路、小巷等場景,引起居民大量的投訴。 眩光的定義 眩光指視野中由于不適宜的亮度分布,或存在極端的亮度對比,以致引起視覺不舒適或降低物體可見度的視覺現象。 基于多算法倉的多域算法協同 國際照明委員會CIE提出了統一眩光值(UGR),用來計算眩光指數,該值在照明領域已經被廣泛應用。但在安防領域,補光一般用于全黑場景或者光照度極差的條件下,因此無法直接使用CIE標準,可按如下修正公式來計算。 根據實驗測算,安防領域還可以按照另一種更合理的閾值增量公式進行表征。閾值增量用來表示當存在眩光光源時,為了看清物體,在物體及其背景之間所需要增加的亮度對比的百分比值。 由以上公式可以看出,降低閾值增量,可以從降低目標位置亮度Lv,同時增大等效光幕亮度Lav進行。 目前安防領域還未引入統一的測試方法,且Lv和Lav 的取值需要很強的理論計算以及光學設計才能達成,有很高的技術門檻。如果可以將上述公式推廣,就可以量化安防領域眩光的評價方法,同時再引導行業形成相關標準,使補光燈的使用完全符合預期的眩光指數要求,這樣就可以大大降低高強度補光的使用。 智能補光技術 目前主流的紅外爆閃+LED頻閃+雙光譜融合技術,解決了夜間抓拍眩目的問題,但是圖像偏色問題、LED光污染還是十分嚴重,智能補光技術在白天和夜晚都可以達到清晰不偏色的圖像效果,在滿足抓拍業務的前提下顯著降低了光污染。 傳統補光技術 交通卡口LED是夜間光污染的主要來源,高速車輛快速通過抓拍區域, 抓拍一般在20~30 米,LED補光影響較小,但是傳統的全向補光技術,光污染區域大,50米以上眩光非常嚴重,對主車道以及周邊車道駕乘人員的安全駕駛影響很大。另外,由于有較大的光能分散,導致補光效率一般。 智能補光技術 通過對感興趣區域和感興趣目標實現智能補光控制,針對視頻進行弱補光(補光強度范圍0~20lux ),針對圖片抓拍進行強補光 (補光強度范圍50~100lux ),實現夜間去氣體爆閃燈(氣體爆閃燈補光強度20000lux ),有效降低光污染。另外,還可以通過對燈杯和結構進行創新設計,有效截止雜散光,減少眩光等光污染,并提升補光效率。 方案效果對比 通過智能補光技術,去夜間氣體爆閃燈,定向智能補光,有效去雜散光,再結合新型高感光度sensor技術、DNN ISP降噪技術,極大地提升了低照環境下的圖片抓拍能力,實現真環保、真彩色、真智能。