3 月
介紹
自動駕駛汽車中，攝像頭對製造商提出的巨大的挑戰，我們在這裡將分享一些為應對這些挑戰所做的嘗試。
相機的極限
相機在三個特定環境達到成像技術的極限：
● 超遠距離（>20 m）物體的距離測量
● 在霧和雨中觀測
● 在弱光環境下觀測
在這些環境下，相機拍攝和識別將受到限制。
可以增加一些額外的傳感器安裝在高度自動化的車輛中，以克服這些困難：
● 激光雷達（距離測量）
● 雷達（距離測量，不受雨霧影響）
● 熱成像儀（檢測有生命和具有溫度物體）
尤其是雷達傳感器，在雨天和霧天都能很好地工作，這裡也將介紹雷達對準的測量方案[1]。
多種傳感器系統的組合
相機系統的限制之一是夜視。如下圖所示，當使用標準曝光時間時，相機難以在夜間檢測黑暗區域中的物體。
如果將熱像儀添加到系統中，這些物體會變得更加清晰。
來自視覺相機的標準圖像
相同的圖像使用熱像儀
挑戰的解決方案
這些挑戰的解決方案是一個三層系統：
1.近年來，攝像頭系統取得了快速發展，攝像頭系統流程仍不斷改進，以確保在圖像中檢測到所有重要信息，但系統無法檢測到圖像中沒有的內容。
2.一旦檢測系統安裝完畢，它們必須協調和校准並作為一個單元運行，協同效應在評估中變得明顯。
3.繼續開發包括人工智能和神經網絡在內的評估算法，在複雜的道路環境中提高識別對象及其功能至關重要。
相機系統的優化
HDR
車輛中的攝像頭系統通常具有 HDR（高動態範圍）功能，這些功能在技術上以不同的方式實現。
同時創建多重曝光並將其組合為一張圖像，因此可以獲取高動態範圍。
然而，這種 HDR融合也存在問題，因為輸出端的色調值需要打包到給定的顏色深度（位數）中。這就是為什麼隧道的盡頭不總是高亮度的原因。
相反，圖像被「modeled建模」到白色區域，稱為「tone rendering色調渲染」。
隧道盡頭的燈光由HDR 相機構成
SNR Drop
x軸表示亮度，y 軸表示信噪比
由於這些相互作用，必須開發新的擴展算法來更好地描述相機系統的屬性。例如，對比度檢測概率(CDP) [2] 表示是否可以檢測到對象和背景之間的特定對比度，可以用來評估SNR Drop。
對比度檢測概率 (CDP)
Flare
在優化眩光方面，製造商可以在鏡頭上使用特殊的抗反射塗層，並在底座中使用高質量的吸收材料。鏡頭設計使您可以最大限度地減少光在空氣與玻璃轉換，從而最大限度地減少可能發生反射的區域。
畸變
對於距離測量和立體相機前的交互，圖像必須無畸變。為此，可以對失真進行測量，然後計算出來。
對於相機標定驗證，我們提出新的測量方式，使用衍射光學元件 (DOE)的光束擴展激光器（平行光管）。
該設備生成定義的點陣，觀測距離幾乎無限遠，由相機拍攝。然後分析軟件使用該圖像來確定相機標定所需的參數。
使用廣角相機拍攝的矩形測試圖卡的嚴重失真
基於 DOE 的失真測量的Geocal
該方法還可用於模擬測量透過擋風玻璃的影響，算法仍在開發中。
高/低溫環境下的圖像質量
對於車載相機，另一個重要問題是優化不同溫度下的圖像質量，特別是一些極端溫度下。
如果在擋風玻璃後面的區域安裝了攝像頭，則在夏季車內溫度很容易達到 80°C 或更高。在冬季，即使在 -40°C 的極端溫度下，攝像機也必須仍能正常工作。
在以往的經驗中，高低溫環境作為可靠性測試與圖像質量分開，現在我們研發的高低溫箱 iQ-climate chamber，能在極端溫度下對相機進行實時的測量噪聲，可控的高低溫環境下進行拍攝圖卡並獲取分辨率、噪聲等測量結果。
攝像頭放置在高低溫箱 iQ-Climate chamber內，設定溫度或溫度序列，攝像頭就可以透過設備玻璃窗口拍攝測試圖像，玻璃透過率為97%以上。
常用的圖像質量測試
上述圖像質量方面是為了說明確保所有駕駛輔助和自主系統安全所需的努力。
除上述示例外，還需要優化和進一步開發其他幾個參數，以確保攝像頭在安裝到車輛之前提供必要的測試指標。這些包括：
● OECF（信噪比、動態範圍等）
● 噪音
● 分辨率，包括球面像差
● 白平衡
● Edge darkening in intensity and color
● 橫向/縱向色差
● Flare
● 色彩還原
● 傳感器上的缺陷像素和夾雜物
● Flicker
對齊校准
對齊校准涉及到車輛的攝像頭以及攝像頭彼此之間的對齊，例如，對於其圖像被一起評估以用於「環視」的設備。
此外，所有傳感器正確對齊也很重要。例如，雷達系統必須與攝像頭對齊，以便在檢測物體時看向同一方向。然後可以將雷達反射對象分配給視覺對象。
帶有專門開發的用於相機對準的雷達反射器的組合測試圖像
帶有熱板的組合測試圖案用於相機對準
使用熱板進行熱成像，用於相機校准
物體識別
在過去的幾年里，人們開發了新的算法來提高物體的識別能力。將這些算法與人工智能和神經網絡訓練相結合，可以得到更好、更可靠的結果。
以下是已開發的解決方案的幾個關鍵字：邊緣、角、線、圓等對象屬性用於檢測。行人檢測使用基於直方圖的梯度。
Hough transformations 霍夫變換用於檢測幾何對象，例如車道邊界和交通標誌。光輔助系統使用分割和顏色分析。此外，還利用了對象跟蹤、分類、環境模型和 3D 分析。
結論
駕駛員輔助攝像頭系統已經顯著減少了致命事故。在歐洲，這一數字在 2010 年至 2017 年間平均下降了 25%（Statista）。隨著越來越多的汽車配備這樣的系統，並且隨著這些系統的不斷發展和改進，這種趨勢將繼續下去。
在合理的天氣條件下，無人駕駛汽車在舊金山等繁忙的城市中行駛相當可靠。然而，這種可靠性也必須在所有天氣條件下保持真實，並且無需汽車每天都去校准車庫。
我們距離真正廣泛使用自動駕駛汽車還有大約十年的時間。儘管如此，它幾乎肯定會在未來成為現實。