不同的傳感器都有其優勢和缺陷，無法在單傳感器的情況下完成對無人駕駛功能性與安全性的全面覆蓋，這顯示了多傳感器融合的必要性。因此，各個傳感器之間借助各自所長相互融合、功能互補、互為備份、互為輔助才是完備的無人駕駛系統。如何融合這些傳感器的優勢，彌補不足是自動駕駛工程師們現在的主要工作之一。

目前，現有的車載傳感器包括激光雷達、毫米波雷達、車載攝像機、GPS/IMU、V2X通信傳感、紅外探頭、超聲波雷達等。主流的無人駕駛傳感平臺以雷達和車載攝像頭為主，并呈現多傳感器融合發展的趨勢。基于測量能力和環境適應性，預計雷達和車載攝像頭會持續保持傳感器平臺霸主的地位，并不斷與多種傳感器融合，發展處多種組合版本。

激光雷達

為了解決測距的問題，引入了激光雷達這種傳感器。常常應用在Level 3級別以上的無人車。

激光雷達的工作原理是利用可見和近紅外光波（多為950nm波段附近的紅外光）發射、反射和接收來探測物體。

 如下圖所示，激光雷達的發射器發射出一束激光，激光光束遇到物體后，經過漫反射，返回至激光接收器，雷達模塊根據發送和接收信號的時間間隔乘以光速，再除以2，即可計算出發射器與物體的距離。

激光雷達可以探測白天或黑夜下的特定物體與車之間的距離。由于反射度的不同，也可以區分開車道線和路面，但是無法探測被遮擋的物體、光束無法達到的物體，在雨雪霧天氣下性能較差。

激光雷達在無人駕駛運用中擁有兩個核心作用。

 一是3D建模進行環境感知。通過雷射掃描可以得到汽車周圍環境的3D模型，運用相關算法比對上一幀和下一幀環境的變化可以較為容易的探測出周圍的車輛和行人。

 二是SLAM加強定位。3D雷射雷達另一大特性是同步建圖（SLAM），實時得到的全局地圖通過和高精度地圖中特征物的比對，可以實現導航及加強車輛的定位精度。

激光雷達的分類 

激光雷達根據安裝位置的不同，分類兩大類。一類安裝在無人車的四周，另一類安裝在無人車的車頂。 

安裝在無人車四周的激光雷達，其激光線束一般小于8，常見的有單線激光雷達和四線激光雷達。

安裝在無人車車頂的激光雷達，其激光線束一般不小于16，常見的有16/32/64線激光雷達。

激光雷達雷射發射器線束越多，每秒采集的云點就越多。然而線束越多也就代表雷射雷達的造價就更加昂貴，以Velodyne的產品為例，64線束的雷射雷達價格是16線束的10倍。HDL-64E單個定制的成本在8萬元左右。

目前，Velodyne公司已經開發出了相對便宜的LiDAR傳感器版本HDL-32E和HDL-16E。其中HDL-16E是由16束雷射取代64束雷射，支持360度無盲區掃描，犧牲一定的數據規模云點，每秒鐘只提供30萬個數據點，但是售價仍高達售價8千美元。

當前人工智能的算法還不夠成熟，純視覺傳感器的無人駕駛方案在安全性上還存在較多問題，因此現階段的無人車的開發還離不開激光雷達。強如Google，目前也還沒開發出脫離激光雷達的自動駕駛方案。

 不過，激光雷達的普及所遇到的最大挑戰是：成本過高。單獨一個雷達的價格可能就超過了普通小汽車的價格，因此現階段還沒有大規模量產的可能性。激光雷達的降低成本之路任重道遠。

毫米波雷達

 毫米波雷達通過發射無線電信號（毫米波波段的電磁波）并接收反射信號來測定汽車車身周圍的物理環境信息（如汽車與其他物體之間的相對距離、相對速度、角度、運動方向等），然后根據所探知的物體信息進行目標追蹤和識別分類，進而結合車身動態信息進行數據融合，完成合理決策，減少事故發生幾率。

 毫米波雷達不受天氣狀況限制，即使是雨雪天都能正常運作，穿透霧、煙、灰塵的能力強。因此被廣泛應用于車載距離探測，毫米波雷達在自動駕駛中最常見的三種用途是： 

1. ACC（自適應巡航）

2. BSD&LCA（盲點監測和變道輔助）

3. AEB（自動緊急制動，通常配合攝像頭進行數據融合）

毫米波雷達分類

頻率在10GHz~200GHz的電磁波，由于其波長在毫米量級，因此處于該頻率范圍的電磁波也被工程師們稱為毫米波。

應用在自動駕駛領域的毫米波雷達主要有3個頻段，分別是24GHz，77GHz和79GHz。不同頻段的毫米波雷達有著不同的性能和成本。

短距離雷達：24GHz頻段

處在該頻段上的雷達的檢測距離有限，因此常用于檢測近處的障礙物。在自動駕駛系統中常用于感知車輛近處的障礙物，為換道決策提供感知信息。

長距離雷達：77GHz頻段

性能良好的77GHz雷達的最大檢測距離可以達到160米以上，因此常被安裝在前保險杠上，正對汽車的行駛方向。

如下圖右下角的棕色區域，為特斯拉AutoPilot 2.0中所配備的長距離毫米波雷達，及其感知范圍。

長距離雷達能夠用于實現緊急制動、高速公路跟車等ADAS功能；同時也能滿足自動駕駛領域，對障礙物距離、速度和角度的測量需求。

長距離雷達：79GHz頻段

該頻段的傳感器能夠實現的功能和77GHz一樣，也是用于長距離的測量。

根據公式：光速 = 波長 * 頻率，頻率更高的毫米波雷達，其波長越短。波長越短，意味著分辨率越高；而分辨率越高，意味著在距離、速度、角度上的測量精度更高。因此79GHz的毫米波雷達必然是未來的發展趨勢。

毫米波雷達相比于激光有更強的穿透性，能夠輕松地穿透保險杠上的塑料，因此常被安裝在汽車的保險杠內。這也是為什么很多具備ACC（自適應巡航）的車上明明有毫米波雷達，卻很難從外觀上發現它們的原因。

然而實際開發的過程中，在自動駕駛領域應用毫米波雷達有一下三點挑戰。

挑戰1：數據穩定性差 

數據的不穩定性對后續的軟件算法提出了較高的要求。加大了工程師的工作難度。

挑戰2：對金屬敏感 

由于毫米波雷達發出的電磁波對金屬極為敏感，在實際測試過程中會發現近處路面上突然出現的釘子、遠距離外的金屬廣告牌都會被認為是障礙物。一旦車輛高速行駛，被這些突然跳出的障礙物干擾時，會導致剎車不斷，導致汽車的舒適性下降。

挑戰3：高度信息缺失

毫米波雷達的數據只能提供距離和角度信息，不能像激光雷達那樣提供高度信息。沒有高度信息的障礙物點會給技術開發帶來很多挑戰。

超聲波雷達

超聲波雷達又名倒車雷達。常見的超聲波雷達有兩種。第一種是安裝在汽車前后保險杠上的，也就是用于測量汽車前后障礙物的倒車雷達，這種雷達業內稱為UPA；第二種是安裝在汽車側面的，用于測量側方障礙物距離的超聲波雷達，業內稱為APA。作為無人車上成本最低的傳感器，挖掘超聲波雷達的潛力是工程師們不斷在琢磨的事。

UPA和APA的探測范圍和探測區域都太相同，如下圖所示。圖中的汽車配備了前后向共8個UPA，左右側共4個APA。

UPA超聲波雷達

UPA超聲波雷達的探測距離一般在15~250cm之間，主要用于測量汽車前后方的障礙物。

如圖所示，為單個UPA的探測范圍示意圖。

APA超聲波雷達

APA超聲波雷達的探測距離一般在30~500cm之間。APA的探測范圍更遠，因此相比于UPA成本更高，功率也更大。

如圖為單個APA的探測范圍示意圖。

APA的探測距離優勢讓它不僅能夠檢測左右側的障礙物，而且還能根據超聲波雷達返回的數據判斷停車庫位是否存在。

超聲波雷達的應用

本文標題提到超聲波雷達是被低估的傳感器，因為它除了檢測障礙物外，還可以做很多事。

應用1：泊車庫位檢測

自動泊車功能需要經歷兩個階段：1.識別庫位；2.倒車入庫

識別庫位功能就是依賴安裝在車輛側方的APA，如下場景。

汽車緩緩駛過庫位時，汽車右前方的APA傳感器返回的探測距離與時間的關系可判斷當前空間有無車位。有了庫位檢測功能，進而開發自主泊車功能就不是難事了。

應用2：高速橫向輔助

特斯拉Model S在AutoPilot 1.0時代就實現了高速公路的巡航功能，為了增加高速巡航功能的安全性和舒適性，特斯拉將用于泊車的APA超聲波雷達，也用在了高速巡航上。

先看一段Model S應用APA的視頻，視頻左下角的圖像是一個朝汽車后向的攝像機，右側的圖像是朝向行駛方向的視角。

在視頻中可以看出，當左側駛過的汽車理自車較近時，Model S在確保右側有足夠空間的情況下，自主地向右微調，降低與左側車輛的碰撞風險。

車載攝像機

車載攝像機的大致原理是：首先，采集圖像進行處理，將圖片轉換為二維數據；然后，進行模式識別，通過圖像匹配進行識別，如識別車輛行駛環境中的車輛、行人、車道線、交通標志等；接下來，依據物體的運動模式或使用雙目定位，以估算目標物體與本車的相對距離和相對速度。

攝像機根據鏡頭和布置方式的不同主要有以下四種：單目攝像機、雙目攝像機、三目攝像機和環視攝像機。

 單目攝像機模組只包含一個攝像機和一個鏡頭。由于很多圖像算法的研究都是基于單目攝像機開發的，因此相對于其他類別的攝像機，單目攝像機的算法成熟度更高。但是單目有著兩個先天的缺陷。

 一是它的視野完全取決于鏡頭。

 焦距短的鏡頭，視野廣，但缺失遠處的信息。反之亦然。因此單目攝像機一般選用適中焦距的鏡頭。

 二是單目測距的精度較低。 

攝像機的成像圖是透視圖，即越遠的物體成像越小。近處的物體，需要用幾百甚至上千個像素點描述；而處于遠處的同一物體，可能只需要幾個像素點即可描述出來。這種特性會導致，越遠的地方，一個像素點代表的距離越大，因此對單目來說物體越遠，測距的精度越低。

雙目攝像機 

由于單目測距存在缺陷，雙目攝像機應運而生。雙目攝像機，是通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進行距離測量，而無需判斷前方出現的是什么類型的障礙物。依靠兩個平行布置的攝像頭產生的“視差”，找到同一個物體所有的點，依賴精確的三角測距，就能夠算出攝像頭與前方障礙物距離，實現更高的識別精度和更遠的探測范圍。使用這種方案，需要兩個攝像頭有較高的同步率和采樣率，因此技術難點在于雙目標定及雙目定位。

相比單目，雙目的解決方案沒有識別率的限制，無需先識別可直接進行測量；直接利用視差計算距離精度更高；無需維護樣本數據庫。但因為檢測原理上的差異，雙目視覺方案在距離測算上相比單目以及毫米波雷達、激光雷達，其硬件成本和計算量級的加倍，也是另一個難關。

雖然雙目能得到較高精度的測距結果和提供圖像分割的能力，但是它與單目一樣，鏡頭的視野完全依賴于鏡頭。而且雙目測距原理對兩個鏡頭的安裝位置和距離要求較多，這就會給相機的標定帶來麻煩。

三目攝像機 

由于單目和雙目都存在某些缺陷，因此廣泛應用于無人駕駛的攝像機方案為三目攝像機。三目攝像機其實就是三個不同焦距單目攝像機的組合。 

特斯拉 AutoPilot 2.0安裝在擋風玻璃下方的三目攝像機

如下圖，可以看出三個攝像頭的感知范圍由遠及近，分別為前視窄視野攝像頭（最遠感知250米）、前視主視野攝像頭（最遠感知150米）及前視寬視野攝像頭（最遠感知60米）。

對攝像機來說，感知的范圍要么損失視野，要么損失距離。三目攝像機能較好地彌補感知范圍的問題。因此在業界被廣泛應用。

那么測距精度的問題怎么辦？

正是由于三目攝像機每個相機的視野不同，因此近處的測距交給寬視野攝像頭，中距離的測距交給主視野攝像頭，更遠的測距交給窄視野攝像頭。這樣一來每個攝像機都能發揮其最大優勢。

三目的缺點是需要同時標定三個攝像機，因而工作量更大一些。其次軟件部分需要關聯三個攝像機的數據，對算法要求也很高。

環視攝像機 

環視攝像機，一般至少包括四個攝像頭，分別安裝在車輛前、后、左、右側，實現360°環境感知，難點在于畸變還原與對接。安裝于車輛前方、車輛左右后視鏡下和車輛后方的四個魚眼鏡頭采集圖像，采集到的圖像與下圖類似。

環視攝像機的鏡頭是魚眼鏡頭，而且安裝位置是朝向地面的。某些高配車型上會有“360°全景顯示”功能，所用到的就是環視攝像機。魚眼攝像機為了獲取足夠大的視野，代價是圖像的畸變嚴重。

通過標定值，進行圖像的投影變換，可將圖像還原成俯視圖的樣子。之后對四個方向的圖像進行拼接，再在四幅圖像的中間放上一張車的俯視圖，即可實現從車頂往下看的效果。如下圖。

相比于其他傳感器，攝像頭最為接近人眼獲取周圍環境信息的工作模式，可以通過較小的數據量獲得最為全面的信息，同時因為現在的攝像頭技術比較成熟，成本可較低。但是，攝像頭識別也存在一定局限性，基于視覺的解決方案受光線、天氣影響大；同時，物體識別基于機器學習資料庫，需要的訓練樣本大，訓練周期長，也難以識別非標準障礙物；同時，由于廣角攝像頭的邊緣畸變，得到的距離準確度較低。

攝像機的功能 

攝像機在無人車上的應用，主要有兩大類功能。分別是感知能力，其次是定位能力。

攝像機的感知能力表現在可以識別車道線（lane）、障礙物（Obstacle）、交通標志牌和地面標志（Traffic Sign and Road Sign）、交通標志牌和地面標志（TrafficSign and Road Sign）和交通信號燈（Traffic Light）

定位能力體現在獲取當前無人車的位置。視覺SLAM技術根據提前建好的地圖和實時的感知結果做匹配，從而獲取當前無人車的位置。視覺SLAM需要解決的最大問題在于地圖的容量過大，稍微大一點的區域，就對硬盤的容量要求很高。如何制作出足夠輕量化的地圖，成為SLAM技術商業化的關鍵。

攝像機是所有車載傳感器中，感知能力最強的。為此特斯拉采用了純視覺的感知方案，而沒有使用激光雷達，當然激光雷達價格昂貴也是一個因素。

GPS/IMU

GPS是全球定位系統（GlobalPosition System）的簡稱，IMU（Inertial Measurement Unit）慣性測量單元。

GPS在復雜的動態環境中，尤其在大城市，其多路徑反射的問題很顯著，導致獲得的GPS定位信息很容易產生幾米的誤差。另外，由于GPS的更新頻率低（10Hz），在車輛快速行駛時很難給出精準的實時定位。單純依賴GPS的導航很有可能導致交通事故。因此GPS通常輔助以慣性傳感器（IMU）用來增強定位的精度。

IMU是檢測加速度與旋轉運動的高頻（1KHz）傳感器，但IMU自身也有偏差積累與噪音等問題影響結果。通過使用基于卡爾曼濾波的傳感器融合技術，我們可以融合GPS與IMU數據，結合GPS的定位精度高和誤差無積累的特點，與IMU的自主性和實時性的優點。一方面可以實現導航設備之間優勢互補，增強系統適應動態的能力，并使整個系統獲得優于局部系統的精度；另一方面提高了空間和時間的覆蓋范圍，從而實現真正意義上的連續導航。因此，GPS/IMU組合的優勢在于：

1.系統精度的提高。利用GPS的長期穩定性彌補IMU誤差隨時間累積的缺點。GPS/IMU組合后的導航誤差實際上要比單獨的GPS或單獨的慣導系統可能達到的誤差都小。

2.系統抗干擾能力的增強。利用IMU的短期高精度彌補GPS系統易受干擾、信號易失鎖等缺點，同時借助IMU的姿態信息、角速度信息可進一步提高GPS系統快速捕獲或重新鎖定衛星信號的能力。

3.導航信息的補全。GPS/IMU組合系統與單GPS相比，除了可以提供載體運動的三維位置和速度信息外，還可提供加速度、姿態和航向信息；GPS/IMU組合系統此外可提供100Hz甚至高于100Hz的數據更新率。

IMU慣性器件的標定技術由于加速度計、陀螺儀等慣性器件本身存在缺陷，會產生一些器件誤差，如標度因數誤差等。另外，在對IMU進行集成的時候，各個器件之間的非正交安裝會引起交叉耦合誤差。以上這些誤差可以通過器件標定來加以補償,以達到提高其精度的目的。

V2X通信傳感

V2X是V2V（Vehicle toVehicle,車車通信）、V2I（Vehicle to Instruction，車路通信）、V2P（Vehicle to Pedestrain）等的統稱。通過V2X可以獲得實時路況、道路信息、行人信息等一系列交通信息，從而帶來遠距離環境信號。

V2X通信系統可以看做是一個超級傳感器，它提供了比其他傳感器都高得多的感知能力和可靠性，在自車感知技術尚不能達到高可靠性之前，用V2X可以決定性地其可靠性。V2X是無人駕駛的必要技術和智慧交通的重要一環。

簡單來說，V2X技術是利用無線通信技術實現車與車之間、車與道路之間、車與行人之間的信息互通，也就是說，通過人、車、路之間的互相交流，駕駛員能夠更好地掌握車輛狀態和周圍情況，從而有效降低事故發生的風險。V2X通信技術首次由福特公司于2014年6月發布，現場展示了福特的兩輛經過特殊改造過的汽車，通過一臺連接了WiFi的無線廣播系統，演示了這項V2V通信技術是如何防止碰撞事故發生的。

詳細來說，V2X是一種網狀網絡，網絡中的節點（汽車、智能交通燈等）可以發射、捕捉并轉發信號。利用V2X車聯網，車輛可以獲取周圍環境的未知參數及附近車輛的運行狀態，這些狀態包括速度、位置、駕駛方向、剎車等基本的安全信息。然后車載端主動安全算法將處理所獲取的信息，并按照優先級對信息進行分類，對可能發生的危險情景進行預警，緊急情況下可以利用車輛執行端對車輛進行控制從而規避風險。V2X技術開啟了對四周威脅的360度智能感知，這一技術能夠在各種危險的情況下提醒駕駛者，從而大大減少碰撞事故的發生并緩解交通擁堵。美國交通部根據最新的數據進行分析，如果能夠大面積地普及V2X技術，就能在75%的交通事故發生之前提醒駕駛員。

相比傳統雷達，V2X通信傳感系統有以下幾點優勢：

1）覆蓋面廣

300-500米的通信范圍相比10幾米的雷達探測范圍要遠得多，不僅是前方障礙物，身旁和身后的建筑物、車輛都會互相連接通信。 

2）有效避免盲區

路邊聯入互聯網的物體都會有單獨的信號顯示，因此即便視野受阻，通過實時發送的信號可以顯示視野范圍內看不到的物體狀態，因而降低忙去出現的概率，也就充分避免了因盲區而導致的潛在傷害。

3）對于隱私信息的安全保護性更好

由于這套系統將采用5.9Hz頻段進行專項通信，相比傳統通信技術更能確保安全性和私密性，如果通信協議及頻道在各個國家都能規范化，這套系統將變得像SOS救援頻道一樣成為社會公用資源。

小結 

不同的傳感器都有其優勢和缺陷，無法在單傳感器的情況下完成對無人駕駛功能性與安全性的全面覆蓋，這顯示了多傳感器融合的必要性。因此，各個傳感器之間借助各自所長相互融合、功能互補、互為備份、互為輔助才是完備的無人駕駛系統。如何融合這些傳感器的優勢，彌補不足是自動駕駛工程師們現在的主要工作之一。