"借助NI EVS和PXI平臺，我們通過硬件設計和軟件編程完成了此系統的開發。通過對車道偏離預警（LDW）功能的設計與測試，證明該系統可以在機器視覺的輔助駕駛開發中運用。"

- 希鵬 李, 重慶大學電氣工程學院

The Challenge:
基于機器視覺的輔助駕駛技術日漸成熟，在中高級轎車中已經實現產品化，切實提高了汽車的主動安全性能。開發機器視覺輔助駕駛系統時，需要考慮不同外界因素的影響，導致整個系統的算法復雜、代碼繁多；在開發初期，考慮到安全因素的影響，系統不可能直接進行實車試驗，進一步加深了系統開發的難度。這些都是開發機器視覺輔助駕駛系統時面臨的難題。如何更加關注算法開發，減少代碼開發投入，并能在有效、可信、可重復的環境下測試，以便及時發現問題并進行整改，是機器視覺輔助駕駛系統開發面臨的難點。

The Solution:
該方案主要解決機器視覺輔助駕駛系統的快速開發及測試問題。NI的EVS嵌入式視覺系統適合快速檢測及大型圖像處理，能連接多架相機，并實現同步檢測。借助LabVIEW編程語言及VDM編程模塊可快速實現要求的識別功能，使機器視覺產品的開發更加高效?；贜I PXI的仿真測試平臺，結合虛擬現實軟件CarMaker，通過VeriStand集成整個測試系統，從而搭建出真實有效的虛擬測試場景，實現機器視覺功能的全面、有效和可重復的測試。開發新功能時，借助NI EVS平臺可以快速完成方案建模及編程過程；借助于基于NI PXI的虛擬駕駛測試平臺，既能夠盡早發現產品問題并進行整改，又可以保證測試過程的安全性。機器視覺系統與測試平臺的結合，能進一步提升基于機器視覺輔助駕駛系統的開發效率。

1  引言
基于機器視覺的輔助駕駛系統旨在提高駕駛員的環境感知能力，通過輔助系統監測外界環境，并在非安全情況及時向駕駛員發出預警，從而使人—車—路系統更加穩定、安全、可靠，提高汽車的安全性能。

開發基于機器視覺的輔助駕駛系統時，需要面對以下難點：

（1）系統算法復雜，代碼繁多。機器視覺主要是借助攝像頭采集外界信息并將其轉換為數字圖像信號進行處理，面對不同的外界環境和檢測目的，致使系統需要處理的針對點不一樣，因此，使得整個系統在算法方面異常復雜，開發過程緩慢。

（2）測試環境要求苛刻。在系統開發后期，測試其性能并進行整改是整個研發過程中的關鍵步驟之一。相比較于其他汽車電子產品，基于機器視覺的輔助駕駛技術產品在測試時需要考慮兩點因素：第一，實車試驗時，駕駛員的安全是否能夠得到保障；第二，測試過程需要有效、可信、可從復，便于及時發現問題并進行整改。

在開發基于機器視覺輔助駕駛系統過程中，如果能把上述難題順利解決，將為以后基于機器視覺的輔助駕駛技術產品研發做好鋪墊，提高輔助駕駛技術產品的開發效率，促進輔助駕駛技術產品早日投入量產，最終提高汽車的安全性能。

2  設計背景和設計原則
針對以上在機器視覺輔助駕駛系統研發及測試過程中存在的問題，考慮到NI公司的EVS和PXI平臺出色的圖像處理能力及強大的實時仿真測試功能，采用LabVIEW編程語言，通過VeriStand開發平臺集成仿真測試模型，設計了一套基于NI EVS和PXI的機器視覺輔助駕駛開發系統。

借助NI EVS平臺可以快速實現基于機器視覺的輔助駕駛功能，這主要是依托NI EVS平臺的如下特點：

（1）高性能的多核處理器，2GB RAM適合快速檢測和大型圖像處理；

（2）連接多架相機以實現同步檢測（千兆以太網視覺和IEEE1394標準），可用于多種駕駛輔助功能的開發；

（3）高速I/O通道適合和工業通信，具有強大的擴展能力；

（4）借助視覺生成器配置實現自動檢測，無需進行底層驅動和接口電路的設計開發；

（5）視覺開發模塊Vision Development Module（VDM）集成了大量常見的機器視覺處理基礎模塊，開發人員將集中于集成和應用，快速實現各類的檢測和識別功能；

（6）采用圖形化編程方式，更加便于開發人員進行復雜算法的開發和調試。

當設計人員有新的創意時，運用該系統可以快速將創意實現，提高了系統開發的效率。其中，視覺開發模塊（VDM）可以讓設計人員更多的關注不同算法實現的效果，減少在編程方面的精力投入，通過綜合比較，進一步提高系統的性能。

借助NI PXI平臺可以在有效、可信、可從復的環境下對系統進行測試，以便及早發現問題并整改。NI PXI平臺在以下幾個方面具有獨特的優勢：

（1）提供圖形化軟件開發環境和良好的人機交互元素，重點關注應用程序開發，無需關注底層驅動，人機界面易開發；

（2）良好的實時性，保證數據采集和測試的時序要求和實時性，能夠運行復雜的車輛模型；

（3）系統可靠性、集成度高，可擴展性好；

（4）具有很好開放性和擴展性，能夠集成其他軟件平臺開發的各種模型。

綜合NI EVS和PXI的優點，采用LabVIEW編程語言，通過VeriStand開發平臺集成仿真測試模型，開發了一套基于NI EVS和PXI的機器視覺輔助駕駛系統。

圖1 系統設計原理架構圖

3  系統技術原理和設計架構
針對機器視覺輔助駕駛系統開發所面臨的難題及相應的解決方案可知，設計的系統應具有以下兩個功能：

（1）機器視覺系統的快速開發與實現。借助NI EVS平臺，將預先設定的需求功能通過編程實現，并保證整個硬件系統滿足功能需要。

（2）基于機器視覺的駕駛輔助功能的可信、有效和可重復的測試。借助NI PXI平臺，搭建一套虛擬測試系統，從而測試機器視覺開發部分出現的問題，以便及時整改，提高系統安全性能。

根據上述思想，系統設計原理架構如圖1所示。

如圖1所示，整個平臺分為虛擬測試系統和機器視覺系統兩部分，兩部分由各自的硬件及軟件構成。

在虛擬測試系統中，PC機1通過TCP/IP協議與仿真測試平臺連接，對仿真模型進行參數配置。仿真測試平臺的主要功能是運行車輛動力學模型并采集虛擬駕駛艙輸出參數，仿真測試結果通過CAN通信的方式傳輸到PC機2，PC機2中運行的虛擬現實軟件將輸仿真測試平臺的輸出參數轉化為車輛運行效果并在虛擬駕駛艙中顯示出來。

機器視覺系統中，攝像頭采集虛擬駕駛艙中的虛擬駕駛場景，通過TCP/IP協議與視覺處理平臺連接，在視覺處理平臺編程實現機器視覺功能。

3.1  機器視覺系統
機器視覺系統部分的主要作用是，設計者根據事先要設定的需求，通過視覺處理系統，編程實現各類識別和檢測功能。

機器視覺系統的核心是NI EVS嵌入式視覺開發平臺，借助NI EVS平臺的重要原因之一就是考慮到LabVIEW編程語言的簡潔直觀性及視覺開發模塊Vision Development Module（VDM）出色的圖像處理能力。視覺開發模塊專用于開發和配置機器視覺應用程序。它包含了數百種函數，可采集來自多種攝像頭的圖像，還可進行各種圖像處理，包括圖像增強、檢查顯像、定位特性、識別對象和測量部件等。借助EVS硬件平臺及軟件編程環境可以快速實現設定功能，大大縮短了開發時間。

機器視覺系統結構如圖2所示。

圖2 機器視覺系

圖3 虛擬測試系統結構圖

虛擬現實軟件模擬出來的路況信息通過液晶顯示器顯示出來，由piA1000-60gc攝像頭采集并傳入NI EVS-1464（Windows）嵌入式視覺系統處理，根據預先設定的算法程序，完成機器視覺的功能。

3.2  虛擬測試系統
虛擬測試系統的主要作用是，提供一套有效、可信、可從復的虛擬環境，保證測試過程的實時性，便于及時發現問題并整改。

NI PXI平臺可以用來加快測試執行時間、提高軟件開發效率、提高處理能力并增強可擴展性，從而極大地縮減機器視覺系統的開發投入。

根據以上原則，綜合考慮NI PXI平臺的特點，搭建了虛擬測試系統。

虛擬測試系統結構如圖3所示。

NI PXI-8513主要采集方向盤轉角信息，它作為單端口軟件可選的控制器局域網絡(CAN) PXI接口，適合在Windows與LabVIEW實時(Real-Time)操作系統上的NI LabVIEW、NI LabWindows/CVI和C/C++中開發CAN應用程序。

NI PXI-7841R數字RIO板卡采集油門踏板信息，它提供的可編程FPGA芯片，適合板載處理和靈活的I/O操作。用戶可借助NI LabVIEW圖形化程序框圖和NI LabVIEW FPGA模塊，配置各項模擬和數字功能。該程序框圖在硬件中運行，有助于直接及時地控制全部I/O信號，實現各項優越性能。

NI PXIe-8135運行車輛動力學模型，它是基于Intel Core i7-3610QE處理器的高性能嵌入式控制器，可用于PXI系統。結合2.3 GHz基頻、3.3 GHz（單核Turbo Boost模式）四核處理器和雙通道1600 MHz DDR3內存，該控制器非常適合用于處理器密集型模塊化儀器和數據采集應用。

車輛動力學模型接收到方向盤轉角、油門踏板等信息，然后車輛模型進行相應的運動，為了更加直觀的顯示運動效果，車輛動力學模型的輸出連接到虛擬現實軟件CarMaker，結合CarMaker提供的不同交通場景，進一步提高測試過程的真實有效性。

圖5 車道線檢測的labview程序

圖4 車道線檢測算法流程

4  軟件實現
考慮的整個系統所具備功能主要分為兩塊，因此軟件實現也分為兩部分，即：機器視覺軟件實現和虛擬測試軟件實現。

4.1   機器視覺軟件實現
基于機器視覺的輔助駕駛系統可以實現很多功能，例如車道線檢測、行人檢測、交通信號及標志牌識別、汽車夜視系統等。借助本開發平臺，可以將新的創意在該平臺通過編程快速實現，并進行試驗驗證。

下面以車道線檢測的實現過程為例介紹基于NI EVS平臺的軟件實現。

車道線檢測的主要功能是，借助機器視覺平臺，提供車輛在結構化道路行駛過程中偏離車道中心線的距離及航向角等信息，當車輛中加入車道偏離預警功能后，可以在車輛將要偏離車道邊界時，向駕駛員發出預警，從而保證車輛的安全行駛。

車輛擋風玻璃上裝設的攝像頭采集前方路況信息，經由EVS嵌入式視覺系統處理。為了保證系統的實時性、可靠性，原始視頻信息一般要經過圖像裁剪、灰度化、邊緣檢測、二值化、直線檢測等處理，當連續10幀圖像的車道線位置偏差不大時，可以認定車輛行駛軌跡較為穩定，因此可以縮小車道線搜索檢測區域，進一步提高系統的實時性能。車道線檢測算法流程如圖4所示。

圖6 車輛動力學模型

圖7 Veristand系統配置及儀表顯示界面

圖8 Carmaker三維場景

視頻裁剪主要是除去天空等與車道線檢測無關的圖像信息，減少需要處理的圖像數據，減少無關干擾，提高系統的實時性與準確性。使用的控件為IMAQ Extract VI。

灰度化的功能是，在不影響車道線檢測的前提下，將原始的彩色圖像轉化為灰度圖像，進一步減小需要處理的數據量。使用的控件是IMAQ ExtractSingleColorPlane VI。

邊緣檢測的目的是突出車道線邊緣，因為車道線檢測主要是依據車道邊緣的信息。使用的控件是IMAQ EdgeDetection VI，選擇的邊緣檢測算法為Sobel算法。

二值化的作用是在邊緣檢測的基礎上進一步簡化圖像信息，通過設定閾值，使高于閾值的像素點灰度值為1，低于閾值的像素點灰度值為0。使用的控件是IMAQ AutoBThreshold 2 VI，選擇的二值化算法是inter-class variance算法。

直線檢測就是在設定的區域內設定參數檢測車道線。這里使用的控件是IMAQ Find Edge VI，算法選擇Hough變換。

當連續10幀圖像的車道線位置偏差不大時，為減小數據處理量，提高系統的實時性，可以通過Kalman濾波跟蹤車道線將要出現的區域（ROI），然后在該區域進行車道線檢測，減少了車道線檢測的搜索面積。

車道線檢測的labview程序如圖5所示。

圖9 輔助駕駛系統實物

圖10 不同路況車道線檢測效果
 

4.2   虛擬測試軟件實現
虛擬測試軟件的功能主要包括以下三個部分：車輛動力學模型搭建、Veristand配置及儀表顯示、Carmaker三維場景建模。

車輛動力學模型是整個虛擬測試平臺的基礎，搭建出一套符合實際車輛性能的模型可以保證測試過程更加有效可信。借助MATLAB/Simulink搭建的車輛動力學模型如圖6所示。

Veristand在虛擬測試系統中起集成作用，它主要完成以下三個功能：

（1）將車輛動力學模型導入到PXI平臺；

（2）生成虛擬儀表，利用操作界面實時在線監控運行任務并與之交互；

（3）配置IO口、CAN通信數據連接關系。

Veristand系統配置及儀表顯示界面如7所示。

Carmaker三維場景可以把車輛模型的輸出以運動的效果顯現出來。Veristand通過CAN通信的方式，將車輛模型的輸出數據傳遞給Carmaker軟件，Carmaker搭建不同的路況環境，使測試過程更加多樣化。Carmaker三維場景如圖8所示。

虛擬測試部分的軟件將采集到的油門、方向盤等信息傳輸給在PXI中運行的車輛動力學模型，車輛模型仿真的動態效果在虛擬現實軟件CarMaker中顯現出來。其中，車輛動力學模型在MATLAB中搭建，通過仿真測試平臺VeriStand對模型配置，借助PXI平臺的優越性，使得仿真測試過程更加流暢，實時性更高。

5  集成和應用
將EVS部分及PXI部分的硬件和軟件分別集成到一起，完成基于NI EVS和PXI的機器視覺輔助駕駛系統開發。其實物如9圖所示。

下面結合車道線檢測的開發，介紹基于機器視覺輔助駕駛技術平臺的運用。

在CarMaker中搭建不同的路況，在機器視覺系統通過編程設計，部分檢測結果如圖10所示。

其中圖a路況信息最簡單，不存在干擾情況，圖b中存在一個十字路口，圖c中存在道路交通標志，圖d中出現了彎道。從圖10可以看出，在無干擾情況下，可以正確的檢測出車道線，當存在十字路口、交通標志時，依然能檢測出車道線，當存在彎道情況時，無法準確檢測出車道線，這主要是在車道線檢測算法中未考慮曲線檢測的算法所致，需要在后續的開發過程中完善。

6   結論
針對基于機器視覺的輔助駕駛系統開發面臨的難題，在分析系統需求的基礎上，借助NI EVS和PXI平臺，通過硬件設計和軟件編程，完成了此系統的開發。通過對車道偏離預警（LDW）功能的設計與測試，證明該系統可以在機器視覺的輔助駕駛開發中運用。

該系統充分利用了NI EVS平臺出色的圖像處理能力及PXI平臺強大的仿真測試功能。在機器視覺功能開發階段，EVS的硬件平臺及軟件資源可以幫助設計者快速完成建模及編程等步驟，縮短了研發的周期。PXI平臺的可靠性高，現場能力強，實時性好，軟硬件集成度高，可擴展性好等特點，在有限投入下，實現了機器視覺駕駛輔助系統的虛擬測試。EVS平臺和PXI平臺的兼容性好，兩者結合，加快了機器視覺輔助駕駛技術從創意到產品的實現過程，并為其早日投入量產進而提高汽車主動安全性能打下基礎。