增強(qiáng)現(xiàn)實(shí)系統(tǒng)的主要任務(wù)是進(jìn)行真實(shí)世界和虛擬物體的無縫融合，需要解決真實(shí)場(chǎng)景和虛擬物體的合成一致性問題。為了確保真實(shí)世界和虛擬對(duì)象的無縫融合，根據(jù)Ronald Azuma對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)的定義，在AR應(yīng)用系統(tǒng)開發(fā)中必須要解決好三大關(guān)鍵問題和三項(xiàng)關(guān)鍵技術(shù)。

　　01

　　增強(qiáng)現(xiàn)實(shí)

　　應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵問題

　　增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵問題是如何解決真實(shí)場(chǎng)景和虛擬物體在幾何、光照和時(shí)間方面的一致性問題。幾何一致性是解決虛擬對(duì)象和真實(shí)場(chǎng)景在空間中的一致性，是最基本的要求；光照一致性是虛實(shí)融合場(chǎng)景真實(shí)感繪制的要求；時(shí)間一致性是實(shí)現(xiàn)實(shí)時(shí)交互的要求。在三大問題中，幾何一致性和時(shí)間一致性是研究光照一致性的前提，因?yàn)橹挥懈咝А?shí)時(shí)恢復(fù)場(chǎng)景的幾何表示，才能進(jìn)行精確的光照恢復(fù)，才能夠得到具有強(qiáng)烈真實(shí)感的融合效果。

　　02

　　增強(qiáng)現(xiàn)實(shí)

　　應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵技術(shù)

　　根據(jù)Ronald Azuma提出的增強(qiáng)現(xiàn)實(shí)的定義，增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)的三大關(guān)鍵技術(shù)可總結(jié)為三維注冊(cè)技術(shù)、虛實(shí)融合顯示技術(shù)以及人機(jī)交互技術(shù)。為了解決好增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)開發(fā)中面臨的三大關(guān)鍵問題，必須解決好三大關(guān)鍵技術(shù)。

　　（1）三維注冊(cè)技術(shù)

　　三維注冊(cè)技術(shù)是實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用的基礎(chǔ)技術(shù)，也是決定移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)性能優(yōu)劣的關(guān)鍵，因此三維注冊(cè)技術(shù)一直是移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究的重點(diǎn)和難點(diǎn)。其主要完成的任務(wù)是實(shí)時(shí)檢測(cè)出攝像頭相對(duì)于真實(shí)場(chǎng)景的位姿狀態(tài)，確定所需要疊加的虛擬信息在投影平面中的位置，并將這些虛擬信息實(shí)時(shí)顯示在屏幕中的正確位置，完成三維注冊(cè)。

　　注冊(cè)技術(shù)的性能判斷主要有三個(gè)標(biāo)準(zhǔn)：實(shí)時(shí)性、穩(wěn)定性和魯棒性。

　　目前基于移動(dòng)終端的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究中主要采用以下幾種注冊(cè)方式：基于計(jì)算機(jī)視覺、基于硬件傳感器的以及混合注冊(cè)方法，如圖所示：

　　圖：移動(dòng)增強(qiáng)現(xiàn)實(shí)三維注冊(cè)技術(shù)分類

　　基于計(jì)算機(jī)視覺的注冊(cè)算法：主要是指利用計(jì)算機(jī)視覺獲取真實(shí)場(chǎng)景的信息后，經(jīng)過圖像處理方面的知識(shí)來識(shí)別和跟蹤定位真實(shí)場(chǎng)景的過程。基于計(jì)算機(jī)視覺的注冊(cè)算法又分為基于傳統(tǒng)標(biāo)志的注冊(cè)算法和基于自然特征點(diǎn)無標(biāo)志注冊(cè)算法。

　　基于硬件傳感器的注冊(cè)算法：傳統(tǒng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的硬件傳感器跟蹤技術(shù)主要包括慣性導(dǎo)航系統(tǒng)、全球定位系統(tǒng)（GPS）、電磁、光學(xué)或超聲波位置跟蹤器等。其中慣性導(dǎo)航系統(tǒng)的主要問題是被跟蹤物體的角度及位置的跟蹤誤差會(huì)隨時(shí)間增長(zhǎng)而不斷增大，漂移較大，設(shè)備的體積重量也較大；GPS定位誤差較大，在室內(nèi)、峽谷或其他復(fù)雜地形的情況下GPS信號(hào)經(jīng)常無法正常接收；電磁、光學(xué)或超聲波位置跟蹤器采用發(fā)射和接收的工作方式來進(jìn)行跟蹤，使用場(chǎng)合固定，范圍有限。

　　而在維修誘導(dǎo)、教育培訓(xùn)等應(yīng)用領(lǐng)域，匹配精度要求比較高，較大的注冊(cè)誤差將破壞用戶對(duì)周圍環(huán)境的正確感知，改變用戶在真實(shí)環(huán)境中動(dòng)作的協(xié)調(diào)性。因此要實(shí)現(xiàn)精確的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)，必須要有高精度的跟蹤設(shè)備。移動(dòng)終端上一般常用的硬件傳感器有陀螺儀、速度傳感器、磁場(chǎng)傳感器、方向傳感器等。這種注冊(cè)方法容易受到環(huán)境的干擾，注冊(cè)不精確。

　　混合注冊(cè)方法：Dularch和Mavor曾得出結(jié)論，由于系統(tǒng)的不精確性和系統(tǒng)延時(shí)方面的限制，目前單一的跟蹤技術(shù)不可能很好的解決增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)的方位跟蹤問題。因此采用混合跟蹤的方法對(duì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行跟蹤注冊(cè)也是國內(nèi)外著名大學(xué)和科研機(jī)構(gòu)人員研究的方向。混合跟蹤注冊(cè)算法主要是為了達(dá)到更加精確的注冊(cè)結(jié)果，將基于計(jì)算機(jī)視覺的注冊(cè)算法與基于硬件傳感器的注冊(cè)算法相結(jié)合。

　　（2） 虛實(shí)融合顯示技術(shù)

　　目前，增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)虛實(shí)融合顯示的主要設(shè)備一般分為：頭盔顯示式、手持顯示式以及投影顯示式等。

　　頭盔顯示式被廣泛應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，用于增強(qiáng)用戶的沉浸感。按照實(shí)現(xiàn)原理大致分為光學(xué)透視式和視頻透視式兩類，分別如圖所示。光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有簡(jiǎn)單、分辨率高、沒有視覺偏差等優(yōu)點(diǎn)，但它同時(shí)也存在著定位精度要求高、延遲匹配難、視野相對(duì)較窄和價(jià)格高等缺陷。視頻透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)采用的基于視頻合成技術(shù)的穿透式HMD（Video See-through HMD），利用攝像機(jī)采集到的真實(shí)環(huán)境的視頻信息與計(jì)算機(jī)生成的三維虛擬信息相融合，從而加強(qiáng)用戶對(duì)真實(shí)世界數(shù)據(jù)信息的認(rèn)知能力。

　　圖：頭盔顯示器分類

　　手持顯示式一般多指手機(jī)、平板電腦等移動(dòng)終端設(shè)備的顯示器，他們具有較高的便攜性的優(yōu)點(diǎn)，可以隨時(shí)隨地使用，而且手持式顯示設(shè)備具有可觸控的特點(diǎn)，便于進(jìn)行人機(jī)交互的設(shè)計(jì)。

　　投影式顯示是將生成的虛擬對(duì)象信息直接投影到需要融合的真實(shí)場(chǎng)景中的一種增強(qiáng)顯示技術(shù)。投影式顯示能夠?qū)D像投影到大范圍場(chǎng)景中，但是投影設(shè)備體積龐大，比較容易受到光照變化影響，適合于室內(nèi)場(chǎng)景使用，但不適合室外大場(chǎng)景。

　　虛實(shí)融合場(chǎng)景顯示研究的主要問題有兩個(gè)方面：

　　一是如何完成真實(shí)場(chǎng)景和虛擬對(duì)象信息的融合疊加，二是如何解決融合過程中虛擬對(duì)象信息延遲的現(xiàn)象。

　　對(duì)于光學(xué)透視式頭盔顯示器，用戶可以實(shí)時(shí)地看到周圍真實(shí)環(huán)境中的情景，而對(duì)真實(shí)場(chǎng)景進(jìn)行增強(qiáng)的虛擬對(duì)象信息要經(jīng)過一系列的系統(tǒng)延時(shí)后才能顯示到頭盔顯示器上。當(dāng)用戶的頭部或周圍景象、物體發(fā)生變化時(shí)，系統(tǒng)延時(shí)會(huì)使增強(qiáng)信息在真實(shí)環(huán)境中發(fā)生“漂移”現(xiàn)象。而采用視頻透視式顯示方式的話可以在一定程度上解決這樣的問題。開發(fā)人員可以通過程序來控制視頻顯示和虛擬對(duì)象信息的顯示頻率，可以達(dá)到實(shí)時(shí)性的需求并且緩解甚至杜絕“漂移”的現(xiàn)象。本文研究的是基于移動(dòng)終端的增強(qiáng)現(xiàn)實(shí)技術(shù)， 某種程度上跟視頻透視式類似，但是手持式顯示能看到的場(chǎng)景更加廣闊，只是沉浸感不如視頻透視式頭盔顯示強(qiáng)烈。

　　（3） 自然人機(jī)交互技術(shù)

　　增強(qiáng)現(xiàn)實(shí)系統(tǒng)交互技術(shù)是指將用戶的交互操作輸入到計(jì)算機(jī)后，經(jīng)過處理將交互的結(jié)果通過顯示設(shè)備顯示輸出的過程。

　　目前增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的交互方式主要有三大類：外接設(shè)備、特定標(biāo)志以及徒手交互。

　　外接設(shè)備：如鼠標(biāo)鍵盤，數(shù)據(jù)手套等。傳統(tǒng)的基于PC機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)習(xí)慣采用鍵盤鼠標(biāo)進(jìn)行交互。這種交互方式精度高、成本低，但是沉浸感較差。另外一種是借助數(shù)據(jù)手套、力反饋設(shè)備、磁傳感器等設(shè)備進(jìn)行交互，這種方式精度高，沉浸感較強(qiáng)，但是成本也相對(duì)較高。隨著可穿戴增強(qiáng)現(xiàn)實(shí)系統(tǒng)的發(fā)展，語音輸入裝置也成為增強(qiáng)現(xiàn)實(shí)系統(tǒng)的交互方式之一，而且在未來具有很大的發(fā)展前景。

　　特定標(biāo)志：標(biāo)志可以通過事先進(jìn)行設(shè)計(jì)。通過比較先進(jìn)的注冊(cè)算法，可以使標(biāo)志具有特殊的含義，當(dāng)用戶看到標(biāo)志之后就知道該標(biāo)志的含義。因此基于特定標(biāo)志進(jìn)行交互能夠使用戶清楚明白操作步驟，降低學(xué)習(xí)成本。這種方式沉浸感要稍高于傳統(tǒng)外接設(shè)備。

　　徒手式交互：一種是基于計(jì)算視覺的自然手勢(shì)交互方式，需要借助復(fù)雜的人手識(shí)別算法。首先在復(fù)雜的背景中把人手提取出來，再對(duì)人手的運(yùn)動(dòng)軌跡進(jìn)行跟蹤定位，最后根據(jù)手勢(shì)狀態(tài)、人手當(dāng)前的位置和運(yùn)動(dòng)軌跡等信息估算出操作者的意圖并將其正確映射到相應(yīng)的輸入事件中。這種交互方式沉浸感最強(qiáng)，成本低，但算法復(fù)雜，精度不高，容易受光照等條件的影響。另外一種主要是針對(duì)移動(dòng)終端設(shè)備。現(xiàn)如今移動(dòng)終端的顯示設(shè)備都具有可觸碰的功能，甚至可支持多點(diǎn)觸控。因此可以通過觸碰屏幕來進(jìn)行交互。目前幾乎所有的移動(dòng)應(yīng)用都采用這種交互方式。