增強(qiáng)現(xiàn)實(shí)綜述

產(chǎn)品簡(jiǎn)介

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱(chēng)AR），也被稱(chēng)之為混合現(xiàn)實(shí)。它是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息(視覺(jué)信息，聲音，味道，觸覺(jué)等)，通過(guò)科學(xué)技術(shù)模擬仿真后再疊加到現(xiàn)實(shí)世界被人類(lèi)感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。與傳統(tǒng)虛擬現(xiàn)實(shí)所要達(dá)到的完全沉浸的效果不同，增強(qiáng)現(xiàn)實(shí)技術(shù)致力于將計(jì)算機(jī)生成的信息同真實(shí)世界中的場(chǎng)景結(jié)合起來(lái)，它可以為醫(yī)療和工程用戶(hù)提供準(zhǔn)確、高效的輔助操作界面，也能夠?yàn)榻逃驃蕵?lè)程序構(gòu)造引人入勝的交互環(huán)境。增強(qiáng)現(xiàn)實(shí)技術(shù)在工業(yè)設(shè)計(jì)、機(jī)械制造、建筑、教育和娛樂(lè)等領(lǐng)域都有著廣泛的應(yīng)用前景，而且它提供了一種更容易時(shí)間的虛擬現(xiàn)實(shí)的方法，更代表了下一代更易使用的人機(jī)界面的發(fā)展趨勢(shì)。

識(shí)別圖打印標(biāo)志(maker)
在交互系統(tǒng)中是很重要的關(guān)鍵,透過(guò)打印標(biāo)志識(shí)別圖與軟件整合,可讓虛擬的物體與識(shí)別圖之間進(jìn)行融合合成,隨著使用者進(jìn)行交互作用,也就是虛擬鼠標(biāo)的概念。

投石智能系統(tǒng)實(shí)現(xiàn)了多種識(shí)別技術(shù),跟隨著不同的應(yīng)用場(chǎng)景,而選用不同的實(shí)現(xiàn)方式。

打印標(biāo)志
投石AR可支持彩色任意圖型識(shí)別圖,以及黑白識(shí)別圖兩種

彩色任意圖型識(shí)別圖
主要應(yīng)用于企業(yè)識(shí)別系統(tǒng),或是精美刷品上,其優(yōu)點(diǎn)是,識(shí)別圖不需要特別訂制,透過(guò)既有的印刷品,如企業(yè)目錄等,在一定的燈光環(huán)境之下,搭配攝像頭

黑白識(shí)別圖
主要用于消費(fèi)行市場(chǎng)上,如互動(dòng)教育書(shū)本的方案,其特色系統(tǒng)開(kāi)發(fā)速度快,開(kāi)發(fā)成本較彩色識(shí)別圖相對(duì)低廉

增強(qiáng)現(xiàn)實(shí)的發(fā)展進(jìn)程與研究現(xiàn)狀綜述

發(fā)展進(jìn)程

增強(qiáng)現(xiàn)實(shí) (AugmentedReality，簡(jiǎn)稱(chēng)AR)技術(shù)可以將虛擬的三維物體融合到現(xiàn)實(shí)場(chǎng)景中，并能支持用戶(hù)與其進(jìn)行交互，它己經(jīng)成為虛擬現(xiàn)實(shí)研究中的一個(gè)重要領(lǐng)域，同時(shí)也是人機(jī)界面技術(shù)發(fā)展的一個(gè)重要方向。

AR技術(shù)始于二十世紀(jì)六十年代，美國(guó)哈佛大學(xué) IvanSutherland教授發(fā)明了光學(xué)透明頭盔顯示器(see一 throughHead一 MountedDisplay，簡(jiǎn)稱(chēng)STHMD)顯示計(jì)算機(jī)生成的3D圖形[7]。20世紀(jì)80年代到90年代，AR的發(fā)展較為成熟，一些公司和高校不斷研制出完善的AR系統(tǒng)，其中比較好的有:

1986年，F(xiàn)urness研制的vCAss系統(tǒng)采用頭盔顯示器將射程、射擊目標(biāo)等作戰(zhàn)信息顯示在飛行員的視野上。

1986年，美國(guó)北卡大學(xué)   (LJNCatChaPelHill)研制出用于實(shí)現(xiàn)生物化學(xué)和建筑可視化的STHMD系統(tǒng)。

1993年，美國(guó)哥倫比亞大學(xué)的Feine:教授等人設(shè)計(jì)了一個(gè)基于知識(shí)的AR系統(tǒng)。該系統(tǒng)用于指導(dǎo)機(jī)械維修，可以將有關(guān)技術(shù)說(shuō)明疊加在激光打印機(jī)上，輔助技術(shù)人員完成維修工作，這樣，技術(shù)人員再也不用帶著大量笨重的資料在身邊，邊進(jìn)行維修工作，邊查閱身邊的資料，一旦出現(xiàn)難題、緊急情況，就會(huì)不知所措了。

 20世紀(jì)90年代初期，波音公司的Tom Caudell和他的同事在他們?cè)O(shè)計(jì)的一個(gè)輔助布線(xiàn)系統(tǒng)中提出了“增強(qiáng)現(xiàn)實(shí)”（augmented reality，簡(jiǎn)稱(chēng)AR）這個(gè)名詞。在他們?cè)O(shè)計(jì)的系統(tǒng)中，應(yīng)用S-HMD把由簡(jiǎn)單線(xiàn)條繪制的布線(xiàn)路徑和文字 提示信息實(shí)時(shí)地疊加在機(jī)械式的視野中，而這些信息則可以幫助機(jī)械師一步一步地完成一個(gè)拆卸過(guò)程，以減少在日常工作中出錯(cuò)的機(jī)會(huì)。接下來(lái)又相繼出現(xiàn)了多種增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)，主要集中在醫(yī)療、制造與維修、機(jī)器人動(dòng)作路徑的規(guī)劃、娛樂(lè)和軍事等幾個(gè)方面。但是由于設(shè)備和精度等方面的原因，所有這些系統(tǒng)都沒(méi)有真正投入實(shí)際應(yīng)用，Azuma在1997年曾對(duì)這些系統(tǒng)和其使用的基本技術(shù)給出過(guò)一個(gè)詳盡的綜述。

同沉浸式的虛擬現(xiàn)實(shí)相比，增強(qiáng)現(xiàn)實(shí)不但應(yīng)用的場(chǎng)合廣泛，而且更加安全，因?yàn)?a href=http://m.westyy.cn target=_blank class=infotextkey>增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以讓用戶(hù)在看到虛擬物體的同時(shí)，仍能看到真實(shí)的場(chǎng)景，即使在停電和設(shè)備故障等情況下，也能保證用戶(hù)的安全。20世紀(jì)90年代末，這個(gè)領(lǐng)域的研究者們開(kāi)始聚會(huì)在一系列每年召開(kāi)的和增強(qiáng)現(xiàn)實(shí)相關(guān)的國(guó)際研討會(huì)和工作會(huì)議上，例如，國(guó)際增強(qiáng)現(xiàn)實(shí)工作會(huì)議（IWAR），國(guó)際增強(qiáng)現(xiàn)實(shí)研討會(huì)（ISAR）和國(guó)際混合與增強(qiáng)現(xiàn)實(shí)會(huì)議（ISMAR）等。這些會(huì)議在很大程度上促進(jìn)了AR的研究發(fā)展。近年來(lái)隨著移動(dòng)設(shè)備計(jì)算能力的增強(qiáng)和對(duì)網(wǎng)格計(jì)算環(huán)境的關(guān)注，對(duì)戶(hù)外增強(qiáng)現(xiàn)實(shí)系統(tǒng)和支持分布式協(xié)同操作增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究明顯增加。

國(guó)內(nèi)外發(fā)展現(xiàn)狀

20世紀(jì)90年代末，AR領(lǐng)域的研究者們開(kāi)始集會(huì)在一系列每年召開(kāi)的和增強(qiáng)現(xiàn)實(shí)相關(guān)的國(guó)際研討會(huì)和工作會(huì)議上，其中包括國(guó)際增強(qiáng)現(xiàn)實(shí)工作會(huì)議(IWAR)、國(guó)際增強(qiáng)現(xiàn)實(shí)研討會(huì)(ISAR)和國(guó)際混合與增強(qiáng)現(xiàn)實(shí)會(huì)議(IsMAR)等，這些會(huì)議很大程度上促進(jìn)了AR研究的發(fā)展。國(guó)外研究AR系統(tǒng)的單位有德國(guó)SIEMENSAG、美國(guó)微軟公司、美國(guó)MIT大學(xué)，美國(guó)哥倫比亞大學(xué)、澳大利亞Vienna大學(xué)、日本Nara協(xié)會(huì)等，這些單位已經(jīng)在AR系統(tǒng)的攝像機(jī)校正算法、AR頭盔顯示器的設(shè)計(jì)、硬件平臺(tái)的應(yīng)用、視覺(jué)跟蹤技術(shù)等方面取得了一些可喜的成果。目前，國(guó)內(nèi)研究AR系統(tǒng)的單位有北京理工大學(xué)、浙江大學(xué)、中國(guó)科學(xué)院計(jì)算機(jī)研究所、國(guó)防科技大學(xué)、西安石油學(xué)院、電子科技大學(xué)、華中科技大學(xué)、上海大學(xué)等，國(guó)內(nèi)對(duì)AR技術(shù)的研究處于起步階段。

據(jù)統(tǒng)計(jì)，從1995年至今，涉及AR系統(tǒng)的國(guó)際專(zhuān)利多達(dá)一百多篇，新近公開(kāi)的一篇德國(guó)專(zhuān)利 DEI0108064述及的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，用視頻或音頻信息進(jìn)行綜合視覺(jué)跟蹤，探測(cè)用戶(hù)三維信息并報(bào)告其位置，其中的圖像記錄單元，記錄圖像并轉(zhuǎn)換格式，注釋系統(tǒng)，合成位置數(shù)據(jù)，存檔數(shù)據(jù)，生成實(shí)時(shí)的增強(qiáng)現(xiàn)實(shí)環(huán)境。美國(guó)公開(kāi)的專(zhuān)利US2002191003也涉及了增強(qiáng)現(xiàn)實(shí)顯示技術(shù)，他們用攝像機(jī)定位物體位置并報(bào)告給連通的計(jì)算機(jī)以呈現(xiàn)圖像，同時(shí)讓計(jì)算機(jī)模擬出天氣、險(xiǎn)情等三維場(chǎng)景，經(jīng)過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)處理后的畫(huà)面將真實(shí)場(chǎng)景與虛擬場(chǎng)景進(jìn)行無(wú)縫融合讓觀(guān)眾有深深的身臨其境的感覺(jué)，這項(xiàng)技術(shù)已經(jīng)應(yīng)用于航海安全控制輔助、飛行員培訓(xùn)、應(yīng)急訓(xùn)練等方面。而國(guó)內(nèi)涉及AR的專(zhuān)利還很少。

增強(qiáng)現(xiàn)實(shí)系統(tǒng)應(yīng)用領(lǐng)域

1．在軍事領(lǐng)域的應(yīng)用研究

軍用飛機(jī)和直升機(jī)利用頭盔顯示器將矢量圖形疊加到飛行員視野中，提供導(dǎo)航信息。美國(guó)著名的 SIMNET 系統(tǒng)在 1995 年融入了增強(qiáng)現(xiàn)實(shí)技術(shù)，通過(guò)一些特殊的頭盔式顯示器和測(cè)距儀，使配備該設(shè)備的戰(zhàn)斗人員能夠看見(jiàn)其他作戰(zhàn)單位的增強(qiáng)信息。

2．在醫(yī)學(xué)領(lǐng)域的應(yīng)用研究

醫(yī)學(xué)領(lǐng)域是增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用研究的一個(gè)熱點(diǎn)，利用增強(qiáng)現(xiàn)實(shí)技術(shù)可以將病人的MRI（核磁共振）或 CT（計(jì)算機(jī)控制 X 射線(xiàn)斷層分析）疊加在病人身體或?qū)嵨锶梭w模型上，幫助醫(yī)生進(jìn)行手術(shù)方案的制定、手術(shù)時(shí)的輔助指引、模擬的手術(shù)訓(xùn)練。MIT的 AI 實(shí)驗(yàn)室進(jìn)行了增強(qiáng)現(xiàn)實(shí)技術(shù)在腦外科手術(shù)中的應(yīng)用研究，利用增強(qiáng)現(xiàn)實(shí)技術(shù)合成圖像的手術(shù)技術(shù)操作。

3．在工程設(shè)計(jì)和裝配維修領(lǐng)域的應(yīng)用研究

1995 年 ECRC（歐洲計(jì)算機(jī)研究中心）將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于遠(yuǎn)程協(xié)作進(jìn)行產(chǎn)品設(shè)計(jì)，通過(guò)增強(qiáng)現(xiàn)實(shí)顯示設(shè)備使得異地的設(shè)計(jì)人員或客戶(hù)與本地的設(shè)計(jì)人員共享一個(gè)實(shí)物或 CAD 模型信息，并可以實(shí)時(shí)地交流設(shè)計(jì)改進(jìn)思想。增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于機(jī)械儀器的組裝維修方面，可將裝配流程指南按照工作進(jìn)度準(zhǔn)確地顯示給用戶(hù)，指導(dǎo)用戶(hù)順利完成任務(wù)。相對(duì)安裝手冊(cè)而言，這些附加的文字、圖像更加生動(dòng)易于理解?？屏_拉多大學(xué) Feiners 研究組應(yīng)用增強(qiáng)現(xiàn)實(shí)進(jìn)行激光打印機(jī)的維修。波音公司將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于飛機(jī)制造中的電力線(xiàn)連接和接線(xiàn)器的裝配。

4．在文化娛樂(lè)領(lǐng)域的應(yīng)用研究

德國(guó) DML（數(shù)字媒體實(shí)驗(yàn)室）利用增強(qiáng)現(xiàn)實(shí)技術(shù)擴(kuò)展了原來(lái)基于藍(lán)影技術(shù)制作天氣預(yù)報(bào)節(jié)目的方法，用虛擬的三維場(chǎng)景替換了原來(lái)的平面背景，使得節(jié)目效果更好。

5．在建筑領(lǐng)域的應(yīng)用研究

英國(guó) Fraunhofer 學(xué)院開(kāi)發(fā)了適用于城市規(guī)劃的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，使得建筑設(shè)計(jì)人員能夠在現(xiàn)場(chǎng)預(yù)視方案的效果，與應(yīng)用于該領(lǐng)域的虛擬現(xiàn)實(shí)系統(tǒng)而言，增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以讓設(shè)計(jì)人員更真實(shí)地體驗(yàn)設(shè)計(jì)方案與周?chē)h(huán)境是否和諧。

增強(qiáng)現(xiàn)實(shí)系統(tǒng)的工作原理1

由于AR應(yīng)用系統(tǒng)在實(shí)現(xiàn)的時(shí)候要涉及到多種因素，因此AR研究對(duì)象的范圍十分廣闊包括信號(hào)處理、計(jì)算機(jī)圖形和圖像處理、人機(jī)界面和心理學(xué)、移動(dòng)計(jì)算、計(jì)算機(jī)網(wǎng)絡(luò)、分布式計(jì)算、信息獲取和信息可視化，以及新型顯示器和傳感器的設(shè)計(jì)等。AR系統(tǒng)雖不需要顯示完整的場(chǎng)景，但是由于需要通過(guò)分析大量的定位數(shù)據(jù)和場(chǎng)景信息來(lái)保證由計(jì)算機(jī)生成的虛擬物體可以精確地定位在真實(shí)場(chǎng)景中，因此AR系統(tǒng)中一般都包含以下4個(gè)基本步驟：(1)獲取真實(shí)場(chǎng)景信息;(2)對(duì)真實(shí)場(chǎng)景和相機(jī)位置信息進(jìn)行分析;(3)生成虛擬景物;(4)合并視頻或直接顯示，即圖形系統(tǒng)首先根據(jù)相機(jī)的位置信息和真實(shí)場(chǎng)景中的定位標(biāo)記來(lái)計(jì)算虛擬物體坐標(biāo)到相機(jī)視平面的仿射變換，然后按照仿射變換矩陣在視平面上繪制虛擬物體，最后直接通過(guò)S-HMD現(xiàn)實(shí)或與真實(shí)場(chǎng)景的視頻合并后，一起顯示在普通顯示器上。AR系統(tǒng)中，成像設(shè)備、跟蹤與定位技術(shù)和交互技術(shù)是實(shí)現(xiàn)一個(gè)基本系統(tǒng)的支撐系統(tǒng)。

簡(jiǎn)單AR系統(tǒng)的基本流程

增強(qiáng)現(xiàn)實(shí)中用到的相關(guān)支撐技術(shù)

一個(gè)完善的AR系統(tǒng)包括多個(gè)學(xué)科研究的技術(shù)，其中系統(tǒng)顯示定位技術(shù)，虛實(shí)融合技術(shù)和用戶(hù)交互技術(shù)是實(shí)現(xiàn)一個(gè)AR系統(tǒng)的基本支撐技術(shù)

一、AR系統(tǒng)的顯示技術(shù)

一般增強(qiáng)現(xiàn)實(shí)的顯示技術(shù)分為以下四類(lèi):頭盔顯示器，投影式 (ProjeetDisplay)顯示技術(shù)，手持式(HandHeldDisplay)顯示器，普通液晶顯示器。

 二、跟蹤定位技術(shù)

由于要實(shí)現(xiàn)虛擬和現(xiàn)實(shí)物體的完美結(jié)合，必須將虛擬物體合并到現(xiàn)實(shí)世界中的準(zhǔn)確位置，這個(gè)過(guò)程稱(chēng)為注冊(cè) (registration)，因此AR跟蹤定位系統(tǒng)必須能夠?qū)崟r(shí)地檢測(cè)觀(guān)察者在場(chǎng)景中的位置、視域的方向，甚至是運(yùn)動(dòng)的情況，以便用來(lái)幫助系統(tǒng)決定顯示何種虛擬物體，并按照觀(guān)察者的視場(chǎng)重建坐標(biāo)系。在AR應(yīng)用中，通常使用兩類(lèi)跟蹤和定位技術(shù)，一種是基于硬件設(shè)備的跟蹤定位技術(shù)，一種是基于機(jī)器視覺(jué)的跟蹤定位技術(shù)。

用于跟蹤定位技術(shù)的硬件系統(tǒng)和設(shè)備主要包括:全球衛(wèi)星定位系統(tǒng)(GPs)和DeadReckoning技術(shù)、超聲波定位儀、慣性導(dǎo)航裝置、螺旋測(cè)度儀、測(cè)距儀、光學(xué)系統(tǒng)、磁跟蹤器、機(jī)械裝置。基于視覺(jué)的跟蹤注冊(cè)技術(shù)即是從真實(shí)環(huán)境中獲取一幅或者多幅圖像，然后標(biāo)定攝像機(jī)與目標(biāo)間的相對(duì)位置和方向。由于頭部跟蹤系統(tǒng)提供的跟蹤信息沒(méi)有反饋增強(qiáng)信息與真實(shí)環(huán)境的匹配程度信息，難以取得最佳匹配。基于視覺(jué)的AR系統(tǒng)可以利用圖像處理和計(jì)算機(jī)視覺(jué)的方法協(xié)助注冊(cè)，并且使得測(cè)量局限在圖像空間范圍?；谝曈X(jué)跟蹤的方法大體上可以分為以下四類(lèi):

1．己知單幅圖像中的六個(gè)或者六個(gè)以上的匹配點(diǎn)進(jìn)行跟蹤，Tsai等提出了這種算法，目前大多數(shù)研究者采用這種算法。這類(lèi)視覺(jué)跟蹤的方法使用相機(jī)標(biāo)定的技術(shù)，利用單幅圖像中己知點(diǎn)的三維空間位置與它們?cè)趫D像平面坐標(biāo)系中的成像坐標(biāo)實(shí)現(xiàn)跟蹤注冊(cè)。這些已知點(diǎn)是物體的特征點(diǎn):如拐點(diǎn)、孔洞、放置的標(biāo)志點(diǎn)。標(biāo)志點(diǎn)多采用平面標(biāo)志物體為定位基準(zhǔn):如長(zhǎng)方形、圓環(huán)、五邊形、條形碼等等。

我司增強(qiáng)現(xiàn)實(shí)案例：英國(guó)喜德瑞BDR高峰論壇現(xiàn)AR舞臺(tái)互動(dòng)

                  蕪湖鏡湖萬(wàn)達(dá)廣場(chǎng)