產(chǎn)品中心 應(yīng)用方案 技術(shù)文摘質(zhì)量保證產(chǎn)品選型 下載中心業(yè)內(nèi)動態(tài) 選型幫助 品牌介紹 產(chǎn)品一覽 聯(lián)系我們
- 3D手勢控制技術(shù):從游戲機突圍至消費電子
- 來源:電子工程專輯 發(fā)表于 2011/3/10
今年將是3D手勢識別技術(shù)證明自己不僅限于兒童游戲的一年。自從在任天堂Wii用的無線游戲接口中首次面世幾年后,基于MEMS傳感器的手勢識別技術(shù)已將觸角伸向智能手機,并準備占有最具象征意義的消費者接口:電視遙控器。
自從Wii于2006年發(fā)布后,任天堂公司的競爭對手們都開發(fā)出了各自的3D手勢識別和處理技術(shù)。索尼公司為尋求高精度控制的游戲發(fā)燒友提供了Move Playstation控制器;微軟則通過Xbox Kinect實現(xiàn)了游戲接口的免提功能。
蘋果率先利用微機電傳感器的潛能成功構(gòu)建更直觀的智能手機接口,并于2007年在iPhone中增加了MEMS加速度計,在2010年增加了MEMS陀螺儀。蘋果的競爭對手緊隨其后,不久許多3D指令(如搖動-撤消、提起-接聽和反面朝下-斷開連接)將成為標準的智能手機功能。
當今,消費產(chǎn)品OEM商正在他們?nèi)產(chǎn)品中增加3D手勢識別功能。一些公司使用從GestureTek公司獲得的技術(shù)許可,其它公司則從Hillcrest Laboratories公司或Movea公司獲取許可。Movea公司擁有250多項相關(guān)專利,覆蓋像使用陀螺儀控制光標之類的技術(shù);Hillcrest公司擁有100多項專利,包括使用加速度計和陀螺儀跟蹤運動的專利。兩家公司都為3D手勢設(shè)計師提供了增值的軟件開發(fā)工具,它們分別是Movea公司的Gesture Builder和Hillcrest公司的Freespace MotionStudio。
谷歌則是在Gingerbread(姜餅)版的Android操作系統(tǒng)中增加了基于MEMS的手勢識別應(yīng)用編程接口,能夠識別諸如傾斜、旋轉(zhuǎn)、插入和切削等動作。
"運動處理最終將被主流消費者所接受。"InvenSense公司創(chuàng)始人Steve Nasiri表示,"我們預(yù)測用于運動處理和手勢識別的硬件將像照相機模塊一樣在智能手機中普及開來。"該公司是首家在單個裸片上整合加速度計和陀螺儀的MEMS芯片制造商。
InvenSense的陀螺儀和加速度計/陀螺儀組合芯片嵌入了一個運動處理器,用于執(zhí)行識別用戶手勢所必需的復(fù)雜傳感器融合算法,并幫助卸載應(yīng)用處理器的任務(wù)。InvenSense公司計劃明年在單個裸片上整合加速度計、陀螺儀和磁力計(電子羅盤)。
在國際消費電子展(CES)上,InvenSense公司的運動處理數(shù)據(jù)庫首次出現(xiàn)在電視遙控器和智能手機中,前者用于實現(xiàn)3D手勢識別,后者用于基本的電話功能(比如只需將手機拿起來靠近耳朵就能接聽電話)。這兩種產(chǎn)品都是LG Electronics公司的產(chǎn)品。Magic Motion遙控器用于LG的Infinia系列3D電視機。LG公司9.2毫米寬的Optimus Black智能手機據(jù)稱是全球最薄的智能手機,可以識別多種獨特的手勢指令。
其它MEMS芯片制造商同樣將手勢識別算法集成進了他們的加速度計和陀螺儀。例如,Kionix公司有數(shù)十種型號的產(chǎn)品集成了內(nèi)置手勢識別算法,而且公司的Gesture Designer軟件開發(fā)套件能夠幫助OEM商設(shè)計出他們自己的手勢控制效果。
"電視遙控器公司正在努力將手勢識別技術(shù)集成進自己的產(chǎn)品中,這要求非常復(fù)雜的動作應(yīng)用。"Kionix公司首席執(zhí)行官Greg Galvin指出,"這里的亮點是將視聽輸入功能集中于電視機,允許用戶通過一個遙控器實現(xiàn)頻道切換、音樂下載、照片庫瀏覽、或文字處理和互聯(lián)網(wǎng)沖浪。"
在IPTV上執(zhí)行應(yīng)用程序和瀏覽網(wǎng)站內(nèi)容要求遙控器具有像鼠標一樣的精度,以便進行點擊和基于手勢的控制。"這些應(yīng)用確實需要MEMS。"Galvin表示。
蘋果用戶已經(jīng)非常熟悉2D手勢控制,像收捏縮放(pinch-to-zoom)之類的指令已經(jīng)被蘋果的計算和智能手機對手所充分使用。
智能電視之年
Hillcrest公司創(chuàng)始人兼首席執(zhí)行官Dan Simpkins認為,2011年是"智能電視之年",并補充道,"50多年來,電視市場終于首次迎來了一種新的輸入技術(shù)。"Hillcrest公司的Loop指針是一種空中鼠標,專門針對那些想要將計算機與電視機連接起來的消費者而設(shè)計,并使用為IPTV開發(fā)的Kylo瀏覽器。
LG公司在CES上展示的Magic Motion遙控器使用的是Hillcrest公司的Freespace手勢識別技術(shù),可以幫助用戶通過復(fù)雜的點擊屏幕界面瀏覽基于網(wǎng)絡(luò)和傳統(tǒng)的電視內(nèi)容。
菲利浦的uWand是競爭技術(shù)之一。菲利浦的手持式控制器選用集成式紅外攝像頭檢測電視機發(fā)出的紅外光,不需要陀螺儀就能實現(xiàn)精確的運動跟蹤。但大多數(shù)其它IPTV遙控器使用的是MEMS陀螺儀。
舉例來說,Movea公司在CES上宣布,筆記本電腦鍵盤供應(yīng)商臺灣Sunrex公司今年晚些時候推出的控制器將使用Movea公司基于MEMS的MotionIC平臺和SmartMotion技術(shù)實現(xiàn)3D手勢識別。
"下一代運動遙控器將能識別所有種類的新手勢。"Movea公司全球營銷經(jīng)理Dave Rothenberg表示,"例如,父母可以通過空中示意簽名解鎖電視中的成人內(nèi)容,當有小孩進入房間時做同樣的動作又將激活父母控制功能。"
微軟的Kinect則向傳統(tǒng)智慧提出了挑戰(zhàn),將包括MEMS加速度計在內(nèi)的手勢檢測硬件移出用戶掌心,移進頭端單元。微軟在從GestureTek公司獲得的光學(xué)識別技術(shù)許可基礎(chǔ)上為Kinect開發(fā)了自己的3D識別算法。
Kinect公司在特定游戲(如虛擬排球)中的嚴格動作范圍內(nèi)對手勢進行了分類。該技術(shù)通過用激光將一組規(guī)則的紅外點陣投射到玩家身上對圖像進行分段,然后測量每個點的反射強度。強度較低的反射點被認為是從背景反射回來的,較強的反射點被認為是從前景中的用戶身上反射回來的。然后Kinect利用對用戶動作的最佳推測驅(qū)動游戲中的化身。Kionix公司的MEMS加速度計有助于將攝像頭更精確地對準用戶。
這種技術(shù)犧牲了一定的精度以換取用戶的移動性,據(jù)分析師們表示。"我不相信微軟公司基于攝像頭的識別系統(tǒng)有足夠高的精度能夠滿足許多游戲玩家,他們可能愿意繼續(xù)手握控制器,從而使索尼的Move成為游戲發(fā)燒友的更好選擇。"iSuppli公司高級分析師Jérémie Bouchaud指出。
"微軟解決方案適合其有針對性的用戶:想要快速進入和離開游戲、并且希望擁有方便和即時體驗的家庭。"IHS Screen Digest公司游戲負責人Piers Harding-Rolls表示。"另一方面,索尼的Move是一種混合解決方案,使用傳感器跟蹤運動,并使用攝像頭跟蹤位置。在目前這個階段,索尼的理論是向游戲愛好者提供更精確的傳感器技術(shù)。"
像Kinect那樣基于攝像頭的技術(shù)"不是手勢識別的終結(jié)者。它有它的市場,但加速度計-陀螺儀組合也有自己的市場。"Gartner公司分析師Jim Tully認為。
"例如,Kinect攝像頭不能在多用戶場合檢測復(fù)雜的運動,特別當一個用戶被另一個用戶阻擋時。當用戶背對攝像頭時效果也不好......這些時候需要多臺攝像頭,這在大多數(shù)情況下是不可行的。"
但GestureTeck公司表示,光學(xué)手勢識別技術(shù)最終將戰(zhàn)勝基于MEMS的器件。通過觀察不斷變化的相機圖像,這家公司的技術(shù)已經(jīng)跟蹤數(shù)百萬部手機的3D運動。
"今天,光學(xué)手勢識別的分辨率和精度尚沒有使用MEMS慣性傳感器時那么好,但對大多數(shù)游戲來說已經(jīng)足夠。"GestureTek公司合伙創(chuàng)始人兼總裁Vincent John Vincent指出,"并且隨著攝像頭分辨率的不斷提高,我們相信光學(xué)手勢識別將最終超過MEMS,能夠跟蹤身體每個部分的運動,并能達到像素級精度。"
穿戴著Xsens公司MVN Motion Capture彈力纖維套裝的演員(中間),身上鑲滿了ADI公司的MEMS慣性傳感器。他模仿傳奇漫畫"鋼鐵俠"插圖中的特征手勢(左),作為創(chuàng)作派拉蒙影業(yè)公司"鋼鐵俠2”(右)動畫的基礎(chǔ)。
菲利浦公司的uWand技術(shù)非常適合與安裝有MEMS的控制器相同的應(yīng)用,但不使用MEMS器件。相反,它集成了一個紅外攝像頭用于檢測來自電視的紅外光,因此不用陀螺儀就能實現(xiàn)運動跟蹤。
手勢識別領(lǐng)域中的"凱迪拉克"
與游戲發(fā)燒友可能認可的精度價值一樣,游戲本身并沒有像游戲開發(fā)或特殊效果電影動畫那么重要。對于動畫專家來說,手勢識別領(lǐng)域中的"凱迪拉克"是Xsens Technologies公司鑲滿MEMS的緊身衣褲。這種套裝上的加速度計和陀螺儀可以實現(xiàn)實時的動畫序列預(yù)演。
Xsens公司使用ADI的高精度三軸加速度計、陀螺儀和磁力計實現(xiàn)詳細的運動跟蹤。例如,一些專家利用Xsens技術(shù)為電影"鋼鐵俠2"和PS3游戲"殺戮地帶2"開發(fā)動畫效果。這種技術(shù)提供的運動捕獲解決方案可以在任何地方使用,無需復(fù)雜的基礎(chǔ)設(shè)施。最后,Xsens公司預(yù)測,這種技術(shù)將針對消費類應(yīng)用降低成本,支持類似Kinect的體驗,但提供高得多的保真度,玩家數(shù)量也沒有限制。
"微軟的Kinect是一種優(yōu)秀的解決方案,因為它不要求身體上安裝任何傳感器,但速度較慢,有時在跟蹤人類手勢方面顯得比較遲緩。"Xsens公司首席執(zhí)行官Casper Peeters表示,"我們的技術(shù)在能夠使用的場合方面靈活得多,在跟蹤穿戴者的精確移動中可以達到更高的保真度。但基于運動的游戲控制器和電話接口才剛開始出現(xiàn)。Xsens公司則是另一種打算,支持針對精確特征動畫的高端運動捕獲,未來將有更多有趣的應(yīng)用出現(xiàn)。"
微軟也將目光瞄準了未來,計劃充分利用分別于2009年和2010年收購3-DV公司和Canesta公司時獲得的3D跟蹤技術(shù)。這些公司實際上在飛行時間(TOF)手勢識別專利方面壟斷了市場,特別是對移動設(shè)備而言。
飛行時間傳感器測量的是紅光線從物體反射回來到達某個特定CMOS傳感器的時間,從而產(chǎn)生任意距離任何光照條件下的高精度3D深度地圖。飛行時間深度地圖技術(shù)還能與微軟通過其GestureTek許可開發(fā)的3D攝像頭手勢識別算法完美地結(jié)合起來。
德國TriDiCam GmbH公司和一些其他公司聲稱擁有飛行時間傳感器技術(shù)。但至今為止只有Canesta公司證實了這個概念,可以使用一個CMOS圖像傳感器創(chuàng)建在移動設(shè)備上方僅數(shù)英寸的地方揮舞的手的精確3D圖像地圖,即使在室外明亮的陽光下也沒問題。
像Silicon Labs等公司能夠利用便宜的紅外和環(huán)境光傳感器識別特殊應(yīng)用手勢,比如通過用手指在空中劃一條線開啟顯示器或調(diào)整音量。
在OEM算法的支持下,微軟Surface平臺可以讀取“揮動”手勢。重新設(shè)計的屏幕可以掛在墻上。
Surface下的變化
微軟在CES上展示了下一代Surface多點觸摸平臺。這種平臺不再使用第一代產(chǎn)品中的5個攝像頭裝置,而是一種可以垂直安裝的更薄設(shè)備。
這種Surface平臺允許用戶直接操作屏幕上顯示的物體,采用內(nèi)置算法解釋各種手勢,如選擇、拖拉、放下、收捏縮放和其它類似觸摸屏的指令(OEM商還可以開發(fā)他們自己的算法)。新版本"只有4英寸厚,能以水平、垂直或任何其它角度安裝。"微軟公司Surface部總經(jīng)理Brad Carpenter指出。
關(guān)鍵是微軟公司與三星LCD部門(該公司最終出廠銷售的顯示屏型號是SUR40)聯(lián)合開發(fā)的PixelSense技術(shù)。針對交替式棋盤形圖案的可見光或紅外光,PixelSense技術(shù)在每個LCD像素點增加了一個光傳感器。背光中的可見光和紅外光發(fā)射器允許每個對應(yīng)像素檢測從用戶雙手或其它物體反射的光線。通過60幀/秒的速度采樣傳感器,該技術(shù)可以同時跟蹤多個用戶的運動,用戶數(shù)量僅受屏幕可用表面積的限制。內(nèi)置FPGA支持位置跟蹤,并能讀取在屏幕表面上放置的物體上的特殊應(yīng)用標簽,并通過紅外傳輸方式將數(shù)據(jù)發(fā)送到帶攝像頭的Windows 7智能手機上。
在應(yīng)用程序方面,Surface平臺集成了運行Windows 7的AMD Athlon X2 245e 2.9GHz雙核處理器以及一個匹配的AMD Radeon HD 6750圖形處理器。
"這種40英寸屏幕將由三星的LCD部門以7600美元的價格向全球市場發(fā)售。"微軟公司的Carpenter透露。
微軟的Xbox Kinect以PrimeSense參考設(shè)計為基礎(chǔ),使用兩個CMOS成像器(一個用于紅外光,一個用于可見光)檢測3D深度,因此系統(tǒng)能夠輕松辨別房間內(nèi)的游戲玩家和背景物體。
轉(zhuǎn)載請注明來源:賽斯維傳感器網(wǎng)(tcmtest.cn)