計算技術的進步已經推動了巨大的開發努力以在諸如模擬、游戲和娛樂應用等各種計算應用中部署沉浸式環境。例如，各種在線游戲平臺已經將虛擬現實(vr)環境、增強現實(ar)環境和/或混合現實(mr)環境集成到游戲玩法中。部署這樣的沉浸式環境使得用戶能夠查看和感知計算機生成的三維(3d)對象，就好像這些對象實際存在于用戶感知的環境內一樣。已經開發出諸如vr和/或ar頭戴式耳機等各種頭戴式顯示(hmd)設備以部署沉浸式環境。這樣的hmd設備通常向用戶提供包括計算機生成的3d對象的視場(fov)的顯示。也就是說，hmd設備提供沉浸式環境的顯示。然而，為了增強用戶在沉浸式環境內的體驗，支持與經由hmd...

例如，用戶可以選擇、控制、編輯、旋轉、平移、移動、重新定位或以其他方式操縱vo。例如，可以基于交互數據來更新vo的旋轉取向或位置。在一些實施例中，可以更新和/或修改fov以改變背景或fov中包括的一個或多個vo的顏色、對比度或亮度。在各種實施例中，可以在框710更新fov的視點(例如，查看器的視角的位置)。在一些實施例中，可以將fov更新為包括新vo的生成、和/或fov中已經包括的vo的加倍和/或再現。在至少一個實施例中，交互數據對3dvo的平面切片或層的選擇進行編碼。在框708或框710，可以將vo的平面切片與is設備的觸敏表面相關。例如，所選擇的平面切片可以被“釘扎”到觸敏表面。響...

在復合干擾類型環境下的目標**，本發明除了對現有方法較易處理的靜雜波有較好的結果之外，對于密集的動雜波也有很好的處理效果。相對霍夫變換和粒子濾波方法，本發明對于密集動雜波干擾下的圖像序列中的目標**的快速性方面得到極大的提升。相對于動態規劃方法在目標擴展問題和航跡中斷情況下展現的不足之處，本發明也有很好的解決效果，實現了在復合干擾情況下對目標運動軌跡的快速、準確、連續性檢測。附圖說明圖1為子空間投影tbd流程圖，圖2為運動目標軌跡的子空間投影。具體實施方式下面結合具體實施例對本發明做進一步的分析。本實驗將一組聲納圖像序列作為**檢測輸入。如圖1所示，在基于子空間投影的復雜場景運動小目標...

例is設備210的用戶可以控制和/或操縱經由多個hmd設備同時示出給多個用戶的一個或多個vo。圖2b是根據本公開的一些實施例的用戶選擇虛擬對象的層(即，平面切片)以與交互感測設備的觸敏表面相關的示例性實施例的示意圖。更具體地，圖2示出了fov260(經由hmd設備提供)。fov260可以包括分層對象的多個層264的“平坦”或3d表示268。例如，表示268可以是分層文檔中包括的各個層的表示，諸如但不限于演示幻燈片。在圖2b所示的非限制性實施例中，經由在fov260內投影和/或顯示的多個層264的“平坦”呈現來示出演示幻燈片的層1-5中的每一個。每個層包括一個或多個2d和/或3dvo。層...

更具體地，觸摸手勢傳感器120可以感測和/或檢測與觸敏設備相關聯的2d觸摸手勢。也就是說，觸摸手勢傳感器120可以感測和/或檢測手部、指尖、多指尖和觸筆手勢，諸如但不限于“捏”、“拉”、“按下并保持”、“單指敲擊”、“兩指敲擊”、“單擊”、“雙擊”、“向左滑動”、“向右滑動”、壓力變化(例如，3d觸摸)手勢等。在各種實施例中，觸摸手勢傳感器120可以是電容性感測傳感器。因此，觸敏表面112可以是2d電容性感測表面。在一些實施例中，is設備110可以是懸停感測(hs)設備。在至少一個實施例中，is設備110可以是觸摸和懸停(tah)設備。在這樣的實施例中，觸敏表面112可以附加地是hs設...

例如，對于hs設備的平面活動表面，可以采用笛卡爾坐標系。笛卡爾坐標系的x-y平面可以與hs設備的平面活動表面基本共面(并且笛卡爾坐標系的z軸可以基本正交于hs設備的平面活動表面)。更具體地，嵌入hs設備的平面活動表面中和/或與hs設備的平面活動表面集成的電容性接近傳感器檢測接近活動表面而懸停和/或運動的用戶指尖。響應于該檢測，只要指尖的z坐標小于與活動表面相關聯的接近傳感器的接近距離閾值，hs設備就生成交互數據，該交互數據對用戶的指尖中的一個或多個指尖(相對于活動表面)的x坐標、y坐標和z坐標編碼。取決于嵌入在hs設備中的具體接近傳感器，接近傳感器在每個維度上的分辨率可以相似或可以不同...

可以基于交互數據來自動地(由is設備和/或hmd設備)確定物理對象的形狀，諸如凸起或另一分立的物理對象的形狀，該交互數據響應于沿著物理對象的一個或多個表面檢測到的用戶肢端的運動而被生成。hmd設備可以基于所確定的形狀來更新fov。例如，可以在fov內生成描繪形狀的2d或3d可視化的全息圖或其他vo。在一些實施例中，hmd設備可以基于對用戶肢端沿著物理對象的一個或多個表面的所檢測到的運動進行編碼的交互數據來更新fov中包括的vo的旋轉取向，該物理對象諸如但不限于覆蓋物的凸起或另一單獨的物理對象。is設備可以包括被配置為檢測用戶交互的至少一部分的多個相機設備。交互數據可以對vo的平面切...

在這樣的實施例中，手部被支撐，并且用戶肌肉用于以非常準確且非視覺的方式感測距is的距離。在至少一個實施例中，is設備上的手指與懸停的手指之間的距離可以限定對象的豎直尺度。第二手指(諸如拇指)的位置可以改變觸摸手勢的含義(例如，從拖動到選擇)。盡管圖2a示出了與hmd設備配對的單個is設備210，但是應當理解，多個is設備可以與mhd設備配對。例如，至少兩個is設備可以與hmd設備配對，用戶的每只手一個。因此，用戶可以將每個is設備設置在諸如桌子的穩定表面上，并且可以經由多個手部手勢來控制多個vo，其中每只手懸停在相應is設備之上。另外，一個或多個is設備可以耦合到hmd設備，其中一個或...

所生成的交互數據可以對由用戶執行的2d和/或3d手部、指尖或多指尖手勢編碼。在一些實施例中，is設備可以對由用戶執行的觸筆或觸筆尖的手勢編碼。在各種實施例中，is設備包括一個或多個有線和/或無線數據收發器，以經由通信會話向另一設備提供所生成的交互數據的至少一部分。這樣的無線數據收發器包括但不限于一個或多個通信無線電。在一些實施例中，is設備可以包括觸覺(haptic)反饋接口，類似于諸如平板計算機和智能電話等移動設備中經常包括的觸覺反饋接口。計算技術的開發努力已經使“懸停”感測(hs)設備成為可能。這樣的hs設備通常檢測用戶的手部、手指和指尖(即，肢端(extremity))的“懸停手...

也就是說，用戶可以通過壓敏設備經由壓力變化手勢(例如，3d觸摸)來提供3d手勢。例如，可以經由壓力變化手勢和壓敏設備來類似地提供經由hs而提供的3d信息。在一些實施例中，is設備可以包括觸敏、壓敏設備、懸停敏感設備的任何組合。也就是說，is設備中包括的觸敏設備也可以是壓敏的和/或懸停敏感的。因此，is設備可以檢測3d的類似觸摸、壓力和/或懸停的手勢。在本文中的其他的一些實施例中，可以通過采用一個或多個光子檢測器(例如，相機)**懸停在2d觸敏表面之上的指尖的運動，經由諸如is設備的一個或多個設備來檢測3d手勢。例如，可以采用光子檢測器的矩陣以通過檢測從用戶指尖反射的光子來檢測手勢。類似...

在各種實施例中，操作還包括由tah設備確定耦合到其的凸起的形狀。形狀的確定是基于對沿著凸起的一個或多個表面檢測到的用戶肢端的3d運動的至少一部分進行編碼的所生成的交互數據的一部分。hmd設備可以被配置為基于凸起的所確定的形狀來更新fov。在本文中描述的又一實施例中，提供了一種用于使能沉浸式環境中與vo的用戶交互的系統。該系統包括物理覆蓋物。該物理覆蓋物呈現三維(3d)凸起。物理覆蓋物可耦合到交互感測(is)設備。3d凸起從is設備的二維(2d)交互感測表面被移位。例如，2d交互感測表面可以是通常在諸如但不限于智能電話和平板計算機的移動設備中采用的觸摸或電容性感測表面。物理覆蓋物耦合...

由于觸敏顯示設備在移動設備(例如，智能電話、平板計算機、智能手表等)中的集成，用戶已經熟悉了經由直觀的指尖手勢的在移動應用內的用戶交互。這樣的指尖手勢可以包括多點觸摸(或多指尖)手勢，諸如但不限于“捏”、“拉”、“按下并保持”、“單指敲擊”、“兩指敲擊”、“單擊”、“雙擊”、“向左滑動”、“向右滑動”、壓力變化(例如，3d觸摸)手勢等。多點觸摸手勢甚至可以支持與計算應用的多個組件的同時交互。例如，用戶可以經由多指尖觸摸同時選擇智能電話上的多個圖標，以分離觸敏顯示設備的部分。這種高度采用的直觀用戶交互可能難以經由通過嵌入在hmd設備中的運動傳感器而檢測到的通過自由空間的手部手勢來實現。例...

至少兩個is設備(用戶的每只手一個)可以耦合到hmd設備140。在其他的一些實施例中，一個或多個is設備可以耦合到hmd設備140，其中所耦合的一個或多個is設備的一個或多個用戶未佩戴hmd設備140。也就是說，is設備110的用戶可以與佩戴hmd設備140的用戶不是同一用戶。類似地，is設備110可以耦合到多于一個的hmd設備。也就是說，單個is設備可以與多個hmd設備耦合和/或配對。 is設備110可以包括2d觸敏表面112。觸敏表面112可以包括觸敏設備，諸如但不限于類似于在諸如智能電話和平板計算機的計算設備中經常使用的觸敏顯示設備。然而，觸敏表面112不必是顯示設備。如圖1所示，觸敏表...

hmd設備可以是arhmd設備、vrhmd設備、mrhmd設備等。在框704，is設備檢測一個或多個用戶手勢。例如，is設備可以檢測2d和/或3d手勢，諸如懸停手勢、自由空間手勢、指尖手勢、多指尖手勢、觸摸手勢等。在框706，并且響應于所檢測到的用戶手勢，is設備生成對用戶手勢編碼的交互數據。在框708，在hmd設備處或由hmd設備接收交互數據的至少一部分。在一些實施例中，交互數據經由通信會話而直接從另一is設備被接收。也就是說，is設備經由通信會話向hmd設備提供和/或傳送交互數據。在其他的一些實施例中，交互數據是經由通信地位于is設備和hmd設備中間的另一計算設備接收的。在框710...

在這樣的實施例中，手部被支撐，并且用戶肌肉用于以非常準確且非視覺的方式感測距is的距離。在至少一個實施例中，is設備上的手指與懸停的手指之間的距離可以限定對象的豎直尺度。第二手指(諸如拇指)的位置可以改變觸摸手勢的含義(例如，從拖動到選擇)。盡管圖2a示出了與hmd設備配對的單個is設備210，但是應當理解，多個is設備可以與mhd設備配對。例如，至少兩個is設備可以與hmd設備配對，用戶的每只手一個。因此，用戶可以將每個is設備設置在諸如桌子的穩定表面上，并且可以經由多個手部手勢來控制多個vo，其中每只手懸停在相應is設備之上。另外，一個或多個is設備可以耦合到hmd設備，其中一個或...

此外，將手指懸停或舉到is表面上方將在3d表面法線的方向上將對應的3d點遠離對象移動。is設備中包括的觸覺反饋接口可以用于根據在fov內發生的事件來向用戶提供觸覺反饋。因此，覆蓋物的形狀和/或凸起、以及is設備的觸覺反饋接口在與vo交互時提供用戶觸感和/或觸覺反饋。當覆蓋物未與is設備耦合時，用戶可以另外經由is設備的觸敏設備上的2d指尖和多指尖手勢與vo交互。因此，用戶可以經由is設備的觸敏表面而被提供觸感反饋。此外，如通篇所討論的，鑒于is設備的懸停感測和觸摸感測活動表面的空間分辨率的提高，經由各種is設備而檢測到的懸停手勢可以支持與vo的更精確和準確的用戶交互。另外，is的表面(...

此外，將手指懸停或舉到is表面上方將在3d表面法線的方向上將對應的3d點遠離對象移動。is設備中包括的觸覺反饋接口可以用于根據在fov內發生的事件來向用戶提供觸覺反饋。因此，覆蓋物的形狀和/或凸起、以及is設備的觸覺反饋接口在與vo交互時提供用戶觸感和/或觸覺反饋。當覆蓋物未與is設備耦合時，用戶可以另外經由is設備的觸敏設備上的2d指尖和多指尖手勢與vo交互。因此，用戶可以經由is設備的觸敏表面而被提供觸感反饋。此外，如通篇所討論的，鑒于is設備的懸停感測和觸摸感測活動表面的空間分辨率的提高，經由各種is設備而檢測到的懸停手勢可以支持與vo的更精確和準確的用戶交互。另外，is的表面(...

如此，hs設備可以用于檢測和編碼各種用戶交互，諸如但不限于與觸敏位移設備相關聯的任何2d手勢的3d版本，諸如但不限于3d版本的“捏”、“拉”、“按下并保持”、“單指敲擊”、“兩指敲擊”、“單擊”、“雙擊”、“向左滑動”、“向右滑動”、壓力變化(例如，3d觸摸)手勢等。此外，hs設備可以用于檢測和編碼手寫式筆記、草圖、繪圖以及經由用戶指尖和/或由用戶的手持握并引導的觸筆發起的其他用戶交互。hs設備的懸停感測能力可以與諸如但不限于觸摸敏感顯示設備等觸敏設備集成，以生成觸摸和懸停(tah)設備。觸敏設備檢測和編碼用戶的肢端的2d觸摸、以及用戶的肢端的3d懸停手勢。也就是說，活動表面與觸敏顯示...

例如，覆蓋物可以包括一個或多個觸覺反饋接口。與較軟的表面相關聯的觸覺反饋接口可以與較硬的表面的觸覺反饋接口單獨地被***和/或操作。盡管在圖3b中未示出，但是覆蓋物320可以包括機械(例如，可移動部件)和/或凸起。覆蓋物320可以包括一個或多個活動部件，諸如但不限于開關、撥盤、杠桿、按鈕、操縱桿、軌跡球、可點擊的設備等。與這樣的活動設備的用戶交互可以使得用于控制和/或操縱一個或多個vo(諸如圖3b的vo36)的信號能夠生成。盡管圖3b示出了耦合到is設備310的單個覆蓋物320，但是應當注意，多個覆蓋物可以耦合到is設備310。例如，***耦合覆蓋物可以覆蓋is設備的活動表面312的*...

在各種實施例中，操作還包括由tah設備確定耦合到其的凸起的形狀。形狀的確定是基于對沿著凸起的一個或多個表面檢測到的用戶肢端的3d運動的至少一部分進行編碼的所生成的交互數據的一部分。hmd設備可以被配置為基于凸起的所確定的形狀來更新fov。在本文中描述的又一實施例中，提供了一種用于使能沉浸式環境中與vo的用戶交互的系統。該系統包括物理覆蓋物。該物理覆蓋物呈現三維(3d)凸起。物理覆蓋物可耦合到交互感測(is)設備。3d凸起從is設備的二維(2d)交互感測表面被移位。例如，2d交互感測表面可以是通常在諸如但不限于智能電話和平板計算機的移動設備中采用的觸摸或電容性感測表面。物理覆蓋物耦合...

也就是說，多個覆蓋物中的每一個可以包括不同形狀的凸起。圖4a是示出根據本公開的一些實施例的用戶采用is設備410和另一機械耦合的覆蓋物420來更新vo460的位置的示例性實施例的示意圖。與圖3a-圖3b的覆蓋物320的半球形凸臺形狀的凸起322相比，圖4a的覆蓋物420包括平行六面體形狀的凸起422。類似于凸起322，凸起422的移位表面在is設備410的實際表面的接近距離閾值內。因此，當指尖接觸包括凸起422的移位表面的覆蓋物420的表面時，is設備410可以檢測懸停手勢。圖4a示出了用戶經由用戶的手部402的指尖404與凸起422的移位表面物理接觸并且在凸起422的移位表面之上滑動...

例如，對于hs設備的平面活動表面，可以采用笛卡爾坐標系。笛卡爾坐標系的x-y平面可以與hs設備的平面活動表面基本共面(并且笛卡爾坐標系的z軸可以基本正交于hs設備的平面活動表面)。更具體地，嵌入hs設備的平面活動表面中和/或與hs設備的平面活動表面集成的電容性接近傳感器檢測接近活動表面而懸停和/或運動的用戶指尖。響應于該檢測，只要指尖的z坐標小于與活動表面相關聯的接近傳感器的接近距離閾值，hs設備就生成交互數據，該交互數據對用戶的指尖中的一個或多個指尖(相對于活動表面)的x坐標、y坐標和z坐標編碼。取決于嵌入在hs設備中的具體接近傳感器，接近傳感器在每個維度上的分辨率可以相似或可以不同...

在這樣的實施例中，手部被支撐，并且用戶肌肉用于以非常準確且非視覺的方式感測距is的距離。在至少一個實施例中，is設備上的手指與懸停的手指之間的距離可以限定對象的豎直尺度。第二手指(諸如拇指)的位置可以改變觸摸手勢的含義(例如，從拖動到選擇)。盡管圖2a示出了與hmd設備配對的單個is設備210，但是應當理解，多個is設備可以與mhd設備配對。例如，至少兩個is設備可以與hmd設備配對，用戶的每只手一個。因此，用戶可以將每個is設備設置在諸如桌子的穩定表面上，并且可以經由多個手部手勢來控制多個vo，其中每只手懸停在相應is設備之上。另外，一個或多個is設備可以耦合到hmd設備，其中一個或...

更具體地，觸摸手勢傳感器120可以感測和/或檢測與觸敏設備相關聯的2d觸摸手勢。也就是說，觸摸手勢傳感器120可以感測和/或檢測手部、指尖、多指尖和觸筆手勢，諸如但不限于“捏”、“拉”、“按下并保持”、“單指敲擊”、“兩指敲擊”、“單擊”、“雙擊”、“向左滑動”、“向右滑動”、壓力變化(例如，3d觸摸)手勢等。在各種實施例中，觸摸手勢傳感器120可以是電容性感測傳感器。因此，觸敏表面112可以是2d電容性感測表面。在一些實施例中，is設備110可以是懸停感測(hs)設備。在至少一個實施例中，is設備110可以是觸摸和懸停(tah)設備。在這樣的實施例中，觸敏表面112可以附加地是hs設...

圖8是示出根據本公開的一些實施例的用于使能與虛擬對象的用戶交互的方法的另一示例性實施例的流程圖；圖9是根據本公開的一些實施例的示例性頭戴式顯示設備的框圖；以及圖10是適合于在實現本公開的實施例中使用的示例性計算環境的框圖。具體實施方式如本文中使用的，術語“虛擬對象”(vo)可以指代任何計算機生成的對象或(物理或非物理)對象的任何計算機生成的可視化。這樣的計算機生成的對象(或其計算機生成的可視化)可以是一維(1d)對象、二維(2d)或三維(3d)對象(或其可視化)。如本文中使用的，術語“沉浸式環境”(ie)可以是指包括一個或多個vo的顯示的任何物理(即，“真實”)環境、任何非物理(即...

更具體地，房間600內的相機系統610可以包括**、感測或檢測用戶的手部602的自由空間手勢的一個或多個相機設備。例如，相機系統610可以是視頻游戲控制臺和/或娛樂系統的組件。相機系統610可以生成對用戶的手部602和/或指尖的自由空間手勢編碼的交互數據。相機系統610可以經由通信會話而通信地耦合到hmd設備690。hmd設備690可以是ar和/或mr使能的hmd設備，諸如結合圖1的hmd設備140和/或圖9的hmd設備902所討論的那些。響應于所接收的交互數據，hmd設備610更新和/或修改所顯示的fov。例如，hmd設備610可以生成fov內的vo(例如，矩形對象660)。鑒于圖1...

在其他的又一些實施例中，用戶可以將凸起322的半球形表面用作用于與vo360交互的“軌跡球”狀的控制元素。因此，當與vo360交互時，用戶經由與凸起322的表面物理接觸的指尖304的物理感覺來體驗觸感反饋。在各種實施例中，覆蓋物的表面的至少一部分可以由較軟的材料來構造，較軟的材料諸如柔韌或可延展的材料，用戶可以經由來自那里的觸摸而至少略微變形。例如，凸起322的上部部分可以由這種較軟的材料構造，同時下部部分由較硬或較不柔韌的材料構造，例如，上部部分可以被覆蓋有油灰或軟橡膠型材料。材料硬度的對比度可以提供附加的觸感反饋、摩擦力變化，或者以其他方式約束手指的移動。約束可以經由硬和/或軟材料...

以包括與本文檔中描述的步驟不同的步驟或步驟的組合。此外，盡管本文中可以使用術語“步驟”和/或“框”來表示所采用的方法的不同元素，但是除非并且當明確地描述了各個步驟時，否則這些術語不應當被解釋為暗示本文中公開的各個步驟之中或之間的任何特定順序。為了本公開的目的，單詞“包含”具有與單詞“包括”相同的廣義含義，并且單詞“訪問”包括“接收”、“引用”或“取回”。除非另外相反指出，否則諸如“一”和“一個”等單詞包括復數形式和單數形式。因此，例如，在存在一個或多個特征的情況下，“特征”的約束被滿足。同樣，術語“或”包括連詞、連接詞和兩者(因此，a或b包括a或b、以及a和b)。為了上面的詳細討論...

hmd設備可以被配置為基于從is設備所接收的所生成的交互數據的至少一部分來更新顯示虛擬化對象的視場(fov)。在一些實施例中，is設備可以是觸摸和懸停(tah)設備。tah設備被配置為還響應于在2d交互感測表面的一部分之上檢測到的用戶肢端懸停手勢而生成交互數據。物理覆蓋物包括多個電容性耦合器，當物理覆蓋物被耦合到is設備時，該多個電容性耦合器可電容性地耦合到2d交互感測表面的部分。is設備和/或hmd設備中的至少一個被配置為生成物理覆蓋物的部分與2d交互感測表面的部分之間的一對一映射。hmd設備還被配置為基于所接收的交互數據和所生成的一對一映射來更新虛擬化對象的3d方面。本文中具體...

示出根據本公開的一些實施例的用于使能與虛擬對象的用戶交互的方法800的另一示例性實施例的流程圖。初始地，在框802，將覆蓋物機械地耦合到is設備。如至少結合圖7的方法700所討論的，is設備可以通信地耦合到hmd設備。覆蓋物的一個或多個表面(例如，3d凸起的表面)可以從is設備的懸停感測活動表面移位。is設備可以響應于檢測到用戶觸摸一個或多個移位表面(例如，凸起)而生成交互數據。在框804，可以由is設備或hmd設備中的至少一個自動確定與覆蓋物相關聯的標識符。例如，標識符可以經由rfid標簽、光學可掃描碼、對象識別特征等被自動確定。在至少一個實施例中，標識符基于由用戶在覆蓋物的一個或多個凸起之...