CN101743567A - 虚拟互动式出席系统及方法 - Google Patents

虚拟互动式出席系统及方法 Download PDF

Info

Publication number
CN101743567A
CN101743567A CN200880024323A CN200880024323A CN101743567A CN 101743567 A CN101743567 A CN 101743567A CN 200880024323 A CN200880024323 A CN 200880024323A CN 200880024323 A CN200880024323 A CN 200880024323A CN 101743567 A CN101743567 A CN 101743567A
Authority
CN
China
Prior art keywords
local
interest
user
target
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880024323A
Other languages
English (en)
Inventor
B·格思里
P·C·舒姆
M·W·迪拉沃
D·罗斯
A·M·希恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UAB Research Foundation
Original Assignee
UAB Research Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UAB Research Foundation filed Critical UAB Research Foundation
Publication of CN101743567A publication Critical patent/CN101743567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Abstract

这里提供了用于虚拟互动式出席的方法和系统。

Description

虚拟互动式出席系统及方法
联邦政府扶持条款
本发明在能源部提供的授权/合同号为H30912、H34612、H35662的政府基金下开发。政府在本发明上拥有某些权利。
相关专利申请的交叉参引
本申请要求2007年5月18日递交的第60/930,874号美国临时申请的优先权，该申请以引证方式整体纳入本说明书。
技术领域
所公开的是用于借助于显示系统(VIP显示器)建立虚拟互动式出席(VIP，virtual interactive presence)的系统和方法，所述显示系统如立体显示系统。本公开方法和系统可以使用虚拟现实。
发明内容
另外的有益效果将在以下说明书的各部分中阐明，或在实践中知悉。所述有益效果可以通过在所附的发明构思中特别指出的要素及其结合的方式认识到或获得。应理解的是，无论是以上的大体描述还是以下的详细描述都仅是示例性和说明性的，并不应被视为限制性的。
附图说明
被纳入并构成本说明书一部分的附图，阐述了实施方案，并与文字描述一起，用于解释所提供的方法和系统的原理，附图中：
图1图解了虚拟互动式出席。
图2图解了虚拟互动式出席。
图3图解了协助远程用户的本地专家；
图4图解了示例性虚拟出席系统；
图5图解了在图形服务器中执行的示例性过程；
图6图解了在网络服务器中执行的示例性过程；
图7图解了示例性VIP显示器的侧视图；
图8图解了示例性VIP显示器的用户视图；
图9图解了示例性VIP显示器的用户视图；
图10图解了示例性方法；
图11图解了另一示例性方法；
图12图解了远程手术环境中的虚拟出席；
图13图解了医学图像与操作区域(field)的合并；以及
图14图解了示例性操作环境。
具体实施方式
在公开和描述本发明的方法和系统之前，应理解的是，本方法和系统并不限于具体的合成方法、具体的部分，或特定的结构，上述要素显然均可以更改。也应理解的是，本说明书中使用的术语仅用于描述特定的实施方案的目的，并不意在起限制作用。
如说明书中以及所附发明构思中使用的，除非上下文清晰地另有指示，否则单数形式的“一个”或“这个”也包括复数对象。
本说明书中的范围可能表达为从“约”一个特定值，和/或至“约”另一特定值。当这样表达范围时，又一实施方案包括从该一个特定值和/或至另一特定值。类似地，当通过使用在前的“约”，将数值表达为近似值时，应理解的是，该特定数值形成了又一实施方案。还应理解的是，每一范围的端点无论是相关于另一端点还是独立于另一端点而言，均是有意义的。
“可选择的”或“可选择地”意指随后描述的事件或环境可发生或不发生，且本描述包括所述事件或环境发生的情形和不发生的情形。
贯穿于本申请文件的说明书和权利要求部分，单词“包括”以及该单词的各种变体诸如“包括着”意指“包含但不限于”，且并不意在排除例如其他的添加物、部分、整体或步骤。“示例性”意指“关于......的一个例子”，且并不意在表示其指示了优选或理想实施方案。
所公开的是可以用于执行所公开的方法和系统的部分。在说明书中公开了这些和其他部分，应理解的是，当这些部分的联合、子集、互动、组等被公开时——虽然各个体及集中的组合中的每一个的具体对象以及置换可能未被明确地公开，但在本说明书中，这些部分的联合、子集、互动、组等对于所有的方法和系统而言都是被具体地预期到了和加以描述了。这适用于本申请的所有方面，包括但不限于所公开的方法中的那些步骤。因此，如果有各种可以执行的附加的步骤，应理解的是，这些附加步骤中的每一步可以在本公开方法中的每一具体实施方案或实施方案的联合中执行。
通过参考下述优选实施方案及其包括的实施例的详细说明，以及附图及其前文和后文的描述，可以更容易地理解本方法和系统。
所公开的是用于借助显示系统(VIP显示器)建立虚拟互动式出席(VIP)的系统和方法，所述显示系统如立体显示系统。本公开方法和系统可以使用虚拟现实。虚拟现实(VR)是指提供人-机接口，使计算机及其设备产生由个人行为动态控制的感官环境以使该环境对用户而言显得“真实”的、基于计算机的应用。通过VR，在计算机系统和用户之间具有交流。计算机产生了供用户体验的感官环境，其一方面可以是多感官的(虽然这并不是必需的)，并且计算机响应用户输入产生现实感。
在一个示例性方面，所公开的系统可以使用至少两种类型的VR：沉浸式和非沉浸式的。沉浸式VR产生一种用户实际处于不同环境的假象。在一个方面，系统通过使用诸如头戴式显示器(HMD)、耳机，以及诸如手套和游戏杆之类的输入设备来实现这一点。在另一方面，为了加强体验的真实性，使用多个自由度(DOF)，这是软件可以模拟的。通常，DOF越多，体验的真实性越强。示例性的DOF包括但不限于：X，Y，Z，滚动、俯仰、偏转。
非沉浸式VR产生与用户的周围环境可区分的环境。它不会给予用户一种被传送至另一世界的假象。非沉浸式VR的工作方式为通过使用立体投影系统、计算机监控器和/或立体声扬声器，产生三维图像和环绕声。非沉浸式VR可以在个人电脑上运行，无需附加的硬件。
在一个方面，沉浸式VR中的运动可以由一个系统，通过使用被称作追踪器的光学、声学、磁学或机械硬件来实现。优选地，输入设备具有尽可能多的这些追踪器，以使运动可以被更精确地表示。例如，虚拟手套对每一食指可以具有多达3个的追踪器，对手掌和手腕可以具有更多的追踪器，以使用户可以抓取和按压目标。一方面，追踪器可以装备有方位传感器，其告诉计算机输入所面对的方向，和输入设备在所有的方向如何倾斜。这给予了传感器六个自由度。
输出设备将用户带入虚拟世界。可以用于本系统的输出设备的一个实施例包括但不限于眼镜或护目镜形式的头戴式显示器(HMD)，该HMD允许用户将显示系统戴在他们的头上。HMD的一种方式是使用宽度足够覆盖双眼的单个的液晶显示器(LCD)。HMD的另一种方式是使用两个分立的显示器——每眼一个。这将消耗一些更多的计算机功率，因为所显示的图像是不同的。每一显示器具有从环境中的正确角度呈现的分立图像。眼部追踪器可以与HMD结合。这例如可以允许外科医生将其眼睛移向他们希望加强的图像部分。
可以用于本系统的实施方案中的输出设备的另一实施例是百叶窗眼镜(shuttered glass)。该设备每隔一帧更新一个到达每一眼睛的图像，同时关闭另一眼睛上的百叶窗。百叶窗眼镜需要非常高的帧率，以保持图像不闪烁。这一设备被用于立体监控器，并提供了二维目标的精确的三维表现，但并不将用户沉浸入虚拟世界中。
用于本系统的实施方案中的另一输出设备是带有多个投影器的屏幕。该屏幕既可以是平面的也可以是弯曲的。在同一屏幕使用多个投影器的挑战是，在投影之间可能有可见边缘。这可以使用柔化边缘系统补救，在该系统中，投影在边缘变得越来越透明，且多个投影相重叠。这在图像之间产生了近乎完美的过渡。为了实现所需的三维效果，可以使用百叶窗眼镜。可以使用在完全不透明和完全透明之间交替的特殊的眼镜。当左眼不透明时，右眼是透明的。这同步于将对应的图像投射到屏幕上的投影器。
在另一方面，洞穴式自动虚拟环境(Cave Automatic VirtualEnvironment)(CAVE)也可以用于本系统。CAVE可以在立方形房间内使用镜面，以将立体图像投射至墙壁上，提供了你站在虚拟世界中的假象。使用追踪器，该世界被不断地更新，且允许用户几乎完全不受限制地四处运动。
所公开的是用于建立虚拟互动式出席的方法和系统。这样的方法和系统可以使很多元素/参与者以如下方式虚拟地出现在关注区域：以用户可以出于任何特定目的而参与互动的方式，所述目的如，传递远程报告。关注区域可以依据观察点的不同而包括不同量的“真实”和“虚拟”要素。所公开的方法和系统的各种部分在图1中示出。
共同关注区域101是要素在其中要么以实体方式要么以虚拟方式出现的区域。真实点(观察点)是指体验共同关注区域的要素/参与者的有利位置。在图1中，示例性的真实点或观察点在102和103示出。这些代表VIP显示器。共同关注区域从两个有利位置或观察点来讲显示为相似，但是每一个包括本地(实体)和远程(虚拟)要素/参与者的不同联合。
本地要素是实体地出现在共同关注区域的要素和/或参与者。在图1中，要素A105对于区域A104而言是本地要素，并实体地出现在区域A104中。要素B107对于区域B106而言是本地要素，并实体地出现在区域B106中。
远程要素是未实体出现在共同关注区域中的要素和/或参与者。它们被体验为来自任何其他的本地有利位置点的“虚拟出席”。如图1所示，要素B107对区域A104而言是远程要素，并虚拟地出现在区域A104中。要素A105对区域B106而言是远程要素，并虚拟地出现在区域B106中。
用于通过联合本地和远程要素和/或参与者来获取虚拟互动式出席的方法可以包括下述一个或多个步骤。可以以一种反映了区域、要素和/或参与者的实体出席的方式来呈现共同本地区域。如图2所示，参与者A可以通过观察器体验区域A中的真实要素。共同本地区域可以被呈现为使其可以以如下方式被远程地体验：以使远程参与者能够类似于本地人员地体验该共同本地区域的方式。如图2所示，这被图示为：参与者A将要素B体验为虚拟地出现在区域A中。
远程人员可以将其自身插入呈现给他们的虚拟区域和/或与虚拟区域互动。例如，参与者A可以向区域A插入手、工具等，并与虚拟要素B互动。观察者B可以观察到对此事件的“虚拟答礼”——在观察者B的真实要素与参与者A的虚拟要素互动时。
共同本地区域可以持续地更新，以使得远程参与者可以被实时呈现。例如，远程场景可以是可获得的最近更新，其中远程捕获和本地呈现之间的时延保持在尽可能小。相反地，如果需要引入时间差，该时间差也可以被实现。
共同本地区域的尺寸和深度可以被缩放以有意义地匹配于本地场景。且共同本地区域可以是可配置的，以使远程要素更透明或更不透明、被整体移除，或被改变以适合本地用户的需要。
本地参与者可以以一种能够实现共同本地区域的持续互动的方式体验虚拟出席的参与者。图3图解了协助一远程用户的本地专家。本地专家301的手稍微透明并被重叠至远程用户观察的区域。远程用户可以观察到本地专家的手、该远程用户的手，以及位于远程用户位置的魔方。本地专家协助远程用户组装该魔方。
图4图解了示例性虚拟出席系统。一个这样的系统可以被每一个要参与同一会话的远程参与者使用。每一系统可以通过网络连接相互通信。例如，远程站点可以经由互联网相连接。任务可以在每个系统中的多个计算机之间分配。例如，一个计算机(图形服务器)可以从本地相机和网络服务器收集图像，执行立体图像合成任务，并驱动本地立体显示系统。
图5图解了可以用图形服务器执行的示例性过程。图像可以被收集至本地数据结构(框架环(frame ring))中。本地图像可以从多个相机——例如两个相机——收集。经由例如高速远程直接内存访问(RDMA)连接，网络服务器可以提供远程图像。这些图像可以被联合以使远程用户和本地用户在同一场景中可视(如在图3中)。这一合成结果可以被传输至本地立体显示系统。第二计算机可以担当网络服务器，该网络服务器例如可以执行网络编码/解码任务以及深度图生成。
图6图解了可以用网络服务器执行的示例性过程。经由RDMA连接从图形服务器中收集的本地图像被分析并被映射带有深度信息、被编码以便进行有效的网络传输，并被传送至外部网络连接，以被远程站点的相应网络服务器接收。同步地，所编码的图像和深度图可以从远程站点接收，解码，并经由该RDMA连接提供给本地图形服务器。
该系统可以通过连接至网络服务器的控制终端被用户控制；接着用户可以通过到网络服务器的专用的网络连接访问并控制图形服务器。
虚拟互动式出席的参数可以依据所用的系统而被配置。可配置的参数包括但不限于：虚拟要素的尺寸、虚拟要素的出席(不透明、半透明等)、虚拟出席的时间(时间可以配置为被迟延、减慢、增加等)、使虚拟和真实的任何联合可以相互重叠和/或相互“配合”的要素重叠等。
图7图解了示例性VIP显示器的侧视图。图8图解了示例性VIP显示器的用户视图。图9图解了示例性VIP显示器的用户视图。
如这里使用的，“本地”关注区域可以指本地实体区域和本地用户，因此使得每一其他区域成为远程。每一区域可以对于其本地用户是本地的，但对于其他用户是远程的。区域的合成可以是共同关注区域。这与普通“虚拟世界”的区别在于，在共同关注区域的本地呈现中具有“真实”的部分，以及互动可以在一些实体目标的实际视频(及其他)呈现之间实现，而并不仅是在代表用户和目标的图形化身之间实现。所提供的方法和系统使得虚拟的互动式出席可以通过真实和虚拟的相互作用，来修改/优化实体域。
在图10中图解的一个方面中，提供了用于虚拟互动式出席的方法，该方法包括：在1001中，呈现反映了远程用户和本地用户的实体出席的共同关注区域，在1002中，呈现共同关注区域中远程用户和本地用户之间的互动，在1003中，持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用户。
共同关注区域可以被呈现为，使远程用户类似于本地用户地体验该共同本地区域。本地用户可以以一种能够在共同本地区域中实现与远程用户持续互动的方式体验远程用户的实体出席。本方法还可以包括呈现共同区域中的本地目标的实体出席，并呈现共同区域中的本地用户和本地目标的互动。本方法还可以包括呈现共同关注区域中的本地目标的实体出席，并呈现共同关注区域中的远程用户和本地目标之间的互动。
在图11中图解的另一方面中，提供了用于虚拟的互动式出席的方法，该方法包括：在1101中，呈现反映了本地目标的实体出席、本地目标的体积图像以及本地用户的本地关注区域，在1102中，呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动，以及在1103中，持续地更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时地呈现至本地用户处。
本地目标例如可以是病人，且本地目标的体积图像例如可以是病人的一部分的医学图像。但是，本地目标可以是任何所关注的目标，且本地目标的图像可以是该目标的任何精确的呈现。例如，可以是汽车发动机，以及该发动机的三维图形，等。
所述医学图像例如可以是X光图像、核磁共振出席(MRI)图像或CT图像之一。本方法还可以包括通过本地用户将体积图像重叠至本地目标。该重叠可以由计算机自动进行。
本方法还可以包括通过本地用户调整体积图像的性质。所述性质可以是透明度、空间位置和缩放比中的一项或几项。
本方法还可以包括呈现本地关注区域的本地工具。该方法还可以包括以在空间上精确地相关于本地目标的呈现的方式，来呈现本地工具。该工具可以是任何类型的工具，例如手术工具。
在另一方面，所提供的是用于虚拟出席的系统，该系统包括虚拟出席显示器，其配置为用于显示共同关注区域；本地传感器，其配置为用于获取本地虚拟出席数据；网络接口，其配置为传输本地虚拟出席数据和接收远程虚拟出席数据；以及处理器，其连接至虚拟出席显示器、本地传感器以及网络接口，其中该处理器配置为执行以下步骤，其包括：基于本地虚拟出席数据和远程虚拟出席数据，呈现反映远程用户和本地用户的实体出席的共同关注区域；呈现共同关注区域中的远程用户和本地用户之间的互动；持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用户，并将共同关注区域输出至虚拟出席显示器。
所述虚拟出席显示器可以是立体显示器、单像管显示器(诸如CRT、LCD等)等中的一种或多种。所述传感器可以是相机、红外传感器、深度扫描传感器等中的一种或多种。所述共同关注区域可以呈现为使远程用户类似于本地用户地体验共同关注区域。本地用户可以以一种能够在共同本地区域中实现与远程用户持续互动的方式体验远程用户的实体出席。
所述处理器还可以配置为执行以下步骤，其中包括：呈现共同关注区域中的本地目标的实体出席，以及呈现共同关注区域中的本地用户和本地目标之间的互动。
所述处理器还可以配置为执行以下步骤，其中包括：呈现共同关注区域中的本地目标的实体出席；以及呈现共同关注区域中的远程用户和本地目标的互动。
进一步提供的是用于虚拟出席的系统，该系统包括：虚拟出席显示器，其配置为用于显示本地关注区域；本地传感器，其配置为用于获取本地虚拟出席数据；处理器，其连接至虚拟出席显示器和本地传感器，其中该处理器配置为执行以下步骤，其包括：基于本地虚拟出席数据和本地目标的体积图像，呈现反映本地目标和本地用户的实体出席的本地关注区域；呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动；持续更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时呈现至本地用户，并将本地关注区域输出至虚拟出席显示器。
所述虚拟出席显示器可以是立体显示器、单像管显示器(诸如CRT、LCD等)等中的一种或多种。所述传感器可以是相机、红外传感器、深度扫描传感器等中的一种或多种。
所述本地目标例如可以是病人，且本地目标的体积图像例如可以是病人的一部分的医学图像。所述医学图像可以是例如X光图像、核磁共振出席(MRI)图像或CT图像之一。但是，本地目标可以是任何所关注的目标，且本地目标的图像可以是该目标的任何精确呈现。例如，可以是汽车发动机，以及该发动机的三维图形，等。
所述处理器还可以配置为执行以下步骤，其中包括：通过本地用户将体积图像重叠至本地目标。所述处理器还可以配置为执行以下步骤，其中包括：通过本地用户调整体积图像的性质。所述性质可以是透明度、空间位置和缩放比中的一项或几项。
所述处理器还可以配置为执行以下步骤，其中包括：呈现本地关注区域中的本地工具。该处理器还可以配置为执行以下步骤，其中包括，以在空间上精确地相关于所呈现的本地目标的方式，来呈现本地工具。
本公开方法和系统可以具有广泛应用，例如，手术、游戏、机械学、军需、战场出席、教育工作(培训)和/或任何其他以互动作为情景的一部分的情况。
同样被公开的是能够使远程专家虚拟地出现在本地手术区域的方法和系统。虚拟互动式出席可以用于使两个彼此远离的外科医生能够互动地执行手术过程。本系统和方法使两个或多个操作者在同一真实操作区域中虚拟地出现且互动，因此支持远程协助和输出外科报告。
本系统和方法也可以用于将手术解剖结构的图像数据重叠至该解剖结构本身以用于指导和定位(扩增的现实)。本方法和系统可以用于学生的培训。通过虚拟地将专家带入机器人的区域以指导机器人操作者，本方法和系统扩增和加强了机器人的区域。通过直接将专家的手插入内窥镜的区域以作指导，本方法和系统可以用于内窥镜手术过程。通过向现实中的本地外科医生——其基本技能可以应付紧急情况并将通过虚拟互动来学习——提供远程专家的协助，本方法和系统扩充了远程手术。本方法和系统可以用于创伤位置和其他医学环境。本方法和系统可以用于在诸如发动机、建筑、建筑设计等其他地方提供远程协助。所公开的方法和系统可以用于将报告传输至远程的所需站点，将同步图像直接合并入手术的区域，以及培训外科学生。
在图12中图解了用于将本地专家的手术操作法传输至远程手术以用于指导/协助该远程手术的目的的示例性远程手术协助系统。远程手术的区域可以被远程外科医生通过双目视频系统观察。该视频系统可以显示带有手和执行该过程的工具的区域。该观察系统可以被称为手术视频显示器(videoscope)。
所述远程区域的双目视频呈现可以被传输至本地专家，该本地专家可以通过另一手术视频显示器系统观察该(现在是虚拟的)过程的立体呈现。本地专家可以将他的手插入虚拟区域，因此看到他在虚拟区域中的真实手。
本地专家的手的视频图像可以被传输回至远程外科医生的手术视频显示器系统，并被重叠至真实区域。远程外科医生接着可以在空间地/解剖结构地相关的环境中的他自己的手术区域中看到所述专家的真实手。通过这一系统，本地专家可以用他的手向远程外科医生示出如何处理该案例。
本系统的示例性实施方案可以包括远程站，该远程站中的远程外科医生可以执行手术过程；远程手术视频显示器系统，该系统例如包括类似于安装好的显微镜的固定立体视频显示器。这一设备可以由远程外科医生使用以观察操作区域。可以使用任何其他类型的适合的VIP显示器。本系统可以将双目视频图像投射至本地站的类似的本地手术视频显示器。本地手术视频显示器可以接收远程过程的双目视频图像，并允许本地专家观察该图像。当本地外科医生的手在虚拟远程区域中移动时，从本地视频显示器可以观察该本地外科医生的手，一如通过本地视频显示器观察到的。本地视频显示器可以接着将本地专家的手传输回至远程视频显示器，以使远程外科医生可以看到真实区域中的该专家的虚拟的手。
以此系统，本地专家可以向远程外科医生示出能实现该案例的成功完成的适合的操作法。远程外科医生可以具有用于执行新方法的基本技能组合。因此，本地专家可以仅仅向远程外科医生示范应用所具有的技能的新方法。这一系统并非必须要替代远程外科医生，但是可以用于增强他/她的能力。远程外科医生可以当场快速地处理任何紧急情况。时延被最小化，因为远程外科医生可以使用他/她自己的手来执行任务，消除了本地专家操作远程机器人设备的需要。
同样被公开的是用于将同步医学图像合并进手术区域的方法和系统。体积图像可以在手术区域中获得。例如，头部的体积MRI可以先于手术过程获得。图像数据可以被重建至解剖结构的三维呈现。该呈现可以被传输至将用于观察手术区域的手术视频显示器。通过视频显示器，外科医生可以观察以半透明方式重叠至手术区域上的三维呈现。在这一案例中，外科医生将看到所呈现的被重叠在真实的头部之上的头部。通过在手术视频显示器接口上使用软件工具，外科医生可以旋转和缩放所呈现的图像，直到其“匹配”真实头部。视频显示器系统可以允许外科医生区分性地渐隐所呈现的头部和真实头部，以使外科医生可以“看清”真实头部和设计手术。
系统的示例性要素可以包括手术视频显示器观察系统，外科医生通过该观察系统观察手术区域。计算机重建具有足以使其能够匹配至真实手术解剖结构的分辨率体积被获取的MRI/CT(或其他)图像。该体积所呈现的图像可以通过视频显示器系统显示，以使外科医生可以立体地看到它。软件接口可以使外科医生能够改变所呈现的解剖结构和真实解剖结构的透明度，以使所呈现的解剖结构可以被重叠至真实解剖结构。外科医生可以“打开”所呈现的解剖结构，以观察图像的任何/所有内部细节，因为它们与真实解剖结构相关。外科工具可以被空间地对准至所呈现的解剖结构，以使其动作可以被追踪并应用至图像。
如图13所示，这种任务的一个实施例是将小目标置于一广口杯的暗凝胶中，以使所述小目标对外科医生不可见。这任务是外科医生使用长钳伸入凝胶并触碰或抓取所述目标。手术视频显示器系统可以获取凝胶广口杯的体积扫描，并将该广口杯呈现在三维空间中，并通过视频显示器显示双目呈现。外科医生可以通过显示系统观察该呈现的和该真实的广口杯，并将所呈现的广口杯匹配至真实广口杯。通过区分性地调整透明度，外科医生可以用钳子伸入真实广口杯并抓取所选择的目标，同时避免其他的指定目标。
抓取工具可以在手术区域的体积呈现上于空间上被对准，因此允许工具的图形以适合的解剖方位在手术区域的呈现中显示。这可以提供加强的指导。这可以通过使用与图像呈现系统通信的数字转换器触碰真实目标(广口杯)上的指定界标(landmark)来实现，由此限定目标/探针的关系。因为目标(广口杯)通过重叠被对准至广口杯的图像，探针的图形可以相对于广口杯的图像被显示，从而使能够实现虚拟手术。
本系统可以用于许多场合中。例如，可以用于第三世界国家或军事场合的远程手术、医学培训，以及远距医疗。相对于病人位于远程位置的外科医生可以协助接近病人的其他外科医生，可以协助接近病人的医疗，并在被连接至机器人手术系统时，可以进行手术操作。其他的例子包括，扩充的或增强的手术——使用虚拟环境的常规手术，该种手术的一个例子是内窥镜手术。手术过程也可以被模拟。那些相对于彼此处于远程位置的外科医生可以在对真正的病人进行手术之前，对一手术过程进行计划和练习。
其他的应用包括在手术之前对病人进行准备、医学治疗、预防医学、暴露疗法、降低恐惧、培训残疾人以及增进技能，等等。
观察者接着通过将左眼图像发送到左眼，右眼图像发送到右眼的无源立体偏振镜片(和太阳镜类似)观察投影。当用软件适当地呈现正确偏移的图像时，这提供了立体的假象。该系统可以由对系统不产生损害的其他类型的立体显示器替代。立体显示器可以包括至少两个配有偏振镜头的显示投影器、当光线散射时维持光线偏振的背投屏幕材料、将每一眼限制为仅看到特定的偏振的专用眼镜，以及观察者。可以以两种反映理想观察者的双眼的不同位置的略有不同的视图变换，来呈现所要观察的图像。一个投影器显示为左眼位置呈现的图像，而另一个投影器显示为右眼位置呈现的图像。镜片限制了光线，以使左眼仅看到为左眼呈现的图像，且右眼仅看到为右眼呈现的图像。观察者由于被呈现了合理的立体图像，将感知到深度。
图14是图解了用于执行所公开的方法的示例性操作环境的方框图。该示例性操作环境仅是操作环境的一个实施例，且并不意在对该操作环境体系结构的用途或功能提出任何限制。同样，该操作环境不应被解释为具有任何与示例性操作环境中所图解的任何单个部分或其联合有关的依赖性和必要性。
本方法可以利用其他具有通用用途或专用用途的计算系统环境或配置来操作。适用于本系统和方法的已知计算系统、环境和/或配置例子包括但不限于，个人计算机、服务器计算机、膝上设备，以及多处理器系统。其他的例子包括机顶盒、可编程消费电子产品、网络个人计算机、微型计算机、大型计算机、包括了任何上述系统或设备的分布式计算环境，等等。
可以在一般的计算机指令情形中描述本方法，如以程序模块来描述本发明，通过计算机来执行这些程序模块。通常，程序模块包括执行特定任务或执行特定抽象数据类型的路径、程序、对象、分量、数据结构等。本系统和方法也可以在分布式计算环境中实行，在分布式计算环境中任务可以通过由通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程的计算机存储介质上，所述计算机存储介质包括记忆存储设备。
在此公开的方法可以通过一个或多个形式为计算机1401的通用计算设备执行。计算机1401的部件可以包括但不限于一个或多个处理器或处理单元1403、系统内存1412，以及将包括处理器1403的各种系统部件连接至系统内存1412的系统总线1413。
系统总线1413代表多种可能的总线结构中的一种或多种，包括存储总线或存储控制器、外围总线、加速图形端口，以及使用任何一种总线体系结构的处理器或本地总线。作为实施例，这样的体系结构可以包括工业标准结构(ISA)总线、微通道体系结构(MCA)总线、扩展ISA(EISA)总线、视频电子标准协会(VESA)本地总线，以及设组件互连(PCI)总线(也被称为夹层总线(Mezzanine bus))。这一总线及本说明书中具体描述的总线也可以在有线或无线的网络连接中运行。总线1413以及本说明书中具体描述的所有总线也可以在有线或无线网络连接中运行，每一子系统——包括处理器1403、大容量存储设备1404、操作系统1405、应用软件1406、数据1407、网络适配器1408、系统内存1412，以及输入/输出接口1410、显示适配器1409、显示设备1411，以及人机接口1402——可以被包含在一个或多个于物理上分立的位置处的远程计算设备1414a、b、c中，并通过上述形式的总线相连接，有效地在完全分布式系统中运行。
计算机1401通常包括各种计算机可读介质。这样的介质可以是计算机1401能存取的任何可用的介质，并包括易失性介质和非易失性介质、可移动式介质和不可移动式介质。系统内存1412包括易失性存储器形式的计算机可读介质诸如随机存取存储器(RAM)，和/或非易失性存储器的计算机可读介质诸如只读存储器(ROM)。系统内存1412通常含有诸如数据1407的数据，和/或程序模块，诸如操作系统1405和应用软件1406，上述程序模块通过处理单元1403可被即时存取和/或可当下被处理单元1403操作。
计算机1401也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。以举例的方式，图14图解了大容量存储设备1401，其提供计算机编码的非易失性存储、计算机可读指令、数据结构、程序模块，以及用于计算机1401的其他数据。例如大容量存储设备1404可以是硬盘、可移动磁盘、可移动光盘、盒式磁带或其他磁性存储设备、闪存卡、CD-ROM、数字多用途光盘(DVD)或其他光学存储器、随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)，等等。
大容量存储设备1404中可以存储任何数量的程序模块，例如包括操作系统1405和应用软件1406。操作系统1405和应用软件1406(或它们的一些联合)中的每一个可以包括编程和应用软件1406的要素。数据1407也可以被存储在大容量存储设备1404上。数据1407可以被存储在本领域已知的任何一个或多个数据库中。这样的数据库的例子包括：
Figure G2008800243237D00151
Access，
Figure G2008800243237D00152
SQL Server，
Figure G2008800243237D00153
mySQL，PostgreSQL，等等。数据库可以是集中的或分布在多个系统中。
用户可以经由输入设备(未示出)向计算机1401中输入命令和信息。这样的输入设备的例子包括但不限于：键盘、指针设备(例如鼠标)、麦克风、游戏杆、串行端口、扫描仪、诸如手套的触摸输入设备以及其他身体覆盖物，等等。这些和其他输入设备可以经由连接至系统总线1413的人机接口1402被连接至处理单元1403，但也可以通过其他接口和总线结构，诸如并行端口、游戏端口，或通用串行总线(USB)连接。
显示设备1411也可以经由诸如显示适配器1409的接口被连接至系统总线1413。计算机1401可以具有一个以上显示适配器1409，以及计算机1401可以具有一个以上显示设备1411。例如，显示设备可以是监控器、LCD(液晶显示器)，或投影器。除了显示设备1411，其他外围输出设备可以包括可以经由输入/输出接口1410连接至计算机1401的诸如扬声器(未示出)和打印机(未示出)的部件。
使用到一个或多个远程计算设备1414a、b、c的逻辑连接，计算机1401可以在网络环境中运行。作为实施例，远程计算设备可以是个人计算机、便携式计算机、服务器、路由器、网络计算机、对等设备(peerdevice)或其他普通网络节点，等等。计算机1401和远程计算设备1414a、b、c之间的逻辑连接可以经由局域网(LAN)和通用广域网(WAN)实现。这些网络连接可以通过网络适配器1408。网络适配器1408可以在有线和无线环境中运行。这样的网络环境在办公室、企业范围计算机网络、企业内部互联网，以及互联网1415中可以是常见的。
一个或多个VIP显示器1416a、b、c、d、e可以与计算机1401通信。在一个方面，VIP显示器1416E可以通过输入/输出接口1410与计算机1401通信。这一通信可以是有线的或无线的。远程VIP显示器1416a、b、c可以与计算机1401通信，通过：首先与各远程计算设备1414a、b、c通信，各远程计算设备1414a、b、c接着经由诸如互联网1415的网络，通过网络适配器1408与计算机1401通信。远程VIP显示器1416d可以无需远程计算设备地与计算机1401通信。远程VIP显示器1416d可以经由诸如互联网1415的网络而通信。VIP显示器1416a、b、c、d、e可以无线通信或通过有线连接通信。VIP显示器1416a、b、c、d、e可以单独通信，或作为VIP显示器网络的一部分共同通信。
出于阐释性目的，应用程序和其他可执行程序部分，诸如操作系统1405，在此图解为分立的框图，尽管可以认识到这样的程序和部分在不同的时候存在于计算设备1401的不同存储部分，并通过计算机的数据处理器执行。应用软件1406的执行可以被存储，或通过一些计算机可读介质的形式被传输。计算机可读介质可以是计算机可存取的任何可用的介质。以举例而不予以限制的方式，计算机可读介质可以包括“计算机存储介质”和“通信介质”。“计算机存储介质”包括以用于存储信息——诸如计算机可读指令、数据结构、程序模块或其他数据——的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储技术、CD-ROM、数字多功能光盘(DVD)或其他光学存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储设备，或其他可以用于存储所需信息并可以通过计算机存取的媒介。
除非有另外的明确声明，在此阐明的任何方法均不意在被解释为要求以特定的顺序来执行其步骤。相应地，当所述方法并未实际陈述其步骤所要遵从的顺序，或在发明构思或说明书中并未另外特别地声明这些步骤被限制为特定顺序，那么在任何方面均不意在表明需推断出一个顺序。这适于作为对解释的一种无字面表述的支持，包括：在步骤或操作流程安排上的逻辑问题、从语法结构或标点中得出的无疑义的含义；说明书中描述的实施方案的数量或类型。
本领域普通技术人员所清楚的是，在不背离本发明的范围和精神的情况下，可以在本方法和系统中作出各种修改和更改。通过考虑这里所公开的说明书和实践，对于本领域普通技术人员而言，其他实施方案也将是清晰的。所意指的是，说明书和实施例仅被考虑作为示例，而实质的范围和精神由下述权利要求指出。

Claims (30)

1.用于虚拟互动式出席的方法，包括：
呈现反映了远程用户和本地用户的实体出席的共同关注区域；
呈现共同关注区域中的远程用户和本地用户之间的互动；以及
持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用户。
2.根据权利要求1所述的方法，其中共同关注区域被呈现为使得远程用户类似于本地用户地体验共同关注区域。
3.根据权利要求1或2所述的方法，其中本地用户以一种能够在共同关注区域中实现与远程用户持续互动的方式体验远程用户的实体出席。
4.根据权利要求1、2或3所述的方法，其中还包括：
呈现共同区域中的本地目标的实体出席；以及
呈现共同区域中的本地用户和本地目标之间的互动。
5.根据权利要求1或4所述的方法，其中还包括：
呈现共同关注区域中的本地目标的实体出席；以及
呈现共同关注区域中的远程用户和本地目标之间的互动。
6.用于虚拟互动式出席的方法，包括：
呈现反映了本地目标的实体出席、本地目标的体积图像以及本地用户的本地关注区域；
呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动；以及
持续地更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时地呈现至本地用户处。
7.根据权利要求6所述的方法，其中本地目标是病人，且本地目标的体积图像是病人的一部分的医学图像。
8.根据权利要求7所述的方法，其中所述医学图像是X光图像、MRI图像或CT图像之一。
9.根据权利要求6所述的方法，其中还包括通过本地用户将体积图像重叠至本地目标。
10.根据权利要求6或9所述的方法，其中还包括通过本地用户调整体积图像的性质。
11.根据权利要求10所述的方法，其中所述性质是透明度、空间位置和缩放比中的一项或几项。
12.根据权利要求6所述的方法，其中还包括呈现本地关注区域中的本地工具。
13.根据权利要求12所述的方法，其中还包括以在空间上精确地相关于本地目标的呈现的方式，来呈现本地工具。
14.用于虚拟互动式出席的系统，包括：
虚拟出席显示器，其配置为用于显示共同关注区域；
本地传感器，其配置为用于获取本地虚拟出席数据；
网络接口，其配置为用于传输本地虚拟出席数据和接收远程虚拟出席数据；以及
处理器，其连接至虚拟出席显示器、本地传感器以及网络接口，其中该处理器被配置为执行以下步骤，其包括：
基于本地虚拟出席数据和远程虚拟出席数据，呈现反映远程用户和本地用户的实体出席的共同关注区域；
呈现共同关注区域中的远程用户和本地用户之间的互动；
持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用户，并
将共同关注区域输出至虚拟出席显示器。
15.根据权利要求14所述的系统，其中所述虚拟出席显示器是立体显示器和单像管显示器中的一种或多种。
16.根据权利要求14所述的系统，其中所述传感器是相机、红外传感器、深度扫描传感器中的一种或多种。
17.根据权利要求14所述的系统，其中所述共同关注区域被呈现为使远程用户类似于本地用户地体验共同关注区域。
18.根据权利要求14或17所述的系统，其中本地用户以一种能够在共同关注区域中实现与远程用户持续互动的方式体验远程用户的实体出席。
19.根据权利要求14、17或18所述的系统，其中该处理器还配置为执行以下步骤，其中包括：
呈现共同区域中的本地目标的实体出席；以及
呈现共同区域中的本地用户和本地目标之间的互动。
20.根据权利要求14或19所述的系统，其中该处理器还配置为执行以下步骤，其包括：
呈现共同关注区域中的本地目标的实体出席；以及
呈现共同关注区域中的远程用户和本地目标之间的互动。
21.用于虚拟互动式出席的系统，包括：
虚拟出席显示器，其配置为用于显示本地关注区域；
本地传感器，其配置为用于获取本地虚拟出席数据；
处理器，其连接至虚拟出席显示器和本地传感器，其中该处理器配置为执行以下步骤，其包括：
基于本地虚拟出席数据和本地目标的体积图像，呈现反映本地目标和本地用户的实体出席的本地关注区域；
呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动；
持续更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时呈现至本地用户，并
将本地关注区域输出至虚拟出席显示器。
22.根据权利要求21所述的系统，其中所述虚拟出席显示器是立体显示器和单像管显示器中的一种或多种。
23.根据权利要求21所述的系统，其中所述传感器是相机、红外传感器、深度扫描传感器中的一种或多种。
24.根据权利要求21所述的系统，其中本地目标是病人，且本地目标的体积图像是病人的一部分的医学图像。
25.根据权利要求24所述的系统，其中所述医学图像是X光图像、MRI图像或CT图像之一。
26.根据权利要求21所述的系统，其中所述处理器还配置为通过本地用户将体积图像重叠至本地目标。
27.根据权利要求21所述的系统，其中所述处理器还配置为通过本地用户调整体积图像的性质。
28.根据权利要求27所述的系统，其中所述性质是透明度、空间位置和缩放比中的一项或几项。
29.根据权利要求21所述的系统，其中所述处理器还配置为执行一些步骤，其中包括呈现本地关注区域中的本地工具。
30.根据权利要求29所述的系统，其中所述处理器还配置为执行一些步骤，其中包括以在空间上精确地相关于所呈现的本地目标的方式，来呈现本地工具。
CN200880024323A 2007-05-18 2008-05-19 虚拟互动式出席系统及方法 Pending CN101743567A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US93087407P 2007-05-18 2007-05-18
US60/930,874 2007-05-18
PCT/US2008/064118 WO2009005901A2 (en) 2007-05-18 2008-05-19 Virtual interactive presence systems and methods

Publications (1)

Publication Number Publication Date
CN101743567A true CN101743567A (zh) 2010-06-16

Family

ID=40226745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880024323A Pending CN101743567A (zh) 2007-05-18 2008-05-19 虚拟互动式出席系统及方法

Country Status (8)

Country Link
US (1) US8520024B2 (zh)
EP (1) EP2163092A4 (zh)
JP (3) JP5603769B2 (zh)
CN (1) CN101743567A (zh)
AU (1) AU2008270883B2 (zh)
CA (1) CA2694095C (zh)
NZ (1) NZ582133A (zh)
WO (1) WO2009005901A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520024B2 (en) 2007-05-18 2013-08-27 Uab Research Foundation Virtual interactive presence systems and methods
CN104011741A (zh) * 2011-08-12 2014-08-27 Vipaar有限公司 多路视频流的图像配准的系统和方法
CN104685869A (zh) * 2012-09-27 2015-06-03 京瓷株式会社 显示装置、控制方法和控制程序
CN105324065A (zh) * 2013-05-09 2016-02-10 恩多巧爱思股份有限公司 多观察元件内窥镜中的操作接口
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US9959629B2 (en) 2012-05-21 2018-05-01 Help Lighting, Inc. System and method for managing spatiotemporal uncertainty
US9986892B2 (en) 2010-09-20 2018-06-05 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
US11188546B2 (en) 2019-09-24 2021-11-30 International Business Machines Corporation Pseudo real time communication system

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
WO2010093780A2 (en) 2009-02-13 2010-08-19 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
IT1392871B1 (it) * 2009-02-26 2012-04-02 Fiorini Metodo e apparato di addestramento chirurgico
US20140031668A1 (en) * 2010-09-08 2014-01-30 Disruptive Navigational Technologies, Llc Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
JP5939733B2 (ja) 2010-10-15 2016-06-22 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
WO2013161662A1 (ja) * 2012-04-23 2013-10-31 独立行政法人科学技術振興機構 動きガイド提示方法、そのシステム及び動きガイド提示装置
US20130329985A1 (en) * 2012-06-07 2013-12-12 Microsoft Corporation Generating a three-dimensional image
CN102717476B (zh) * 2012-06-28 2015-07-15 金发科技股份有限公司 一种pa46与金属嵌件相结合的成型工艺
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9978178B1 (en) * 2012-10-25 2018-05-22 Amazon Technologies, Inc. Hand-based interaction in virtually shared workspaces
EP2920683A1 (en) * 2012-11-15 2015-09-23 Iversen, Steen Svendstorp Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
JP2015118578A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
US10139624B2 (en) * 2014-02-21 2018-11-27 Sony Corporation Head mounted display, control device, and control method
JP6264087B2 (ja) 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
EP3354015A1 (en) 2015-09-23 2018-08-01 Edoardo Rizzi Communication device and method
JP6601136B2 (ja) * 2015-10-13 2019-11-06 富士通株式会社 反応出力システム、反応出力プログラム、反応出力方法
CN106789453B (zh) * 2015-11-19 2019-10-22 中国移动通信集团公司 一种无线投屏方法及设备
WO2017124871A1 (zh) * 2016-01-22 2017-07-27 上海肇观电子科技有限公司 一种呈现多媒体信息的方法及装置
US10235809B2 (en) * 2016-06-30 2019-03-19 Microsoft Technology Licensing, Llc Reality to virtual reality portal for dual presence of devices
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US20190124251A1 (en) * 2017-10-23 2019-04-25 Sony Corporation Remotely controllable camera on eyeglass-type mount for the blind
JP6617766B2 (ja) * 2017-12-20 2019-12-11 ソニー株式会社 医療用観察システム、表示制御システムおよび表示制御装置
CN112639685B (zh) * 2018-09-04 2024-03-08 苹果公司 模拟现实（sr）中的显示设备共享和交互
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3931679A (en) 1973-11-05 1976-01-13 Den-Tal-Ez Mfg., Co. Dental patient simulator
US4601664A (en) 1985-03-18 1986-07-22 Syntex (U.S.A.) Inc. Temporomandibular joint articulator and dental manikin incorporating it
US4737921A (en) * 1985-06-03 1988-04-12 Dynamic Digital Displays, Inc. Three dimensional medical image display system
US4970666A (en) 1988-03-30 1990-11-13 Land Development Laboratory, Inc. Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
DE3941333A1 (de) 1989-12-14 1991-06-20 Kaltenbach & Voigt Zahnaerztliches lehr- und uebungsgeraet
US5772442A (en) 1992-05-13 1998-06-30 University Of Florida Research Foundation, Inc. Apparatus and method for simulating bronchial resistance or dilation
US5391081A (en) 1992-05-13 1995-02-21 University Of Florida Research Foundation, Incorporated Method and apparatus for simulating neuromuscular stimulation during medical surgery
US5584701A (en) 1992-05-13 1996-12-17 University Of Florida Research Foundation, Incorporated Self regulating lung for simulated medical procedures
US5403192A (en) 1993-05-10 1995-04-04 Cae-Link Corporation Simulated human lung for anesthesiology simulation
US5526812A (en) * 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
US5572248A (en) 1994-09-19 1996-11-05 Teleport Corporation Teleconferencing method and system for providing face-to-face, non-animated teleconference environment
US6301339B1 (en) 1995-11-15 2001-10-09 Data Race, Inc. System and method for providing a remote user with a virtual presence to an office
US6503087B1 (en) 1996-05-08 2003-01-07 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US6527558B1 (en) 1996-05-08 2003-03-04 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US6443735B1 (en) 1996-05-08 2002-09-03 Gaumard Scientific, Inc. Computerized education system for teaching patient care
US5853292A (en) 1996-05-08 1998-12-29 Gaumard Scientific Company, Inc. Computerized education system for teaching patient care
US6246975B1 (en) 1996-10-30 2001-06-12 American Board Of Family Practice, Inc. Computer architecture and process of patient generation, evolution, and simulation for computer based testing system
US5900923A (en) 1996-11-26 1999-05-04 Medsim-Eagle Simulation, Inc. Patient simulator eye dilation device
US6273728B1 (en) 1997-09-04 2001-08-14 The University Of Florida Life support simulation system simulating human physiological parameters
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
GB9800397D0 (en) 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
US6220866B1 (en) 1998-01-15 2001-04-24 Eagle Simulation, Inc. Electronic auscultation system for patient simulator
US6061469A (en) * 1998-06-22 2000-05-09 Mitsubishi Electric Information Technology Center America, Inc (Ita) Object rendering system to produce X-ray like images
JP2990602B1 (ja) 1998-07-03 1999-12-13 株式会社京都科学 生体検診用模型
US6552722B1 (en) 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6257234B1 (en) 1998-08-21 2001-07-10 Respironics, Inc. Apparatus and method for determining respiratory mechanics of a patient and for controlling a ventilator based thereon
US6608628B1 (en) * 1998-11-06 2003-08-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Method and apparatus for virtual interactive medical imaging by multiple remotely-located users
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6289299B1 (en) 1999-02-17 2001-09-11 Westinghouse Savannah River Company Systems and methods for interactive virtual reality process control and simulation
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6692258B1 (en) 2000-06-26 2004-02-17 Medical Learning Company, Inc. Patient simulator
US6747672B1 (en) 1999-11-01 2004-06-08 Medical Learning Company, Inc. Virtual patient hot spots
FR2808366B1 (fr) * 2000-04-26 2003-12-19 Univ Paris Vii Denis Diderot Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie
US20070055578A1 (en) * 2000-05-22 2007-03-08 Commonwealth Intellectual Property Holdings, Inc. Internet and wireless integrated virtual presence
US6535714B2 (en) 2000-06-30 2003-03-18 University Of Florida Method, system, and apparatus for medical device training
US6780016B1 (en) 2000-10-23 2004-08-24 Christopher C. Toly Human surgical trainer and methods for training
JP4288843B2 (ja) * 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
US8046408B2 (en) 2001-08-20 2011-10-25 Alcatel Lucent Virtual reality systems and methods
US6697451B2 (en) 2001-09-05 2004-02-24 Ge Medical Systems Global Technology Company, Llc Dynamic phantom and method for evaluating calcium scoring
SG165160A1 (en) 2002-05-06 2010-10-28 Univ Johns Hopkins Simulation system for medical procedures
US20040019344A1 (en) * 2002-07-26 2004-01-29 Grant Peterson Integrated, one-piece sampling connector unit
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US6921267B2 (en) 2002-12-06 2005-07-26 University Of Florida Research Foundation, Inc. Lung simulator for an integrated human patient simulator
JP4259884B2 (ja) * 2003-01-20 2009-04-30 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
US20040189701A1 (en) * 2003-03-25 2004-09-30 Badt Sig Harold System and method for facilitating interaction between an individual present at a physical location and a telecommuter
US7787927B2 (en) 2003-06-20 2010-08-31 Merge Cad Inc. System and method for adaptive medical image registration
US20050197818A1 (en) * 2004-01-30 2005-09-08 Akbar Monfared Virtual presence system and method
MXPA06011083A (es) 2004-03-26 2007-04-13 Atsushi Takahashi Sistema de cristal de aumento de entidad digital tridimensional, con funciones de instruccion visual tridimensional.
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20050267778A1 (en) * 2004-05-28 2005-12-01 William Kazman Virtual consultation system and method
US7949616B2 (en) 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US8243123B1 (en) * 2005-02-02 2012-08-14 Geshwind David M Three-dimensional camera adjunct
WO2006108279A1 (en) 2005-04-11 2006-10-19 Martin Lizee Method and apparatus for virtual presence
KR100721713B1 (ko) * 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
DE102005041602A1 (de) * 2005-09-01 2007-04-05 Siemens Ag Verfahren zur Darstellung eines medizinischen Implantats in einem Bild sowie medizinisches bildgebendes System
US20070064098A1 (en) * 2005-09-19 2007-03-22 Available For Licensing Systems and methods for 3D rendering
WO2007059477A2 (en) 2005-11-11 2007-05-24 The Uab Research Foundation Virtual patient simulator
US8562440B2 (en) * 2005-12-28 2013-10-22 Palo Alto Research Center Incorporated Method, apparatus, and program product for modeling presence in a persistent virtual environment
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
AU2008270883B2 (en) 2007-05-18 2013-07-25 The Uab Research Foundation Virtual interactive presence systems and methods
US20090287089A1 (en) * 2008-01-31 2009-11-19 The University Of Vermont And State Agriculture College Methods, devices and apparatus for imaging for reconstructing a 3-D image of an area of interest
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520024B2 (en) 2007-05-18 2013-08-27 Uab Research Foundation Virtual interactive presence systems and methods
US9986892B2 (en) 2010-09-20 2018-06-05 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN104011741A (zh) * 2011-08-12 2014-08-27 Vipaar有限公司 多路视频流的图像配准的系统和方法
US10622111B2 (en) 2011-08-12 2020-04-14 Help Lightning, Inc. System and method for image registration of multiple video streams
CN104011741B (zh) * 2011-08-12 2017-09-01 Vipaar有限公司 多路视频流的图像配准的系统和方法
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US10181361B2 (en) 2011-08-12 2019-01-15 Help Lightning, Inc. System and method for image registration of multiple video streams
US9959629B2 (en) 2012-05-21 2018-05-01 Help Lighting, Inc. System and method for managing spatiotemporal uncertainty
CN104685869B (zh) * 2012-09-27 2018-12-28 京瓷株式会社 显示装置、控制方法
CN104685869A (zh) * 2012-09-27 2015-06-03 京瓷株式会社 显示装置、控制方法和控制程序
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
CN105324065B (zh) * 2013-05-09 2017-09-08 恩多巧爱思股份有限公司 多观察元件内窥镜中的操作接口
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
CN105324065A (zh) * 2013-05-09 2016-02-10 恩多巧爱思股份有限公司 多观察元件内窥镜中的操作接口
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US10482673B2 (en) 2013-06-27 2019-11-19 Help Lightning, Inc. System and method for role negotiation in multi-reality environments
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
US11188546B2 (en) 2019-09-24 2021-11-30 International Business Machines Corporation Pseudo real time communication system

Also Published As

Publication number Publication date
JP2013085305A (ja) 2013-05-09
EP2163092A2 (en) 2010-03-17
CA2694095A1 (en) 2009-01-08
EP2163092A4 (en) 2011-10-19
JP6043821B2 (ja) 2016-12-14
JP2015100138A (ja) 2015-05-28
WO2009005901A3 (en) 2009-03-05
JP2010528354A (ja) 2010-08-19
JP5739922B2 (ja) 2015-06-24
JP5603769B2 (ja) 2014-10-08
NZ582133A (en) 2012-12-21
CA2694095C (en) 2016-03-22
US8520024B2 (en) 2013-08-27
AU2008270883B2 (en) 2013-07-25
WO2009005901A2 (en) 2009-01-08
AU2008270883A1 (en) 2009-01-08
US20100295921A1 (en) 2010-11-25

Similar Documents

Publication Publication Date Title
CN101743567A (zh) 虚拟互动式出席系统及方法
US10622111B2 (en) System and method for image registration of multiple video streams
US11819273B2 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
Satava 3-D vision technology applied to advanced minimally invasive surgery systems
JP6364022B2 (ja) 多重現実環境における役割切り替えのためのシステムおよび方法
KR100721713B1 (ko) 몰입형 활선작업 교육시스템 및 그 방법
JP6101793B2 (ja) 時空間的不確実性を管理するためのシステム及び方法
Bruder et al. Distance estimation in large immersive projection systems, revisited
WO2021062375A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
Rolland et al. Optical versus video see-through head-mounted displays
Giraldi et al. Introduction to virtual reality
KR20040084243A (ko) 인공고관절 가상 시술 시뮬레이션 시스템
Pastoor et al. Mixed reality displays
Andersen Effective User Guidance Through Augmented Reality Interfaces: Advances and Applications
EP4034028A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
WO2023069782A1 (en) Procedure guidance and training apparatus, methods and systems
Nambiar A Mobile Virtual Reality System
Ji Viewing Options for the Virtual Haptic Back (VHB)
NZ621149B2 (en) System and method for image registration of multiple video streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1144608

Country of ref document: HK

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100616

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1144608

Country of ref document: HK