CN102947774B - 用于驱动交互式故事的自然用户输入 - Google Patents

Abstract

公开了用于将交互式游戏方面组合到线性故事中的系统和方法。用户可经由NUI系统与线性故事交互以更改向用户呈现的故事和图像。在一示例中，用户可通过执行预定的探索姿势来更改故事。这一姿势将用户带入所显示的图像的3-D世界。具体地，屏幕上显示的图像改变为创建用户正踏入3-D虚拟世界的印象，以允许用户从不同的视角检查虚拟对象或者环顾凝视虚拟对象。

Description

用于驱动交互式故事的自然用户输入

技术领域

本发明涉及自然用户界面，尤其涉及用于驱动交互式故事的自然用户输入。

背景技术

在过去，诸如计算机游戏和多媒体应用之类的计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供自然用户界面(“NUI”)。使用NUI，检测、解释用户姿势和语音并将其用于控制游戏人物或应用的其他方面。

目前，NUI系统被广泛用于游戏应用。然而，目前的NUI系统尚未被用作线性故事诉说的介质。线性故事是传统的、被动的、非交互式的体验，诸如由传统的电视节目、电影和书籍提供的。线性故事几十年来广泛地被一般公众接受。游戏，尤其是具有NUI系统的游戏，是相对新的，并且目前在可接受度方面具有多得多的限制。

发明内容

此处公开的是用于提供将交互式游戏方面组合到线性故事中的交互式故事体验的系统和方法。线性故事可被用户观看，并且在期望时从头到尾没有用户交互。或者，用户可与线性故事交互以提供交互式体验。用户可经由NUI系统来与线性故事交互，该NUI系统包括计算环境、用于捕捉用户移动数据并将其提供给计算设备的捕捉设备、以及用于呈现故事的视听设备。

在一个实施例中，用户可通过执行预定义的探索姿势来更改线性故事。在被捕捉设备检测到并且被计算环境识别出时，这一姿势将用户代入所显示的图像的3-D世界。具体地，在屏幕上显示的图像改变为创建用户正踏入3-D虚拟世界的印象，以允许用户在场景内四处移动，并且从场景中的不同视角来探索和检查虚拟对象，或者环顾凝视场景中的虚拟对象。

在一个实施例中，本发明的系统涉及将交互式游戏方面组合到线性故事中的方法。该方法包括以下步骤：a)经由视听设备使用至少一个图像和音频叙述来呈现线性故事，线性故事具有在用户不与故事交互的情况下呈现给用户的图像和/或叙述的默认集合；b)经由捕捉设备检测用户的移动和语音命令中的至少一个；c)标识在所述步骤b)中检测到的移动和/或语音命令是否是与线性故事的交互，该交互更改线性故事以包括具有未被包括在图像和/或叙述的默认集合中的附加图像和附加叙述中的至少一个的故事分支；以及d)通过经由视听设备来向用户呈现附加图像和附加叙述中的至少一个来更改线性故事。

在另一实施例中，本发明的系统涉及用于对处理器编程以执行将交互式游戏方面组合到线性故事中的方法的计算机可读介质，所述方法包括以下步骤：a)经由视听设备使用图像和音频叙述中的至少一个来呈现线性故事，在监视用户移动的捕捉设备没有感知到用户的交互的情况下，线性故事从头到尾被呈现为完整的故事，并且包括图像的默认集合；b)经由与视听设备相关联的捕捉设备检测用户的移动；c)标识在所述步骤b)中检测到的移动是否是与线性故事的交互，该交互要求将线性故事修改为包括具有未被包括在图像的默认集合中的附加图像的故事分支；d)基于经存储的或经处理的数据来确定附加图像是否可被呈现；e)如果在所述步骤d)中确定附加图像可被呈现，则通过经由视听设备来向用户呈现附加图像来更改线性故事；以及f)对用户交互打分，其中交互与基于交互获得预定点数的奖励或带走预定点数相对应。

在另一实施例中，本发明的系统涉及用于将交互式游戏方面组合到线性故事中的系统。该系统包括：用于呈现图像和音频叙述中的至少一个的视听设备；用于捕捉来自用户的图像和音频数据中的至少一个的图像捕捉设备；以及耦合到视听设备和图像捕捉设备的计算环境。该计算环境用于：a)经由视听设备使用图像和音频叙述中的至少一个来呈现线性故事，在捕捉设备没有感知到用户交互的情况下，线性故事从头到尾被呈现为完成的故事，并且包括图像的默认集合；b)经由捕捉设备检测用户的移动；c)标识检测到的移动是否是探索姿势；d)在将移动标识为探索姿势之后从线性故事分支到故事分支。该分支包括以下操作：d1)感测视听设备上用户指示的点，d2)计算从用户部分到视听设备上用户指示的点的3-D真实世界向量，d3)将3-D真实世界向量转换成3-D机器空间向量，该3-D机器空间向量具有位于当前视角的起点以及位于3-D机器空间中的虚拟对象的终点，以及d4)从3-D机器空间向量的终点处的视角来显示虚拟对象。

提供本概述以便以简化形式介绍在以下详细描述中进一步描述的对概念的选择。本概述既不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用作帮助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图说明

图1A示出用于提供交互式故事体验的目标识别、分析和跟踪系统的示例实施例。

图1B示出用于提供交互式故事体验的目标识别、分析和跟踪系统的又一示例实施例。

图2示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。

图3A示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。

图3B示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。

图4示出了从图1A-2的目标识别、分析和跟踪系统中生成的用户的骨架映射。

图5是用于提供交互式故事体验的本发明的技术的实施例的操作的高级流程图。

图6是用于将捕捉设备检测到的语音与交互式故事体验进行关联的本发明的技术的实施例的操作的流程图。

图7是用于虚拟场景的3-D探索的本发明的技术的实施例的操作的流程图。

图8是用于使用户控制屏幕上角色的动作的本发明的技术的实施例的操作的流程图。

图9是用于使用户与场景交互以更改交互式故事体验的情节的本发明的技术的实施例的操作的流程图。

图9A是用于在场景被呈现在预先录制的视频中的情况下使用户与场景交互以更改交互式故事体验的情节的本发明的技术的替换实施例的操作的流程图。

图10是执行探索姿势以探索和调查所显示的场景内的虚拟对象的用户的示例。

图11示出重新会聚于单个故事结尾的分支子情节。

图12示出导致多个故事结尾中的一个的分支情节。

图13是示出了用于识别姿势的姿势识别引擎的框图。

图14是图13的姿势识别引擎的操作的流程图。

具体实施方式

现在参考附图1A-14来描述本发明的技术的各实施例，这些实施例一般涉及用于提供将交互式游戏方面组合到线性故事中的交互式故事体验的系统和方法。提供用于运行交互式故事应用的NUI系统。如果在没有用户交互的情况下运行，故事应用从头到尾向用户提供线性故事。或者，用户可经由NUI系统与故事应用交互以执行各种动作。

在一个实施例中，用户可通过执行预定义的探索姿势来更改线性故事。这一姿势向系统发出信号：用户期望踏入并探索向用户显示的三维(3-D)虚拟世界。取决于所执行的探索姿势，所显示的图像改变为创建用户正进入3-D虚拟世界的印象，以允许用户在场景内四处移动，并且从场景中的不同视角来探索和检查虚拟对象。用户还可在场景中环顾凝视虚拟对象后方以查看这些虚拟对象的背面，或者更仔细地检查被前景对象遮挡的其他对象。

尽管在3-D虚拟世界中进行探索，或者通过执行其他姿势或移动来进行探索，但用户还可更改线性故事的情节。在这些实施例中，故事应用可分支到其他子情节以及可能的其他故事结尾。

最初参考图1A-2，用于实现本发明的技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户18等的人类目标。目标识别、分析和跟踪系统10的各个实施例包括用于执行游戏或诸如交互式故事应用之类的其他应用的计算环境12。计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行游戏应用和非游戏应用。在一个实施例中，计算环境12可包括诸如标准化处理器、专用处理器、微处理器之类的处理器，该处理器可执行存储在处理器可读的存储设备上的用于执行此处所描述的过程的指令。

系统10还包括捕捉设备20，捕捉设备20用于捕捉与捕捉设备所感测的一个或多个用户和/或对象有关的图像和音频数据。在实施例中，捕捉设备20可以用于捕获与一个或多个用户的移动、姿势和话音相关的信息，所述信息被计算环境接收并且被用于呈现游戏应用或其他应用的各方面、与所述方面交互和/或控制所述方面。以下更详细地解释计算环境12和捕捉设备20的示例。

目标识别、分析和跟踪系统10的实施例可以连接到具有显示器14的音频/视觉设备16。设备16可以例如是可向用户提供游戏或应用视觉和/或音频的电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏或其他应用相关联的音频/视觉信号。音频/视觉设备16可以从计算环境12接收音频/视觉信号，并且然后可以向用户18输出与该音频/视觉信号相关联的游戏或应用视觉和/或音频。根据一个实施例，音频/视觉设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等连接到计算环境12。

如图1A和1B所示，在一示例实施例中，在计算环境12上执行的故事应用可以呈现多种故事设置中的任一种。图1A示出包括房子21、怪物23和云25的场景19。如下文说明的，用户可用各种方式与场景19交互。在一个示例中，用户可如图所示的将云25移动到一起，这可能更改故事应用所呈现的线性故事。例如，将云移动到一起可能导致下雨。

在各实施例中，计算环境12、A/V设备16和捕捉设备20可协作以在显示器14上呈现至少部分地由用户18控制的屏幕上的角色23。如图1B所示，屏幕上的角色23以有样学样(monkey-see-monkey-do)的方式来模仿用户18在真实世界空间中的移动。因此，用户18可执行控制角色23在显示器14上的移动和动作的移动。而且，用户可执行被计算环境识别为预定义姿势的某些移动。这些预定义姿势可导致受控的角色23执行在存储器中与预定义姿势相关联的某些动作。预定义姿势可被用来发起各种其他动作，如下文说明的。

图1A和1B的场景19是可由在计算环境12上运行的故事应用生成的许多不同的场景中的一个。而且，系统10还可以用于将用户18移动解释成处于运行在计算环境12上的故事应用的领域之外的操作系统和/或应用控制。

系统10及其组件的合适的示例在以下共同待审的专利申请中找到，这些专利申请全部特此通过引用结合于此：于2009年5月29日提交的名称为“EnvironmentAnd/OrTargetSegmentation(环境和/或目标分割)”的美国专利申请序列号12/475,094；于2009年7月29日提交的名称为“AutoGeneratingaVisualRepresentation”(自动生成视觉表示)”的美国专利申请序列号12/511,850；于2009年5月29日提交的名称为“GestureTool(姿势工具)”的美国专利申请序列号12/474,655；于2009年10月21日提交的名称为“PoseTrackingPipeline(姿态跟踪流水线)”的美国专利申请序列号12/603,437；于2009年5月29日提交的名称为“DeviceforIdentifyingandTrackingMultipleHumansOverTime(用于随时间标识和跟踪多个人类的设备)”的美国专利申请序列号12/475,308；于2009年10月7日提交的名称为“HumanTrackingSystem(人类跟踪系统)”的美国专利申请序列号12/575,388；于2009年4月13日提交的名称为“GestureRecognizerSystemArchitecture(姿势识别器系统体系结构)”的美国专利申请序列号12/422,661；于2009年2月23日提交的名称为“StandardGestures(标准姿势)”的美国专利申请序列号12/391,150；以及于2009年5月29日提交的名称为“GestureTool(姿势工具)”的美国专利申请序列号12/474,655。

图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备的一个示例实施例。在一个示例实施例中，捕捉设备可被配置成经由任何合适的技术来捕捉具有可包括深度值的深度图像的视频，这些技术包括例如飞行时间、结构化光、立体图像等。根据一个实施例，捕捉设备可以将所计算的深度信息组织成“Z层”，即与从深度相机沿其视线延伸的Z轴相垂直的层。

如图2所示，捕捉设备可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可以包括所捕捉场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可表示深度值，比如例如所捕捉场景中的对象距相机的以厘米、毫米等为单位的长度或距离。

如图2所示，根据一个示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26，以及RGB相机28。例如，在飞行时间分析中，捕捉设备的IR光组件24可将红外光发射到场景上，并且随后可使用传感器(未示出)、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。

在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。该相移然后可以用于确定从捕获设备到目标或物体上的特定位置的物理距离。

根据另一示例性实施例，可以使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉设备到目标或物体上的特定位置的物理距离。

在另一示例实施例中，捕捉设备可以使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即被显示成诸如网格图案或条纹图案的已知图案的光)可以经由例如IR光组件24被投射到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这样的变形可以被例如3-D相机26和/或RGB相机28捕捉，并且随后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。

根据另一实施例，捕捉设备可包括可以从不同的角度观察场景的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。在另一示例实施例中，捕捉设备可使用点云数据(pointclouddata)和目标数字化技术来检测用户的特征。

捕捉设备还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。

在一示例实施例中，捕捉设备还可包括能与图像相机组件22通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。

捕捉设备还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像相机组件22和处理器32通信的分开组件。根据另一个实施例，可将存储器组件34集成到处理器32和/或图像相机组件22中。

如图2所示，捕捉设备可经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备提供时钟，该时钟可用于确定何时捕捉例如场景。

另外，捕捉设备可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像、以及可以由捕捉设备生成的骨架模型。存在用于判断由捕捉设备检测到的目标或对象是否与人类目标相对应的各种已知技术。骨架映射技术因而可用于确定该用户的骨架上的各个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括：将图像变换成人的人体模型表示以及将图像变换成人的网格模型表示。

然后，可以将骨架模型提供给计算环境12，使得计算环境可以执行各种动作。计算环境还可基于例如从骨架模型中识别出的用户的姿势来确定在计算机环境上执行的应用中要执行哪些控制。例如，如图2所示，计算环境12可包括用于确定用户何时执行了预定义姿势的姿势识别引擎190。

图3A示出了可以用于在目标识别、分析和跟踪系统中解释用户的一个或多个位置和运动的计算环境的示例实施例。上文参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3A所示，多媒体控制台100具有中央处理单元(CPU)101，所述CPU具有一级高速缓存102、二级高速缓存104，以及闪存ROM106。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU101可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。将数据经由总线从GPU108传送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU108，以便于处理器对各种类型的存储器112(诸如，但不限于RAM)的访问。

多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146(例如，闪存、外置CD/DVDROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制台100内置的或外置的。应用数据可经由媒体驱动器144访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE1394)等总线连接到I/O控制器120。

系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

多媒体控制台100内的CPU100、GPU108、存储器控制器110、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。

多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源从应用的视角而言是不存在的。

具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留量，通过使用GPU中断来调度代码以将弹出窗口渲染为覆盖图，从而显示由系统应用生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在完整的用户界面被并发系统应用使用的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存中断最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所描述的)在系统应用活动时控制游戏应用的音频级别(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义附加输入设备。

图3B示出了计算环境220的另一示例实施例，它可以是用来解释目标识别、分析和跟踪系统中的一个或多个位置和运动的图1A-2中示出的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在一些实施例中，各个所示的计算元素可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中，术语电路可包括通过体现可操作以执行功能的逻辑的软件指令来配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。

在图3B中，计算环境220包括通常包括各种计算机可读介质的计算机241。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括诸如ROM223和RAM260之类的易失性和/或非易失性存储器形式的计算机存储介质。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常被存储在ROM223中。RAM260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图3B示出了操作系统225、应用程序226、其他程序模块227，以及程序数据228。应用程序226的一个示例是用于向用户呈现如在此所解释的交互性故事体验的故事应用226。图3B还包括具有用于高速和高分辨率的图形处理和存储的相关联的视频存储器230的图形处理器单元(GPU)229。GPU229可通过图形接口231连接到系统总线221。

计算机241也可以包括其他可移除/不可移除、易失性/非易失性计算机存储介质。只作为示例，图3B示出了读写不可移动非易失性磁性介质的硬盘驱动器238、读写可移动非易失性磁盘254的磁盘驱动器239、以及读写诸如CDROM或其他光学介质之类的可移动的非易失性光盘253的光盘驱动器240。可在示例性操作环境中使用的其他可移除/不可移除、易失性/非易失性计算机存储介质包括但不限于：磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常通过诸如接口234之类的不可移动存储器接口连接到系统总线221，并且磁盘驱动器239和光盘驱动器240通常通过诸如接口235之类的可移动存储器接口连接到系统总线221。

上面所讨论的并且在图3B中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机241提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图3B中，硬盘驱动器238被示为存储了操作系统258、应用程序257，其他程序模块256，以及程序数据255。注意，这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可通过诸如键盘251和定点设备252(通常称为鼠标、跟踪球或触摸垫)之类的输入设备将命令和信息输入计算机241。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。相机26、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除了监视器以外，计算机还可包括诸如扬声器244和打印机243之类的其他外围输出设备，它们可通过输出外围接口233来连接。

计算机241可使用到一个或多个远程计算机(诸如，远程计算机246)的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文参考计算机241所描述的许多或全部元件，但是图3B中只示出了存储器存储设备247。图3B中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但是也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接到LAN245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于在诸如因特网之类的WAN249上建立通信的其他手段。调制解调器250可以是内置的或外置的，可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图3B示出了驻留在存储器设备247上的远程应用程序248。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

图4描绘了可以从捕获设备20生成的用户的示例性骨架映射。在该实施例中，标识出各个关节和骨骼：每只手302、每个前臂304、每个肘306、每个大臂308、每个肩310、每个髋312、每条大腿314、每个膝316、每条小腿318、每个足320、头322、躯干324、脊椎的顶部326和底部328以及腰330。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或面部的各个特征，如鼻和眼。

图5是用于经由自然用户界面呈现交互式故事体验的本发明的技术的实施例的操作的高级流程图。在步骤400，用户可启动系统10并激活计算环境12和捕捉设备20。在步骤404，系统10运行故事应用226。在步骤406中，故事应用通过显示器14向用户呈现故事的下一帧。

故事可在显示器14上被图形地呈现，并且可具有相关联的音频叙述。故事可用离散的、静止图像面板来显示，即，一系列静止图像被连续地呈现为显示器14上的静止帧。故事可另选地用动态计算机图形(CG)动画来呈现，或者用视频相机以实际的演员来被呈现为场景拍摄。音频叙述可以是由故事应用、由用户和/或由在呈现故事的同时不出现的第三方来呈现的音频，如下文说明的。音频叙述还可包括所呈现的故事的角色之间的对话。同样地，角色之间的这一对话可由故事应用、由一个或多个用户和/或由在故事被呈现的同时不出现的一个或多个第三方来呈现。

在使用CG动画的各实施例中，故事应用226可呈现计算环境12的GPU生成的第一动画帧，该帧可以捕捉设备的刷新率(例如30Hz)来被刷新。在其他实施例中，帧速率可以快于或慢于该帧速率。在使用静态图像面板的各实施例中，静态图像类似于书籍或动画的页面。静态图像可在显示器上呈现例如若干秒。在使用视频的各实施例中，帧可用视频的帧速率来刷新，帧速率同样地可以是例如30Hz。

在各实施例中，在运行故事应用之后，用户18不必与所呈现的故事交互。换言之，用户可以在从头到尾播放故事的时候仅仅查看和/或收听故事。在下文描述的其他实施例中，用户可另选地与由故事应用226呈现的故事交互。

当用户观看故事应用和/或与故事应用交互时，捕捉设备20监视用户。在步骤408中，如果捕捉设备20感测到用户正离开视野，则在步骤412故事应用可暂停直到用户重新进入视野。在其他实施例中可以省略步骤408和412。如上文所指示的，用户可仅仅坐着并查看和/或收听由故事应用呈现的故事。在步骤416中，如果没有感测到用户交互，则故事就将简单地继续直到它结束。然而，如果在步骤416中感测到用户交互，则系统一般地确定该交互并且取决于该交互来执行不同的操作，如下文所说明的。

在步骤418中，故事应用可检查捕捉设备20的话筒阵列30是否检测到语音。用于区分话筒阵列30所拾取的声音以确定这些声音中是否有一种或多种声音是人类语音的技术是已知的。话筒阵列30可以包括各种已知的滤波器，诸如用于衰减可以由话筒阵列30检测出的低频噪声的高通滤波器。

如果在步骤418中检测到语音，则系统执行图6中阐述的各步骤，如现在将描述的。在各实施例中，标识特定用户是否是说话者或者语音是否来自某一其他源可能是合乎需要的。存在用于将语音与视野中的用户相关联的各种技术，诸如语音特征与特定用户的先验相关以及声学源定位技术。这些和其他技术可用于在步骤450中标识说话者。在其他实施例中可以省略步骤450。

故事应用可具有用于叙述故事的相关联的叙述，该叙述可以通过与音频/视频设备16相关联的扬声器进行广播。然而，叙述可另选地用文字显示在屏幕上，以使得它们可被收听故事的用户阅读。在一个示例中，孩子可能正在学习阅读，或者父母可能正在孩子观看显示器14上打开的故事的同时向孩子讲故事。作为出现在屏幕上的文字的替换，用户可具有与计算环境12配对的并且参与故事应用226的同一实例的计算设备。在这些实施例中，叙述的文字可被显示在用户配对的计算设备上而非显示器14上。

在其他实施例中，构想了叙述可以由当故事应用226正在系统10上显示故事时不出现的第三方来阅读。尽管在各实施例中第三方可以是任何人，第三方可以是例如当故事应用运行时不出现的、但渴望成为呈现给收听和观看系统10上的故事的孩子的叙述的语音的父母或祖父母。

在这些实施例中，第三方可预先录制了故事应用的叙述，并且该记录可在故事应用正在运行以提供故事的叙述时被回放。在这一实施例中，记录可在或与系统10相关联或者不与系统10相关联的音频回放设备上被回放。在另一实施例中，第三方可以在故事应用226在系统10上运行时实时地阅读故事应用的叙述，但第三方经由电话或VOIP连接连接到计算环境12。

在步骤454中，故事应用确定在步骤418中感知到的语音是否与故事的叙述相关。已知的语音分析技术可用于这一目的，包括将叙述的已知词解析成音素，对由话筒阵列30感知到的语音完成相同的动作，并且比较两个音素流以寻找匹配。

在步骤454中，如果说出的语音与故事应用的叙述相关，则说出的语音可设置故事应用推进故事的节奏。例如，在故事被呈现在静止图像面板的情况下，故事应用可在步骤464中确定与特定面板相关联的叙述的最后的词是否已被说出。如果否，则还没到时间前进至下一面板，并且流程可返回以寻找下一交互，如下文参考图5所说明的。另一方面，如果故事应用确定与特定面板相关联的叙述的最后的词已经被说出，则故事应用可在步骤466中前进至下一面板。该流程可返回以寻找下一交互，如下文参考图5所说明的。

在图像是视频或动态动画的情况下，故事应用可将叙述与说出的语音进行相关，并且加快或减缓所显示的图像以与由用户或第三方说出的叙述的节奏同步。故事应用可在图5的流程图中贯穿循环，并且可周期性地检查语音，检查该语音是否与所呈现的故事的叙述相关，并且将所呈现的图像与说出的叙述的节奏同步。

如果在步骤454中故事应用无法将语音与叙述进行相关，则应用可接着在步骤456中检查声音是否被识别为针对故事应用或针对系统10的操作的可听指令。如果否，则计算环境12可返回至图5以在步骤422中寻找用户与故事应用的另一可能的交互，如下文所说明的。另一方面，如果在步骤456中语音被识别为指令，则在步骤460中与该指令相关联的动作可被执行，并且系统随后可返回至图5的流程图以查看下一交互。

现在返回图5，在步骤422中，本发明的系统可寻找特定类型的姿势，该姿势在此处被称为“探索姿势”。具体地，本发明的技术的一个特征是在用户在效果上踏入在显示器14上呈现的虚拟世界并且探索和/或调查显示器上的虚拟对象的情况下允许一种类型的交互。作为各种各样的示例中的一个，故事可向用户显示房间。在没有用户交互的情况下，可向用户显示房间持续一段时间，并且随后故事可继续以显示其他位置。然而，代替简单地继续，用户可执行探索姿势，该姿势指示他们期望探索和调查房间内的虚拟对象以获得更近的视图和/或从不同角度来查看对象。在各实施例中，还构想了用户可执行由计算环境12解释的各种姿势和运动，这些姿势和运动使得用户能够拾取和操纵场景内的虚拟对象。

在图5的步骤422中，计算环境12寻找预定义的探索姿势。在本发明的技术的各实施例中，用户作出的各种各样的移动和姿势可被设为预定义探索姿势。在现在参考图10来描述的一个这样的实施例中，捕捉设备20捕捉用户的头部和/或身体移动。例如，在图10中，用户向一侧弯曲并且伸长他们的脖子，如用户在试图环顾凝视真实世界中的对象或对象后方时可能表现的那样。姿势识别引擎190的操作在下文中说明，但识别引擎190可具有预定义的规则来寻找这样的身体移动，并且在找到这样的身体移动时将它们解释为探索姿势。除了伸长脖子和/或弯腰之外，探索姿势可另外地或另选地包括另一姿势，诸如如图10所示的指向姿势。

可以理解，在其他实施例中，各种各样的其他身体移动可被定义为探索姿势。在某些这样的实施例中，用户移动可在真实世界中具有与用户希望在虚拟世界中完成的动作的关联。上文阐述了一个示例，其中用户向一侧弯曲并且伸长他们的脖子以表明他们期望环顾对象或查看对象后方。在其他实施例中，用户还可以或者另选地走向显示器方向，从而指示他们期望踏入虚拟场景。在其他实施例中，不具有真实世界意义的姿势的任意集合可被定义。然而，任意身体和/或语音姿势可由姿势识别引擎190开发和记录，以使得在这些姿势被执行时，姿势识别引擎识别出它们，并且执行诸如踏入虚拟场景以查看对象后方之类的相关联的动作。

一旦在步骤422中识别出探索姿势，计算环境12执行步骤490到538，如现在将参考图7的流程图来描述的。在步骤490中，计算环境12确定用户是否希望踏入示出了显示的三维虚拟世界以从另一位置查看所显示的场景。同样地，这种期望以及用户想要带入虚拟场景的方向由用户通过预定义的头部、手部或其他姿势来控制。这一实施例可在场景被呈现在CG动画中的情况下操作。在场景被呈现在静态面板或记录的视频中的情况下，构想了CG动画可剪切入这些显示模型以提供对虚拟场景的探索，如下文所说明的。在另一实施例中，视频可以是360°拍摄的，这允许用户对视频场景的某种程度的进入和探索。

作为一个示例，一旦执行了探索姿势，捕捉设备20和计算设备12就可确定显示器上用户聚焦于的点，诸如图10中的点610。该点可通过捕捉用户的眼睛看向哪里来确定，和/或该点可通过捕捉用户的手指向指向哪里来确定。在其他实施例中，用户还可以或者另选地走向该方向。如果在步骤490中确定用户希望从不同的位置查看场景，则计算环境可在步骤494中定义用户希望在虚拟世界中沿着其来移动的向量。

步骤494中的向量可基于从用户上的基准点到显示器上的兴趣点610的一个或多个真实世界三维向量612来确定。在图10中，向量612是从用户的眼睛到兴趣点610以及从用户指向的手到兴趣点610。基准点(眼睛、手等)具有已知的x、y和z坐标位置。

显示器14上显示的虚拟场景在3-D数据中被表示。换言之，虚拟场景中的点和场景内的虚拟对象被分配x、y和z值，以创建在此处被称为3-D机器空间的3-D虚拟空间。给定捕捉设备20对于用户在其中移动的真实世界的已知位置，在3-D真实世界空间和3-D机器空间之间存在已知关系。由此，向量612可使用已知变换矩阵从3-D真实世界空间被转换成3-D机器空间。真实世界向量612到3-D机器空间的转换在步骤494中提供了用户要沿着移动到3-D虚拟场景中的向量。如下文所说明的，为了创建用户移动到虚拟场景中并检查虚拟对象的效果，显示器的角度改变为提供场景的不同区域和对象的视图，并且从不同的放大或缩小的位置。同样地，这是可能的，因为虚拟对象不仅被定义为显示器上的二维点，而具有机器空间中的3-D定义。

在步骤498中，代替立即将用户重新定位到所需位置，用户到虚拟机器世界中的视图将增量式地被改变。用户视图改变的增量可被任意设定，但在各实施例中，视图这样改变以造成用户正以普通步行节奏步入场景中的印象。在步骤502中，在显示器14上显示的场景的视图可被更新以增量式地改变步骤498的视图。同样地，用于将所显示的场景转换成3-D机器空间的任何角度的变换矩阵是已知的。在步骤506中，场景可从步骤502中确定的新的位置的视角来呈现。

该例程随后可返回至步骤490，以确定用户是否已经到达虚拟场景内他们想要调查对象的位置或者他们是否想要继续在虚拟场景内移动。这可以由用户的身体位置以及用户聚焦于显示器的何处或者由某种其他的任意身体移动或语音姿势来指示。如果用户想要继续在虚拟场景内移动，则步骤490到506被重复直到用户到达了虚拟场景内他们的所需位置。

如果步骤490确定用户位于虚拟场景中的所需位置(即，该场景从所需角度被呈现在显示器上)，流程图可分支到步骤510以确定用户是否希望更近地聚焦于该位置处的场景内的对象。同样地，这种期望可由或模仿用户想要作出的以移动到和/或聚焦于真实世界中的对象的真实世界移动的一个或多个预定义姿势来指示，或者由出于导航并聚焦于虚拟世界中的对象的目的而定义的任意姿势来指示。

如果在步骤510中确定用户希望更近地聚焦于场景中的对象，则在步骤514中计算环境12将当前位置(即，场景的当前视图)存储为基准位置。如下文所说明的，这一基准位置将被用作当用户完成对特定虚拟对象的聚焦时系统返回到的视图。在步骤518中，计算环境12确定从基准位置到虚拟对象的向量方向。这可以如上所述地通过检测真实世界中用户头部在x、y、z空间中的位置以及用户正看向显示器的哪里，并且之后将该向量转换成虚拟机器空间中的向量来完成。

在步骤522中，沿着这一向量的中间增量位置可如上所述地被确定。在步骤524，场景的角度可被转换成在步骤522中确定的位置，并且在步骤528中，场景可从在步骤524中确定的视角来呈现。在步骤532中，系统可确定用户是否完成了对虚拟场景内的虚拟对象的聚焦。这可以由各种预定义姿势中的任一个来指示。如果系统未确定用户完成了聚焦视图，则流程图返回至步骤510，并且可重复步骤510到528以提供对场景内的虚拟对象的进一步且附加的聚焦。另一方面，如果用户在步骤532执行了指示用户已完成他们的聚焦视图的预定义姿势，则在步骤536中视图可被转换回来自基准位置的视图(在步骤514中存储的)。

如果计算环境12无法鉴别步骤490和510中的附加探索姿势，则流程可分支到步骤538以查看用户是否执行指示他们已完成探索场景的预定义姿势。如果否，则流程可循环回步骤490，以查看用户是否希望从不同的位置查看场景，并且如果否，则流程移动到步骤510以确定用户是否希望聚焦于在该当前位置处的场景内的对象。另一方面，如果在步骤538中执行了指示用户完成了在3-D场景内的探索的某种预定义姿势，则流程可返回到图5以检查下一类型的用户交互。

可以理解，步骤490到538仅仅是用户可如何移动到由故事应用在显示器14上提供的三维虚拟世界中并在其中四处移动的一个示例。

在本发明的系统的各实施例中，除了观看故事以及在3-D虚拟世界内探索，用户还可具有控制故事内的一个或多个角色的选项。这一实施例可在场景被呈现在CG动画中的情况下操作。在场景被呈现在或静态面板或记录的视频中的情况下，构想了CG动画可被剪切入那些显示模型以提供角色控制，如下文所说明的。

在各实施例中，用户18可执行指示用户期望控制屏幕上的角色23的移动和/或动作的某种预定义的姿势。该预定义姿势可以是例如与例如指向屏幕上给定的角色的用户运动耦合的任意姿势。当这样的角色控制被故事应用226准许时，在步骤426中用户可被注册为该角色，并且之后用户可如下文参考图8的步骤540到558来描述地来控制该角色。

在用户被注册为控制角色之后，用户可执行用于动画化和影响受控的屏幕上的角色的行为的某些运动和姿势。在步骤540中，计算环境确定用户是否执行了预定义的、被识别的姿势。如果是，则计算环境在步骤544检查屏幕上的角色是否被准许执行与识别处的姿势相对应的动作。具体地，在各实施例中，用户不必对屏幕上的角色的动作或行为具有完全控制，而是与故事应用226共享对屏幕上的角色的控制。在各实施例中，用户可控制角色移动至某一程度，但应用可定义这种移动的边界，并且可限制对屏幕上的角色的其他方面的控制，诸如涉及角色的行为和个性。用户对屏幕上的角色的不受束缚的控制可阻止故事应用向前移动，例如，在用户致使屏幕上的角色执行未被预期为可能的故事分支的某些动作的情况下(下文说明的)。然而，应该理解，在其他实施例中，用户可以被给予对屏幕上的角色的不受束缚的控制。

如果角色23被故事应用准许在步骤542中执行姿势动作，则在步骤544中角色执行与该姿势相关联的动作。图1B示出在用户被给予控制屏幕上的角色23的上半身的能力的情况下的示例。这一特定的故事应用可识别出用户抬起他们的手臂、并且使其与诸如怪物之类的屏幕上的角色相对应以威胁的方式抬起他们的手臂的姿势。在图8的步骤540中的这样的用户姿势之后，角色在步骤544中执行对应的动作。

如果在步骤540中没有执行识别出的姿势，则计算环境接着在步骤546中检查用户移动是否被捕捉设备20检测到。如果是，则系统在550检查屏幕上的角色是否被准许按照用户所做的来移动，如上所阐述的。如果是，则在步骤552中以有样学样的方式用用户的移动来动画化屏幕上的角色。如果计算环境在步骤540中未检测到预定义的姿势或者在步骤546中未检测到用户移动，则计算环境可返回到图5的步骤428以检测与场景的其他用户交互，如下文说明的。

在步骤554中，系统接着检查用户是否给出了指示他们期望结束对角色的控制的某种类型的预定义的姿势。如果在步骤554中检测到这样的姿势，则在步骤556中用户对角色的控制结束并且角色完全由故事应用226控制。如果系统在步骤546检测到用户移动但在步骤550中角色不被准许以该种方式移动，或者如果用户在步骤554结束对角色的控制，则系统可返回到图5的步骤425以寻找用户与所显示的场景的其他交互。

现在返回到图5，在步骤428，计算环境12寻找用户与所显示的场景的某种交互，并且具体的是可影响故事的子情节的结尾或者影响故事的整个结尾的用户交互。如果检测到这种交互，则系统执行图9的步骤560到步骤588。这可以作为上文参考418来描述的语音命令、上文参考步骤422来描述的探索姿势、上文参考步骤426来描述的用户控制屏幕上的角色、或与故事的某种其他交互的结果来发生。

交互程度可部分地由故事中显示的图像的类型来确定。CG动画可提供较高的交互程度，而静止面板和记录的视频可提供较低的交互程度。应该理解，CG动画可被剪切入静止面板和/或记录的视频以提供更强的交互性。在各实施例中，用户可被给予在故事中离散的点处与屏幕上的故事交互的机会。这些点可通过故事中的暂停或某种提示来向用户指示。在其他实施例中，用户可具有在应用226呈现故事期间的任何点处与故事交互的选项。

在步骤428与所显示的场景交互之后，系统最初地执行确定用户是否执行了运动或被识别的姿势的步骤560。如果是，则计算环境12接着在步骤564中检查与该运动或姿势相关联的动作是否需要分支到不同的故事线。存在用于确定用户动作是否要求分支到不同的故事分支，并且随后确定如何从该故事分支来继续的各种已知的方法。在一个示例中，故事应用可为故事内的所有对象和角色维护状态数据值。当关于场景或角色的某些东西改变时，该场景或角色的状态数据可相应地改变。这些状态数据值可用于呈现故事对象或角色，并且用于控制对于这些对象或角色发生了什么。

在各实施例中，取决于对象和角色的状态数据值，故事应用可能能够分支到各种各样不同的故事线，状态数据可作为与那些对象和/或角色的用户交互的结果来更改。该其他实施例中，用户可执行不与屏幕上的对象或角色交互或不影响屏幕上的对象或角色的、但可导致改变故事线的某些姿势。作为一个示例，用户可选择在要参考屏幕上显示的房间示出和说明的故事的重要方面被揭示之前离开该房间。

在步骤564中，计算环境12确定与用户执行的姿势相关联的动作是否要求分支到不同的故事线。如所述的，这可在故事的对象和角色的状态数据值已经被用户更改的情况下发生。具体地，状态数据值已经改变以使得按照步骤560中的用户姿势之前所存在的来继续故事将与同对象、角色或整个故事相关联的当前状态数据值不一致。如果用户姿势要求到不同故事线的分支，则计算环境12可在步骤568中检查是否存在与用户交互一致的故事的已知分支。

如果在步骤560中用户未执行运动或被识别的姿势，或者在步骤564中用户的运动/被识别的姿势不要求到不同故事线的分支，则系统可返回到图5以在步骤432中寻找任何其他类型的移动或姿势，如下文所说明的。而且，如果用户执行了要求到不同故事线的分支的动作，但没有与用户交互一致的、且故事应用226已知或可标识的分支，则在步骤568中用户姿势在故事线上的效果可被忽略，并且流程可返回到图5中的步骤432，如下文所说明的。

假定用户姿势要求到新的分支故事线的分支，并且该故事线能够由故事应用执行，则故事应用可取决于用户执行了什么运动或姿势来修改与对象、角色和作为一个整体的应用相关联的状态数据。参照图11和12，某些用户交互影响只有故事的子情节有区别而不影响整体结尾的故事分支。如图11所示，用户可执行致使故事应用分支到分支1、分支2、……分支N的某些交互620，并且之后所有分支重新会聚以继续原始故事线。构想了各种各样的这样的子情节故事分支。例如，在图1A中，用户可执行将云25一起移动到在房子21上下雨的点处的姿势。雨可能对整体情节没有影响。可能下一会雨，雨可能停，并且故事线可如原本没有下雨时那样来继续。在其他实施例中，应用故事可提示用户回答问题或解决谜题，并且故事线可取决于用户对提示的回答来分支到不同的子情节。一旦用户成功地回答了问题或解决了谜题，故事可重新会聚并继续原始故事线。

另一方面，其他类型的用户交互可影响改变故事的整体结尾的故事分支。换言之，故事将取决于与故事的用户交互来不同地结束。例如，在图11中，用户执行致使故事分支到不重新会聚的N个分支中的一个的交互624。而且，这些分支中的任何一个本身随后可基于其他用户交互来分支。例如，如果用户交互624致使故事分支到1号分支，则用户可执行致使故事分支到进一步可能的结尾的另一交互628。取决于故事应用是否被编写为处理许多子情节和整体情节分支，故事可具有任意数量的子情节分支或整体情节分支。

在各实施例中，单个用户可执行致使故事应用执行子情节分支或整体情节分支的交互。在其他实施例中，多个用户可能正在查看故事。这些多个用户可位于同一位置或使用被联网在一起的不同系统10位于不同位置，从而各个用户可共享应用226的同一实例和同一故事体验。在这些实施例中，故事应用226可在故事线分支到新的子情节或新的整体情节之前要求若干用户协同动作的动作。

现在返回图9，如果在步骤564中计算环境12标识了要求故事线分支的用户移动或姿势，并且故事应用被配备为处理该新的故事线，则在步骤570中故事应用226分支到该新的故事线。在步骤572中，故事应用修改任何对象、角色或作为一个整体的应用的状态数据。在步骤574中，故事应用226可根据新的故事线和状态数据来呈现场景的图形，并且在步骤578中故事应用可用所标识的分支来继续。

本发明的系统的一个方面是向正向用户显示的故事添加游戏机制。相应地，除了显示故事之外，故事应用226还可保存用户的得分，该得分可取决于用户如何与故事交互来递增或递减。具体地，用户的某些姿势或动作可具有预定的故事值和根据相关联的姿势的表现要向用户的总体得分添加或扣除的相关联的点数。相应地，在步骤582中，故事应用检查是否存在与步骤560中执行的用户交互相关联的得分。如果否，则流程返回到图5的步骤432。如果存在与用户交互相关联的得分，则在步骤588中相应地调整用户得分，并且随后流程可返回到图5中的步骤432，如下文描述的。

图9的实施例可用于使用静态图像面板或动态CG图像动画的故事。图9A示出用于记录的视频的其他实施例。步骤560到572可以如上文对图9描述。在各实施例中，与记录的视频的交互将在与视频的交互的预定义点处发生。对于记录的视频的故事，故事应用可对于故事的每一个可能的分支具有不同的视频剪辑。在步骤590中，故事应用可检索适于故事的所确定的分支的媒体剪辑。在步骤594中，计算环境12可呈现该剪辑。作为不同分支的预先录制的视频剪辑的替换或附加，CG动画可由计算环境构造并被插入。

在向用户示出了来自故事分支的图像之后，如果故事不分支到新的线，在步骤596中故事应用226随后可回头并示出故事的媒体剪辑。例如，故事可涉及其中侦探正要讯问疑犯的犯罪戏剧。用户可执行指示他们希望与故事应用交互来讯问疑犯的预定义姿势。用户可问问题，并且可用不同的方式且用不同的态度来执行讯问。这些动作在范围上可以是受限的，例如受限于用户可从中选择问题的脚本。或者，它可以是用户希望问的任何问题。

用户还可用不同的态度来问问题，可能或多或少得可能对正被讯问的疑犯角色起作用。用户可能试图欺压疑犯，或者用户可能试图通过以舒适的言行来继续来引出信息。捕捉设备20能够检测这些不同的作风，并且如果某些动作匹配定义的且存储的作风数据，则这些不同的作风可由计算环境12标识。一旦用户完成了讯问，则侦探进行讯问的视频剪辑可被播放。就用户他或她能够从疑犯获得的信息量与被重放的场景中侦探角色获得的相比较而言，用户可以看到他们比侦探做得更好或更差。

在步骤600，故事线用被标识的分支来继续。它可重新召集原始故事线，或者它可导致整体情节的新的结尾。在步骤604中，用户交互可被打分。例如，如果在以上示例中用户能够引出比侦探角色更多的信息，则用户可被奖励某些预定义的点数。或者，如果用户引出更少的信息，则他们可丢失预定的点数。用户的得分可相应地被调整，并且流程可返回到图5的步骤432，如下文所描述的。

返回到图5，用户姿势并非是步骤422中的探索姿势，并非步骤426中的出于控制角色的目的，并且并非步骤428中的与所显示的场景交互以便改变故事线也是可能发生的。相应地，在步骤432中计算环境12检查其他这样的姿势。如果在步骤432中没有识别出其他这样的姿势，则故事应用循环回到步骤406以呈现故事的下一帧并且上述步骤重复。另一方面，如果在步骤432中识别出某种其他姿势，则系统在步骤434中检查该姿势是否要结束故事。如果是，则故事在步骤436结束。否则，在步骤438中，系统执行在步骤432中识别出的姿势相关联的任何动作，并且随后流程返回到步骤406以呈现故事的下一帧。

如上所述，如果在接收到故事时用户没有采取动作，则故事可按照图像和/或叙述或对话的默认集合来线性地继续。在其他实施例中，即使在用户没有采取行动的情况下，线性故事中的元素也可基于各种预先设定的因素相对于故事的实例而动态地改变。这些因素可包括：故事已经被查看的次数(例如，新的事物总共发生了第四次)；观众人数；以及天气或几点钟(例如，故事中的天气随着季节改变，或者与真实世界天气绑定)。天气或几点钟对于系统10可以是已知的，或者被存储在系统10联网到的服务内。同样，其他故事中的事件可具有影响——被引入到故事B中的角色使得他们出现在故事A中。上文描述的本发明的系统的这些特征以及其他特征使得故事更动态并且鼓励重复查看和实验。

上文描述的许多交互由预定义的姿势触发。图13示出姿势识别引擎190的框图，而图14示出图13的姿势识别引擎190的操作的框图。在步骤660中，姿势识别引擎190接收姿态信息650。姿态信息可包括与在图像数据中检测到的用户的各身体部分及关节的位置和/或运动有关的各种参数。

在步骤664中，姿势识别引擎190分析接收到的姿态信息650，以查看该姿态信息是否匹配存储在姿势库654内的任何预定义的规则658。存储的规则658描述由姿态信息650所表示的特定位置和/或动力运动何时将被解释为预定义的姿势。在各实施例中，每一个姿势都可以具有不同的、唯一规则或规则集658。每一规则可具有与图4所示的一个或多个身体部位有关的多个参数(关节位置向量、最大/最小位置、位置变化等)。所存储的规则可对每一参数并对图4所示的每一身体部位302到330定义单个值、值范围、最大值、最小值、或关于该身体部位的参数与该规则所覆盖的姿势的判定无关的指示。规则可以由游戏作者、由游戏平台的主机或由用户本身创建。

姿势识别引擎190可输出所标识的姿势和对应于用户的位置/移动与该姿势相对应的可能性的置信度水平。具体而言，除定义姿势所需的参数之外，规则还可以包括在姿态信息650将被解释为姿势之前所要求的阈值置信水平。某些姿势可能作为系统命令或游戏指令具有更大的影响，如此，在姿态被解释为该姿势之前要求较高的置信水平。姿态信息与存储的规则的参数的比较导致关于姿态信息是否表示姿势的累积置信度水平。

一旦确定了关于给定姿态或运动是否满足给定姿势规则的置信度水平，姿势识别引擎190然后就在步骤668确定该置信度水平是否超过关于所考虑的规则的预定阈值。阈值置信度水平可以与考虑中的规则相关联地存储。如果置信度水平低于阈值，则检测不到姿势(步骤670)，并且不采取动作。另一方面，如果置信度水平高于阈值，则确定用户的运动满足所考虑的姿势规则，并且在步骤674，姿势识别引擎190返回所标识的姿势。在其他实施例中，姿势识别引擎190可由其他方法来操作。

本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种在包括计算环境的系统中的将交互式游戏方面组合到线性故事中的方法，所述计算环境耦合到用于捕捉用户运动的捕捉设备以及用于显示图像和/或提供音频的视听设备，所述方法包括：

a)经由所述视听设备使用图像和音频叙述中的至少一个来呈现所述线性故事，所述线性故事具有在用户不与所述故事交互的情况下向用户呈现的图像和/或叙述的默认集合；

b)经由所述捕捉设备来检测用户的移动和语音命令中的至少一个；

c)标识在所述步骤b）中检测到的所述移动和/或所述语音命令是否是与所述线性故事的交互，所述交互更改所述线性故事以包括具有未被包括在图像和/或叙述的默认集合中的附加图像和附加叙述中的至少一个的故事分支；以及

d)通过经由所述视听设备来向用户呈现所述附加图像和附加叙述中的至少一个来更改所述线性故事。

2.如权利要求1所述的方法，其特征在于，所述线性故事包括：具有由虚拟机器空间中的场景的三维描述定义的故事场景的图像，更改所述线性故事的所述步骤d）包括呈现从所述虚拟机器空间内的不同的三维视角来示出图像的默认集合的场景的附加图像的步骤e）。

3.如权利要求2所述的方法，其特征在于，所述步骤e）中呈现的附加图像创建用户移动入所述场景的印象。

4.如权利要求2所述的方法，其特征在于，所述步骤e）中呈现的附加图像创建用户从不同视角检查来自所述场景的对象的印象。

5.如权利要求2所述的方法，其特征在于，所述步骤e）中呈现的附加图像创建用户查看所述场景内的对象后方的印象。

6.如权利要求1所述的方法，其特征在于，所述线性故事包括音频叙述和图像，呈现所述线性故事的所述步骤a）包括以下步骤：

a1）用户用语音发出所述叙述，

a2）将用户用语音发出的叙述与所述线性故事的对应图像匹配，以及

a3）以所述用户用语音发出的叙述的节奏所确定的节奏来呈现所述图像。

7.如权利要求1所述的方法，其特征在于，所述线性故事包括呈现给用户的音频叙述和图像，呈现所述线性故事的所述步骤a）包括以下步骤：

a1）第三方用语音发出所述叙述，所述第三方不与用户一起出现并且所述第三方的语音经由扬声器在所述用户的附近作为所述叙述来提供，

a2）将所述第三方用语音发出的叙述与所述线性故事的对应图像匹配，以及

a3）以所述第三方用语音发出的叙述的节奏所确定的节奏来呈现所述图像。

8.一种用于将交互式游戏方面组合到线性故事中的方法，包括：

a)经由视听设备使用图像和音频叙述中的至少一个来呈现所述线性故事，在监视用户移动的捕捉设备没有感知到用户交互的情况下，所述线性故事从头到尾被呈现为完整的故事，并且包括图像的默认集合；

b)经由与所述视听设备相关联的捕捉设备来检测用户的移动；

c)标识所述步骤b）中检测到的所述移动是否是与所述线性故事的交互，所述交互要求将所述线性故事修改为包括具有未被包括在图像的默认集合中的附加图像的故事分支；

d)基于存储的或处理的数据来确定所述附加图像是否可被呈现；

e)如果在所述步骤d）中确定所述附加图像可被呈现，则通过经由所述视听设备来向用户呈现所述附加图像来更改所述线性故事；以及

f)在所述交互与基于所述交互来奖励或拿走预定点数的情况下对用户交互打分。

9.如权利要求8所述的方法，其特征在于，所述线性故事包括：具有由虚拟机器空间中的场景的三维描述定义的故事场景的图像，更改所述线性故事的所述步骤e）包括呈现从所述虚拟机器空间内的不同的三维视角来示出图像的默认集合的场景的附加图像的步骤g）。

10.如权利要求8所述的方法，其特征在于，所述步骤b）包括作为所述线性故事的一部分用户取得对所显示的角色的至少部分控制的步骤h）。

11.如权利要求8所述的方法，其特征在于，所述步骤a）和e）包括在静止图像面板、动态计算机图形动画和线性视频中的至少一个中显示所述线性故事和/或故事分支的步骤。

12.一种用于将交互式游戏方面组合到线性故事中的系统，包括：

用于呈现图像和音频叙述中的至少一个的视听设备；

用于捕捉来自用户的图像和音频数据中的至少一个的图像捕捉设备；以及

耦合到所述视听设备和图像捕捉设备的计算环境，所述计算环境：

a）经由所述视听设备使用图像和音频叙述中的至少一个来呈现所述线性故事，在所述捕捉设备没有感知到用户交互的情况下，所述线性故事被从头到尾被呈现为完整的故事，并且包括图像的默认集合；

b）经由所述捕捉设备来检测用户的移动；

c）标识检测到的移动是否是探索姿势；

d）在将所述移动标识为探索姿势之后，从所述线性故事分支到故事分支，所述分支包括：

d1）感测所述视听设备上所述用户指示的点，

d2）计算从所述用户的部分到所述视听设备上所述用户指示的点的3-D真实世界向量，

d3）将所述3-D真实世界向量转换成3-D机器空间向量，所述3-D机器空间向量具有位于当前视角的起点以及位于3-D机器空间中的虚拟对象的终点，以及

d4）从所述3-D机器空间向量的终点处的视角来显示所述虚拟对象。

13.如权利要求12所述的系统，其特征在于，所述计算环境通过捕捉设备感测用户头部位置来感测所述视听设备上用户指示的点。

14.如权利要求12所述的系统，其特征在于，所述计算环境通过捕捉设备感测用户手部指示的点来感测所述视听设备上用户指示的点。

15.如权利要求12所述的系统，其特征在于，所述用户能够增加同与所述线性和被分支的故事交互中的用户体验相关联的得分。