CN103763541B - 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质 - Google Patents

信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质 Download PDF

Info

Publication number
CN103763541B
CN103763541B CN201410014305.8A CN201410014305A CN103763541B CN 103763541 B CN103763541 B CN 103763541B CN 201410014305 A CN201410014305 A CN 201410014305A CN 103763541 B CN103763541 B CN 103763541B
Authority
CN
China
Prior art keywords
captions
stream
information
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410014305.8A
Other languages
English (en)
Other versions
CN103763541A (zh
Inventor
服部喜努步
高桥邦明
D·埃克伦德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN103763541A publication Critical patent/CN103763541A/zh
Application granted granted Critical
Publication of CN103763541B publication Critical patent/CN103763541B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium

Abstract

一种信息处理设备包括：第一编码装置，通过在上侧和下侧放置条带形区域对图像编码；第二编码装置，对通过接合第一区域和第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的第一字幕的数据编码；第一产生装置，产生为了形成第三区域而参考的信息；第二产生装置，产生包括视频流、第一字幕的流和控制信息的内容。

Description

信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质
本申请是申请号为201180001678.6，PCT国际申请日为2011年2月11日，发明名称为“信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质”的发明专利申请的分案申请。
优先权申请的交叉引用
本申请基于并要求2010年6月23日提交的U.S.12/821,829和2010年2月12日提交的U.S.61/304,185的优先权的利益，其全部内容包含于此以资参考。
技术领域
本发明涉及一种信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质，具体地讲，涉及一种能够确保足够的区域作为字幕的显示区域的信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质。
背景技术
近年来，存在3维(3D)显示模式作为显示图像的模式，在实现3D显示模式的同时伴随着显示器(诸如，液晶显示器(LCD)等)上像素数和帧速的增加。根据3D显示模式，观看者能够以3维方式感知对象。
在未来，可以设想将会分发记录3D内容(诸如，包括可以如上所述以3维方式感知的视频数据的电影)的蓝光(商标)盘(BD)，诸如BD-ROM。
发明内容
当通过重放记录在BD等上的3D内容显示3D图像时，存在这样的问题：在哪里显示字幕和如何显示字幕。
图1是表示当具有大于16:9的与垂直方向相比在水平方向上具有更长长度的宽高比(诸如，立体声宽银幕电影的尺寸)的图像显示在具有16:9的宽高比的显示装置上时屏幕的构造的示图。
如图1中所示，内容(诸如，电影)中的图像以所谓的“信箱”的形式显示，黑色帧（frame，或称为框）区域形成于屏幕的上侧和下侧。2D的字幕通常显示在形成于视频显示区域的中间下侧的字幕区域中，如虚线所示。
当以大于16:9的与垂直方向相比在水平方向上具有更长长度的宽高比对3D内容中所包括的图像编码时，如图1中所示利用BD播放器等重放的3D内容中的图像显示在具有16:9的宽高比的电视机的屏幕上。
在这种情况下，例如，当2维字幕显示在具有显示的3D内容的视频显示区域中时，因为2D内容(通常是字幕)与以3维方式显示的对象交叠，所以可能难以阅读字幕。另外，当字幕也以3维方式显示时，观看者可能由于视差而在观看图像的同时感到疲劳。
另外，当字幕显示在黑色帧区域中时，存在这样的可能：如果将要一次在几行显示字幕并且同时字幕的字符将要显示为可读的尺寸，则显示区域可能不够。
本发明考虑这些问题，希望确保足够的区域作为字幕的显示区域。
根据本发明的第一实施例，一种信息处理设备包括：第一编码单元，通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码；第二编码单元，对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的第一字幕的数据编码；第一产生单元，产生包括为了通过移动经对作为编码图像数据的视频流解码获得的帧中所包括的图像的有效图像帧（或称为有效图像框，effectiveimageframe）的位置形成第三区域而参考并指示有效图像帧的排列位置的信息的信息作为用于控制内容的重放的控制信息；第二产生单元，产生包括视频流、作为第一字幕的编码数据的第一字幕的流和控制信息的内容。
根据本发明的以上实施例，提供了一种信息处理设备，其中所述第一产生单元产生还包括指示第一字幕的流是否被包括在该内容中的标志信息的控制信息，并且在该标志信息指示第一字幕的流被包括在该内容中时使该控制信息包括指示有效图像帧的排列位置的信息。
根据本发明的以上实施例，提供了一种信息处理设备，其中所述第一产生单元产生用于获取有效图像帧的上端的位置的第一偏移值、用于获取有效图像帧的下端的位置的第二偏移值、基于编码期间的位置指示有效图像帧将会朝着向上方向移动还是朝着向下方向移动的信息和用于获取有效图像帧的移动的量的第三偏移值作为指示有效图像帧的排列位置的信息。
根据本发明的以上实施例，提供了一种信息处理设备，其中所述第二编码单元对将要在有效图像帧内显示的第二字幕的数据编码；所述第二产生单元产生还包括作为第二字幕的编码数据的第二字幕的流的内容。
根据本发明的以上实施例，提供了一种信息处理设备，其中所述第一产生单元产生指示第二字幕的显示区域的位置和有效图像帧的位置之间的关系的固定的信息作为指示有效图像帧的排列位置的信息。
根据本发明的第二实施例，一种信息处理方法包括下述步骤：通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码；对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码；产生包括为了通过移动经对作为编码图像数据的视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考并指示有效图像帧的排列位置的信息的信息作为用于控制内容的重放的控制信息；产生包括视频流、作为字幕的编码数据的字幕的流和控制信息的内容。
根据本发明的第三实施例，一种使计算机执行包括下述步骤的过程的程序：通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码；对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码；产生包括为了通过移动经对作为编码图像数据的视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考并指示有效图像帧的排列位置的信息的信息作为用于控制内容的重放的控制信息；产生包括视频流、作为字幕的编码数据的字幕的流和控制信息的内容。
根据本发明的第四实施例，一种重放设备包括：第一解码单元，对通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码获得的视频流解码；第二解码单元，对通过对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的第一字幕的数据编码获得的第一字幕的流解码；图像处理单元，通过参考控制内容的重放的控制信息中所包括并且为了通过移动经对视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考的指示有效图像帧的排列位置的信息，经移动有效图像帧的位置在有效图像帧内显示图像；字幕数据处理单元，在通过移动有效图像帧的位置形成的第三区域中显示第一字幕。
根据本发明的以上实施例，提供了一种重放设备，其中基于作为指示有效图像帧的排列位置的信息的用于获取有效图像帧的上端的位置的第一偏移值、用于获取有效图像帧的下端的位置的第二偏移值、基于编码期间的位置指示有效图像帧将会朝着向上方向移动还是朝着向下方向移动的移动方向信息和用于获取有效图像帧的移动的量的第三偏移值，图像处理装置通过使用第一偏移值获取上端的有效图像帧的位置，通过使用第二偏移值获取下端的有效图像帧的位置，并把具有所述上端和下端的位置的有效图像帧的位置沿由移动方向信息表达的方向移动通过使用第三偏移值获取的量。
根据本发明的以上实施例，提供了一种重放设备，其中当第一字幕的流是用于在形成于有效图像帧的上侧的第三区域中显示字幕的流时，基于作为指示有效图像帧的排列位置的信息的用于获取有效图像帧的上端的位置的第一偏移值、用于获取有效图像帧的下端的位置的第二偏移值和用于基于帧的上端获取位置的移动之后的有效图像帧的上端的位置的第三偏移值，图像处理单元通过使用第一偏移值获取有效图像帧的上端的位置，通过使用第二偏移值获取有效图像帧的下端的位置，并移动具有所述上端和下端的位置的有效图像帧的上端的位置以处于通过使用第三偏移值获取的位置的移动之后的位置。
根据本发明的以上实施例，提供了一种重放设备，其中当第一字幕的流是用于在形成于有效图像帧的下侧的第三区域中显示字幕的流时，基于作为指示有效图像帧的排列位置的信息的用于获取有效图像帧的上端的位置的第一偏移值、用于获取有效图像帧的下端的位置的第二偏移值和用于基于帧的上端获取位置的移动之后的有效图像帧的上端的位置的第三偏移值，图像处理单元通过使用第一偏移值获取有效图像帧的上端的位置，通过使用第二偏移值获取有效图像帧的下端的位置，并移动具有所述上端和下端的位置的有效图像帧的上端的位置以处于通过使用第三偏移值获取的位置的移动之后的位置。
根据本发明的以上实施例，提供了一种重放设备，其中所述第二解码单元对通过对将要在有效图像帧内显示的第二字幕的数据编码获得的第二字幕的流解码；所述字幕数据处理单元设置由第二字幕的流中的包括第二字幕的显示区域的位置信息指示的位置，并显示第二字幕。
根据本发明的以上实施例，提供了一种重放设备，其中所述图像处理单元在指示通过移动有效图像帧的位置形成的第三区域被移动至另一位置时移动第三区域的位置；字幕数据处理单元，基于指示有效图像帧的排列位置的信息中所包括的指示关于有效图像帧的位置的关系的固定的信息在第二字幕的显示区域和有效图像帧的位置之间的关系不改变的位置设置第二字幕的显示区域，并显示第二字幕。
根据本发明的以上实施例，提供了一种重放设备，还包括：存储单元，存储指示是否设置在第三区域中显示第一字幕的模式的值，其中在存储装置中设置了指示设置该模式的值的情况下并且当在用于控制视频流和第一字幕的流的重放控制信息中包括指示存在第一字幕的流的值时，所述第二解码单元执行第一字幕的流的解码，并且所述图像处理单元移动有效图像帧的位置以在移动了位置的有效图像帧中显示图像。
根据本发明的第五实施例，一种重放方法包括下述步骤：对通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码获得的视频流解码；对通过对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码获得的字幕的流解码；通过参考控制内容的重放的控制信息中所包括并且为了通过移动经对视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考的指示有效图像帧的排列位置的信息，经移动有效图像帧的位置在有效图像帧内显示图像；在通过移动有效图像帧的位置形成的第三区域中显示字幕。
根据本发明的第六实施例，一种使计算机执行包括下述步骤的过程的程序：对通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码获得的视频流解码；对通过对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码获得的字幕的流解码；通过参考控制内容的重放的控制信息中所包括并且为了通过移动经对视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考的指示有效图像帧的排列位置的信息，经移动有效图像帧的位置在有效图像帧内显示图像；在通过移动有效图像帧的位置形成的第三区域中显示字幕。
根据本发明的七实施例，一种记录了信息的记录介质，该信息包括：通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码获得的视频流；通过对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码获得的字幕的流；控制信息，包括作为控制内容的重放的信息并且为了通过移动经对视频流解码获得的帧中所包括的有效图像帧的位置形成第三区域而参考的指示有效图像帧的排列位置的信息。
根据本发明的实施例，通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码；对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码。另外，作为控制内容的重放的控制信息，产生为了通过移动经对作为编码图像数据的视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考并包括指示有效图像帧的排列位置的信息的信息；产生包括视频流、作为第一字幕的编码数据的第一字幕的流和控制信息的内容。
根据本发明的另一实施例，对通过对于每个帧在整个水平方向上在上侧和下侧放置条带形区域对图像编码获得的视频流解码；对通过对通过接合作为上侧的条带形区域的第一区域和作为下侧的条带形区域的第二区域中的一个区域的至少一部分与另一区域形成的第三区域中显示的字幕数据编码获得的字幕的流解码。另外，参考控制内容的重放的控制信息中所包括并且为了通过移动经对视频流解码获得的帧中所包括的图像的有效图像帧的位置形成第三区域而参考并且指示有效图像帧的排列位置的信息，然后移动有效图像帧的位置，在有效图像帧内显示图像；在通过移动有效图像帧的位置形成的第三区域中显示字幕。
根据本发明，可确保足够的区域作为字幕的显示区域。
附图说明
图1是表示现有技术中帧的构造的例子的方框图；
图2是表示包括根据本发明实施例的重放设备的重放系统的构造的例子的示图；
图3是表示MVC编码器的构造的例子的方框图；
图4是表示当参考图像时的例子的示图；
图5是表示TS的构造的例子的示图；
图6是表示通过对视频流解码获得的帧的构造的示图；
图7A和7B是表示区域的剪裁的例子的示图；
图8A和8B是表示当字幕显示为对齐字幕模式时的帧的构造的示图；
图9是表示AV流的管理结构的例子的示图；
图10是表示主路径和子路径的结构的示图；
图11是表示记录在光盘上的文件的管理结构的例子的示图；
图12是表示播放文件列表的语法的示图；
图13是表示PlayList()的语法的示图；
图14是表示SubPath()的语法的示图；
图15是表示SubPlayItem(i)的语法的示图；
图16是表示PlayItem()的语法的示图；
图17是表示STN_table()的语法的示图；
图18是表示STN_table_SS()的语法的例子的示图；
图19是表示active_video_window()的语法的例子的示图；
图20是表示TopOffset和BottomOffset的例子的示图；
图21A和21B是表示AlignOffset的例子的示图；
图22是表示重放设备的构造的例子的方框图；
图23是表示解码单元的构造的例子的方框图；
图24是表示视频后处理单元的构造的例子的方框图；
图25A至25D是表示视频后处理单元的处理结果的例子的示图；
图26是表示PG后处理单元的构造的例子的方框图；
图27是描述在重放设备中设置字幕显示模式的过程的流程图；
图28是表示屏幕显示的例子的示图；
图29是描述重放设备的重放过程的流程图；
图30是描述图29的步骤S17中执行的对齐字幕的重放过程的流程图；
图31是描述图30的步骤S31中执行的产生视频数据的过程的流程图；
图32是描述图30的步骤S32中执行的产生字幕数据的过程的流程图；
图33是表示通过翻转功能实现的帧的构造的修改的例子的示图；
图34是表示帧的构造的另一修改的例子的示图；
图35是表示用于选择对齐字幕区域的菜单屏幕的例子的示图；
图36是描述fixed_subtitle_window_0和fixed_subtitle_window_1的示图；
图37是表示STN_table_SS()的语法的另一例子的示图；
图38是表示active_video_window()的语法的另一例子的示图；
图39A和39B是表示AlignOffset的例子的示图；
图40是表示信息处理设备的构造的例子的方框图；
图41是描述信息处理设备的记录过程的流程图；
图42是表示active_video_window()的描述位置的例子的示图；
图43是表示另一信息处理设备的构造的例子的方框图；
图44是表示active_video_window()的另一描述位置的例子的示图；
图45是表示访问单位的构造的示图；
图46是表示计算机的硬件的构造的例子的方框图。
具体实施方式
重放系统的组成示例
图2是表示包括根据本发明实施例的重放设备1的重放系统的构造的例子的示图。
构造图2的重放系统，从而重放设备1和显示装置3利用高清晰多媒体接口(HDMI)线缆等彼此连接。重放设备1上安装了光盘2(诸如，BD-ROM等)，光盘2是具有BD标准的光盘。
光盘2上记录了显示具有2个视点的3D图像所需的流。作为用于在光盘2上记录诸如流的编码的模式，例如，采用H.264高级视频编码(AVC)/多视点视频编码(MVC)。
重放设备1是用于记录在光盘2上的流的3D重放的播放器。重放设备1重放记录在光盘2上的流并在包括电视机等的显示装置3上显示通过重放获得的3D图像。声音也以相同的方式由重放设备1重放并从位于显示装置3中的扬声器输出。
H.264AVC/MVC简介
在H.264AVC/MVC中，定义称为基本视点视频流的视频流和称为从属视点视频流的视频流。以下，H.264AVC/MVC适当地简称为MVC。
图3是表示MVC编码器的构造的例子的方框图。
如图3中所示，MVC编码器包括H.264/AVC编码器11、H.264/AVC解码器12和从属视点视频编码器13。对于同一对象，用于L图像(左视点)的照相机和用于R图像(右视点)的照相机捕捉图像。
由用于L图像的照相机捕捉的L图像的流被输入到H.264/AVC编码器11。另外，由用于R图像的照相机捕捉的R图像的流被输入到从属视点视频编码器13。
H.264/AVC编码器11把L图像的流编码为H.264/HighProfile视频流。H.264/AVC编码器11输出通过编码获得的AVC视频流作为基本视点视频流。从H.264/AVC编码器11输出的基本视点视频流被输出到外部，同时也被提供给H.264/AVC解码器12。
H.264/AVC解码器12对从H.264/AVC编码器11提供的AVC视频流解码，并把通过解码获得的L图像的流输出给从属视点视频编码器13。
从属视点视频编码器13基于从H.264/AVC解码器12提供的L图像的流和从外部输入的R图像的流执行编码。从属视点视频编码器13输出通过编码获得的流作为从属视点视频流。
针对基本视点视频不允许以另一流作为参考图像的预测编码，但如图4中所示，针对从属视点视频允许以基本视点视频作为参考图像的预测编码。例如，当通过使L图像作为基本视点视频并且使R图像作为从属视点视频执行编码时，作为结果获得的从属视点视频流的数据量小于基本视点视频流的数据量。
另外，因为利用H.264/AVC进行编码，所以执行在时间方向上的基本视点视频的预测。另外，对于从属视点视频，执行时间方向上的预测以及视点之间的预测。当对从属视点视频解码时，必须首先完成作为编码期间的参考的目标的对应基本视点视频的解码。
从H.264/AVC编码器11输出的基本视点视频流和从从属视点视频编码器13输出的从属视点视频流与例如音频或字幕的数据一起复用为MPEG2TS。在位于MVC编码器的后部并设置于重放设备1的记录单元中，通过复用获得的TS(MPEG2TS)被记录在光盘2上。
在这个例子中，L图像被编码为基本视点视频并且R图像被编码为从属视点视频，但是相反地，R图像可以被编码为基本视点视频并且L图像可以被编码为从属视点视频。以下，将描述L图像被编码为基本视点视频并且R图像被编码为从属视点视频的情况。
图5是表示记录在光盘2上的TS的构造的例子的示图。
在图5的TS中，基本视点视频、从属视点视频、基本音频、演示图形(PG)和交互图形(IG)的流被复用。可以在不同的TS中复用基本视点视频和从属视点视频。PG流是字幕的流并且IG的流是诸如菜单屏幕的图形的流。
在重放设备1的字幕的显示模式中，存在通过与视频(基本视点视频和从属视点视频)交叠显示字幕的模式和在为字幕确保的区域中显示不与视频交叠的字幕的模式。按照基于PG流中所包括的字幕数据产生用于左眼的字幕和用于右眼的字幕并且每一字幕随基本视点视频和从属视点视频一起显示的方式，用户能够以3维方式不仅观看字幕还观看视频。
字幕不仅能够按照通过与视频交叠显示字幕的前一模式以3维方式显示，还能够按照在为字幕确保的区域中显示字幕的模式以3维方式显示，但在下文中字幕显示的前一模式称为3D字幕模式，字幕显示的后一模式称为对齐字幕模式。在对齐字幕模式中，形成于帧中的上侧和下侧的两个黑色区域中的一个区域的至少一部分接近另一区域并且字幕以2维方式或3维方式显示在那里。
在光盘2上，用于3D字幕模式的PG流和用于对齐字幕模式的PG流以合适的方式被记录。
关于对齐字幕模式
图6是表示通过对记录在光盘2上的视频流解码获得的帧的构造的示图。
图6中显示的帧的尺寸是1920×1080像素。视频的图像帧具有大于16:9的比率的水平方向长于垂直方向的宽高比，并且在帧的上侧和下侧，在整个水平方向上形成在垂直方向上具有预定宽度的条带形黑色区域。
上黑色区域的垂直方向的像素数是a，下黑色区域的垂直方向的像素数是b。位于上黑色区域和下黑色区域之间的在垂直方向上具有像素数c的区域是视频的有效图像帧，基本视点和从属视点的视频显示在那里。
记录在光盘2上的基本视点视频和从属视点视频被以这样的形式编码：如图6中所示，针对每一帧，把上黑色区域和下黑色区域添加到基本视点视频和从属视点视频。当对基本视点视频和从属视点视频的流解码时，能够获得具有图6中的构造的帧的数据。
当按照对齐字幕模式显示字幕时，从通过在重放设备1中对基本视点视频和从属视点视频的流解码获得的帧仅剪裁如图7A中所示的视频的有效图像帧。根据记录在光盘2上的控制信息中所包括的信息指定剪裁的范围。
另外，当剪裁视频的有效图像帧时剩余的上侧和下侧的黑色区域接合在一起，并且确保如图7B中所示在垂直方向上像素数为a+b的区域作为对齐字幕模式的字幕的显示区域。
以下，通过接合上侧和下侧的黑色区域中的一个区域的至少一部分形成的字幕的显示区域适当地称为对齐字幕区域。
图8A和8B是表示当字幕显示于对齐字幕模式时的帧的构造的例子的示图。
图8A是表示视频的有效图像帧位于上侧并且在垂直方向上具有像素数a+b的对齐字幕区域位于下侧的例子的示图。图8B是表示视频的有效图像帧位于下侧并且在垂直方向上具有像素数a+b的对齐字幕区域位于上侧的例子的示图。在这些例子中，通过把上侧和下侧的黑色区域中的一个整个区域与另一区域接合在一起形成对齐字幕区域。
如图8A和8B中的虚线所示，字幕窗口布置在对齐字幕区域中。字幕窗口#0是例如用于显示指示角色之间的谈话的内容的字幕的区域，字幕窗口#1是用于当路标等出现在视频的有效图像帧中时指示路标等的内容的所谓强制性字幕的区域。另外，用于显示强制性字幕的字幕窗口#1能够位于视频的有效图像帧内。字幕窗口#0也能够位于视频的有效图像帧内。
如此，在重放设备1中，字幕显示在通过把当对视频流解码时获得的帧中所包括的上侧和下侧的黑色区域中的一个区域的至少一部分与另一区域接合在一起形成的区域中。
相应地，当字幕与3D图像一起显示在视频的有效图像帧内时，因为字幕被对象的阴影遮挡(位于比对象更深的位置)所以可能难以阅读字幕，但能够防止这种情况。
另外，当字幕与3D图像一起显示在视频的有效图像帧内时，内容的生产者(作者)必须设置字幕的显示区域以免变为对象的阴影，但能够防止这种负担的增加。
另外，与字幕显示于未在一侧接合的上侧或下侧的黑色区域中的情况相比，可以确保宽敞的区域作为字幕的显示区域。例如，当显示日语的字幕时，需要在垂直方向上更宽敞的区域以在字幕中把假名字附加于汉字，并且可以符合这种需要。
AV流的管理结构
图9是表示重放设备1的AV流的管理结构的例子的示图。
通过使用如图9中所示的2层的播放列表和剪辑执行AV流的管理。剪辑包括AV流和对应的剪辑信息(剪辑信息包括与AV流相关的属性信息)，所述AV流是通过复用视频数据和音频数据获得的TS。
在时间轴上产生AV流，并且主要通过时间戳在播放列表中指定每个访问点。剪辑信息用于定位应该开始AV流中的解码的地址。
播放列表是AV流的重放区的集合。AV流中的一个重放区称为播放项。播放项由时间轴上的重放区的“入”点和“出”点表达。播放列表包括一个或多个播放项。
从图9的左侧开始的第一播放列表包括两个播放项，左侧的剪辑中所包括的AV流的前一半和后一半分别由这两个播放项参考。
从左侧开始的第二播放列表包括一个播放项，右侧的剪辑中所包括的整个AV流由这个播放项参考。
从左侧开始的第三播放列表包括两个播放项，左侧的剪辑中所包括的AV流的一部分和右侧的剪辑中所包括的AV流的一部分分别由这两个播放项参考。
例如，当从左侧开始的第一播放列表中所包括的左侧的播放项由盘导航程序指定为重放目标时，重放左侧的剪辑中所包括并且由该播放项参考的AV流的前一半。如此，播放列表用作用于控制AV流的重放的重放控制信息。
在播放列表中，通过一个或多个播放项的排列形成的重放路径称为主路径。
另外，在播放列表中，并行于主路径通过一个或多个子播放项的排列构成的重放路径称为子路径。
图10是表示主路径和子路径的结构的示图。
播放列表能够具有一个主路径和一个或多个子路径。上述L视点视频的流由构成主路径的播放项参考。另外，R视点视频的流由构成子路径的子播放项参考。
图10中的播放列表具有通过三个播放项的排列构成的一个主路径和三个子路径。从开始依次对构成主路径的播放项设置ID。对子路径也设置了ID。
在图10的例子中，一个子播放项被包括在Subpath_id=0的子路径中，两个子播放项被包括在Subpath_id=1的子路径中。另外，一个子播放项被包括在Subpath_id=2的子路径中，
由某一播放项参考的AV流和由指定时间区与该播放项交叠的重放区的子播放项参考的AV流被同步并重放。使用播放列表、播放项和子播放项的AV流的管理描述于例如日本未审专利申请公开No.2008-252740和日本未审专利申请公开No.2005-348314中。
目录的结构
图11是表示记录在光盘2上的文件的管理结构的例子的示图。
如图11中所示，利用目录结构以分级方式管理文件。在光盘2上创建一个根目录。根目录的下面部分是将要利用一个记录和重放系统管理的范围。
BDMV目录设置在根目录下。作为命名为“Index.bdmv”的文件的索引文件和作为命名为“MovieObject.bdmv”的文件的电影对象文件就容纳于BDMV目录下。
PLAYLIST目录、CLIPINF目录和STREAM目录设置在BDMV目录下。
作为描述播放列表的文件的播放列表文件容纳于PLAYLIST目录中。在每个播放列表文件中，设置通过组合5位数字和扩展部分“.mpls”形成的名字。在图11显示的播放列表文件中，设置文件名“00000.mpls”。
作为描述剪辑信息的文件的剪辑信息文件容纳于CLIPINF目录中。在每个剪辑信息文件中，设置通过组合5位数字和扩展部分“.clpi”形成的名字。
对图11中的两个剪辑信息文件设置了文件名“00001.clpi”和“00002.clpi”。以下，剪辑信息文件适当地称为clpi文件。
剪辑文件“00001.clpi”是描述关于L视点视频的对应流的信息的文件，剪辑文件“00002.clpi”是描述关于R视点视频的对应流的信息的文件。
流文件容纳于STREAM目录中。在每个流文件中，设置通过组合5位数字和扩展部分“.m2ts”形成的名字。以下，以扩展部分“.m2ts”设置的文件适当地称为m2ts文件。
m2ts文件“00001.m2ts”是L视点视频流的文件，m2ts文件“00002.m2ts”是R视点视频的文件。
除了图11中显示的项之外，容纳PG和IG的图形的流或音频流的文件的目录设置在BDMV目录下。
每个数据的语法
图12是表示播放列表文件的语法的示图。
播放列表文件是容纳于图11的PLAYLIST目录中以扩展部分“.mpls”设置的文件。
图12中的type_indicator指示命名为“xxxxx.mpls”的文件的种类。
Version_number指示“xxxxx.mpls”的版本号。Version_number包括4位数字。例如，以指示“3D规范版本”的“0240”设置用于以3维方式显示视频的3D重放的播放列表文件。
PlayList_start_address利用相对于播放列表文件的首字节的字节数的单位指示PlayList()的基本地址。
PlayListMark_start_address利用相对于播放列表文件的首字节的字节数的单位指示PlayListMark()的基本地址。
ExtensionData_start_address利用相对于播放列表文件的首字节的字节数的单位指示ExtensionData()的基本地址。
在AppInfoPlayList()中，容纳与播放列表的重放控制相关的参数，诸如重放限制等。
在PlayList()中，容纳与主路径、子路径等相关的参数。
在PlayListMark()中，容纳作为播放列表的标记信息的信息，换句话说，关于作为用户操作或指示章节跳跃等的命令中的跳跃点的标记的信息。
构造ExtensionData()从而能够插入专用数据。
图13是表示图12的PlayList()的语法的示图
length是指示从紧跟在length字段后面的位置到PlayList()的最后结束位置的字节数的32位无符号整数。换句话说，length字段指示从reserved_for_future_use到播放列表的最后结束位置的字节数。
number_of_PlayItems是指示播放列表中的播放项的数量的16位字段。在图10的例子的情况下，播放项的数量为3。按照PlayItem()出现在播放列表中的次序从0开始分配PlayItem_id的值。例如，在图10中分配的值是PlayItem_id=0,1和2。
number_ofSubPaths是指示播放列表中的子路径的数量的16位字段。在图10中的例子的情况下，子路径的数量是3。按照SubPath()出现在播放列表中的次序从0开始分配SubPath_id的值。例如，在图10中分配的值是SubPath_id=0,1和2。在其后的for语句中，按照与播放项的数量一样多的次数参考PlayItem()，按照与子路径的数量一样多的次数参考SubPath()。
图14是表示图13中的SubPath()的语法的示图。
length是指示从紧跟在length字段后面的位置到SubPath()的最后结束位置的字节数的32位无符号整数。换句话说，length字段指示从reserved_for_future_use到播放列表的最后结束位置的字节数。
SubPath_type是指示子路径的应用的种类的8位字段。SubPath_type用于例如指示子路径的种类，即子路径是音频、位图字幕还是文本字幕。
is_repeat_SubPath是指定重放子路径的方法的1位字段，并指示应该在主路径的重放之间重复子路径的重放或者子路径的重放应该执行一次。
number_of_SubPlayItems是指示一个子路径中的子播放项的数量(条目的数量)的8位字段。例如，图10中的SubPath_id=0的子播放项的number_of_SubPlayItems是1，SubPath_id=1的子播放项的number_of_SubPlayItems是2。在其后的for语句中，按照与子播放项的数量一样多的次数参考SubPlayItem()。
图15是表示图14中的SubPlayItem(i)的语法的示图。
length是指示从紧跟在length字段后面的位置到SubPlayItem()的最后结束位置的字节数的16位无符号整数。
Clip_Information_file_name[0]指示子播放项所参考的剪辑的剪辑信息文件的名字。
Clip_codec_identifier[0]指示剪辑的编解码模式。
is_multi_Clip_entries是指示多剪辑的注册的存在的标志。当设置了标志is_multi_Clip_entries时，参考用于子播放项参考多个剪辑的情况的语法。
ref_to_STC_id[0]是关于STC不连续点(系统时基的不连续点)的信息。
SubPlayItem_IN_time指示子路径的重放区的开始位置，SubPlayItem_OUT_time指示结束位置。
sync_PlayItem_id和sync_start_PTS_of_PlayItem指示在主路径的时间轴上开始子路径的重放的时间。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id和sync_start_PTS_of_PlayItem一起用在子播放项所参考的剪辑中。
将描述“if(is_multi_Clip_entries==1b”并且子播放项参考多个剪辑的情况。
num_of_Clip_entries指示将要参考的剪辑的数量。Clip_Information_file_name[SubClip_entry_id]的数量指定不包括Clip_Information_file_name[0]的剪辑的数量。
Clip_codec_identifier[SubClip_entry_id]指示剪辑的编解码模式。
ref_to_STC_id[SubClip_entry_id]是关于STC不连续点(系统时基的不连续点)的信息。
图16是表示图13中的PlayItem()的语法的示图。
length是指示从紧跟在length字段后面的位置到PlayItem()的最后结束位置的字节数的16位无符号整数。
Clip_Information_file_name[0]指示播放项所参考的剪辑的剪辑信息文件的名字。另外，包括该剪辑的m2ts文件的文件名和与其对应的剪辑信息文件的文件名包括相同的5位数字。
Clip_codec_identifier[0]指示剪辑的编解码模式。紧跟在Clip_codec_identifier[0]后面，包括reserved_for_future_use。紧跟在reserved_for_future_use，包括is_multi_angle和connection_condition。
ref_to_STC_id[0]是关于STC不连续点(系统时基的不连续点)的信息。
IN_time指示播放项的重放区的开始位置，OUT_time指示结束位置。
紧跟在OUT_time后面，包括U0_mask_table()、PlayItem_random_access_mode和still_mode。
在STN_table()中，包括播放项所参考的流。另外，当存在关于该播放项重放的子路径时，还包括构成该子路径的子播放项所参考的流的信息。
图17是表示图16中的STN_table()的语法的示图。
length是指示从紧跟在length字段后面的位置到STN_table()的最后结束位置的字节数的16位无符号整数。
number_of_video_stream_entries指示利用video_stream_id给出的流的数量并获得STN_table()中(注册的)的条目。
video_stream_id是用于识别视频流的信息。例如，基本视点视频的流由video_stream_id指定。从属视点视频的流的ID可定义于将在稍后描述的播放列表(图12)的ExtensionData()中所包括的STN_table()中和STN_table_SS()中。
number_of_audio_stream_entries获得STN_table()中的条目并指示给予audio_stream_id的第一音频流的流的数量。audio_stream_id是用于识别音频流的信息。
number_of_audio_stream2_entries获得STN_table()中的条目并指示给予audio_stream_id2的第二音频流的流的数量。audio_stream_id2是用于识别音频流的信息。在这个例子中，能够切换将要重放的声音。
number_of_PG_txtST_stream_entries获得STN_table()中的条目并指示给予PG_txtST_stream_id的流的数量。在这些流中，通过使位图字幕经受游程编码获得的PG流和文本字幕文件(texST)获得条目。PG_txtST_stream_id是用于识别字幕的流的信息。
number_of_IG_stream_entries获得STN_table()中的条目并指示给予IG_stream_id的流的数量。在这些流中，IG流获得条目。IG_stream_id是用于识别IG的流的信息。
在为每个流准备的stream_entry()中，容纳每个流的数据的包的PID信息。另外，在stream_attribute()中，包括每个流的属性信息。
图18是表示STN_table_SS()的语法的例子的示图。
STN_table_SS()描述于例如播放列表文件(图12)的ExtensionData()中。在STN_table_SS()中，当按照3D字幕模式或对齐字幕模式显示字幕时，包括与这种显示中使用的流相关的信息。
如图18中所示，针对利用PG_textST_stream_id识别的每个PG流设置每条信息。例如，当每一语言(诸如，英语、日语或法语)的PG流被记录在光盘2上时，针对每一语言的PG流设置下面的信息。
is_SS_PG指示是否记录了用于3D字幕模式的PG流。例如，is_SS_PG的值是1的事实指示记录了3D字幕模式的PG流，is_SS_PG的值是0的事实指示未记录3D字幕模式的PG流。
is_AS_PG指示是否记录了用于对齐字幕模式的PG流。例如，is_AS_PG的值是1的事实指示记录了对齐字幕模式的PG流，is_AS_PG的值是0的事实指示未记录对齐字幕模式的PG流。
PG_textST_offset_id_ref指示当按照3D字幕模式显示字幕时使用的偏移值的参考的目标。
在3D字幕模式和对齐字幕模式中的任何显示模式中，通过显示经对PG流中所包括的字幕数据设置预定偏移产生的基本视点和从属视点的字幕来执行以3维方式显示字幕。偏移的值指示与视差对应的差。例如，当布置了包括相同字符或符号的字幕的基本视点的帧和从属视点的帧彼此交叠时，存在字幕的位置的差异。
当存在字幕的位置的差异时，基本视点的字幕与基本视点的视频一起显示并且从属视点的字幕与从属视点的视频一起显示，因此除了视频之外用户还能够以3维方式观看字幕。另外，当应用于字幕数据的偏移的值是0时，没有视差，由此字幕以2维方式显示。
由PG_textST_offset_id_ref参考的偏移的值被包括在例如描述于播放列表文件的ExtensionData()中的offset_metadata()中。offset_metadata()的细节公开于例如本申请人的日本专利申请公开No.2009-168806中。
在当is_AS_PG是1时描述的stream_entry()中，包括容纳用于对齐字幕模式的PG流的数据的包的PID信息。另外，在stream_attribute()中，包括用于对齐字幕模式的PG流的属性信息。
AS_PG_textST_offset_id_ref指示当按照对齐字幕模式显示3D字幕时使用的偏移的值的参考的目标。例如，当按照对齐字幕模式显示字幕时使用的偏移的值也被包括在描述于播放列表文件的ExtensionData()中的offset_metadata()中。该偏移的值能够被包括在通过MVC编码的视频流中。在这种情况下，AS_PG_textST_offset_id_ref指示参考视频流中所包括的偏移的值。
另外，当is_SS_PG的值为1时，包括容纳用于3D字幕模式的PG流的数据的包的PID信息的stream_entry()和属性信息中所包括的stream_attribute()可描述于STN_table_SS()中。
图19是表示active_video_window()的语法的例子的示图。
active_video_window()描述于例如播放列表文件(图12)的ExtensionData()中。当图18的STN_table_SS()中所包括的is_AS_PG的值为1并且记录了用于对齐字幕模式的PG流时，描述active_video_window()。
在active_video_window()中，包括关于视频的有效图像帧的信息。基于active_video_window()的描述执行当按照对齐字幕模式显示字幕时执行的剪裁和移动视频的有效图像帧的过程。
这里，将描述active_video_window()中所包括的信息之中的top_offset、bottom_offset、top_align_flag和align_offset。
fixed_subtitle_window_0、fixed_subtitle_window_1和flipped_AS_PG_textST_offset_id_ref用于将在稍后描述的翻转功能。翻转功能根据用户的选择把基于top_offset的值形成的对齐字幕区域从帧的上侧移至下侧或者从下侧移至上侧。
top_offset指示用于获取视频的有效图像帧在垂直方向上像素的最上面位置的值。
以下，通过使用像素数指示帧的位置，从而帧的左上端的一个像素的位置是(x,y)=(0,0)，换句话说，从帧的顶部开始的第一行中在垂直方向上像素的位置是0，从帧的左侧开始的第一列中在水平方向上像素的位置是0。
通过使用top_offset的值根据以下的方程(1)获取作为视频的有效图像帧在垂直方向上最上面像素的位置的TopOffset。
TopOffset=2*top_offset…(1)
top_offset采用由以下方程(2)指示的范围中的值。
0≤top_offset≤((FrameHeight/2)-bottom_offset)…(2)
方程(2)的FrameHeight指示整个帧在垂直方向上的像素数，并且使用作为利用MVC编码的视频流中所包括的参数的pic_height_in_map_units_minus1通过以下方程(3)获取FrameHeight。
FrameHeight=(16*(pic_height_in_map_units_minus1+1))-8…(3)
bottom_offset指示用于获取在有效图像帧的最下面在垂直方向上像素的位置的值。通过使用bottom_offset的值根据以下的方程(4)获取作为在有效图像帧的最下面在垂直方向上像素的位置的BottomOffset。
BottomOffset=FrameHeight-(2*bottom_offset)-1…(4)
图20是表示TopOffset和BottomOffset的例子的示图.
当top_offset=69并且bottom_offset=69时，在1920×1080像素的帧中获取TopOffset为138并且获取BottomOffset为941。位于视频的有效图像帧的左上端的一个像素的位置由(x,y)=(0,138)表达，并且位于左下端的一个像素的位置由(x,y)=(0,941)表达。
有效图像帧在垂直方向上的像素数是804。1080是FrameHeight的值并且通过方程(3)获取该值。
返回到图19的描述，top_align_flag指示视频的有效图像帧基于就在解码之后的帧中的位置沿向上方向移动还是沿向下方向移动。当top_align_flag的值是1时，指示有效图像帧朝着向上方向移动，当top_align_flag的值是0时，指示有效图像帧朝着向下方向移动。使用align_offset计算移动的量的方法根据top_align_flag的值而不同。
如果top_align_flag的值为1并且视频的有效图像帧沿向上方向移动，则对齐字幕区域形成于帧的下侧。另外，如果top_align_flag的值为0并且视频的有效图像帧沿向下方向移动，则对齐字幕区域形成于帧的上侧。
align_offset指示用于获取视频的有效图像帧的移动的量的值。
当top_align_flag的值为1时，通过以下方程(5)获取作为视频的有效图像帧的移动的量的AlignOffset。
AlignOffset=2*align_offset…(5)
当top_align_flag的值为0时，通过以下方程(6)获取作为视频的有效图像帧的移动的量的AlignOffset。
AlignOffset=2*(top_offset+bottom_offset-align_offset)…(6)
通过方程(5)和(6)获取的AlignOffset利用从帧的顶部使第一行中的像素的位置设置为0的像素数指示沿向下方向的移动的量。
align_offset采用由以下方程(7)指示的范围中的值。
0≤align_offset≤(top_offset+bottom_offset)…(7)
作为帧中的视频的有效图像帧的移动的目标的排列位置由top_align_flag和align_offset确定。在布置在该确定的位置的有效图像帧外面的所有像素中，设置像素的预定值(诸如，(Y,Cb,Cr)=(16,128,128))，由此帧中的有效图像帧外面的像素变为具有相同颜色的像素。
图21A和21B是表示AlignOffset的例子的示图。
当top_align_flag的值为1并且align_offset=34时，如图21A中所示在1920×1080像素的帧中获取AlignOffset为68。位于视频的有效图像帧的左上端的一个像素的位置由(x,y)=(0,68)表达。
由于AlignOffset是68并且视频的有效图像帧在垂直方向上的像素数为804并且整个帧在垂直方向上的像素数为1080，所以对齐字幕区域在垂直方向上的像素数变为208。位于视频的有效图像帧的左下端的一个像素的位置由(x,y)=(0,871)表达。
当top_align_flag的值为0并且align_offset=34时，如图21B中所示在1920×1080的帧中获得AlignOffset为208。位于有效图像帧的左下端的一个像素的位置由(x,y)=(0,208)表达。
由于AlignOffset是208并且视频的有效图像帧在垂直方向上的像素数为804并且整个帧在垂直方向上的像素数为1080，所以形成于帧的下侧的黑色区域在垂直方向上的像素数变为68。位于视频的有效图像帧的左下端的一个像素的位置由(x,y)=(0,1011)表达。
重放设备1的构造的例子
图22是表示重放设备1的构造的例子的方框图。
控制器31执行控制程序(图9中的盘导航程序)，并控制整个重放设备1的操作。控制器31根据用户的操作切换重放设备1的状态，并使指示当前状态的信息存储在寄存器31A中。
盘驱动器32根据控制器31的控制从光盘2读出数据并把读取的数据输出给控制器31、存储器33或解码单元34。
除了控制器31的多种过程的执行之外，存储器33适当地存储必要的数据等。
解码单元34对从盘驱动器32提供的流解码并把获得的视频信号输出给显示装置3。音频信号也经预定路径被输出给显示装置3。
操作输入单元35包括：输入装置，诸如按钮、按键、触摸面板、鼠标等；和接收单元，接收信号，诸如从预定遥控器发射的红外线。操作输入单元35检测用户的操作并把指示检测的操作的内容的信号提供给控制器31。
图23是表示解码单元34的构造的例子的示图。
分离单元51分离根据控制器31的控制从盘驱动器32提供的复用为TS的数据。分离单元51把视频流输出给视频解码器52并把PG流输出给PG解码器55。另外，图23仅显示用于处理视频的数据的构造和用于处理字幕数据的构造，但诸如用于处理视频的数据的构造也适当地设置在解码单元34中。
例如，基于STN_table()的stream_entry()中所包括的PID指定容纳视频流的数据的包。另外，例如，基于STN_table_SS()的stream_entry()中所包括的PID指定容纳用于3D字幕模式的PG流的数据的包和容纳用于对齐字幕模式的PG流的数据的包。
视频解码器52对按照MVC模式编码的视频流解码，并把通过解码获得的图像数据(基本视点视频的数据和从属视点视频的数据)输出给视频后处理单元53。
视频后处理单元53基于当按照对齐字幕模式显示字幕时从控制器31提供的active_video_window()的描述执行后处理。视频后处理单元53把通过经受后处理获得的基本视点视频的平面(具有与帧相同的尺寸的图像数据)和从属视点视频的平面输出给选择单元54。
选择单元54把从视频后处理单元53提供的图像数据之中的基本视点视频的平面输出给合成单元58，并把从属视点视频的平面输出给合成单元59。
PG解码器55对PG流解码并把通过解码获得的字幕数据和指示字幕窗口的位置的信息输出给PG后处理单元56。
当PG流中所包括的字幕数据是位图数据时，PG流包括作为指示字幕窗口的位置的信息项的window_vertical_position和window_horizontal_position。根据这2个信息项，在帧中指定例如位于字幕窗口的左上端的像素的位置。另外，当PG流中所包括的字幕数据是文本数据时，PG流包括作为指示字幕窗口的位置的信息项的region_vertical_position和region_height。
PG后处理单元56基于从控制器31提供的active_video_window()或STN_table_SS()的描述执行后处理。PG后处理单元56把通过经受后处理获得的基本视点的字幕的平面和从属视点的字幕的平面输出给选择单元57。
选择单元57把从PG后处理单元56提供的基本视点的字幕的平面和从属视点的字幕的平面分别输出给合成单元58和59。
合成单元58通过合成从选择单元54提供的基本视点视频的平面和从选择单元57提供的基本视点的字幕的平面产生基本视点的帧并输出。通过合成视频的平面和字幕的平面，视频布置在有效图像帧内，并且产生字幕布置在预定位置(诸如，对齐字幕区域)的一帧的数据。
合成单元59通过合成从选择单元54提供的从属视点视频的平面和从选择单元57提供的从属视点的字幕的平面产生从属视点的帧并输出。从合成单元58输出的基本视点的帧和从合成单元59输出的从属视点的帧的视频信号被输出给显示装置3。
图24是表示视频后处理单元53的构造的例子的方框图。
如图24中所示，视频后处理单元53包括剪裁单元71、排列处理单元72和颜色设置单元73。具有在视频的有效图像帧的上侧和下侧加入黑色区域的构造并从视频解码器52输出的如图25A中所示的帧的数据被输入到剪裁单元71。
假设图25A中显示的帧为具有1920×1080像素的尺寸的帧。视频的有效图像帧在垂直方向上的像素数为804，并且在上侧和下侧设置在垂直方向上像素数为138的黑色区域。
剪裁单元71基于active_video_window()中所包括的top_offset和bottom_offset获取TopOffset和BottomOffset，并剪裁视频的有效图像帧。例如，从图25A的整个帧剪裁如图25B中所示的视频的有效图像帧。
排列处理单元72基于active_video_window()中所包括的top_align_flag和align_offset获取视频的有效图像帧的排列位置(基于解码之后的帧中的位置的移动的目标的位置)，并把有效图像帧布置在所获取的位置。
例如，如图25C中所示，布置有效图像帧以使得位于视频的有效图像帧的左上端的像素的位置和位于帧的左上端的像素的位置彼此对应。当视频的有效图像帧的位置移动时，确保在垂直方向上具有像素数276的用于对齐字幕区域的空间，通过接合在解码之后的帧中视频的有效图像帧的上侧和下侧中的每一侧设置的黑色区域获得该空间。
颜色设置单元73设置指示预定颜色(诸如，黑色等)的值作为视频的有效图像帧外面的像素的像素值。因此，如图25D中所示，对齐字幕区域形成于视频的有效图像帧的下侧。具有如图25D中所示的帧的构造的基本视点视频和从属视点视频的平面被输出给选择单元54。
图26是表示PG后处理单元56的构造的例子的方框图。
如图26中所示，PG后处理单元56包括排列位置确定单元81和偏移应用单元82。从PG解码器55输出的字幕数据被输入到偏移应用单元82，指示字幕窗口的位置的信息(诸如，window_vertical_position和window_horizontal_position)被输入到排列位置确定单元81。
排列位置确定单元81基于输入信息确定帧中字幕窗口的位置，并把指示字幕窗口的位置的信息输出给偏移应用单元82。
偏移应用单元82在按照3D字幕模式显示字幕时根据输入字幕数据的STN_table_SS()的PG_textST_offset_id_ref中所参考的偏移值设置视差，并产生基本视点和从属视点的字幕数据。
另外，偏移应用单元82在按照据对齐字幕模式显示3D字幕时根据输入字幕数据的STN_table_SS()的AS_PG_textST_offset_id_ref中所参考的偏移值设置视差，并产生基本视点和从属视点的字幕数据。
偏移应用单元82在由排列位置确定单元81确定的位置设置字幕窗口，并通过把基本视点的字幕布置在基本视点的平面的字幕窗口内产生基本视点的字幕的平面。
另外，偏移应用单元82通过把从属视点的字幕布置在从属视点的平面的字幕窗口内产生从属视点的字幕的平面。偏移应用单元82把产生的平面输出给选择单元57。
重放设备的操作
将参照图27的流程图描述在重放设备1中设置字幕显示模式的过程。
当用户通过例如操作遥控器指示显示与字幕显示模式相关的菜单屏幕时开始图27的过程。
在步骤S1中，控制器31使显示装置3显示与字幕显示模式相关的菜单屏幕。例如，基于记录在光盘2上的IG流的数据执行菜单屏幕的显示。
图28是表示屏幕显示的例子的示图。
在图28的左上侧显示的屏幕是与字幕显示模式相关的菜单屏幕。在图28的例子中，通过与加入了帧的上侧和下侧的黑色区域的视频交叠显示菜单屏幕。
用户能够在将要显示字幕时通过操作遥控器等选择字幕的开/关、将要显示的字幕的语言和3D字幕的开/关。例如，当选择图28中的菜单屏幕的左下侧的“关”(字幕关闭)时，如箭头A1的尖端所示在没有字幕的显示的情况下以3维方式显示视频。
在图27的步骤S2中，控制器31基于从操作输入单元35提供的信号选择将要显示的字幕的种类(语言)。
在步骤S3中，控制器31把指示选择为重放目标的字幕编号的信息容纳在寄存器31A中。例如，当在图28的菜单屏幕上选择“日语”时，指示“日语”字幕的编号的信息被容纳在寄存器31A中。通过容纳在寄存器31A中的信息，指定重放目标的语言的PG流。
在步骤S4中，控制器31基于从操作输入单元35提供的信号选择3D字幕的开/关。3D字幕的“开”状态指示字幕的显示模式是3D字幕模式，“关”指示对齐字幕模式。
在步骤S5中，控制器31根据步骤S4中的选择把指示字幕显示模式的信息容纳在寄存器31A中。在指示字幕显示模式的信息被容纳在寄存器31A中之后，该过程结束。
例如，当在图28的菜单屏幕上选择3D字幕的“开”状态时，指示字幕显示模式是3D字幕模式的信息被容纳在寄存器31A中，其后，如箭头A2的尖端所示按照3D字幕模式显示字幕。在由箭头A2的尖端显示的屏幕上，在视频的有效图像帧内随视频一起以3维方式显示字幕(该字幕是字符“Subtitle”)。
另一方面，当在图28的菜单屏幕上选择3D字幕的“关”状态时，指示字幕显示模式是对齐字幕模式的信息被容纳在寄存器31A中，其后，如箭头A3的尖端所示按照对齐字幕模式显示字幕。在由箭头A3的尖端显示的屏幕上，在形成于视频的有效图像帧的上侧的对齐字幕区域中以3维方式显示字幕(该字幕是字符“Subtitle”)。
接下来，将参照图29的流程图描述重放设备1的重放过程。
例如，在如图28中所示从菜单屏幕设置字幕显示模式之后，开始图29的过程。
在步骤S11中，控制器31选择用于重放内容的播放列表文件。
在步骤S12中，控制器31读出容纳在寄存器31A中的指示作为重放目标的字幕编号的信息。
在步骤S13中，控制器31读出容纳在寄存器31A中的指示字幕显示模式的信息。
在步骤S14中，控制器31基于在步骤S13中读取的信息确定对齐字幕模式是否被设置为字幕显示模式。
当在步骤S14中确定设置了对齐字幕模式时，在步骤S15中，控制器31从播放列表文件读出关于字幕的信息。作为关于字幕的信息，例如，读出描述于STN_table_SS()中并与当前选择的语言的字幕相关的is_AS_PG的值。
在步骤S16中，控制器31确定在当前选择为重放目标的字幕中是否注册了用于对齐字幕模式的PG流。如上所述，在STN_table_SS()中为每个PG流设置is_AS_PG等的信息。关于选择的语言，存在记录和未记录用于对齐字幕模式的PG流的情况。
然后，is_AS_PG的值为1并且在步骤S16中确定注册了用于对齐字幕模式的PG流，在步骤S17中，控制器31执行对齐字幕的重放过程。在对齐字幕的重放过程中，当以3维方式显示视频时按照对齐字幕模式显示字幕。
另一方面，当is_AS_PG的值为0并且在步骤S16中确定未注册用于对齐字幕模式的PG流时，在步骤S18中，控制器31设置普通模式作为字幕显示模式。在图28的例子中，由于可以从对齐字幕模式和3D字幕模式之中进行选择，所以在这里把3D字幕模式设置为字幕显示模式。
当在步骤S18中设置3D字幕模式时或者当在步骤S14中未设置对齐字幕模式(换句话说，设置了3D字幕模式)时，在步骤S19中执行普通字幕的重放过程。在普通字幕的重放过程中，从光盘2读出用于3D字幕模式的PG流，并且由PG解码器55执行解码。另外，PG后处理单元56产生基本视点的字幕数据和从属视点的字幕，在视频的有效图像帧内随视频一起以3维方式显示字幕。
另外，当准备了字幕以2维方式显示在设置于视频的有效图像帧内的下部的区域(由图1中的虚线代表的区域)中的模式时，可以按照该模式执行字幕的重放过程作为普通字幕的重放过程。
接下来，将参照图30的流程图描述图29的步骤S17中执行的对齐字幕的重放过程。
在步骤S31中，执行产生视频数据的过程。通过产生视频数据的过程，产生具有对齐字幕区域形成于预定位置的构造的基本视点视频的平面和从属视点视频的平面。
在步骤S32中，执行产生字幕数据的过程。通过产生字幕数据的过程，产生字幕布置在与通过产生视频数据的过程产生的对齐字幕区域对应的位置的基本视点的字幕的平面和从属视点的字幕的平面。
在步骤S33中，合成单元58通过合成基本视点视频的平面和基本视点的字幕的平面产生基本视点的帧。另外，合成单元59通过合成从属视点视频的平面和从属视点的字幕的平面产生从属视点的帧。
在步骤S34中，控制器31把基本视点的帧和从属视点的帧输出给显示装置3，并显示字幕显示在对齐字幕区域中的屏幕。
接下来，将参照图31的流程图描述图30的步骤S31中执行的产生视频数据的过程。
在基于图29的步骤S11中选择的播放列表文件的描述从光盘2读出作为解码的目标的视频流和用于对齐字幕模式的PG流并且这些流由分离单元51分离之后，开始这个过程。由分离单元51分离的视频流被提供给视频解码器52，并且用于对齐字幕模式的PG流被提供给PG解码器55。
在步骤S41中，视频解码器52对视频流解码并把通过解码获得的图像数据输出给视频后处理单元53。
在步骤S42中，控制器31从播放列表文件读出描述于active_video_window()中的信息作为视频的有效图像帧的信息。由控制器31读出的描述于active_video_window()中的信息被提供给视频后处理单元53。
在步骤S43中，视频后处理单元53的剪裁单元71(图24)基于active_video_window()中所包括的top_offset和bottom_offset获取TopOffset和BottomOffset，并剪裁视频的有效图像帧。
在步骤S44中，排列处理单元72基于active_video_window()中所包括的top_align_flag和align_offset获取视频的有效图像帧的排列位置，并把有效图像帧布置在所获取的位置。
在步骤S45中，颜色设置单元73设置指示预定颜色(诸如，黑色等)的值作为布置的有效图像帧外面的像素的像素值并产生对齐字幕区域。
形成对齐字幕区域的基本视点视频和从属视点视频的平面被输出给选择单元54。在选择单元54中，基本视点视频的平面被输出给合成单元58并且从属视点视频的平面被输出给合成单元59。其后，流程返回到图30的步骤S31并执行其后的处理。
接下来，将参照图32的流程图描述图30的步骤S32中执行的产生字幕数据的过程。
在步骤S51中，PG解码器55对用于对齐字幕模式的PG流解码，把字幕数据输出给PG后处理单元56的偏移应用单元82并且把指示字幕窗口的位置的信息输出给排列位置确定单元81。
在步骤S52中，排列位置确定单元81基于从PG解码器55提供的信息确定帧中字幕窗口的位置。
在步骤S53中，偏移应用单元82根据字幕数据的STN_table_SS()的AS_PG_textST_offset_id_ref中所参考的偏移值设置视差，并产生基本视点和从属视点的字幕数据。偏移应用单元82在由排列位置确定单元81确定的位置设置字幕窗口，并通过把字幕布置在字幕窗口内产生基本视点和从属视点的字幕的平面。
由偏移应用单元82产生的基本视点和从属视点的字幕的平面被输出给选择单元57。在选择单元57中，基本视点的字幕的平面被输出给合成单元58，从属视点的字幕的平面被输出给合成单元59。其后，流程返回到图30的步骤S32并执行其后的处理。
通过上述过程，能够确保足够的区域作为字幕的显示区域，并且能够实现由用户容易看见的字幕显示。
关于翻转功能
图33是表示通过翻转功能实现的帧的构造的修改的例子的示图。
如上所述，翻转功能根据用户的选择移动基于active_video_window()中所包括的信息形成的对齐字幕区域的位置。
图33的左侧显示当top_align_flag的值为1并且align_offset=34时的帧。图33的左侧显示的帧的构造是与参照图21A描述的帧的构造相同的构造，并且对齐字幕区域形成于帧的下侧。
如参照图21A所描述，图33的左侧显示的具有1920×1080像素的帧的AlignOffset是68，视频的有效图像帧在垂直方向上的像素数为804，并且对齐字幕区域在垂直方向上的像素数为208。另外，位于视频的有效图像帧的左下端的一个像素的位置由(x,y)=(0,871)表达。
在图33的左侧显示的帧中，位于字幕窗口的左上端的一个像素的位置由(x,y)=(640,891)表达，字幕窗口在垂直方向上的像素数为168。视频的有效图像帧的下端和字幕窗口的上端之间在垂直方向上的差是20像素(891-871像素)。另外，字幕窗口的位置由诸如PG流中所包括的window_vertical_position和window_horizontal_position的信息确定。在PG流中，还包括指示字幕窗口在垂直方向上的像素数的信息。
在这种情况下，当如白色反向箭头的尖端所示指示朝着帧的上侧移动对齐字幕区域时，修改帧的构造以使得对齐字幕区域形成于帧的上侧。换句话说，在保持每个区域的尺寸的同时，对齐字幕区域布置在视频的有效图像帧的上侧并且黑色区域布置在有效图像帧的下侧。
如图33中的右侧所示，在对齐字幕区域的移动之后的帧中，位于字幕窗口的左上端的一个像素的位置由(x,y)=(640,20)表达。
图34是表示帧构造的修改的另一例子的示图。
图34的左侧显示当top_align_flag的值为0并且align_offset=34时的帧。图34的左侧显示的帧的构造是与参照图21B描述的帧的构造相同的构造，并且对齐字幕区域形成于帧的上侧。
如参照图21B所描述，图34的左侧显示的帧的AlignOffset是208，视频的有效图像帧在垂直方向上的像素数为804，并且对齐字幕区域在垂直方向上的像素数为68。
在图34的左侧显示的帧中，位于字幕窗口的左上端的一个像素的位置由(x,y)=(640,20)表达，字幕窗口在垂直方向上的像素数为168。
在这种情况下，当如白色反向箭头的尖端所示指示朝着帧的下侧移动对齐字幕区域时，修改帧的构造以使得对齐字幕区域形成于帧的下侧。换句话说，在保持每个区域的尺寸的同时，对齐字幕区域布置在视频的有效图像帧的下侧并且黑色区域布置在有效图像帧的上侧。
如图34中的右侧所示，在对齐字幕区域的移动之后的帧中，位于字幕窗口的左上端的一个像素的位置由(x,y)=(640,891)表达。
视频的有效图像帧的位置由视频后处理单元53的排列处理单元72重新布置，颜色设置单元73在重新布置的有效图像帧外面的像素中设置预定像素值，由此执行每个区域的位置的这种修改。
通过使用翻转功能，用户能够根据他们的爱好修改对齐字幕区域的位置。即使当对齐字幕区域的位置修改时重放设备1也保持对齐字幕区域内字幕窗口和有效图像帧之间的距离，并且字幕可以不与有效图像帧分开。
图35是表示用于选择对齐字幕区域的位置的菜单屏幕的例子的示图。
在图35的左侧显示的菜单屏幕上，可以选择对齐字幕区域的位置是在帧的上侧(顶部)还是在帧的下侧(底部)。例如，当选择了基于active_video_window()中所包括的信息布置的对齐字幕区域的位置和相对的位置时，对齐字幕区域通过翻转功能而移动。
图36是描述图18的active_video_window()中所包括的fixed_subtitle_window_0和fixed_subtitle_window_1的示图。
如上所述，可以设置用于显示角色之间的谈话的内容的字幕的字幕窗口和用于显示强制性字幕的字幕窗口。另外，用于显示强制性字幕的字幕窗口可以布置在视频的有效图像帧内。每个字幕窗口的布置位置由PG流中所包括的信息指定。
即使当通过翻转功能修改帧构造时，也使用fixed_subtitle_window_0和fixed_subtitle_window_1以便把用于显示强制性字幕的字幕窗口布置在作者所希望的位置。
即使当通过翻转功能移动视频的有效图像帧的位置时，fixed_subtitle_window_0也指示是否将会保持视频的有效图像帧的位置和由ID=0识别的字幕窗口#0的位置之间的关系。例如，fixed_subtitle_window_0的值为1的事实指示将会保持视频的有效图像帧的位置和字幕窗口#0的位置之间的关系，fixed_subtitle_window_0的值为0的事实指示将不会保持视频的有效图像帧的位置和字幕窗口#0的位置之间的关系。
以相同的方法，即使当通过翻转功能移动视频的有效图像帧的位置时，fixed_subtitle_window_1也指示是否将会保持有效图像帧的位置和由ID=1识别的字幕窗口#1的位置之间的关系。例如，fixed_subtitle_window_1的值为1的事实指示将会保持视频的有效图像帧的位置和字幕窗口#1的位置之间的关系，fixed_subtitle_window_1的值为0的事实指示将不会保持视频的有效图像帧的位置和字幕窗口#1的位置之间的关系。
在图36的左侧显示的帧中，对齐字幕区域布置在帧的上侧。另外，由ID=0识别的字幕窗口#0布置在对齐字幕区域中，包括字母“ABCD”的字幕显示在字幕窗口#0中。字幕窗口#0的fixed_subtitle_window_0的值为0。
另外，在图36的左侧显示的帧中，由ID=1识别的字幕窗口#1布置在视频的有效图像帧中，“****”的字幕显示在字幕窗口#1中。字幕窗口#1的fixed_subtitle_window_1的值为1。基于位于视频的有效图像帧的左上端的像素，字幕窗口#1的左上端的像素位于在水平方向上相隔x个像素并且在垂直方向上相隔y个像素的位置。
在这种情况下，当指示对齐字幕区域朝着帧的下侧移动时，如图36中的右侧所示修改帧构造。根据帧构造的修改，字幕窗口#0布置在移动之后的对齐字幕区域中。
由于字幕窗口#0的fixed_subtitle_window_0的值为0，所以在通过翻转功能移动对齐字幕区域的位置之前和之后不会保持视频的有效图像帧的位置和字幕窗口#0的位置之间的关系。
另一方面，由于fixed_subtitle_window_1的值为1，所以布置字幕窗口#1以使得保持它与视频的有效图像帧的位置的位置关系。
在图36的右侧显示的帧中，基于位于视频的有效图像帧的左上端的像素，字幕窗口#1的左上端的像素位于在水平方向上相隔x个像素并且在垂直方向上相隔y个像素的位置。在移动对齐字幕区域的位置之前和之后，视频的有效图像帧的位置和字幕窗口#1的位置之间的关系不改变。
因此，即使当通过翻转功能移动视频的有效图像帧的位置时，用于显示强制性字幕的字幕窗口也能够布置在作者所希望的位置。
另外，图19的flipped_AS_PG_textST_offset_id_ref指示在通过翻转功能移动对齐字幕区域的位置的情况下当3D字幕显示在移动之后的对齐字幕区域中时使用的偏移值的参考的目标。在图19的例子中，可以参考active_video_window()的一个flipped_AS_PG_textST_offset_id_ref，但可以采用参考每个PG流的不同flipped_AS_PG_textST_offset_id_ref的语法。
当3D字幕显示在移动之前的对齐字幕区域中时使用的偏移值由STN_table_SS()的AS_PG_textST_offset_id_ref(图18)参考，但当3D字幕显示在移动之后的对齐字幕区域中时使用的偏移值由不同的flipped_AS_PG_textST_offset_id_ref参考。
因此，移动之前的对齐字幕区域的字幕和根据翻转功能的移动之后的对齐字幕区域的字幕能够通过使用不同偏移值以3维方式显示。由于偏移值能够改变，所以作者能够在观众针对移动之前的对齐字幕区域的字幕和移动之后的对齐字幕区域的字幕感受的空间效果方面做出改变。
语法的修改例子
作为用于对齐字幕模式的PG流，布置在帧的上侧的对齐字幕区域中显示的字幕的PG流和布置在下侧的对齐字幕区域中显示的字幕的PG流能够分别记录在光盘2中。
图37是表示STN_table_SS()的语法的另一例子的示图。
在图37的STN_table_SS()中，包括布置在帧的上侧的对齐字幕区域中显示的字幕的PG流和布置在下侧的对齐字幕区域中显示的字幕的PG流的描述。
is_top_AS_PG_TextST指示是否记录了布置在帧的上侧的对齐字幕区域中显示的字幕的PG流。例如，is_top_AS_PG_TextST的值为1的事实指示记录了布置在帧的上侧的对齐字幕区域中显示的字幕的PG流，is_top_AS_PG_TextST的值为0的事实指示未记录布置在帧的上侧的对齐字幕区域中显示的字幕的PG流。
is_bottom_AS_PG_TextST指示是否记录了布置在帧的下侧的对齐字幕区域中显示的字幕的PG流。例如，is_bottom_AS_PG_TextST的值为1的事实指示记录了布置在帧的下侧的对齐字幕区域中显示的字幕的PG流，is_bottom_AS_PG_TextST的值为0的事实指示未记录布置在帧的下侧的对齐字幕区域中显示的字幕的PG流。
在当is_top_AS_PG_TextST是1时描述的stream_entry()中，包括容纳布置在帧的上侧的对齐字幕区域中显示的字幕的PG流的数据的包的PID。另外，在stream_attribute()中，包括布置在帧的下侧的对齐字幕区域中显示的字幕的PG流的属性信息。top_AS_PG_textST_offset_sequence_id_ref指示当字幕以3维方式显示在布置在帧的上侧的对齐字幕区域中时使用的偏移值的参考的目标。
在当is_bottom_AS_PG_TextST是1时描述的stream_entry()中，包括容纳布置在帧的下侧的对齐字幕区域中显示的字幕的PG流的数据的包的PID。另外，在stream_attribute()中，包括布置在帧的下侧的对齐字幕区域中显示的字幕的PG流的属性信息。bottom_AS_PG_textST_offset_sequence_id_ref指示当字幕以3维方式显示在布置在帧的下侧的对齐字幕区域中时使用的偏移值的参考的目标。
将描述使用图37的STN_table_SS()的过程。将会适当地省略与以上相同的描述。
以下，布置在帧的上侧的对齐字幕区域中显示的字幕的PG流适当地称为用于上侧对齐字幕的PG流，布置在帧的下侧的对齐字幕区域中显示的字幕的PG流适当地称为用于下侧对齐字幕的PG流。
当通过使用图37的STN_table_SS()执行图29的重放过程时，在步骤S15中读取在STN_table_SS()中描述的用于当前选择的语言的字幕的is_top_AS_PG_TextST和is_bottom_AS_PG_TextST的值。
另外，在步骤S16中，确定在当前选择为重放目标的字幕中是否注册了用于对齐字幕模式的PG流。
然后，is_top_AS_PG_TextST或is_bottom_AS_PG_TextST的值为1并且在步骤S16中确定注册了用于对齐字幕模式的PG流，在步骤S17中，执行对齐字幕的重放过程。在对齐字幕的重放过程中，当以3维方式显示视频时按照对齐字幕模式显示字幕。
例如，当用于上侧对齐字幕的PG流和用于下侧对齐字幕的PG流都被记录在光盘2上时(当is_top_AS_PG_TextST和is_bottom_AS_PG_TextST的值为1时)，重放由用户选择的PG流。
在针对作为目标的用于上侧对齐字幕的PG流的图32的字幕数据产生过程的步骤S53中，根据通过对PG流解码获得的字幕数据的top_AS_PG_textST_offset_sequence_id_ref中所参考的偏移值设置视差。
另外，在针对作为目标的用于下侧对齐字幕的PG流的图32的字幕数据产生过程的步骤S53中，根据通过对PG流解码获得的字幕数据的bottom_AS_PG_textST_offset_sequence_id_ref中所参考的偏移值设置视差。
因此，内容的作者能够根据视频内容准备用于上侧对齐字幕的PG流和用于下侧对齐字幕的PG流。另外，由于不同值能够被设置为偏移值，所以内容的作者能够利用布置在帧的上侧的对齐字幕区域中显示的字幕和布置在帧的下侧的对齐字幕区域中显示的字幕改变三维效果。
图38是表示active_video_window()的另一语法的例子的示图。
当图37的STN_table_SS()中所包括的is_top_AS_PG_TextST或is_bottom_AS_PG_TextST的值为1并且记录了用于对齐字幕模式的PG流时，描述图38的active_video_window()。
在图38的例子中，不包括参照图19描述的top_align_flag。另外，替代于align_offset，在图38的例子中包括top_align_offset和bottom_align_offset。
Top_offset是通过按照2像素单位表达形成于帧的上侧的黑色帧区域的宽度(在垂直方向上的像素数)获得的值。top_offset的值为例如69的事实指示形成于帧的上侧的黑色帧区域的宽度为138像素。top_offset用于获取视频的有效图像帧在垂直方向上的最上面像素的位置。
以下，通过使用像素数指示帧的位置，从而帧的左上端的一个像素的位置是(x,y)=(0,0)，换句话说，从帧的顶部开始的第一行中在垂直方向上像素的位置是0，从帧的左侧开始的第一列中在水平方向上像素的位置是0。
通过使用top_offset的值根据以下的方程(8)获取作为视频的有效图像帧在垂直方向上最上面像素的位置的TopOffset。
TopOffset=2*top_offset…(8)
top_offset采用由以下方程(9)指示的范围中的值。
0≤top_offset≤((FrameHeight/2)–(bottom_offset+1)…(9)
方程(9)中的FrameHeight指示整个帧在垂直方向上的像素数，并且通过以下的方程(10)获得FrameHeight。
方程(10)的Pic_height_in_map_units_minus1、frame_mbs_only_flag、frame_crop_top_offset和frame_crop_bottom_offset都是利用MVC编码的视频流中所包括的参数。
FrameHeight
=16*(pic_height_in_map_units_minus1+1)*(2-frame_mbs_only_flag)-2*(2-frame_mbs_only_flag)*(frame_crop_top_offset+frame_crop_bottom_offset)…(10)
bottom_offset是通过按照2像素单位表达形成于帧的下侧的黑色帧区域的宽度(在垂直方向上的像素数)获得的值。bottom_offset的值为例如69的事实指示形成于帧的下侧的黑色帧区域的宽度为138像素。bottom_offset用于获取视频的有效图像帧在垂直方向上的最下面像素的位置。
通过使用bottom_offset的值根据以下的方程(11)获取作为视频的有效图像帧在垂直方向上最下面像素的位置的BottomOffset。
BottomOffset=FrameHeight-(2*bottom_offset)…(11)
Top_align_offset是通过在使帧的左上端作为原点(0,0)的情况下按照2像素单位表达重新排列的视频的有效图像帧的左上端的像素在垂直方向上的位置获得的值。top_align_offset用于获得当is_top_AS_PG_TextST的值为1并且通过重放用于上侧对齐字幕的PG流显示字幕时视频的有效图像帧的重新排列的位置。
top_align_offset采用由以下方程(12)指示的范围中的值。
Top_offset<top_align_offset<top_offset+bottom_offset…(12)
通过使用top_align_offset的值根据以下方程(13)获得作为重新排列的视频的有效图像帧在垂直方向上的最上面像素的位置的AlignOffset。
AlignOffset=2*top_align_offset…(13)
图39A是表示通过使用top_align_offset的值获得的AlignOffset的例子的示图。
当如图39A中所示top_align_offset=104时，对于1920×1080像素的帧获得AlignOffset为208。位于视频的有效图像帧的左上端的一个像素的位置由(x,y)=(0,208)表达。
在图39A和39B的例子中，如参照图20所描述，就在解码之后的帧的上侧和下侧的黑色帧区域的宽度为138。top_offset和bottom_offset的值为69。
返回到图38的描述，bottom_align_offset是通过在使帧的左上端作为原点(0,0)的情况下按照2像素单位表达重新排列的视频的有效图像帧的左上端的像素在垂直方向上的位置获得的值。bottom_align_offset用于获得当is_bottom_AS_PG_TextST的值为1并且通过重放用于下侧对齐字幕的PG流显示字幕时视频的有效图像帧的重新排列的位置。
bottom_align_offset采用由以下方程(14)指示的范围中的值。
0<　bottom_align_offset　<top_offset…(14)
通过使用bottom_align_offset的值根据以下方程(15)获得作为重新排列的视频的有效图像帧在垂直方向上的最下面像素的位置的AlignOffset。
AlignOffset=2*bottom_align_offset…(15)
图39B是表示通过使用bottom_align_offset获得的AlignOffset的例子的示图。
当如图39B中所示bottom_align_offset=34时，对于1920×1080像素的帧获得AlignOffset为68。位于视频的有效图像帧的左上端的一个像素的位置由(x,y)=(0,68)表达。
将描述使用图38的active_video_window()的过程。将适当地省略与以上相同的重复描述。
当通过使用图38的active_video_window()执行图31的视频数据产生过程时，在步骤S42中从播放列表文件读取active_video_window()中描述的信息。
在步骤S43中，基于top_offset和bottom_offset获得TopOffset和BottomOffset，并剪裁视频的有效图像帧。
在步骤S44中，获得视频的有效图像帧的排列位置，并把有效图像帧布置在所获得的位置。
例如，当is_top_AS_PG_TextST的值为1并且通过重放用于上侧对齐字幕的PG流显示字幕时，通过使用top_align_offset如参照图39A所描述获得该排列位置。
另一方面，当is_bottom_AS_PG_TextST的值为1并且通过重放用于下侧对齐字幕的PG流显示字幕时，通过使用bottom_align_offset如参照图39B所描述获得该排列位置。
其后，对用于上侧对齐字幕的PG流和用于下侧对齐字幕的PG流解码，并且字幕显示在对齐字幕区域中。
信息处理设备的构造和操作
图40是表示信息处理设备101的构造的例子的方框图。
在信息处理设备101中，产生将要由重放装置1重放的内容并把该内容记录在记录介质(诸如，BD等)中。由信息处理设备101记录内容的记录介质作为光盘2被提供给重放设备1.
如图40中所示，信息处理设备101包括视频编码器111、PG编码器112、播放列表产生单元113、复用单元114和记录单元115。
视频编码器111具有与图3的MVC编码器相同的构造。视频编码器111按照MVC模式对输入视频数据编码，并把基本视点视频的流和从属视点视频的流输出给复用单元114。
PG编码器112对输入字幕的数据编码，并把用于3D字幕模式的PG流和用于对齐字幕模式的PG流输出给复用单元114。
播放列表产生单元113产生包括上述信息的播放列表文件，并把该文件输出给复用单元114。
复用单元114复用从视频编码器111提供的基本视点视频的流、从属视点视频的流和从PG编码器112提供的PG流，并把TS输出给记录单元115。
记录单元115产生包括从复用单元114提供的TS和由播放列表产生单元113产生的播放列表文件的内容，并把该内容的数据记录在记录介质(诸如，BD等)上。
将参照图41的流程图描述信息处理设备101的记录过程。
在步骤S101中，视频编码器111按照MVC模式对输入视频数据编码，并产生基本视点视频的流和从属视点视频的流。
在步骤S102中，PG编码器112对输入字幕的数据编码，并产生用于3D字幕模式的PG流和用于对齐字幕模式的PG流。
在步骤S103中，播放列表产生单元113产生播放列表文件。
在步骤S104中，复用单元114复用由视频编码器111产生的基本视点视频的流、从属视点视频的流和由PG编码器112产生的PG流，并产生TS。
在步骤S105中，记录单元115把由复用单元114产生的TS和由播放列表产生单元113产生的播放列表文件记录在记录介质(诸如，BD等)上，并结束该过程。
修改的例子
以上，描述了有效图像帧中显示的视频是基本视点和从属视点的视频的情况，但可以显示在按照显示次序布置的2帧的图像之间不存在视差的2D图像。即使当记录在记录介质(诸如，BD等)上的内容是包括2D图像数据的2D内容时，按照与上述3D内容的情况相同的方式也可以在基于播放列表的描述在重放设备中剪裁并移动有效图像帧形成的对齐字幕区域中显示字幕。
active_video_window()的位置
以上，在播放列表中描述参照图19和37解释的active_video_window()，但可以在其它位置描述active_video_window()。
例如，能够考虑分别把基本视点视频流和从属视点视频流复用为同一TS或不同TS，然后通过广播波和网络传输TS。
在这种情况下，例如在作为传输控制信息的节目专用信息(PSI)、基本视点视频流或从属视点视频流(基本流)中描述active_video_window()。
图42是表示在PSI中所包括的节目映射表(PMT)中描述active_video_window()的例子的示图。
如图42中所示，可以新定义用于描述active_video_window()的描述符，并且可以在定义的描述符中描述active_video_window()。在图42的例子中，描述图37的active_video_window()。另外，例如，给出65作为descriptor_tag的值。
在这种情况下，图43中的信息处理设备101的信息产生单元121产生并输出描述active_video_window()的PMT。在图43显示的构造中，利用相同的标号给出与图40的构造相同的构造。在图43的例子中，替代于图40的播放列表产生单元113提供信息产生单元121。
由复用单元114把从信息产生单元121输出的PMT与基本视点视频流和从属视点视频流复用在一起。通过广播波和网络传输通过复用获得的TS。
在接收TS的重放设备中，基于在PMT中描述的active_video_window()如上所述显示字幕。
可以在除PMT之外的其它位置(诸如，选择信息表(SIT))中描述active_video_window()。
图44是表示在基本流中描述active_video_window()的例子的示图。
如图44中所示，能够在SEI中描述active_video_window()。SEI是添加到构成基本视点视频流和从属视点视频流的每个画面的数据的附加信息。包括active_video_window()的SEI被添加到基本视点视频流和从属视点视频流中的至少任何一个流的每个画面。
图45是表示访问单位的构造的示图。
如图45中所示，包括基本视点视频流的一个画面的数据的基本视点视频的访问单位与包括从属视点视频流的一个画面的数据的从属视点视频的访问单位具有相同的构造。一个访问单位包括：指示访问单位的头的AU定界符、SPS、PPS、SEI和画面数据。
在这种情况下，图43中的信息处理设备101的信息产生单元121产生描述active_video_window()的SEI并通过路径(附图中未示出)把SEI输出给视频编码器111。在视频编码器111中，SEI被添加到通过根据H.264AVC/MVC的标准对L图像数据和R图像数据编码获得的基本视点视频和从属视点视频的每个画面的数据。
包括添加了描述active_video_window()的SEI的画面的数据的基本视点视频流和从属视点视频流被复用，然后通过广播波或网络被传输或者记录在记录介质上。
在读取SEI的重放设备中，基于在SEI中描述的active_video_window()的值如上所述显示字幕。
计算机的构造的例子
上述一系列过程能够通过硬件和软件执行。当通过软件执行一系列过程时，从程序记录介质把构成软件的程序安装到包括专用硬件的计算机和一般个人计算机上。
图46是表示通过程序执行上述一系列过程的计算机的硬件的构造的例子的方框图。
中央处理单元(CPU)151、只读存储器(ROM)152和随机存取存储器(RAM)153经总线154彼此连接。
输入/输出接口155另外连接到总线154。输入/输出接口155连接到：输入单元156，包括键盘、鼠标等；和输出单元157，包括显示器、扬声器等。另外，输入/输出接口155连接到：存储单元158，包括硬盘、非易失性存储器等；通信单元159，包括网络接口等；和驱动器160，驱动可移动介质161。
在如上构造的计算机中，执行上述一系列过程，从而例如CPU151经输入/输出接口155和总线154把存储在存储单元158中的程序载入到RAM153中并执行该程序。
例如在可移动介质161中记录或者通过有线或无线传输介质(诸如，局域网、互联网或数字广播)提供由CPU151执行的程序，并在存储单元158中安装该程序。
另外，由计算机执行的程序可以是根据本说明书描述的次序按照时间顺序执行过程的程序和/或可以是在调用程序的必要时间点执行过程的程序。
本发明的实施例不限于上述实施例，可以采用多种变型，只要它们不脱离本发明的主旨即可。
本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

Claims (3)

1.一种重放设备，包括：
读出部，所述读出部从记录介质中读取基本流和扩展流，从记录介质中读取播放列表文件，以及在使用第二字幕流执行字幕显示的情况下还从记录介质读取第二字幕流，通过采用H.264AVC/MVC编码对左眼图像和右眼图像进行编码来获得所述基本流和扩展流，其中条带形区域被放置为使得对于每个帧在水平方向上沿着上侧和下侧穿过整个上侧和下侧，所述播放列表文件包含第一信息、第二信息以及表格信息，所述第一信息是指示记录介质中是否记录有第一字幕流的1比特信息，指示记录的第一字幕流的存在的值被配置为设置在所述第一信息中，通过对显示在第三区域的字幕数据进行编码来获得所述第一字幕流，通过把第二区域的至少一部分添加到第一区域来形成所述第三区域，所述第二区域是沿着下侧延伸的条带形区域，所述第一区域是沿着上侧延伸的条带形区域，所述第二信息是指示记录介质中是否记录有第二字幕流的1比特信息，指示记录的第二字幕流的存在的值被配置为设置在所述第二信息中，通过对显示在第四区域中的字幕数据进行编码来获得第二字幕流，通过把所述第一区域的至少一部分添加到所述第二区域来形成所述第四区域，所述表格信息是写有所述第一字幕流的PID、第一参考目标信息、第二字幕流的PID以及第二参考目标信息的表格，所述第一参考目标信息是指示偏移的参考的目标的信息，该偏移指示要在通过解码所述第一字幕流获得的字幕上设置的视差，所述第二参考目标信息是指示偏移的参考的目标的信息，该偏移指示要在通过解码所述第二字幕流获得的字幕上设置的视差；
第一解码部，用于对所述基本流和扩展流进行解码；
第二解码部，用于对所述第二字幕流进行解码，其中基于表格信息中含有的PID指定容纳第二字幕流的流数据的包；
产生部，所述产生部针对作为第二解码部解码结果而获得的字幕基于所述第二参考目标信息设置与所参考的偏移对应的视差，并且产生用于左眼的字幕和用于右眼的字幕；
第一合成部，把用于左眼的字幕与作为第一解码部的解码结果而获得的左眼图像合成，使得用于左眼的字幕被显示在形成于左眼图像下面的第四区域中；以及
第二合成部，把用于右眼的字幕与作为第一解码部的解码结果而获得的右眼图像合成，使得用于右眼的字幕被显示在形成于右眼图像下面的第四区域中。
2.根据权利要求1的重放设备，所述播放列表文件还包含指示有效图像帧的排列位置的信息，所述有效图像帧包含第一偏移值、第二偏移值、第三偏移值、第四偏移值以及保留区域，所述第一偏移值用于相对于帧的上侧确定左眼图像和右眼图像的有效图像帧的上侧的位置，所述第二偏移值用于确定有效图像帧的下侧的位置，所述第三偏移值用于在利用所述第一字幕流执行字幕显示的情况下确定移动后的有效图像帧的上侧的位置，所述第四偏移值用于在利用所述第二字幕流执行字幕显示的情况下确定移动后的有效图像帧的上侧的位置，所述重放设备还包括：
剪裁部，所述剪裁部利用所述第一偏移值确定所述有效图像帧的上侧的位置，利用所述第二偏移值确定所述有效图像帧的下侧的位置，以及从通过解码基本流和扩展流获得的帧中剪裁出左眼图像和右眼图像的有效图像帧；
排列处理部，所述排列处理部把左眼图像和右眼图像的有效图像帧排列在利用所述第四偏移值确定的位置处，使得第四区域将形成在所述有效图像帧下面；
设置部，所述设置部在帧区域内由所述排列处理部排列的有效图像帧外部的区域处设置预定颜色；
其中所述第一合成部使用在所述有效图像帧外部区域设置的预定颜色把用于左眼的字幕与左眼图像合成，以及
所述第二合成部使用在所述有效图像帧外部区域设置的预定颜色把用于右眼的字幕与右眼图像合成。
3.一种图像处理方法，包括以下步骤：
通过采用H.264AVC/MVC编码对左眼图像和右眼图像进行编码，其中条带形区域被放置为使得对于每个帧在水平方向上沿着上侧和下侧穿过整个上侧和下侧；
产生包含第一信息、第二信息以及表格信息的播放列表文件，所述第一信息是指示是否记录有第一字幕流的1比特信息，指示记录的第一字幕流的存在的值被配置为设置在所述第一信息中，通过对显示在第三区域的字幕数据进行编码来获得所述第一字幕流，通过把第二区域的至少一部分添加到第一区域来形成所述第三区域，所述第二区域是沿着下侧延伸的条带形区域，所述第一区域是沿着上侧延伸的条带形区域，所述第二信息是指示是否记录有第二字幕流的1比特信息，指示记录的第二字幕流的存在的值被配置为设置在所述第二信息中，通过对显示在第四区域中的字幕数据进行编码来获得第二字幕流，通过把所述第一区域的至少一部分添加到所述第二区域来形成所述第四区域，所述表格信息是写有所述第一字幕流的PID、第一参考目标信息、第二字幕流的PID以及第二参考目标信息的表格，所述第一参考目标信息是指示偏移的参考的目标的信息，该偏移指示要在通过解码所述第一字幕流获得的字幕上设置的视差，所述第二参考目标信息是指示偏移的参考的目标的信息，该偏移指示要在通过解码所述第二字幕流获得的字幕上设置的视差；
通过对显示在第三区域的字幕数据进行编码来产生第一字幕流；
通过对显示在第四区域中的字幕数据进行编码来产生第二字幕流；
使记录介质记录基本流和扩展流、第一字幕流、第二字幕流和播放列表文件，通过对左眼图像和右眼图像进行编码而获得所述基本流和扩展流，
其中，在用于记录介质的重放设备中，
从所述记录介质读出所述基本流、扩展流、第二字幕流以及播放列表文件，
对所述基本流和扩展流进行解码，
对所述第二字幕流进行解码，其中基于表格信息中含有的PID指定容纳第二字幕流的流数据的包，
针对通过解码第二字幕流而获得的字幕基于所述第二参考目标信息设置与所参考的偏移对应的视差，并且产生用于左眼的字幕和用于右眼的字幕；
把用于左眼的字幕与作为解码基本流和扩展流的结果而获得的左眼图像合成，使得用于左眼的字幕被显示在形成于左眼图像下面的第四区域中；
把用于右眼的字幕与作为解码基本流和扩展流的结果而获得的右眼图像合成，使得用于右眼的字幕被显示在形成于右眼图像下面的第四区域中。
CN201410014305.8A 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质 Expired - Fee Related CN103763541B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30418510P 2010-02-12 2010-02-12
US61/304,185 2010-02-12
US12/821,829 2010-06-23
US12/821,829 US9025933B2 (en) 2010-02-12 2010-06-23 Information processing device, information processing method, playback device, playback method, program and recording medium
CN201180001678.6A CN102379123B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备和重放方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180001678.6A Division CN102379123B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备和重放方法

Publications (2)

Publication Number Publication Date
CN103763541A CN103763541A (zh) 2014-04-30
CN103763541B true CN103763541B (zh) 2015-11-25

Family

ID=44368128

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201410014305.8A Expired - Fee Related CN103763541B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质
CN201180001678.6A Expired - Fee Related CN102379123B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备和重放方法
CN201410014709.7A Expired - Fee Related CN103763542B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201180001678.6A Expired - Fee Related CN102379123B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备和重放方法
CN201410014709.7A Expired - Fee Related CN103763542B (zh) 2010-02-12 2011-02-11 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质

Country Status (7)

Country Link
US (1) US9025933B2 (zh)
EP (1) EP2406950B1 (zh)
JP (7) JP5225517B2 (zh)
CN (3) CN103763541B (zh)
HK (1) HK1164589A1 (zh)
TW (1) TWI511553B (zh)
WO (1) WO2011100488A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8922631B1 (en) * 2010-07-06 2014-12-30 Lucasfilm Entertainment Company Ltd. Presenting multiple viewer content on a single screen
JP5728649B2 (ja) * 2010-08-06 2015-06-03 パナソニックＩｐマネジメント株式会社 再生装置、集積回路、再生方法、プログラム
JPWO2012029884A1 (ja) 2010-09-03 2013-10-31 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
US9762884B2 (en) 2010-09-03 2017-09-12 Sony Corporation Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
AU2011296956A1 (en) 2010-09-03 2013-02-14 Sony Corporation Encoding device and encoding method, as well as decoding device and decoding method
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
EP2549754A1 (en) * 2011-07-19 2013-01-23 Thomson Licensing Method and apparatus for reframing and encoding an original video signal
US9100638B2 (en) * 2012-01-05 2015-08-04 Cable Television Laboratories, Inc. Signal identification for downstream processing
US10165217B2 (en) 2014-08-28 2018-12-25 Hisense Electric Co., Ltd. Backlight source control method of display device, display device and storage medium
CN106652924B (zh) * 2014-08-28 2019-01-22 青岛海信电器股份有限公司 进入或退出宽银幕电影显示模式时背光源控制方法及装置
KR102319456B1 (ko) * 2014-12-15 2021-10-28 조은형 콘텐츠 재생 방법 및 이를 수행하는 전자 기기
EP3244615A4 (en) 2015-01-09 2018-06-20 Sony Corporation Image processing device, image processing method, and program, and recording medium
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
GB2556612B (en) * 2016-04-18 2022-03-09 Grass Valley Ltd Monitoring audio-visual content with captions
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
CN110620946B (zh) * 2018-06-20 2022-03-18 阿里巴巴（中国）有限公司 字幕显示方法及装置
CN108924599A (zh) 2018-06-29 2018-11-30 北京优酷科技有限公司 视频字幕显示方法及装置
US10936317B2 (en) * 2019-05-24 2021-03-02 Texas Instruments Incorporated Streaming address generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1152839A (zh) * 1995-09-27 1997-06-25 株式会社东芝 附有文字信息显示功能的电视接收机
CN100479512C (zh) * 1999-07-09 2009-04-15 松下电器产业株式会社 光盘及其记录器、重放器、记录方法和重放方法
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
EP2306749A1 (en) * 2008-07-24 2011-04-06 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201880A (ja) 1989-12-28 1991-09-03 Toshiba Corp テレビジョン受信機
KR100424755B1 (ko) 1995-09-29 2004-08-30 마쯔시다덴기산교 가부시키가이샤 문자다중방송용텔레비젼수상기
JPH0998389A (ja) 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd 文字多重放送用テレビジョン受像機
JP2004274125A (ja) 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
KR101053619B1 (ko) * 2003-04-09 2011-08-03 엘지전자 주식회사 텍스트 서브타이틀 데이터의 재생을 관리하기 위한 데이터구조를 갖는 기록 매체, 그에 따른 기록 및 재생 방법 및장치
JP2006345217A (ja) 2005-06-09 2006-12-21 Sanyo Electric Co Ltd 画像処理装置
TR201806795T4 (tr) 2005-06-22 2018-06-21 Koninklijke Philips Nv Veri içeriğini görüntülemek için bir yöntem ve cihaz.
JP4765733B2 (ja) * 2006-04-06 2011-09-07 ソニー株式会社 記録装置、記録方法および記録プログラム
JP4997839B2 (ja) 2006-06-16 2012-08-08 ソニー株式会社 映像特殊効果装置及びその制御方法
JP4247291B1 (ja) 2007-12-20 2009-04-02 株式会社東芝 再生装置および再生方法
JP2009159126A (ja) 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の画面制御方法及びプログラム
KR20100002032A (ko) 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
US9438879B2 (en) 2009-02-17 2016-09-06 Koninklijke Philips N.V. Combining 3D image and graphical data
JP4646160B2 (ja) 2009-03-30 2011-03-09 ソニー株式会社 伝送装置および方法
DK2445224T3 (en) 2009-06-17 2017-08-21 Panasonic Ip Man Co Ltd INFORMATION RECORDING MEDIUM FOR 3D VIDEO RENDERING AND REPLACEMENT DEVICE
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1152839A (zh) * 1995-09-27 1997-06-25 株式会社东芝 附有文字信息显示功能的电视接收机
CN100479512C (zh) * 1999-07-09 2009-04-15 松下电器产业株式会社 光盘及其记录器、重放器、记录方法和重放方法
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
EP2306749A1 (en) * 2008-07-24 2011-04-06 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program

Also Published As

Publication number Publication date
JP5243668B1 (ja) 2013-07-24
JP5236130B2 (ja) 2013-07-17
CN103763542A (zh) 2014-04-30
TW201145995A (en) 2011-12-16
JP2013511789A (ja) 2013-04-04
WO2011100488A1 (en) 2011-08-18
CN103763541A (zh) 2014-04-30
EP2406950A1 (en) 2012-01-18
JP2013158003A (ja) 2013-08-15
TWI511553B (zh) 2015-12-01
JP5191018B2 (ja) 2013-04-24
EP2406950B1 (en) 2017-04-19
JP2013138467A (ja) 2013-07-11
JP5191019B1 (ja) 2013-04-24
JP2013070385A (ja) 2013-04-18
JP5191020B1 (ja) 2013-04-24
JP5225517B2 (ja) 2013-07-03
US9025933B2 (en) 2015-05-05
CN102379123A (zh) 2012-03-14
JP5732094B2 (ja) 2015-06-10
JP2013081180A (ja) 2013-05-02
HK1164589A1 (zh) 2012-09-21
CN103763542B (zh) 2016-06-29
US20110200302A1 (en) 2011-08-18
JP2013081181A (ja) 2013-05-02
JP2013157992A (ja) 2013-08-15
EP2406950A4 (en) 2013-06-26
CN102379123B (zh) 2015-05-13

Similar Documents

Publication Publication Date Title
CN103763541B (zh) 信息处理设备、信息处理方法、重放设备、重放方法、程序和记录介质
US8498515B2 (en) Recording medium and recording and reproducing method and apparatuses
CN102292992B (zh) 信息处理设备、信息处理方法、回放设备、回放方法及记录介质
CN103179420B (zh) 记录设备、记录方法、回放设备、回放方法、程序和记录介质
CN102625122A (zh) 记录设备、记录方法、回放设备、回放方法、记录介质和程序
WO2010150674A1 (ja) 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
CA2725009C (en) Information processing apparatus, information processing method, program, and recording medium
KR20120024524A (ko) 데이터 구조 및 기록 매체, 및 재생 장치, 재생 방법, 프로그램 및 프로그램 저장 매체
US7609943B2 (en) Method and apparatus of recording graphic data on a recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20220211