CN102656892B - 立体图像显示控制设备及其操作控制方法 - Google Patents

立体图像显示控制设备及其操作控制方法 Download PDF

Info

Publication number
CN102656892B
CN102656892B CN201180004972.2A CN201180004972A CN102656892B CN 102656892 B CN102656892 B CN 102656892B CN 201180004972 A CN201180004972 A CN 201180004972A CN 102656892 B CN102656892 B CN 102656892B
Authority
CN
China
Prior art keywords
stereo
picture
point
crossing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180004972.2A
Other languages
English (en)
Other versions
CN102656892A (zh
Inventor
楠田大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102656892A publication Critical patent/CN102656892A/zh
Application granted granted Critical
Publication of CN102656892B publication Critical patent/CN102656892B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Abstract

公开了一种不会使立体图像的观看者不舒服的立体图像显示控制设备。交叉点信息也被记录到记录了立体运动图像数据的存储卡上。回放该立体运动图像时,使代表比交叉点信息所代表的交叉点远的对象的图像模糊。通过该模糊处理,可以避免观看者注视具有较大差异的图像部分。从而,可以避免给观看者带来不舒服的感觉。

Description

立体图像显示控制设备及其操作控制方法
技术领域
本发明涉及立体图像显示控制设备及控制该设备的操作的方法。
背景技术
通过在显示屏上显示具有视差的左眼图像(由观察者的左眼观察到的图像)和右眼图像(由观察者的右眼观察到的图像),可以立体地观看到图像。存在着如果有太大的视差用户会发现观看起来不舒服的情况。为此,出现了对视差分离较大的区域施加模糊处理的技术(日本专利申请公开No.4-343685)和用于使用户注视部分之外的部分模糊的技术(日本专利申请公开No.9-43468)等。
然而,利用仅仅使视差分离较大的区域模糊的技术,会出现图像不能作为立体图像被观赏并且观看变得不舒服的情况。
发明内容
本发明的一个目的是显示没有观看不舒服感觉的立体图像。
根据本发明的立体图像显示控制设备的特征在于其包括:立体图像数据读取单元(立体图像数据读取装置),用于读取代表已记录到记录介质上的立体图像的立体图像数据;交叉点信息读取单元(交叉点信息读取装置),用于读取已记录到记录介质上并且代表立体图像的视差消失的交叉点的交叉点信息;第一模糊单元(第一模糊装置),用于以以下方式使立体图像数据读取单元读取的立体图像数据所代表的立体图像中代表位于比交叉点信息读取单元读取的交叉点信息所代表的交叉点更深的位置处的对象的图像部分模糊,该方式中,对象相对于交叉点越深,模糊量变得越大;以及显示控制单元(显示控制装置),用于控制显示装置来显示其中代表更深位置处的对象的图像部分已经被第一模糊单元模糊了的立体图像。
本发明还提供了适于上述立体图像显示控制设备的操作控制方法。具体地,该方法包括:利用立体图像数据读取单元读取代表已记录到记录介质上的立体图像的立体图像数据;利用交叉点信息读取单元读取已记录到记录介质上并且代表立体图像的视差消失的交叉点的交叉点信息;利用第一模糊单元以以下方式使立体图像数据读取单元读取的立体图像数据所代表的立体图像中代表位于比交叉点信息读取单元读取的交叉点信息所代表的交叉点更深的位置处的对象的图像部分模糊,该方式中,对象相对于交叉点越深,模糊量变得越大;以及利用显示控制单元控制显示装置来显示其中代表更深位置处的对象的图像部分已经被第一模糊单元模糊了的立体图像。
根据本发明,立体图像数据和交叉点信息已经被记录到记录介质上。立体图像数据和交叉点信息被从记录介质读取,并且以以下方式使立体图像中代表比由交叉点信息所代表的交叉点更深位置处的对象的图像部分模糊,该方式中,从交叉点进入立体图像越深,施加的模糊量越大。显示如此模糊了的立体图像。如果使代表比交叉点浅的对象的图像部分模糊,会出现得到的图像不能被作为立体图像欣赏的情况。然而,根据本发明,不使代表比交叉点浅的对象的图像部分模糊。因此,即使施加了模糊处理,得到的图像也可以被作为立体图像欣赏。此外,尽管从交叉点进入立体图像越深,视差量变得越大,但是可以减轻该视差对观看者的不利影响,这是因为从交叉点向内的距离越大模糊量也会增加。
例如,第一模糊单元以以下方式使立体图像中代表比由交叉点检测单元检测到的交叉点深的位置处的对象的图像部分模糊,该方式中,显示装置的显示屏越大,模糊量变得越大。
所述设备还可以包括:视差确定单元(视差确定装置),用于确定立体图像中代表比交叉点浅的位置处的对象的图像部分的视差是否大于等于阈值;以及交叉点控制单元(交叉点控制装置),其响应于由视差确定单元对立体图像中代表比交叉点浅的位置处的对象的图像部分的视差大于等于阈值的确定,控制立体图像数据来将交叉点移动至立体图像中代表比交叉点信息读取单元读取的交叉点信息所代表的交叉点的位置浅的对象的图像部分。
所述立体图像是构成立体运动图像的单个帧的图像,立体图像数据读取单元从记录介质读取代表多个帧的立体图像的立体图像数据,以及代表立体图像的场景改变的立体图像帧的场景改变信息已经被记录在记录介质上,并且所述设备还包括:场景改变信息读取单元(场景改变读取装置),用于从记录介质读取场景改变信息;以及第二模糊单元(第二模糊装置),用于使场景改变信息读取单元读取的场景改变信息所代表的立体图像帧之前和之后的一个或多个场景改变帧的全部立体图像模糊。在此情况下,显示控制单元控制显示装置来针对场景改变帧以外的帧的立体图像显示已经被第一模糊单元模糊了的立体图像,并且针对场景改变帧的立体图像显示已经被第一模糊单元和第二模糊单元模糊了的立体图像。
例如,显示控制单元控制显示装置来以以下方式显示立体图像,该方式中,场景改变帧的立体图像在立体图像的场景改变了的立体图像之前从大到小逐渐缩小,以及在立体图像的场景改变了的立体图像之后从小到大逐渐放大。
所述设备还包括第二模糊单元(第二模糊装置),用于以以下方式使立体图像数据读取单元读取的立体图像数据所代表的立体图像中代表位于比交叉点信息读取单元读取的交叉点信息所代表的交叉点浅的位置处的对象的图像部分模糊,该方式中,对象相对于交叉点越浅,模糊量变得越大。第二模糊单元可以与第一模糊单元为同一模糊单元或与其分离。
附图说明
图1是示出立体成像数码相机的电气构造的框图;
图2示出了头部的内容;
图3是立体图像的示例;
图4是立体图像的示例;
图5是立体图像的示例;
图6是示出回放处理程序的流程图;
图7是立体图像的示例;
图8是立体图像的示例;
图9是示出回放处理程序的流程图;
图10示出了头部的内容;
图11a和图11b是立体图像的示例;
图12是示出回放处理程序的流程图;
图13是立体图像的示例;
图14是示出回放处理程序的流程图;
图15示出了头部的内容;
图16示出了场景改变的方式;
图17示出了场景变换的方式;
图18示出了场景变换时立体图像如何出现;
图19示出了场景变换的方式;
图20示出了场景变换时立体图像的尺寸改变的方式;以及
图21是示出回放处理程序的流程图。
具体实施方式
图1是示出立体运动图像成像数码相机的电气构造的框图。
立体运动图像成像数码相机的操作由中央控制单元31控制。立体运动图像成像数码相机还包括存储规定数据的存储器32、以及自动控制单元36。
立体运动图像成像数码相机包括用于拍摄针对右眼的运动图像的第一成像单元10和用于拍摄针对左眼的运动图像的第二成像单元20。
第一成像单元10包括诸如CCD或C-MOS的第一图像感测元件13。成像镜头11和光圈12设置在第一成像感测元件13的前面。成像镜头11由镜头控制单元16定位。光圈12的孔径受光圈控制单元15的控制。代表由第一图像感测元件13拍摄的对象的图像的右眼视频信号被输入至ADC(模数转换器)控制单元14。在ADC控制单元14中执行诸如模拟/数字转换处理的规定处理,从而对代表针对右眼的运动图像的运动图像数据进行了转换。
第二成像单元20也包括第二图像感测元件23。成像镜头21和光圈22设置在第二图像感测元件23的前面。成像镜头21由镜头控制单元26定位。光圈22的孔径受光圈控制单元25的控制。代表由第二图像感测元件23拍摄的对象的图像的左眼视频信号在ADC控制单元24中经受诸如模拟/数字转换处理的规定处理,从而对代表针对左眼的运动图像的运动图像数据进行了转换。
当在操作单元34中设置了成像模式时,已从ADC控制单元14输出的右眼运动图像数据和已从ADC控制单元24输出的左眼运动图像数据在图像处理单元37中经受规定的图像处理,然后被输入至液晶显示装置33。拍摄的对象图像以运动图像的形式进行显示。也可以将外部显示单元41连接至立体成像数码相机。为了将外部显示单元41连接至立体成像数码相机,立体成像数码相机提供有输入/输出接口39。通过将外部显示单元41连接至输入/输出接口39,通过成像得到(再现)的立体图像(立体运动图像)显示在外部显示单元41的显示屏幕上。
当在操作单元34中设置了记录模式时,已从ADC控制单元14输出的右眼运动图像数据和已从ADC控制单元24输出的左眼运动图像被输入至视差量确定单元38。
视差量确定单元38确定对象的具有等于或大于规定阈值的视差的图像部分是否包括在构成立体运动图像的立体图像(一组针对左眼的图像和针对右眼的图像)的一帧中。对于包括对象的具有等于或大于规定阈值的视差的图像部分的立体图像,以立体图像将不包括对象的具有等于或大于规定阈值的视差的图像部分的方式,对代表该立体图像的所述一组针对左眼的图像和针对右眼的图像施加视差调节。
通过成像获得的针对左眼的图像数据和针对右眼的图像数据被经由介质接口35施加至存储卡40,并被作为立体图像数据记录在存储卡40上。在已施加了视差调节的情况下,不用说,进行了视差调节的左眼图像和右眼图像记录在分别代表左眼图像和右眼图像的左眼图像数据和右眼图像数据的存储卡40上。通过逐帧地将左眼图像数据和右眼图像数据记录到存储卡40上,将代表立体运动图像的运动图像数据(针对左眼的运动图像数据和针对右眼的运动图像数据)记录到存储卡40上。
在该实施例中,除了代表立体运动图像的运动图像数据以外,代表表示未产生视差的位置的交叉点的交叉点信息也被记录到存储卡40上。在该实施例中,交叉点是预定的(例如,在立体成像数码相机前2m的距离处)。通常对象被成像为消除了由交叉点决定的位置处的视差。然而,如上所述,在出现了等于或大于规定阈值的视差的情况下,对代表该帧的立体图像的左眼图像和右眼图像施加视差调节。因此,交叉点的位置也发生移位。在该实施例中,交叉点信息与构成立体运动图像的立体图像的各帧相对应地记录在存储卡40上。当然,可以配置为使得仅针对其中预定的交叉点已经移位了的立体图像的各帧来逐帧地记录交叉点信息,而不是与各帧相对应地逐帧记录交叉点信息。在这种情况下,不用说,代表预定交叉点的交叉点信息也记录到存储卡40上。
图2示出了其中已经记录了交叉点(CP)信息的文件(包含立体运动图像数据的文件)的头部。该交叉点信息还可以记录在该文件的图像数据记录区中,而不是记录在头部中。
构成立体运动图像的第一、第二以及第三帧的交叉点分别位于2m、2.1m和2.3m处,并且这些交叉点信息项已经记录到了存储卡59上。同样已经针对其他帧记录了交叉点信息。
再次参照图1,立体成像数码相机还具有回放功能。记录在存储卡40上的代表立体运动图像的立体运动图像数据被经由介质接口35从存储卡40读出。已经读出的立体运动图像数据被施加至液晶显示装置33。由立体运动图像数据代表的立体运动图像显示在液晶显示装置33的显示屏幕上。如上所述,立体成像数码相机还可以连接至外部显示单元41,并且由已经记录到存储卡40上的立体运动图像数据代表的立体运动图像还可以显示在外部显示单元41上。在这种情况下,已从存储卡40读出的立体运动图像数据被经由输入/输出接口39施加至外部显示单元41。结果,立体运动图像显示在外部显示单元41上。
如果包括呈现大视差的部分,将出现观看立体图像的观看者将会发现看起来不舒服的情况。根据该实施例,使得代表立体图像中比交叉点更深位置处的对象的图像部分模糊。由于代表该深位置处的对象的图像部分以此方式变得模糊,因此可以避免观看者密切观察该图像部分。由于不对立体图像中代表比交叉点浅的位置处的对象的图像部分施加模糊,因此可以立体地显示该图像。由于设置在立体成像数码相机背面的液晶显示装置33的显示屏幕相对较小,因此不会有大的视差量。但是,由于外部显示单元41的显示屏幕相对较大,因此视差量也较大,从而观看者可能会发现看起来不舒服。该实施例在立体图像显示在相对较大的显示屏幕(诸如外部显示单元41的显示屏幕)上的情况中有效。模糊处理可以利用平滑滤波器并且还可以通过软件实现。立体成像数码相机设置有模糊处理单元42,用于执行模糊处理。
图3是再现的立体图像的示例。
该立体图像50通过叠加针对左眼的图像和针对右眼的图像来表示。左眼图像和右眼图像可以同时叠加,或者如果通过具有时间偏移的显示来显示左眼图像和右眼图像从而使观看者可以以基本叠加的形式看到左眼图像和右眼图像也是可行的。
立体图像50包含左上部的第一区域51、右上部的第二区域52和前方的第三区域53。第二区域52是交叉点所在的区域。第一区域51是比交叉点更远(更深)的区域,而第三区域53是比交叉点更近(更浅)的区域。
第二区域52包括树的图像52A。由于第二区域52是具有交叉点的区域,因此树的图像52A消除了视差(该图像并非由向左和向右偏移的图像表示)。第一区域51包括向左和向右偏移的树图像51L和51R。一个树图像51L由一个针对左眼的图像代表,另一个树图像51R由一个针对右眼的图像代表。在树图像51L和51R之间产生视差。第三区域53包括向左和向右偏移的人物图像53L和53R。一个人物图像53L由一个针对左眼的图像代表,而另一个人物图像53R由一个针对右眼的图像代表。在该实施例中,对代表比交叉点更远的对象的图像51L和51R施加模糊处理。
利用视差来发现立体图像中比交叉点更远的图像部分。
图4是用于描述视差的立体图像的示例。以相同的参考符号表示图4中与图3中所示的相同的项,并省略其描述。
将针对左眼的图像看作基准。还允许将针对右眼的图像看作基准。考虑包含在第一区域51中的树图像51L中的指定像素P1。在另一树图像51R中找到对应于像素P1的像素P2。如果令(xL1,yL1)作为像素P1的位置,而令(xR1,yR1)作为像素P2的位置,则视差d1将为d1=(xL1-xR1)。视差d1为正数。由于视差d1是正数,因此判断由像素P1、P2代表的对象比交叉点远。类似地,考虑包含在第三区域53中的人物图像53L中的指定像素P3。在另一人物图像53R中找到对应于像素P3的像素P4。如果令(xL2,yL2)作为像素P3的位置,而令(xR2,yR2)作为像素P4的位置,则视差d2将为d2=(xL2-xR2)。视差d2为负数。由于视差d2是负数,因此判断由像素P3、P4代表的对象比交叉点近。针对整个立体图像50执行这样的处理,从而在立体图像50中找到代表比交叉点更远(更深)的对象的图像部分和代表比交叉点更近(更浅)的对象的图像部分。当然,在被看作同一对象图像部分的区域的区域中,可以在该区域中的一个像素处或多个像素处执行这样的处理,从而可以根据该结果将该区域中的图像判断为比交叉点更远或更近。
图5是再现的立体图像的示例。
如上所述,第二区域52是交叉点的区域,第一区域51是代表比交叉点更远的对象的区域,而第三区域53是比交叉点更近的区域。由于第一区域51是代表比交叉点更远的对象的区域,因此已使区域51中的图像51R和51L模糊。因此,可以避免观看者密切观察区域51中的图像51R和51L。
图6是示出回放处理程序的流程图。
立体成像数码相机和外部显示设备(例如,电视设备)41连接并开始通信(步骤61)。交叉点信息和立体运动图像数据被从存储卡40读出(步骤62)。如上所述,针对构成由立体运动图像数据代表的立体运动图像的立体图像的每一帧,找到比交叉点更远的图像部分,并对找到的图像部分施加模糊处理(步骤63)。针对比交叉点更远的图像部分进行了模糊的立体图像连续显示在外部显示单元41上,从而显示了立体运动图像(步骤64)。
尽管上述实施例涉及立体运动图像,不用说,本发明不限于立体运动图像,并且也可以对立体静止图像施加类似的处理。
图7至图9示出了另一实施例。在上述实施例中,使得代表位于比交叉点更远位置处的对象的图像部分模糊。在该实施例中,图像部分距离交叉点越远,施加的模糊量就越大。
图7示出了再现的立体图像的示例。以相同的参考符号表示图7中与图3中所示的相同的项,并省略其描述。
除了第一区域51、第二区域52、第三区域53以外,立体图像60还包含第四区域54。第四区域54包括针对左眼的树的图像54L和针对右眼的树的图像54R。由这些图像54L和54R代表的对象位于比由包括在第一区域51中的图像51L和51R代表的对象远的位置处。
图8是已经经受模糊处理的立体图像的示例。
如上所述,第一区域51内的树图像51L和51R以及第四区域54内的树图像54L和54R(其代表比交叉点更远的对象)全部被模糊。然而,由于由第四区域54内的树图像54L和54R代表的对象比由第一区域51内的树图像51L和51R代表的对象更远,因此对其施加的模糊量更大。
尽管从交叉点进入立体图像越深,视差越大,但是进入立体图像越深,所施加的模糊量就越大。从而可以配置为使得呈现大视差的图像部分不会被密切观察。
对应于图6的图9是示出回放处理程序的流程图。以相同的参考符号表示图9中与图6中所示的处理相同的处理,并省略其描述。
在该实施例中,假设已经预先产生了代表图像视差的信息,并且代表视差的该信息已经如上所述与构成立体运动图像的立体图像的每一帧对应地被记录在了存储卡40上。不用说,可以配置为在还未预先将代表视差的信息记录在存储卡40上的情况下在回放时计算视差。
交叉点信息、立体运动图像数据和代表视差的信息被从存储卡40读出(步骤62、65)。
接下来,判断模糊处理是否是第一阶段的模糊处理(步骤66)。模糊处理是否是第一阶段的模糊处理由在操作单元34所做的设置决定。如果操作单元34已经将模糊处理设置给第一阶段(步骤66处为“是”),则代表远离交叉点的对象的图像部分以上述方式经受均匀的模糊处理(步骤63)。如果操作单元34没有将模糊处理设置给第一阶段(步骤66处为“否”),则以以下方式执行模糊处理,该方式中,图像部分代表的对象比交叉点越深,则模糊量的增加越大(步骤67)。
图10至图12示出了另一个实施例。该实施例根据显示立体图像的显示屏幕的尺寸改变模糊量。还可以在以上述方式根据图像部分距离交叉点的深度改变模糊量的同时,根据显示屏幕尺寸改变模糊量。
图10示出了其中已经记录了上述交叉点信息的文件头部的内容。
在该实施例中,除了上述交叉点信息以外还存储了相对于规定显示屏幕尺寸的基准模糊量。例如,在42英寸显示屏幕尺寸的情况下以D表示基准模糊量。
图11a和图11b是再现的立体图像的示例。以相同的参考符号表示这些图中与图8中所示的相同的项,并省略其描述。
图11a是显示在37英寸显示屏幕上的立体图像60的示例,而图11b是显示在42英寸显示屏幕上的立体图像60的示例。
显示的图像越大,视差变得越大。例如,在图11a中,假设第一区域51内的图像51L和51R之间的视差为d37,而在图11b中,假设第一区域51内的图像51L和51R之间的视差为d42。在此情况中,保持d42>d37。在该实施例中,显示屏尺寸越大且视差越大,模糊量就变得越大,而显示屏尺寸越小且视差越小,模糊量就变得越小。例如,如果假设在42英寸的显示屏上显示立体图像时普遍的模糊量为模糊量D,如上所述,则在37英寸的显示屏上显示立体图像时普遍的模糊量为(37英寸尺寸/42英寸尺寸)×D。
对应于图6的图12是示出回放处理程序的流程图。以相同的参考符号表示图12中与图6中所示的相同的处理,并省略其描述。
立体成像数码相机和外部显示设备41连接,代表外部显示设备41的显示屏尺寸的尺寸信息被从外部显示设备41读出,并且已记录到存储卡40上的基准模糊量被读出(步骤68)。计算与读出的尺寸信息所代表的显示屏的尺寸匹配的交叉点。以消除计算出的交叉点处的视差的方式调节针对左眼的图像和针对右眼的图像。此外,根据读出的基准模糊量计算与显示立体图像的显示屏匹配的模糊量。以根据基准模糊量计算出的模糊量使位于比计算出的交叉点远的位置处的对象模糊(步骤69)。
在上述实施例中,根据显示屏的尺寸计算交叉点,并以使计算出的交叉点处的视差消失的方式调节针对左眼的图像和针对右眼的图像。然而,可以配置为使得基于读出的基准模糊量施加符合显示屏尺寸的模糊量,而不计算符合显示屏的交叉点而且也不调节针对左眼的图像和针对右眼的图像。
图13和图14示出了另一实施例。该实施例在回放时改变交叉点。
图13是显示在显示屏上的立体图像的示例。
立体图像60A以与图8中所示的立体图像60相似的方式包含第一区域51、第二区域52、第三区域53和第四区域54。对于图8中所示的立体图像60,第二区域52包含交叉点并且显示了没有视差的树图像52A。相比之下,对于图13中所示的立体图像60A,交叉点已经移动至代表比第二区域52中包含的图像部分所代表的对象浅的对象的第三区域53。结果,第二区域52中的树图像52L和52R变成重叠图像,并且第三区域53中的人物图像53A变为无视差的图像。
尽管比交叉点浅的图像部分需要视差以形成立体图像,但是存在如果视差太大会使观看者观看起来不舒服的情况。为此,在记录时比立体图像的交叉点浅的图像部分的视差等于或大于规定阈值的情况中,使交叉点移向更浅处。
图14是示出回放处理程序的流程图。
立体成像数码相机和外部显示设备41连接,并开始通信(步骤61)。已经记录到存储卡40上的立体运动图像数据被读出(步骤71)。此外,针对构成立体运动图像的每个立体图像的相对于显示屏尺寸的交叉点信息和基准模糊量被从包含立体运动图像数据的文件的头部读出(步骤72)。此外,每个立体图像的视差信息也被从所述文件中读出(步骤73)。不用说,视差信息在记录立体运动图像数据时产生并且其已经与交叉点信息和基准模糊量一起被存储到文件头部中。当然,可以配置为使得视差信息在回放时产生而不提前被记录。
确定记录立体图像时比交叉点浅(与其距离短)的图像部分的视差是否处于允许范围内(步骤74)。如果视差等于或大于规定阈值则可以认为视差处于允许范围之外,而如果视差小于该规定阈值,则认为视差处于允许范围之内。
如果视差未处于允许范围内(步骤74处为“否”),则使交叉点移向短距离侧(更浅)(步骤75)。代表浅对象的图像部分的视差消失,如图13中所示。
如果视差处于允许范围内(步骤74处为“是”),则根据视差量和外部显示单元的显示屏尺寸使代表比记录时的交叉点远的对象的图像部分模糊(步骤76)。一个部分的视差越大,则模糊量增加得越多,并且显示屏尺寸越大,模糊量增加得越多。
在交叉点移向更浅处的情况中,根据视差量和外部显示单元的显示屏尺寸使代表比该交叉点远的对象的图像部分模糊(步骤76)。
如果未完成关于构成立体图像的所有帧的立体图像的处理(步骤77处为“否”),则以向下一帧的立体图像施加类似的处理的方式控制立体成像数码相机(步骤78),并重复步骤74到76的处理。
当关于构成立体图像的所有帧的立体图像的处理结束(步骤77处为“是”),则显示立体运动图像(步骤64)。
图15至图21示出了另一实施例。该实施例配置为使得在立体运动图像的场景改变的情况下,将不会给观看者带来场景突然改变的印象。
图15示出了头部的内容。
在该实施例中,除了交叉点信息,代表其中场景变换了的帧的场景改变帧已经被记录到头部中。例如,第134帧是场景改变帧,并且在延伸至第133帧的立体运动图像的场景和从第134帧向前的(onward)立体运动图像的场景之间存在变换。
图16是表示立体运动图像的场景的时序图。
从第一帧到第133帧的各帧构成场景A的立体运动图像,而从第134帧向前的各帧构成场景B的立体运动图像。
图17是示出使立体运动图像的场景变换之前和之后的立体图像全部模糊的时刻的时序图。
如阴影线所示,立体图像整个模糊地显示总计两秒钟,即场景改变帧的前一秒和后一秒。由于场景改变前后的立体图像被整体模糊,因此即使场景改变也不会给观看者带来怪异的感觉。
图18示出了立体图像的示例。
当第133帧的立体图像60变换至第134帧的立体图像60A时,场景改变。如上所述,由于场景变换前后的立体图像被整体模糊,因此即使场景改变也不会给观看者带来怪异的感觉。
示出了变型例的图19是示出使立体运动图像的场景变换前后的立体图像整体模糊的时刻的时序图。
在前述实施例中,在场景变换前后使立体图像整体模糊。然而,在此实施例中,以逐渐减小的尺寸显示场景变换之前的多个帧的立体图像,而场景变换之后的多个帧的立体图像的尺寸逐渐增大并且呈现立体图像的原始尺寸。
图20示出了其中立体图像的尺寸在场景变换前后改变的方式。
如上所述,场景变换前的多个帧的立体图像的尺寸从立体图像的原始尺寸60B逐渐减小,而场景变换前一帧的图像或场景变换了的帧的图像呈现最小尺寸60C。在场景变换后,图像的尺寸逐渐增大并呈现原始立体图像的尺寸60B。
对应于图6的图21是示出回放处理程序的流程图。以相同的参考符号表示图21中与图6中所示的处理相同的处理,并省略其说明。
已经记录到存储卡40上的场景改变信息被读出(步骤101)。当场景变换时(步骤102处为“是”),执行诸如上述的用于使场景变换前后的立体图像整体模糊以及用于缩放立体图像的处理之类的处理(步骤104)。此后,如上所述,执行用于使代表比交叉点远的对象的图像部分模糊的处理(步骤69)。如果不存在场景变换(步骤102处为“否”),则跳过步骤104。
在前述实施例中,图6中所示的处理、图9中所示的处理、图12中所示的处理、图14中所示的处理以及图21中所示的处理在附图中作为彼此独立的处理出现。然而,可以将这些处理中的任意数量的处理进行组合。例如,来自图9中所示的处理、图12中所示的处理、图14中所示的处理以及图21中所示的处理中的一个或任意数量的处理可以与图6中所示的处理组合;来自图12中所示的处理、图14中所示的处理以及图21中所示的处理中的一个或任意数量的处理可以与图9中所示的处理组合;图14和图21中所示的处理中的任意一个或两者可以与图12中所示的处理组合;以及图14中所示的处理可以和图21中所示的处理组合。
此外,在前述实施例中,以图像部分相对于交叉点越深则模糊量变得越大的方式使立体图像模糊。然而,可以配置为使得图像部分相对于交叉点越浅就使立体图像越模糊。从而,还可以在上述图9中所示的处理、图12中所示的处理、图14中所示的处理或图21中所示的处理中、或者可以在上述处理的任意组合中执行图像部分相对于交叉点越浅使立体图像越模糊的处理。不用说,这种模糊处理可以利用平滑滤波器实现。

Claims (4)

1.一种立体图像显示控制设备,包括:
立体图像数据读取单元,用于读取代表已记录到记录介质上的立体图像的立体图像数据;
交叉点信息读取单元,用于读取已记录到记录介质上并且代表立体图像的视差消失的交叉点的交叉点信息;
第一模糊单元,用于以以下方式使所述立体图像数据读取单元读取的立体图像数据所代表的立体图像中代表位于比所述交叉点信息读取单元读取的交叉点信息所代表的交叉点更深的位置处的对象的图像部分模糊,该方式中,对象相对于交叉点越深,模糊量变得越大;以及
显示控制单元,用于控制显示装置来显示其中代表更深位置处的对象的图像部分已经被所述第一模糊单元模糊了的立体图像,
其中所述立体图像显示控制设备还包括:
视差确定单元,用于确定立体图像中代表比交叉点浅的位置处的对象的图像部分的视差是否大于等于阈值;以及
交叉点控制单元,其响应于所述视差确定单元对代表比交叉点浅的位置处的对象的图像部分的视差大于等于阈值的确定,控制立体图像数据来将交叉点移动至立体图像中代表比所述交叉点信息读取单元读取的交叉点信息所代表的交叉点的位置浅的对象的图像部分,以及
其中所述第一模糊单元以以下方式使立体图像中代表比由交叉点检测单元检测到的交叉点深的位置处的对象的图像部分模糊,该方式中,显示装置的显示屏越大,模糊量变得越大。
2.根据权利要求1所述的立体图像显示控制设备,其中,所述立体图像是构成立体运动图像的单个帧的图像,所述立体图像数据读取单元从记录介质读取代表多个帧的立体图像的立体图像数据,以及代表立体图像的场景改变的立体图像帧的场景改变信息已经被记录在记录介质上,并且所述设备还包括:
场景改变信息读取单元,用于从记录介质读取场景改变信息;以及
第二模糊单元,用于使作为所述场景改变信息读取单元读取的场景改变信息所代表的立体图像帧之前和之后的一个或多个帧的场景改变帧的立体图像整体模糊;
其中,所述显示控制单元控制显示装置来针对场景改变帧以外的帧的所述立体图像显示已经被所述第一模糊单元模糊了的立体图像,并且针对场景改变帧的立体图像显示已经被所述第一模糊单元和所述第二模糊单元模糊了的立体图像。
3.根据权利要求2所述的立体图像显示控制设备,其中所述显示控制单元控制显示装置来以以下方式显示立体图像,该方式中,场景改变帧的立体图像在立体图像的场景改变了的立体图像之前从大到小逐渐缩小,以及在立体图像的场景改变了的立体图像之后从小到大逐渐放大。
4.根据权利要求3所述的立体图像显示控制设备,还包括第二模糊单元,用于以以下方式使所述立体图像数据读取单元读取的立体图像数据所代表的立体图像中代表位于比所述交叉点信息读取单元读取的交叉点信息所代表的交叉点浅的位置处的对象的图像部分模糊,该方式中,对象相对于交叉点越浅,模糊量变得越大。
CN201180004972.2A 2010-06-17 2011-04-27 立体图像显示控制设备及其操作控制方法 Expired - Fee Related CN102656892B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-138100 2010-06-17
JP2010138100 2010-06-17
PCT/JP2011/060681 WO2011158573A1 (ja) 2010-06-17 2011-04-27 立体画像表示制御装置およびその動作制御方法

Publications (2)

Publication Number Publication Date
CN102656892A CN102656892A (zh) 2012-09-05
CN102656892B true CN102656892B (zh) 2015-03-25

Family

ID=45347984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180004972.2A Expired - Fee Related CN102656892B (zh) 2010-06-17 2011-04-27 立体图像显示控制设备及其操作控制方法

Country Status (5)

Country Link
US (1) US8472786B2 (zh)
EP (1) EP2469876B1 (zh)
JP (1) JP4989788B2 (zh)
CN (1) CN102656892B (zh)
WO (1) WO2011158573A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5572647B2 (ja) * 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
CN104137539B (zh) * 2012-02-23 2016-07-27 富士胶片株式会社 立体图像显示控制装置、具有该装置的摄像装置及立体图像显示控制方法
US8937644B2 (en) * 2012-03-21 2015-01-20 Canon Kabushiki Kaisha Stereoscopic image capture
JP2014236340A (ja) * 2013-05-31 2014-12-15 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN105100772B (zh) * 2015-07-16 2017-03-15 深圳市华星光电技术有限公司 一种三维图像处理方法及装置
US10078228B2 (en) 2016-09-29 2018-09-18 Jeremy Paul Willden Three-dimensional imaging system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149413A1 (en) * 2008-06-06 2009-12-10 Real D Blur enhancement of stereoscopic images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04343685A (ja) 1991-05-20 1992-11-30 Mitsubishi Electric Corp 産業用ロボットの駆動装置
JP3182009B2 (ja) * 1992-12-24 2001-07-03 日本電信電話株式会社 両眼立体視装置
JPH0943468A (ja) 1995-08-02 1997-02-14 Fujikura Ltd 光ファイバケーブル及びその製造方法
JP3787939B2 (ja) 1997-02-27 2006-06-21 コニカミノルタホールディングス株式会社 立体映像表示装置
JPH11355624A (ja) 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置
AU2003221143A1 (en) * 2003-03-20 2004-10-11 Seijiro Tomita Stereoscopic video photographing/displaying system
US7679641B2 (en) * 2006-04-07 2010-03-16 Real D Vertical surround parallax correction
WO2008126200A1 (ja) * 2007-03-23 2008-10-23 Ntt Comware Corporation 立体画像処理装置およびプログラム
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
KR101633627B1 (ko) * 2008-10-21 2016-06-27 코닌클리케 필립스 엔.브이. 입력 3차원 비디오 신호를 프로세싱하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009149413A1 (en) * 2008-06-06 2009-12-10 Real D Blur enhancement of stereoscopic images

Also Published As

Publication number Publication date
EP2469876A4 (en) 2013-06-05
US8472786B2 (en) 2013-06-25
EP2469876B1 (en) 2015-07-29
JPWO2011158573A1 (ja) 2013-08-19
CN102656892A (zh) 2012-09-05
EP2469876A1 (en) 2012-06-27
WO2011158573A1 (ja) 2011-12-22
US20120237179A1 (en) 2012-09-20
JP4989788B2 (ja) 2012-08-01

Similar Documents

Publication Publication Date Title
CN102860019B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN102656892B (zh) 立体图像显示控制设备及其操作控制方法
JP4072674B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5249149B2 (ja) 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
CN102893613B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
CN102860015B (zh) 立体成像装置、图像再现装置
US20120263372A1 (en) Method And Apparatus For Processing 3D Image
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
NO340415B1 (no) Anordning og program for generering av stereografisk billedfremvisning
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
US20140176686A1 (en) Image processing device, image capturing apparatus, and method for adjusting disparity amount
JPH08115439A (ja) 画像データ処理装置及び画像再生装置
CN102388617A (zh) 复眼摄像装置及其视差调整方法和程序
CN102860017B (zh) 立体摄像装置及其制造方法
CN102986232B (zh) 图像处理装置及方法
WO2013065543A1 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
CN103339947A (zh) 3d视频再现装置、3d视频再现程序及其记录介质、3d显示装置、3d成像装置和3d视频再现方法
US20120314038A1 (en) Stereoscopic image obtaining apparatus
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
CN102986231B (zh) 立体图像显示装置、立体成像装置及方法
US20130208097A1 (en) Three-dimensional imaging system and image reproducing method thereof
JP4129786B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN104041026A (zh) 图像输出装置、方法以及程序及其记录介质
JP4165158B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150325

Termination date: 20180427

CF01 Termination of patent right due to non-payment of annual fee