CN100581260C

CN100581260C - 动态图像编码方法及动态图像解码方法

Info

Publication number: CN100581260C
Application number: CN200710097061A
Authority: CN
Inventors: 羽饲诚; 角野真也; 近藤敏志; 安倍清史
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Godo Kaisha IP Bridge 1
Priority date: 2002-04-19
Filing date: 2003-04-16
Publication date: 2010-01-13
Anticipated expiration: 2023-04-16
Also published as: US20180041771A1; EP1450565B1; WO2003090474A1; KR100976672B1; KR100944851B1; ATE401743T1; US10080033B2; ES2306381T3; JP2004007563A; US20150288978A1; JP2008193735A; EP1450565A4; AU2003235173A1; US9473774B2; US8223841B2; CN1518835A; US20170013272A1; EP1739973B1; US8204112B2; KR100944853B1

Abstract

动态图像编码装置，包括：在多幅参照图像插值预测时将2幅参照图像中的1幅固定为输入的默认参照图像编号DefRefNo所指示的参照图像、进行运动推定的运动推定部(101)；对每个像块对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2及运动矢量MV1、MV2进行可变长编码，对每幅图像对默认参照图像编号DefRefNo，输出动态图像编码数据Str进行可变长编码的可变长编码部(107)。

Description

动态图像编码方法及动态图像解码方法

本申请是基于2003年12月19提交的申请号为03800473.9的中国专利申请提出的分案申请。

技术领域

本发明涉及一种对动态图像数据进行编码及解码的方法，以及记录了用于通过软件实现该方法的程序的记录媒体。

背景技术

近年来，随着多媒体应用的发展，图像、声音、文本等所有媒体信息一般能够统一地处理。这时，通过将所有的媒体数字化，能够统一地处理媒体。但是，由于数字化了的图像具有庞大的数据量，因此为了存储、传输，图像的信息压缩技术不可欠缺。而为了相互应用压缩后的图像数据，压缩技术的标准化也很重要。作为图像压缩技术的标准规格，有ITU(国际电气通信联合电气通信标准化部)的H.261、H.263，ISO(国际标准化机构)的MPEG(运动图像专家组)-1、MPEG-2、MPEG-4等。

作为这些动态图像编码方式共同的技术，有伴随运动补偿的图像间预测。在这些动态图像编码方式的运动补偿中，将输入的图像分割成预定大小的像块(block)，对每个像块，根据表示图像间的运动的运动矢量生成预测图像。MPEG的图像间预测，使用根据1幅在显示时刻上超前于编码对象图像的图像进行的前方预测、根据1幅在显示时刻上滞后于编码对象图像的图像进行的后方预测、和根据在显示时刻上超前于编码对象图像及在显示时刻上滞后于编码对象图像的共计2幅图像进行像素插值预测的双向预测(参照例如ISO/IEC14496-2：1999(E)信息技术-视听对象编码Part2：图像(1999-12-01)P.1507.6.7时间预测结构)。

MPEG对于画面间预测的种类唯一地决定使用的参照画面，不能选择任意地参照画面。而ITU的正处于标准化之中的H.264正在讨论扩展的2方向预测，以便能够与编码对象图像的显示时刻无关地从存储在图像存储器中的多幅已编码完毕的图像中选择任意的2幅参照图像。

图1为表示H.264中的动态图像编码装置的构成的方框图。图1的以前的动态图像编码装置在图像间预测时，采用执行能够从多幅图像中选择参照图像的动态图像编码方式的装置。

该动态图像编码装置如图1所示包括运动推定部301、像素插值部102、减法器103、图像编码部104、图像解码部105、加法器106、可变长编码部302、多帧缓冲器108及开关109。

该动态图像编码装置将输入的图像数据Img分割成像块，对该每个像块进行处理。减法器103从输入到动态图像编码装置中的图像数据中减去预测图像数据Pred，作为残差数据Res输出。图像编码部104对输入的残差数据Res进行正交变换、量子化等图像编码处理，输出包含量子化正交变换系数等的残差编码数据ERes。图像解码部105对输入的残差编码数据ERes进行逆量子化、逆正交变换等图像解码处理，输出残差解码数据DRes。加法器106将残差解码数据DRes与预测图像数据Pred相加，输出重构图像数据Recon。在重构图像数据Recon中，有可能在以后的图像间预测中被参照的数据保存在多帧缓冲器108中。

这里，用图2说明以往的动态图像编码装置所进行的用2幅参照图像的插值预测。图2为用多幅参照图像进行的插值预测的概念图。这里，图像pic为编码对象图像。图像FwRef1～FwRef3表示显示时刻超前于编码对象图像pic的已编码完毕的图像，图像BwRef1～BwRef3表示显示时刻滞后于编码对象图像pic的已编码完毕的图像。像块Blk1根据显示时刻超前于编码对象图像pic的图像FwRef3所包含的参照像块RefBlk11和显示时刻滞后于编码对象图像pic的图像BwRef1所包含的参照像块RefBlk12的像素值进行预测。像块Blk2根据显示时刻超前于编码对象图像pic的2幅图像FwRef1、FwRef2所包含的参照像块RefBlk21、RefBlk22的像素值进行预测。像块Blk3根据显示时刻滞后于编码对象图像的2幅图像BwRef1、BwRef2所包含的参照像块RefBlk31、RefBlk32的像素值进行预测。即，将用平均值等预定的方法对2个参照像块的对应位置的像素所得的结果进行插值，作为预测图像。以往的动态图像编码装置的特征为如图2所示那样，对每个像块用任意的2幅参照图像进行预测。以后，将上述那样的用2幅参照图像进行预测的方法称为多个参照图像插值预测。另外，预测方法除上述用像素插值生成预测图像的方法外，还有原封不动地将任意的1幅图像所包含的像块作为预测图像的方法和画面内预测的方法等，还可以在像块单位间切换预测方法。

运动推定部301对输入的编码对象像块决定像块的预测种类、图像间预测时所使用的参照图像、运动矢量，输出预测种类PredType、参照图像的编号RefNo1、RefNo2、运动矢量MV1、MV2。由于在多个参照图像插值预测时选择2幅参照图像，因此运动推定部301输出2个参照图像编号和2个运动矢量。此时，多帧缓冲器108输出与参照图像编号RefNo1和运动矢量MV1相对应的参照像块RefBlk1和与参照图像编号RefNo2和运动矢量mv2相对应的参照像块RefBlk2。像素插值部102用平均值等对2个参照像块RefBlk1、RefBlk2的对应的像素值插值，输出插值像块RefPol。而在多幅参照图像插值预测以外的图像间预测时，由于选择1幅参照图像，因此运动推定部301输出1个参照图像的编号RefNo1和1个运动矢量MV1。此时，多帧缓冲器108输出与参照图像的编号RefNo1和运动矢量MV1相对应的参照像块RefBlk。

在运动推定部301决定的预测种类PredType表示多幅参照图像插值预测的情况下，开关109切换到“1”一侧，将插值像块RefPol作为预测图像数据Pred使用。当预测种类PredType表示多幅参照图像插值预测以外的图像间预测方法时，开关SW11切换到“0”一侧，将参照像块RefBlk作为预测图像数据Pred使用。可变长编码部302对残差编码数据ERes、预测种类PredType、参照图像的编号RefNo1、RefNo2、运动矢量MV1、MV2，输出动态图像编码数据Str0进行可变长编码。

图3为以往的动态图像编码装置的动态图像编码数据格式的概念图。每1幅图像的编码数据Picture由构成图像的每个像块的1个像块的编码数据Block等构成。这里，每1个这样的像块的编码数据Block表示用多幅参照图像插值预测的像块的编码数据，编码数据中包含2幅参照图像的参照图像的编号RefNo1、RefNo2、运动矢量MV1、MV2以及预测模式PredType。

图4为表示以往的动态图像解码装置的构成的方框图。

如图4所示，该动态图像解码装置包括可变长度解码部601、运动补偿部602、图像解码部404、加法器405、像素插值部406、多帧缓冲器407和开关408。

可变长度解码部601对输入的动态图像编码数据Str0进行可变长度解码，输出残差编码数据ERes、运动矢量MV1、MV2、参照图像的编号RefNo1、RefNo2、预测种类PredType。图像解码部404对输入的残差编码数据ERes进行逆量子化、逆正交变换等图像解码处理，输出残差解码数据DRes。加法器405将残差解码数据DRes与预测图像数据Pred相加，作为解码图像数据Dlmg输出到动态图像解码装置外。多帧缓冲器407保存进行图像间预测的解码图像数据Dlmg。

运动补偿部602根据预测种类PredType输出图像间预测所必需的参照像块的参照图像的编号NRefNo1、NRefNo2和运动矢量MV1、MV2，指示多帧缓冲器407输出参照像块。当预测种类PredType表示多幅参照图像插值预测时，多帧缓冲器407输出与参照图像的编号NRefNo1和运动矢量Nmv1相对应的参照像块RefBlk1和与参照图像的编号NRefNo2和运动矢量NMV2相对应的参照像块RefBlk2。像素插值部406用平均值等插值2个参照像块RefBlk1、RefBlk2的对应的像素值，输出插值像块RefPol。而在预测种类PredType表示多幅参照图像插值预测以外的图像间预测时，多帧缓冲器407输出与参照图像的编号NRefNo1和运动矢量NMV1相对应的参照像块RefBlk。

并且，在预测种类PredType表示多幅参照图像插值预测时，开关408切换到“0”一侧，将插值像块RefPo1作为预测图像数据Pred使用。而当预测种类PredType表示多幅参照图像插值预测以外的图像间预测方法时，开关408切换到“1”一侧，将参照像块RefBlk作为预测图像数据Pred使用。通过上述说明过的处理，动态图像解码装置将动态图像编码数据Str0解码，输出图像解码数据Dlmg。

但是，在MPEG-4的动态图像编码方法中，定义了如下的多幅参照图像插值预测方法，在使用被称为双向预测图像的多幅参照图像插值预测型的图像中，通过根据已编码完毕的运动矢量，计算被称为直接模式的由插值制作预测图像所使用的2幅参照图像的运动矢量，省略像块的编码数据中的运动矢量及参照图像编号。

图5为MPEG-4的直接模式的说明图。这里，图像pic表示编码对象图像，图像Ref1表示显示时刻超前于编码对象图像pic的参照图像，图像Ref2表示显示时刻滞后于编码对象图像pic的参照图像，像块Blk表示编码对象像块，像块Blk0表示参照图像Ref2中画面位置与编码对象Blk相同的像块。并且，运动矢量MV01表示以编码像块Blk0时使用的图像Ref1为参照图像的、指向前方的运动矢量，运动矢量MV1表示指向参照图像Ref1的编码对象像块的运动矢量，运动矢量MV2表示指向参照图像Ref2的编码对象像块的运动矢量，像块RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表示被运动矢量MV2参照的参照像块。

用于编码对象像块Blk参照的2幅图像，使用显示时刻滞后的、离得最近的图像Ref2作为后方参照图像，使用编码像块Blk0时参照过的前方参照图像Ref1作为前方参照图像。

运动矢量的计算假定图像之间运动一定或没有运动进行。此时，如果假设编码对象图像pic与参照图像Ref1之间的显示时刻的差值为TRD1，参照图像Ref1与参照图像Ref2之间的显示时刻的差值为TRD2，编码对象图像pic与参照图像Ref2之间的显示时刻的差值为TRD3，则对编码对象像块进行编码时使用的运动矢量MV1及运动矢量MV2可以分别由下面的计算公式算出：

MV1＝MV01×(TRD1/TRD2)……………………(式A)

MV2＝-MV01×(TRD3/TRD2)…………………(式B)

用以上的方法可以决定直接模式时的参照图像和运动矢量。上述说明过的直接模式的处理，动态图像编码装置用图1的表示以往的动态图像编码装置的构成的方框图的运动推定部301执行。并且，上述说明过的直接模式的处理，动态图像解码装置用图4的表示以往的动态图像解码装置的构成的方框图的运动补偿部602执行。

当对图像间的运动少的动态图像进行图像间预测时，图像间预测误差非常小，由量子化等图像处理产生的残差编码数据ERes几乎为0。在像以上说明过的直接模式那样，不编码运动矢量及参照图像编号而用预定的方法决定的编码中，将根据编码对象像块的参照图像和运动矢量的图像间预测的残差编码数据ERes全部为0的情况定义为被称为跳跃(スキツプ)模式的预测种类PredType的1种。跳跃模式由于只传送表示跳跃模式的预测种类PredType，因此能够以非常小的代码量编码像块。通过分配比其他的预测种类短的可变长度代码字给该跳跃模式或运行长度编码连续的跳跃模式的像块的个数，能够更加有效地编码。

上述H.264将在1个像块中用直接模式进行图像间预测的残差编码数据全部为0的情况定义为跳跃模式。在图1所示的动态图像编码中，用跳跃模式编码像块时进行以下的处理。运动推定部301经过以上说明过的直接模式的处理输出参照图像编号RefNo1、RefNo2、运动矢量MV1、MV2和表示跳跃模式的预测种类PredType。可变长编码部302在预测种类PredType表示跳跃模式时只对预测种类PredType进行可变长编码，输出动态图像编码数据Str0。在图4所示的动态图像解码装置中，如果输入用跳跃模式编码过的像块的编码数据，则进行以下的处理。可变长度解码部601对预测种类PredType进行可变长度解码。运动补偿部602在预测种类PredType表示为跳跃模式时，通过以上说明过的直接模式的处理输出参照图像编号NRefNo1、NRefNo2、运动矢量MV1、MV2和表示跳跃模式的预测种类PredType。

如上所述，H.264能够与编码对象图像的显示时刻无关地从多幅已编码完毕的图像中选择任意的参照图像。但是，由于在这种情况下要对多幅已编码完毕的图像进行运动检测以选择任意的参照图像，因此该运动检测的处理的负荷非常大。并且，由于该多幅参照图像插值预测必需编码2幅参照图像的每1幅的参照图像编号和运动矢量，因此存在降低编码效率的问题。

而且，在存在像用以往的技术说明过的双向预测图像那样，将显示时刻滞后于编码对象图像的图像作为参照图像进行图像间预测的图像时，必须以与显示时刻的顺序不同的顺序编码图像，因此产生了因编码带来的延迟。在可视电话等实时通信的场合下，由于延迟会产生问题，因此存在不能使用双向预测图像的情况。但是，H.264由于能够不受显示顺序信息的影响选择任意的2幅参照图像，因此通过选择2幅显示时刻超前于编码对象图像的图像进行多幅参照图像插值预测，可以消除因编码产生的延迟。但是，由于此时多帧缓冲器中没有保存显示时刻滞后于编码对象图像的图像，因此不能使用上述以往的由显示时刻滞后于编码对象图像的图像决定运动矢量的直接模式。

发明内容

因此，本发明就是鉴于上述问题，目的是提供一种在多幅参照图像插值预测时，能够有效地实现编码并能够削减处理量的动态图像编码方法及动态图像解码方法。

为了达到上述目的，本发明的动态图像编码方法为以像块单位对构成输入图像的各图像进行编码的动态图像编码方法，其特征在于，包括：决定参照已编码完毕的图像进行编码的多个像块所共同参照的图像的共同参照图像决定步骤；用上述共同参照的图像生成预测图像的预测图像生成步骤；用上述预测图像对编码对象像块进行编码的编码步骤。

因此，在用参照图像生成预测图像时，由于不需进行对每个像块从多幅已编码完毕的图像中选择作为参照图像的图像的处理，因此可以削减处理量。并且，由于不必对每个像块编码该参照图像，因此可以削减代码量。一般地，图像数据中的大部分的像块选择相同的图像作为最合适的参照图像的可能性很高。因此，通过例如以像块单位使参照图像为共同的参照图像，能够在维持高编码效率的情况下削减处理量。

或者，本发明的动态图像编码方法为以像块单位对构成输入图像的各图像进行编码的动态图像编码方法，其特征在于，包括：决定参照2幅已编码完毕的图像进行编码的多个像块所共同参照的第1图像的共同参照图像决定步骤；参照上述第1图像和从各个像块已编码完毕的图像中选择的第2图像生成预测图像的预测图像生成步骤；用上述预测图像对编码对象像块进行编码的编码步骤。

因此，在用2幅图像作为参照图像生成预测图像时，由于对于1幅参照图像不需要对每个像块从多幅已编码完毕的图像中选择1幅图像的处理，因此能够削减处理量。并且，由于不必对每个像块编码该参照图像，因此可以削减代码量。一般地，图像数据中的大部分的像块选择相同的图像作为最合适的参照图像的可能性很高。因此，通过例如以像块单位使一方的参照图像为共同的参照图像，能够在维持高编码效率的情况下削减处理量。

这里，上述动态图像编码方法还可以包括将用于确定上述共同参照图像的信息记述在生成的动态图像编码数据中的多个像块的共同信息区域内的信息记述步骤。因此，可以将确定共同的参照图像的信息记述在动态图像编码数据中，进行输出，在解码动态图像编码数据时能够准确地确定参照图像。

本发明的动态图像解码方法为对各图像以像块单位被编码后的动态图像编码数据进行解码的动态图像解码方法，其特征在于，包括：决定参照已解码完毕的图像进行解码的多个像块所共同参照的图像的共同参照图像决定步骤；用上述共同参照的图像生成预测图像的预测图像生成步骤；用上述预测图像对解码对象像块进行解码的解码步骤。

因此，在解码时能够正确地解码处理用共同的参照图像编码后输出的动态图像编码数据。

或者，本发明的动态图像解码方法为对各图像以像块单位被编码后的动态图像编码数据进行解码的动态图像解码方法，其特征在于，包括：决定参照2幅已解码完毕的图像进行解码的多个像块所共同参照的第1图像的共同参照图像决定步骤；参照上述第1图像和从各个像块已解码完毕的图像中选择的第2图像生成预测图像的预测图像生成步骤；用上述预测图像对解码对象像块进行解码的解码步骤。

因此，在解码时能够正确地解码处理用共同的参照图像和每个像块的参照图像编码后输出的动态图像编码数据。

这里，上述动态图像解码方法还可以包括从上述动态图像编码数据中的多个像块的共同信息区域内抽出用于确定上述共同的参照图像的信息的信息抽出步骤。因此，能够从动态图像编码数据中抽出确定共同的参照图像的信息，能够准确地特定参照图像。

另外，本发明不仅可以实现这样的动态图像编码方法和动态图像解码方法，而且可以实现具有这样的动态图像编码方法和动态图像解码方法所特有的步骤作为装置的动态图像编码装置和动态图像解码装置。并且，还可以实现在计算机中执行这些步骤的程序或者实现用上述动态图像编码方法编码过的动态图像编码数据。并且不用说，这样的程序和动态图像编码数据可以通过CD-ROM等记录媒体或因特网等传输媒体发送。

附图的简要说明

图1表示以往的动态图像编码装置的构成的方框图；

图2用多幅参照图像进行插值的概念图；

图3以往的动态图像编码装置的动态图像编码数据的格式的概念图；

图4表示以往的动态图像解码装置的构成的方框图；

图5以往的直接模式的说明图；

图6表示实施形态1的动态图像编码装置的构成的方框图；

图7实施形态1的动态图像编码数据的格式的概念图；

图8表示实施形态2的动态图像解码装置的构成的方框图；

图9表示实施形态3的动态图像编码装置的构成的方框图；

图10实施形态3的动态图像编码数据的格式的概念图；

图11表示实施形态3的动态图像编码装置的变形例的构成的方框图；

图12实施形态3的变形例的动态图像编码数据的格式的概念图；

图13表示实施形态3的动态图像编码装置的变形例的构成的方框图；

图14表示实施形态4的动态图像解码装置的构成的方框图；

图15表示实施形态4的动态图像解码装置的变形例的构成的方框图；

图16实施形态5的显示顺序信息超前于编码对象图像的多幅参照图像的直接模式的说明图；

图17实施形态5的显示顺序信息滞后于编码对象图像的多幅参照图像的直接模式的说明图；

图18实施形态6的跳跃模式时的图像间预测的说明图；

图19对存储用计算机系统来实现上述各实施形态的动态图像编码方法以及动态图像解码方法的程序的存储媒体的说明图，(a)为表示了存储媒体的本体即软磁盘的物理格式的例子的说明图，(b)为表示了从软磁盘的正面所看到的外观、横断面结构以及软磁盘的说明图，(c)为表示了用于在软磁盘FD上进行上述程序的记录再生的构成的说明图；

图20表示实现内容发送服务器的内容提供系统的全部构成的方框图；

图21表示移动电话机的一例的简图；

图22表示移动电话机的内部构成的方框图；

图23表示数字播放用系统的整体构成的方框图。

本发明的最佳实施形态

下面参照附图就本发明的具体实施形态进行说明。

(实施形态1)

图6为表示本发明的实施形态1的动态图像编码装置的构成的方框图。与图1中表示以往的动态图像编码装置的构成的方框图做相同动作的单元或者相同的动作数据添加相同的附图标记，省略其说明。另外，在下面说明的各实施形态的动态图像编码装置及动态图像解码装置中，可以以像块单位对用2幅参照图像通过像素插值生成预测图像的方法(多幅参照图像插值预测)、原封不动地将任意1幅图像中包含的像块作为预测图像的方法、以及通过画面内预测生成预测图像的方法等方法进行切换。

动态图像编码装置为将输入的图像数据Img分割成像块，对分割的每个像块进行编码处理的装置，如图6所示包括运动推定部101、像素插值部102、减法器103、图像编码部104、图像解码部105、加法器106、可变长编码部107、多帧缓冲器108及开关109。

表示用多幅参照图像插值预测进行编码的像块所使用的一方的参照图像的默认参照图像编号DefRefNo，被输入到动态图像编码装置中。在多幅参照图像插值预测时，运动推定部101将2幅参照图像中的1幅固定为输入的默认参照图像编号DefRefNo所指示的参照图像，进行运动推定。因此，运动推定部101输出的参照图像编号RefNo1的值与默认参照图像编号DefRefNo的值为同一值。可变长编码部107对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2、默认参照图像编号DefRefNo，输出动态图像编码数据Str进行可变长编码。

下面对在上述那样构成的动态图像编码装置中，编码对象像块的预测种类为多幅参照图像插值预测时的动作进行说明。

输入的图像数据Img按像块单位输入到运动推定部101及减法器103中。

运动推定部101决定输入的编码对象像块的预测种类，将该预测种类输出给开关109及可变长编码部107。并且，当决定的预测种类PredType为多幅参照图像插值预测时，运动推定部101使2幅参照图像中的1幅为输入的默认参照图像编号DefRefNo所表示的参照图像，分别决定另一幅参照图像及对该2幅参照图像的运动矢量。然后，运动推定部101将参照图像编号RefNo2及运动矢量MV1、MV2输出给多帧缓冲器108及可变长编码部107，将参照图像编号RefNo1输出给多帧缓冲器108。另外，默认参照图像编号DefRefNo也可以从运动推定部101输出到可变长编码部107中。

接着，多帧缓冲器108将与参照图像编号RefNo1和运动矢量MV1相对应的参照像块RefBlk1、以及与参照图像编号RefNo2和运动矢量MV2相对应的参照像块RefBlk2输出给像素插值部102。像素插值部102用平均值等对2个参照像块RefBlk1、RefBlk2所对应的像素值进行插值，输出插值像块RefPol。这里，由于运动推定部101决定的预测种类PredType为多幅参照图像插值预测，因此开关109切换到“1”一侧，将插值像块RefPol作为预测图像数据Pred输出给减法器103及加法器106。

减法器103从输入的图像数据Img中减去预测图像数据Pred，作为残差数据Res输出给图像编码部104。图像编码部104对输入的残差数据Res进行正交变换、量子化等图像编码处理，作为包含量子化完毕的正交变换系数等的残差编码数据Eres，输出给图像解码部105和可变长编码部107。图像解码部105对输入的残差编码数据ERes进行逆量子化、逆正交变换等图像解码处理，作为残差解码数据DRes输出给加法器106。加法器106将残差解码数据DRes与预测图像数据Pred相加，作为重构图像数据Recon输出。在重构图像数据Recon中，以后的图像间预测有可能参照的数据保存在多帧缓冲器108中。

可变长编码部107对每个像块对输入的残差编码数据ERes、预测种类PredType、参照图像编号RefNo2及运动矢量MV1、MV2进行可变长编码，对每幅图像对默认参照图像编号DefRefNo进行可变长编码，作为动态图像编码数据Str输出。

默认参照图像编号DefRefNo所表示的图像可以从存储在多帧缓冲器108中的图像中任意地选择。例如，可以选择多帧缓冲器108中具有最接近编码对象图像的显示顺序信息的显示顺序信息的、已编码完毕的图像，或者多帧缓冲器108中具有超前于编码对象图像的显示顺序信息但离其最近的显示顺序信息的、已编码完毕的图像，或者多帧缓冲器108中具有滞后于编码对象图像的显示顺序信息但离其最近的显示顺序信息的、已编码完毕的图像等。并且，也可以选择多帧缓冲器108中编码顺序离编码对象图像最近的图像，或者多帧缓冲器108中显示顺序信息超前于编码对象图像但编码顺序离其最近的图像，或者多帧缓冲器108中显示顺序信息滞后于编码对象图像但编码顺序离其最近的图像。

图7为实施形态1的动态图像编码数据的格式的概念图。用与图3中的以往的动态图像编码装置的动态图像编码数据的格式的概念图相同的数据添加相同的标记，其说明省略。与图3所示的以往的动态图像编码装置的动态图像编码数据格式的不同点在于：每幅图像中都包含默认参照图像编号DefRefNo，用多幅参照图像插值预测编码过的像块的编码数据中包含的参照图像编号数据只有1个。

如上所述，如果采用本实施形态，由于参照图像的一方能够以像块单位从多幅已编码完毕的图像中选择任意的图像，而对于参照图像的另一方能够以图像单位固定为多幅已编码完毕的图像中的1幅图像，因此可以不对每个像块编码固定的参照图像编号，所以能够改善编码效率。

另外，作为指定默认参照图像的方法，本实施形态并不局限于上述使用分配给上述图像的图像编号。也可以用例如编码对象图像所具有的图像编号与作为默认参照图像而选择的图像所具有的图像编号的相对的差分值，或者表示相对差分值的指令等信息指定。

并且，虽然本实施形态用默认参照图像编号只指定单方的参照图像，但通过编码2个默认参照图像的编号，可以同时省略像块的编码数据中的2个参照图像编号。

并且，虽然本实施形态就使用2幅参照图像通过像素插值生成预测图像的多幅参照图像插值预测的情况进行了说明，但在原封不动地将任意1幅图像所包含的像块作为预测图像的单数参照图像插值预测时也同样能处理。此时，不必对每个像块记述参照图像，只需将参照图像记述在共同信息区域。

并且，虽然本实施形态对每幅图像编码默认参照图像编号，但也可以用例如对每多幅图像保存1个默认参照图像编号的句法(シンタツクス)结构编码，也可以用对多个像块构成的宏像块或多个宏像块构成的片段等图像以下的句法结构保存1个默认参照图像编号的句法结构编码。

(实施形态2)

图8为本发明的实施形态2的动态图像解码装置的方框图。对与图4中表示以往的动态图像解码装置的构成的方框图做相同动作的单元及相同的动作数据添加相同的附图标记，省略其说明。与图4的不同点在于追加了默认参照图像编号缓冲器402。

该动态图像解码装置如图8所示包括可变长度解码部401、默认参照图像编号缓冲器402、运动补偿部403、图像解码部404、加法器405、像素插值部406、多帧缓冲器407和开关408。

可变长度解码部401对输入的动态图像编码数据Str进行可变长度解码，输出残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2、默认参照图像编号DefRefNo。由于解码过的默认参照图像编号DefRefNo必须被多个像块共同使用，因此存储在默认参照图像编号缓冲器402中。存储在默认参照图像编号缓冲器402中的默认参照图像编号DefRefNo输入到运动补偿部403中，作为参照图像编号RefNo1。

下面就上述那样构成的动态图像解码装置中解码对象像块的预测种类为多幅参照图像插值预测时的动作进行说明。

动态图像编码数据Str输入到可变长度解码部401中。可变长度解码部401对输入的动态图像编码数据Str进行可变长度解码，将残差编码数据ERes输出给图像解码部404，将参照图像编号RefNo2及运动矢量MV1、MV2输出给运动补偿部403，将预测种类PredType输出给运动补偿部403和开关408，将默认参照图像编号DefRefNo输出给默认参照图像编号缓冲器402。默认参照图像编号缓冲器402将存储的默认参照图像编号DefRefNo输出给运动补偿部403，作为参照图像编号RefNo1。

由于预测种类PredType为多幅参照图像插值预测，因此运动补偿部403将由默认参照图像编号缓冲器402输入的参照图像编号NRefNo1、由可变长度解码部401输入的参照图像编号RefNo2及运动矢量MV1、MV2输出给多帧缓冲器407，指示参照像块的输出。多帧缓冲器407将与参照图像编号NRefNo1及运动矢量NMV1相对应的参照像块RefBlk1和与参照图像编号NRefNo2及运动矢量NMV2相对应的参照像块RefBlk2输出给像素插值部406。像素插值部406用平均值等对2个参照像块RefBlk1、RefBlk2所对应的像素值插值，输出插值像块RefPol。这里，由于预测种类PredType为多幅参照图像插值预测，因此开关408切换到“0”一侧，将插值像块RefPol作为预测图像数据Pred输出给加法器405。

而输入了残差编码数据ERes的图像解码部404对该残差编码数据ERes进行逆量子化、逆正交变换等图像解码处理，将残差解码数据DRes输出给加法器405。加法器405将残差解码数据DRes与预测图像数据Pred相加，作为解码图像数据Dlmg输出到动态图像解码装置外。多帧缓冲器407保存解码图像数据Dlmg，用于图像间预测。通过这样的处理，动态图像解码装置解码动态图像编码数据Str，输出解码图像数据Dlmg。

如上所述，如果采用本实施形态，能够正确地对使用了实施形态1说明过的本发明的动态图像编码方法的动态图像编码装置编码过的动态图像编码数据Str进行解码。

(实施形态3)

图9为本发明的实施形态3的动态图像编码装置的方框图。另外，与图6中的实施形态1的动态图像编码装置的方框图中做相同动作的单元及相同的动作数据添加相同的附图标记，省略其说明。

本实施形态的动态图像编码装置除实施形态1的构成外还包括默认参照图像编号生成部201。默认参照图像编号生成部201用预定的方法生成默认参照图像编号DefRefNo，输出给运动推定部101。运动推定部101与实施形态1的动态图像编码装置一样，在多幅参照图像插值预测时，将2幅参照图像中的1幅固定为输入的默认参照图像编号DefRefNo所指示的参照图像，进行运动推定。可变长编码部202对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2，输出动态图像编码数据Str2进行可变长编码。

默认参照图像编号生成部201生成默认参照图像编号DefRefNo的方法可以使用例如以下的方法。第1方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的显示顺序信息离编码对象图像的显示顺序信息最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第2方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的显示顺序信息超前于编码对象图像的显示顺序信息但离其最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第3方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的显示顺序信息滞后于编码对象图像的显示顺序信息但离其最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第4方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的编码顺序离编码对象图像最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第5方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的显示顺序信息超前于编码对象图像但编码顺序离其最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第6方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的显示顺序信息滞后于编码对象图像但编码顺序离其最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。

本实施形态的动态图像编码装置的动态图像编码格式省略了图7所示的动态图像编码数据格式中的默认参照图像编号DefRefNo，为图10所示那样的数据格式。因此，由于不编码默认参照图像编号DefRefNo也可以，因此改善了编码效率。

另外，虽然上述实施形态说明了通过将决定默认参照图像的方法固定为某一个而在数据格式中不完全记述与默认参照图像有关的信息来实现编码的方法，但默认参照图像的决定方法也可以在图像单位间切换。例如，可以通过编码表示选择保存在多帧缓冲器中的已编码完毕的图像中的具有离编码对象图像的显示顺序信息最近的显示顺序信息的图像作为默认参照图像的方法的标识符，或编码表示选择保存在多帧缓冲器中的已编码完毕的图像中的具有超前于编码对象图像的显示顺序信息但离其最近的显示顺序信息的图像作为默认参照图像的方法的标识符，或编码表示选择保存在多帧缓冲器中的已编码完毕的图像中的具有滞后于编码对象图像的显示顺序信息但离其最近的显示顺序信息的图像作为默认参照图像的方法的标识符来实现。

图11为此时的动态图像编码装置的方框图。默认参照图像编号生成部203如图11所示，将表示选择默认参照图像的方法的标识符Ident输出给可变长编码部204。可变长编码部204对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2及标识符Ident进行可变长编码，输出动态图像编码数据Str3。此时的数据格式不包含图7的数据格式中所示的直接指定默认参照图像的信息即默认参照图像编号DefRefNo，而是如图12所示那样包含用于表示选择默认参照图像的方法的标识符Ident。

同样地，也可以对表示选择保存在多帧缓冲器中的已编码完毕的图像中的编码顺序离编码对象图像最近的图像作为默认参照图像的方法的标识符进行编码，或对表示选择保存在多帧缓冲器中的已编码完毕的图像中的显示顺序信息超前于编码对象图像但编码顺序离其最近的图像作为默认参照图像的方法的标识符进行编码，或对表示选择保存在多帧缓冲器中的已编码完毕的图像中的显示顺序信息滞后于编码对象图像但编码顺序离其最近的图像作为默认参照图像的方法的标识符进行编码。另外，用该方法作成的动态图像编码数据可以用具有以下说明的实施形态4的构成的解码方法解码。

并且，也可以不编码表示选择上述默认参照图像的方法的标识符，而与实施形态1同样地如图7所示那样，对表示默认参照图像的图像编号DefRefNo进行编码，或者对编码对象图像所具有的图像编号与作为默认参照图像而选择的图像所具有的图像编号的相对的差分值进行编码，或者对表示相对差分值的指令等信息进行编码。

图13为此时的动态图像编码装置的方框图。默认参照图像编号生成部205如图13所示将默认参照图像编号DefRefNo输出给可变长编码部206。可变长编码部206对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2及默认参照图像编号DefRefNo，输出动态图像编码数据Str4进行可变长编码。此时的数据格式与图7所示的数据格式相同。另外，用该方法作成的动态图像编码数据可以用实施形态2说明过的构成的解码方法解码。

(实施形态4)

图14为本发明的实施形态4的动态图像解码装置的方框图。另外，与图8中实施形态2的动态图像解码装置的方框图做相同动作的单元及相同的动作数据添加相同的附图标记，省略其说明。

本实施形态的动态图像解码装置不包括实施形态2的构成中所示的默认参照图像编号缓冲器402，取而代之的是包括默认参照图像编号生成部502。可变长度解码部501对输入的动态图像编码数据Str2进行可变长度解码，输出残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2。默认参照图像编号生成部502用与实施形态3说明过的默认参照图像编号生成部201相同的方法生成默认参照图像编号DefRefNo，将该默认参照图像编号DefRefNo作为参照图像编号RefNo1输出给运动补偿部403。

如上所述，如果采用本实施形态，能够正确地解码使用了实施形态3说明过的本发明的动态图像编码方法的动态图像编码装置编码过的动态图像编码数据Str2。

另外，当对包含有用于表示上述实施形态3的变形例所记述的选择默认参照图像的方法的标识符Ident的动态图像编码数据Str3进行解码时，动态图像解码装置可以如下这样地构成。

图15为此时动态图像解码装置的方框图，可变长度解码部503如图15所示那样对输入的动态图像编码数据Str3进行可变长度解码，输出残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、MV2及用于表示选择默认参照图像的方法的标识符Ident。默认(default)参照图像编号生成部504用可变长度解码部503输入的标识符Ident所指示的选择默认参照图像的方法生成默认参照图像编号DefRefNo，将该默认参照图像编号DefRefNo作为参照图像编号RefNo1输出给运动补偿部403。

这样地，能够正确地解码包含有用于表示上述实施形态3说明过的选择默认参照图像的方法的标识符Ident的动态图像编码数据Str3。

(实施形态5)

本实施形态对只参照显示顺序信息超前于编码对象图像的图像进行编码时用直接模式编码时的情况进行说明。

图16为本发明的实施形态5的显示顺序信息超前于编码对象图像的多幅参照图像的直接模式的说明图。这里，图像pic表示编码对象图像，图像Ref1、Ref2表示参照图像，像块Blk表示编码对象像块，像块Blk0表示参照图像Ref1中在画面内的位置与编码对象像块Blk相同的像块。并且，运动矢量MV01表示编码像块Blk0时使用的前方参照运动矢量，图像Ref3表示运动矢量MV01参照的参照图像，运动矢量MV1表示从参照图像Ref1来的运动矢量，运动矢量MV2表示从参照图像Ref2来的运动矢量，像块RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表示被运动矢量MV2参照的参照像块。

参照图像从例如存储在多帧缓冲器中的已编码完毕的图像中，选择显示顺序信息超前于编码对象图像的显示顺序信息但显示顺序信息离它最近和第二近的图像。此时，如果假设编码对象图像pic与参照图像Ref1之间的显示顺序信息的差值为TRD1，参照图像Ref1与参照图像Ref3之间的显示顺序信息的差值为TRD2，编码对象图像pic与参照图像Ref2之间的显示顺序信息的差值为TRD3，则编码编码对象像块时使用的运动矢量MV1及运动矢量MV2可以分别由下面的计算公式算出：

MV1＝MV01×(TRD1/TRD2)……………………(式A)

MV2＝MV01×(TRD3/TRD2)……………………(式B)

用以上的方法可以决定直接模式时的参照图像和运动矢量。

并且，上述H.264正在讨论通过使动态图像编码数据中包含用于将已编码完毕的图像插入多帧缓冲器或从多帧缓冲器中删除已编码完毕的图像的控制信息，明示地进行存储在多帧缓冲器中的图像的控制的方法。通过这样的控制，可以有多帧缓冲器中只存储显示顺序信息滞后于编码对象图像的图像的情况。下面对在多帧缓冲器中只存储显示顺序信息滞后于编码对象图像的图像的情况下，使用多幅参照图像插值预测的图像的直接模式的实现方法进行说明。

图17为本发明的实施形态5的显示顺序信息滞后于编码对象图像的多幅参照图像的直接模式的说明图。这里，图像pic表示编码对象图像，图像Ref1、Ref2表示参照图像，像块Blk表示编码对象像块，像块Blk0表示参照图像Ref1中的在画面内的位置与编码对象像块Blk相同的像块。并且，运动矢量MV01表示编码像块Blk0时使用的前方参照运动矢量，运动矢量MV1表示从参照图像Ref1来的运动矢量，运动矢量MV2表示从参照图像Ref2来的运动矢量，像块RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表示被运动矢量MV2参照的参照像块。

参照图像从例如存储在多帧缓冲器中的已编码完毕的图像中，选择显示顺序信息滞后于编码对象图像的显示顺序信息但显示顺序信息离它最近和第二近的图像。此时，如果假设编码对象图像pic与参照图像Ref1之间的显示顺序信息的差值为TRD1，参照图像Ref1与参照图像Ref3之间的显示顺序信息的差值为TRD2，编码对象图像pic与参照图像Ref2之间的显示顺序信息的差值为TRD3，则编码编码对象像块时使用的运动矢量MV1及运动矢量MV2可以分别由下面的计算公式(式C)及(式D)算出：

MV1＝-MV01×(TRD1/TRD2)……………………(式C)

MV2＝-MV01×(TRD3/TRD2)……………………(式D)

用以上的方法可以决定直接模式时的参照图像和运动矢量。

另外，上述直接模式的处理，图6所示的动态图像编码装置用运动推定部101执行。并且，同样地，图8所示的动态图像解码装置用运动补偿部403执行。

如上所述，通过采用具有本实施形态所记述的直接模式的动态图像编码装置，即使在多帧缓冲器中只有显示顺序信息超前或滞后于编码对象图像的、已编码完毕的图像的情况下，也能使用直接模式，因此由于可以省略参照图像和运动矢量，所以能够改善编码效率。并且，通过采用具有本实施形态所记述的直接模式的动态图像解码装置，能够解码具有本实施形态所记述的直接模式的动态图像编码装置所输出的动态图像编码数据。

并且，可以将跳跃模式定义为使用由本实施形态的直接模式算出的参照图像、运动矢量，进行图像间预测的结果的残差编码数据为0时的情况。由于本实施形态的直接模式即使在多帧缓冲器中只有显示顺序信息超前或滞后于编码对象图像的、已编码完毕的图像的情况下也能使用直接模式，因此即使在这样的情况下也能够选择跳跃模式，通过采用具有上述说明的跳跃模式的动态图像解码装置，由于能够使用跳跃模式，因此能够改善编码效率。并且，通过采用具有本实施形态所记述的跳跃模式的动态图像解码装置，能够解码具有本实施形态所记述的跳跃模式的动态图像编码装置所输出的动态图像编码数据。

另外，在对图16、图17的上述说明中，也可以自由地选择对于参照图像Ref1的运动矢量，编码该运动矢量与上述说明的运动矢量MV1的差分矢量。同样地，也可以自由地选择对于参照图像Ref2的运动矢量，编码该运动矢量与上述说明的运动矢量MV2的差分矢量。

并且，虽然本实施形态，在多帧缓冲器中只有显示顺序信息超前或滞后于编码对象图像的图像的情况下使用本实施形态说明过的跳跃模式，但也可以更改步骤，例如，可以从存储在多帧缓冲器中的图像中选择显示顺序信息离编码对象图像最近和第二近的图像，在选择的2幅图像的显示顺序信息全都超前或全都滞后于编码对象图像的情况下使用本实施形态说明过的跳跃模式。

(实施形态6)

在上述H.264中，包含多幅参照图像插值预测的图像的跳跃模式，表示用直接模式进行图像间预测的结果的残差编码数据为0时的情况。与此相对应，本实施形态的动态图像编码装置、动态图像解码装置使跳跃模式所使用的预测方法为参照多帧缓冲器内已编码完毕的图像中显示顺序信息离编码对象图像最近的参照图像的图像间预测。

图18本发明的实施形态6的跳跃模式时的图像间预测的说明图。这里，图像pic表示编码对象图像，图像Ref1表示具有编码对象图像紧前面的显示顺序信息的已编码完毕的图像，图像Ref2表示具有紧挨编码对象图像后面的显示顺序信息的已编码完毕的图像，像块Blk表示编码对象像块，运动矢量MV1表示从参照图像Ref1来的0值运动矢量，像块RefBlk1表示被运动矢量MV1参照的参照像块。并且，使编码对象图像pic与图像Ref1之间的显示顺序信息的差值TRD1小于编码对象图像pic与图像ref2之间的显示顺序信息的差值TRD2。

本实施形态将显示顺序信息离编码对象图像最近的图像作为参照图像。图18中，显示顺序信息离编码对象图像pic最近的图像为图像Ref1。使对于图像Ref1的运动矢量MV1在图像内的垂直分量和水平分量都为0，将运动矢量MV1参照的参照像块RefBlk作为预测图像使用。通过使用这样的预测方法，由于动态图像编码装置和动态图像解码装置能够唯-地决定参照图像和运动矢量，因此动态图像编码数据中不必包含表示参照图像的信息和运动矢量。因此，将上述说明过的图像间预测结果的残差编码数据为0时定义为跳跃模式，跳跃模式的像块的编码数据中只要传送表示跳跃模式的预测种类就可以了。

另外，虽然本实施形态将多帧缓冲器中已编码完毕的图像中显示顺序信息离编码对象图像最近的图像作为参照图像，但也可以将多帧缓冲器中已编码完毕的图像中显示顺序信息超前于编码对象图像但离其最近的图像作为参照图像。

并且，虽然本实施形态将多帧缓冲器中已编码完毕的图像中显示顺序信息离编码对象图像最近的图像作为参照图像，但也可以将多帧缓冲器中已编码完毕的图像中显示顺序信息滞后于编码对象图像但离其最近的图像作为参照图像。

并且，上述各实施形态中使用过的图像的显示顺序信息既可以是表示显示图像的时刻的值也可以是表示图像的显示顺序的相对关系的信息。

另外，上述图像的意思为同时具有画面和场，画面编码时可以作为画面进行处理，隔行(インタ一レ一ス)编码(场编码)时可以作为场进行处理。

并且，上述各实施形态即使在将1幅图像分割成顶部场和底部场这2组场进行编码的隔行编码时也同样能够进行处理。该隔行编码由于参照图像的编号为2倍，因此能够进一步提高编码效率。并且，此时只要优先使用具有与编码对象图像相同的属性的图像作为默认参照图像编号DefRefNo所指示的图像就可以了。即，如果编码对象图像为顶部场则优先使用顶部场作为默认参照图像编号DefRefNo所指示的图像。而当编码对象图像为底部场时优先使用底部场作为默认参照图像编号DefRefNo所指示的图像。

(实施形态7)

另外，通过将实现上述各实施形态所叙述过的动态图像编码方法以及动态图像解码方法的构成的程序记录到软磁盘等存储媒体上，可以在独立的计算机系统上简单地实施上述各实施形态所叙述过的处理。

图19是对存储用计算机系统来实现上述各实施形态的动态图像编码方法以及动态图像解码方法的程序的存储媒体的说明图。

图19(b)表示从软磁盘的正面所看到的外观、横断面结构以及软磁盘；图19(a)表示存储媒体的本体即软磁盘的物理格式的例子。软磁盘FD内藏在壳体F内，该磁盘的表面形成从外周向内周的复数条同心圆状状的磁道TR，各个磁道沿角度方向被分割成16个扇形区Se。因此，存储了上述程序的软磁盘在分配到上述软磁盘FD上的区域内记录着作为上述程序的动态图像编码方法。

而且，图19(c)表示在软磁盘FD上进行上述程序的记录再生的构成。在将上述程序记录到软磁盘FD上的时候，通过软磁盘驱动机构FDD从计算机系统Cs写入作为上述程序的动态图像编码方法以及动态图像解码方法。并且，在用软磁盘内的程序将上述动态图像编码方法以及动态图像解码方法构筑到计算机系统中的时候，用软磁盘驱动器从软磁盘中读出程序，传送给计算机系统。

另外，虽然在上述说明中用软磁盘作为存储媒体进行说明，但使用光盘也能同样地进行。而且，存储媒体不限于此，只要是能够记录程序的东西，IC卡、ROM盒等也同样能够实施。

在这里，再说明上述实施形态中叙述过的动态图像编码方法以及动态图像解码方法的应用例子和使用它的系统。

图20为表示实现内容发送服务器的内容提供系统ex100的全部构成的方框图。通讯服务器的提供区域被分割成所需要的大小，各单元内分别设置有作为固定无线电台的基站ex107～ex110。

该内容提供系统ex100通过因特网服务提供者ex102、电话网ex104以及基站ex107～ex110将计算机ex111、PDA(个人数字助理)ex112、相机ex113、移动电话机ex114及带摄像头的移动电话机ex115等各种设备与例如因特网ex101相连。

但是，内容提供系统ex100不限于图20那样的组合，任意组合几种连接都可以。而且，也可以不通过固定无线电台即基站ex107～ex110将各种设备直接与电话网ex104连接。

相机ex113是能拍摄动画的数码图像摄像机等设备。而且，移动电话机可以是PDC(个人数字通信)方式、CDMA(码分多址访问通信)方式、W-CDMA(宽带-码分多址访问通信)方式或者GSM(全球数字移动电话系统)方式的移动电话机或PHS(PersonalHandyPhone System)等的任何一种。

并且，流服务器ex103通过基站ex109、电话网ex104与相机ex113连接，能够实时发送使用者用相机ex113发送的、编码过的数据。拍摄的数据既可以在相机ex113上进行编码处理，也可以在发送处理数据的服务器等上进行。而且，相机ex116拍摄的动画数据也可以通过计算机ex111发送到流服务器ex103上。相机ex116是能拍摄静止画、动画的数码相机等设备。在这种情况下，动画数据的编码在相机ex116上进行、在计算机ex111上进行都可以。并且，编码处理在计算机ex111或相机ex116所具有的LSIex117上处理。另外，可以组合成能够用计算机ex111等读取动态图像编码、解码用的软件的存储媒体的某几种存储媒体(CD-ROM，软磁盘，硬盘等)。并且，也可以用带摄像头的移动电话机ex115发送动画数据。这时的动画数据就是在移动电话机ex115所具有的LSI上被编码处理过的数据。

该内容提供系统ex100与上述实施形态一样编码处理用户用相机ex113、相机ex116等拍摄的内容(例如拍摄了音乐实况(音楽ライブ)的动态图像)并发送到流服务器ex103中，同时，流服务器ex103将上述内容数据流动发送给需要的客户。作为客户有能够解码上述编码处理过的数据的计算机ex111、PDAex112、相机ex113和移动电话机ex114等。这样一来，内容提供系统ex100就是能够在客户中接收编码过的数据并再生，而且通过在客户中实时接收、解码、再生，还能够实现个人广播的系统了。

构成这个系统的各设备的编码、解码，用上述各实施形态所叙述的动态图像编码装置或动态图像解码装置就可以了。

拿移动电话机来作为其中的一个例子说明。

图21为表示使用了上述实施形态说明过的动态图像编码方法和动态图像解码方法的移动电话机ex115的图。移动电话机ex115包括：与基站ex110之间收发电波的天线ex201，CCD相机等能够拍摄图像、静止画面的相机部ex203，液晶显示屏等显示相机部ex203拍摄的图像、解码天线ex201接收的图像后的数据的显示部ex202，由操作键ex204群构成的本体部，输出声音的扬声器等声音输出部ex208，输入声音的麦克风等声音输入部ex205，保存拍摄的动画或静止画面的数据、接收的邮件的数据、动画的数据或者静止画面的数据等、编码过的数据或者解码了的数据的存储媒体ex207，使存储媒体ex207能够安装在移动电话机ex115上的接口部ex206。存储媒体ex207为SD卡等将能够在电气上改写和消除的非易失性存储器即EEPROM(电可擦除可编程只读存储器)的一种即瞬时存储器元件保存在塑料壳体内的构件。

再用图22说明移动电话机ex115。移动电话机ex115通过同步总线ex313将电源电路ex310、操作输入控制部ex304、图像编码部ex312、相机接口部ex303、LCD(液晶显示器)控制部ex302、图像解码部ex309、复用分离部ex308、记录再生部ex307、调制解调电路ex306及声音处理部ex305与统括地控制包括显示部ex202和操作键ex204的本体部的各部分的主控制部ex311互相连接。

如果操作者通过操作结束电话及使电源键处于开着状态，则电源电路ex310通过从电源给各个部分提供电力启动带摄像头的数码移动电话机ex115，使其处于工作状态。

移动电话机ex115根据CPU，ROM，以及RAM等构成的主控制部ex311的控制，用声音处理部ex305将在语音通话模式时声音输入部ex205收集的声音信号转换成数字声音数据，用解调电路ex306将其进行扩频处理，在用收发电路部ex301实施数模变换处理及频率转换处理后通过天线ex201发送。或者，移动电话机ex115将在语音通话模式时用天线ex201接收的接收数据放大，实施频率转换处理及模数转换处理，用调制解调电路ex306进行逆向扩频处理，在用声音处理部ex305转换成模拟声音数据之后，通过声音输出部ex208将其输出。

另外，如果在数据通讯模式时发送电子邮件，本体部的操作键ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304输出到主控制部ex311。主控制部ex311用调制解调电路ex306扩频文本数据，在用收发电路部ex301实施数模变换处理及频率变换处理后通过天线ex201发送给基站ex110。

如果在数据通讯模式时发送图像数据，则通过相机接口部ex303将相机部ex203拍摄的图像数据提供给图像编码部ex312。而且，在不发送图像数据的时候，也可以通过相机接口部ex303和LCD控制部ex302将相机部ex203拍摄的图像数据直接显示在显示部ex202上。

图像编码部ex312为具备本发明说明过的动态图像编码装置的构件，通过用上述实施形态叙述过的动态图像编码装置中使用过的编码方法压缩编码相机部ex203提供的图像数据将其变换成编码图像数据，将其发送给复用分离部ex308。而且，这时移动电话机ex115同时通过声音处理部ex305将声音输入部ex205在相机部分ex203拍摄时收集到的声音作为数字声音数据发送到复用分离部ex308中。

复用分离部ex308以预定的方式复用复用图像编码部ex312提供的编码图像数据和声音处理部ex305所提供的声音数据，用调制解调电路ex306扩频处理其结果获得的复用数据，在用收发电路部ex301实施数模变换处理和频率变换处理后通过天线ex201发送。

如果在数据通讯模式时接收与主页等连接的动态图像文件的数据，则用调制解调电路ex306逆向扩频处理通过天线ex201从基站ex110收到的接收数据，将其结果获得的复用复用数据发送给复用分离部ex308。

当解码通过天线ex201收到的复用复用数据时，复用分离部ex308通过分离复用复用数据将图像数据的比特流与声音数据的比特流分开，通过同步总线ex313将该编码图像数据提供给图像解码部ex309，同时将该声音数据提供给声音处理部ex305。

图像解码部ex309为具备本申请发明说明过的动态图像解码装置的构件，通过用与上述实施形态记述过的编码方法相对应的解码方法解码图像数据的比特流生成再生动态图像数据，通过LCD控制部ex302将其提供给显示部ex202，据此，显示例如包含在与主页连接的动态图像文件中的动画数据。这时，声音处理部ex305同时将声音数据转换成模拟声音数据，然后将其提供给声音输出部ex208，据此，再生例如与主页连接的动态图像文件中所包含的声音数据。

另外，不限于上述系统的例子，最近，使用卫星、地面波的数字广播也提上了议事日程，如图23所示那样，在数字播放用的系统中也至少能够嵌入上述实施形态的动态图像编码装置或动态图像解码装置中的任何一种。具体地，广播站ex409通过电波将图像信息的比特流传送给通讯或广播卫星ex410。接收到该信号的广播卫星ex410发送广播用的电波，带有卫星广播接受设备的家庭天线ex406接收该电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置解码比特流将其再生。并且，在读取记录在作为存储媒体的CD和DVD等存储媒介ex401上的比特流并将其解码的再生装置ex403上，也可以安装上述实施形态记述过的动态图像解码装置。此时，再生的图像信号显示在监视器ex404上。并且，也可以考虑将动态图像解码装置安装在与有线电视用的电缆ex405或卫星/地面波广播的天线ex406相连的机顶盒ex407内，用电视机的监视器ex408将其再生的结构。此时动态图像解码装置也可以不是安装在机顶盒内而是安装在电视机内。并且，也可以用带天线ex411的汽车ex412从广播卫星ex410或基站ex107等接收信号，将动画在汽车ex412所带的车载导航设备ex413等显示装置上再生。

并且，也可以用上述实施形态记述过的动态图像编码装置编码图像信号，然后记录到存储媒体上。具体的例子有将图像信号记录在DVD盘ex421上的DVD记录装置或记录在硬盘上的磁盘记录装置等记录装置ex420。而且，也可以记录在SD卡ex422上。如果记录装置ex420具备上述实施形态记述过的动态图像解码装置，则可以再生DVD盘ex421或SD卡ex422上记录的图像信号，用监视器ex408显示。

另外，车载导航设备ex413的构成可以考虑除去了例如图22所示构成中的相机部ex203、相机接口部ex303和图像编码部ex312的构成，同样也可以考虑计算机ex111或电视机(接收机)ex401等。

并且，上述移动电话机ex114等终端除可以考虑同时具有编码器和解码器的收发型终端外，还可以考虑只具有编码器的发送型终端和只具有解码器的接收型终端这3种安装形式。

这样，可以将上述实施形态记述过的动态图像编码方法或动态图像解码方法用在上述任何一种设备和系统中，通过这样，能够取得上述实施形态所说明的效果。

而且，本发明不限于上述实施形态，只要不脱离本发明的范围，可以作各种变形或修改。

如以上详细说明的那样，如果采用本发明的动态图像编码方法，由于不必就一方的参照图像对每个像块从多幅已编码完毕的图像中选择1幅图像，并且不必对每个像块编码该参照图像，因此能够实现有效的编码并且能够削减处理量。

并且，如果采用本发明的动态图像解码方法，在解码用共同的参照图像和每个像块的参照图像编码后输出的动态图像编码数据时能够正确地解码处理。

工业应用性

如上所述，本发明的动态图像编码方法及动态图像解码方法可以作为通过例如移动电话机、DVD装置及个人电脑等对构成输入图像的各图像进行编码并输出动态图像编码数据，或解码该动态图像编码数据的方法使用。

Claims

1、一种将待编码的当前图像分割成像块的图像编码方法，该方法基于像块从参照图像中选择两个参照图像，对用于识别每个所选参照图像的信息进行描述，并在所述像块上执行预测编码，所述方法包括：

为了对由多个像块构成的多像块图像单元进行编码，从多个参照图像中，选择一个或两个用于共同参照的共同参照图像；

在选择两个用于共同参照的共同参照图像的情况下，对于所述两个所选的参照图像，在所述多像块图像单元的共同信息区域中，描述用于识别所述两个共同参照图像的共同信息；

在选择一个用于共同参照的共同参照图像的情况下，对于所述两个所选的参照图像中的一个，在所述多像块图像单元的共同信息区域中，描述用于识别所述一个共同参照图像的共同信息，以及对于每个像块，还描述用于识别所选的两个参照图像中的另一个的信息；

使用所选的两个参照图像，生成所述多像块图像单元中包含的待编码的当前像块的预测图像；以及

使用所述预测图像对所述当前像块编码。

2、一种将待编码的当前图像分割成像块的图像编码装置，该装置基于像块从参照图像中选择两个参照图像，对用于识别每个所选参照图像的信息进行描述，并在所述像块上执行预测编码，所述装置包括：

进行选择操作的单元，为了对由多个像块构成的多像块图像单元进行编码，从多个参照图像中，选择一个或两个用于共同参照的共同参照图像；

执行如下操作的单元：

在选择两个用于共同参照的共同参照图像的情况下，对于所述两个所选的参照图像，在所述多像块图像单元的共同信息区域中，描述用于识别所述两个共同参照图像的共同信息；和

进行生成操作的单元，使用所选的两个参照图像，生成所述多像块图像单元中包含的待编码的当前像块的预测图像；和

进行编码操作的单元，使用所述预测图像，对所述当前像块进行编码。