CN1180627C - 图像编码/解码方法,图像编码装置和图像解码装置 - Google Patents

Abstract

提供了一种图像编码方法，其中该方法包括以下步骤：提取边沿信息，该边沿信息代表原始图像的一个边沿部分；通过对边沿部分进行平滑从原始图像获得一个边沿平滑图像的密度信息；通过根据第一编码算法对边沿信息编码获得编码后的边沿信息；通过根据第二编码算法对边沿平滑图像的密度信息编码获得编码后的密度信息；把编码后的边沿信息和编码后的密度信息作为编码信息发送到图像解码装置。

Description

图像编码和解码方法，图像编码装置和图像解码装置

技术领域

本发明涉及用于对诸如运动图像和静止图像之类的原始图像进行编码和对编码图像进行解码的图像编码和解码方法。本发明具体涉及一种图像编码和解码方法，其可以在应用诸如MPEG-1/2/4等等的标准化算法时减小编码图像的解码噪声。

而且，本发明涉及一种根据该图像编码和解码方法对图像进行编码和解码的图像编码装置和图像解码装置。

背景技术

常规上，在诸如JPEG和MPEG系列的标准图像/运动图像编码方法中，由于各种原因已经使用了离散余弦变换(DCT)。尤其是，是从对图像性质的适应性的观点出发而采用这些编码方法的。

通常，当在空间频率域中表示一个图像时，所存在的一个性质是：能量集中在一个低频区域。在DCT方法中，在一个图像信号(密度信息)(densityinformation)空间中一个由8×8像素形成的块被正交变换，使得该块被分解为预定基集(base set)的组合，并获得组分基的系数。DCT的性质是，系数的偏差程度(即频率分量的偏差程度)可以增加。尤其是，由于低频区域中的集中程度较高并且低频区域在视觉上是重要的，因此通过执行自适应比特分布可以提高压缩效率。

另一方面，当以非常低比特率对一个图像编码时，量化变得非常粗略，使得系数的再现性变差。因此，出现的问题是，无法重建对于表示图像信号来说至关重要的基。而且，DCT在8×8像素块中封闭的区域上执行处理，编码失真很可能显著地出现在块的边界上。由于这种倾向，块失真的发生使得一些在视觉上不包含在信号中的分量出现在图像上。因此，其被检测为非常显著的噪声。尤其是，在诸如阶越边沿之类的亮度(密度)急剧变化的波形部分中，需要很多基来如实地再现图像。但是，考虑到视觉加权，对应于高频分量的系数的代码分配被认为比对应于低频分量的系数的代码分配较不重要。因此，丢失了对于再现边沿来说非常重要的高频系数。由于这种处理，DCT中固有的显著噪声出现在边沿部分，使得图像退化发生。

鉴于上述问题，已经提出了一种图像编码装置，其中根据图像模式自适应地切换DCT和差分脉码调制(DPCM)(例如，日本公开专利申请No.5-276506)。这种常规图像编码装置通过使用DPCM而不是使用DCT来处理边沿部分，避免了DCT的信号表示问题。

但是，根据该常规图像编码装置，无法应用按原有方式使用现有DCT的标准编码方法。因此，需要一些与标准编码方法不同的可应用的编码方法。但是，由于有很多产品遵从使用DCT的标准编码方法，能够使用标准编码方法进行图像编码和解码是非常重要的。

发明内容

本发明的第一个目的是提供一种图像编码和解码方法，其中即使在应用使用DCT的标准编码/解码方法时也可以获得具有非常小失真的解码图像。

本发明的第二个目的是提供一种图像编码装置和一种图像解码装置，其根据该图像编码和解码方法进行图像编码和解码。

上述目的由一种图像编码和解码方法实现，其中图像编码装置把编码信息发送到图像解码装置，该编码信息是通过对原始图像编码获得的，图像解码装置对编码信息解码以获得一个再现图像，图像编码装置执行以下步骤：

提取边沿信息，该边沿信息代表原始图像的一个边沿部分；

通过对边沿部分进行平滑从原始图像获得一个边沿平滑图像的密度信息；

通过根据第一编码算法对边沿信息编码获得编码后的边沿信息；

通过根据第二编码算法对边沿平滑图像的密度信息编码获得编码后的密度信息；

把编码后的边沿信息和编码后的密度信息作为编码信息发送到图像解码装置；和

图像解码装置执行以下步骤：

通过根据对应于第一编码算法的第一解码算法对编码后的边沿信息解码获得边沿信息；

通过根据对应于第二编码算法的第二解码算法对编码后的密度信息解码获得边沿平滑图像的密度信息；

通过使用边沿信息对边沿平滑图像的边沿部分进行锐化，从边沿平滑图像的密度信息获得再现图像。

根据该图像编码和解码方法，图像编码装置提取原始图像的边沿部分，并通过对原始图像的边沿部分进行平滑获得边沿平滑图像。然后，图像编码装置把原始图像的编码信息发送到图像解码装置，其中编码信息包括编码后的边沿信息和编码后的密度信息，编码后的边沿信息是根据第一编码算法从代表边沿部分的边沿信息获得的，编码后的密度信息是根据第二编码算法从边沿平滑图像的密度信息获得的。

图像解码装置通过使用根据第一解码算法从编码后的边沿信息获得的边沿信息，对根据第二解码算法从编码后的密度信息获得的边沿平滑图像的边沿部分进行锐化。然后，通过对边沿部分进行锐化从边沿平滑图像获得一个再现图像。

由于在边沿平滑图像中对边沿部分进行了平滑，相对较高的空间频率分量减少。因此，即使把使用DCT的标准编码方法作为第二编码算法时，由编码丢失的信息也会减少。

用于对边沿信息编码的第一编码算法和用于对边沿平滑图像的密度信息编码的第二编码算法可以相同或不同。

边沿信息可以是任何信息，只要能够识别边沿部分的位置(像素)。

密度信息是代表图像密度的状态(例如密度或亮度)的信息，密度信息的形式不限定于一种特定形式。

为了能够相对容易地执行原始图像的边沿部分的平滑处理，图像编码装置可以通过在逐像素扫描原始图像的同时执行以下步骤来对边沿部分进行平滑：

通过使用第一块密度信息矢量和一个平滑矩阵执行第一矩阵运算，其中第一块密度信息矢量是通过排列一个第一块中包括的每个像素的密度信息获得的，第一块包括边沿部分中或边沿部分的一个邻近区域中的一个像素，并包括围绕该像素的一个周围区域中的像素，第一块密度信息矢量的阶对应于第一块中像素的数目，并且其中平滑矩阵包括用于在第一块中每个像素的密度信息上运算的边沿平滑系数；

通过在逐像素扫描原始图像的同时对通过在每个像素上执行第一矩阵运算获得的第一块中每个像素的密度信息进行重叠，获得每个像素的平滑密度信息。

根据该图像编码和解码方法，边沿平滑图像的密度信息可以通过使用平滑矩阵(是一个方阵)和块密度信息矢量进行矩阵运算获得。

为了能够容易地对边沿平滑图像的边沿部分进行锐化，图像解码装置可以通过在逐像素扫描边沿平滑图像的同时执行以下步骤来对边沿平滑图像的边沿部分进行锐化：

通过使用第二块密度信息矢量和一个锐化矩阵进行第二矩阵运算，锐化矩阵是平滑矩阵的逆矩阵，其中第二块密度信息矢量是通过排列包括在一个第二块中的每个像素的密度信息获得的，第二块包括边沿部分中或边沿部分的一个邻近区域中的一个像素和周围区域中的像素，并且第二块密度信息矢量的阶对应于第二块中像素的数目；和

通过在逐像素扫描边沿平滑图像的同时对通过在每个像素上进行第二矩阵运算获得的第二块中每个像素的密度信息进行重叠，获得每个像素的锐化密度信息。

根据该图像编码和解码方法，被锐化的每个像素的密度信息可以通过使用块密度信息和锐化矩阵进行的矩阵运算获得，其中锐化矩阵是平滑矩阵的逆矩阵。

为了能够在锐化过程中获得更精确的再现图像，图像编码装置可以通过执行以下步骤对边沿部分进行平滑：

根据第一方程x’＝(1-λ)x+λC获得边沿平滑图像的边沿部分的一个像素的密度信息x’，其中λ是一个正常数，x是原始图像的像素的密度信息，C是代表该像素的一个周围区域的密度状态的周围密度信息。

周围密度信息C是基于该像素的周围像素的密度信息确定的。周围密度信息C不限定于特定信息，只要它可以代表该像素周围的密度状态。例如，周围像素的密度信息的平均值，总加和值，加权密度信息的加和值或加权密度信息的加和值的平均值等等都可以被用作C。上述方程中的λ取决于如何确定周围密度信息C。

为了从由x’＝(1-λ)x+λC平滑的平滑图像再现图像，图像解码装置可以通过使用一个根据最陡下降法的预定方程对边沿平滑图像的边沿部分进行锐化，该预定方程是根据由第一方程表示的密度信息x’和锐化密度信息之间的关系定义的。

该预定方程可以是 $e\left(X\right)={(X+\frac{1}{1-\mathrm{\λ}}(\mathrm{\λC}\left(n\right)-x^{\′}))}^2,$ 其中C(n)是一个具有密度信息x’的像素的周围密度信息，n是一个重复计数，由最陡下降法获得使e(X)最小的X值，该X值成为锐化之后一个像素的密度信息。

为了提供最陡下降法的一个具体方法，在一个根据最陡下降法的过程中，作为递推公式 $X(n+1)=X\left(n\right)-G*\frac{\∂e}{\∂X}$ 的收敛值获得X，其中G是一个常数。

第二个目的可以由一种图像编码装置实现，该装置包括：

边沿提取部分，用于提取边沿信息，该信息表示原始图像的一个边沿部分；

边沿平滑部分，用于通过对边沿部分进行平滑从原始图像获得边沿平滑图像的密度信息；

第一编码部分，用于通过根据第一编码算法对边沿信息编码获得编码后的边沿信息；

第二编码部分，用于通过根据第二编码算法对边沿平滑图像的密度信息编码获得编码后的密度信息；

其中编码后的边沿信息和编码后的密度信息是原始图像的编码信息。

因此，通过使用所获得的作为编码信息的编码后的边沿信息和编码后的密度信息，对原始图像的解码成为可能。

当仅对编码后的密度信息进行解码时，再现边沿平滑图像。

为了提供一个用于获得边沿平滑图像的具体方法，边沿平滑部分可以包括密度信息校正部分，用于校正每个像素的密度信息，使得由原始图像的边沿部分的一个邻近区域中跨越边沿部分排列的像素的密度信息所表示的密度级别的变化降低。

由于由原始图像的边沿部分的邻近区域中跨越边沿部分排列的像素的密度信息所表示的密度级别的变化变小，可以消除密度级别的急剧变化，使得边沿部分被平滑。

为了提供再一个用于获得边沿平滑图像的具体方法，密度信息校正部分可以包括：

平均值计算部分，用于计算一个预定区域中密度级别的平均值；和

密度级别判断部分，用于判断一个像素的密度级别是否高于或低于邻近区域中每个像素的平均值；

其中为一个密度级别高于平均值的像素校正密度信息，使得其密度级别降低，并且为一个密度级别低于平均值的像素校正密度信息，使得其密度级别提高。

该预定区域的尺寸和形状不受限定，只要该预定区域包括边沿部分的邻近区域。当应用一个使用DCT的标准化编码算法作为第二编码算法时，最好使用一个DCT块(8×8像素)(即DCT的一个处理单元)作为该预定区域。

为了使在原始图像的全部密度状态中没有变化，密度信息校正部分校正邻近区域中每个像素的密度信息，使得密度级别的平均值不变化。

根据这种处理，即使当在每个块的每个像素上进行密度信息校正时，由一个块中像素的密度信息表示的密度级别的平均值也不变化。

为了能够相对容易地执行原始图像的边沿平滑处理，边沿平滑部分可以包括：

平滑矩阵产生部分，用于为每个包括边沿部分或边沿部分的一个邻近区域的块产生一个平滑矩阵，该平滑矩阵用于与一个块密度信息矢量的矩阵运算，其中块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，块密度信息矢量的阶对应于该块中像素的数目，并且其中平滑矩阵包括用于在块中的边沿部分或邻近区域中每个像素的密度信息上运算的边沿平滑系数；和

矩阵运算部分，用于通过使用平滑矩阵和块密度信息矢量进行矩阵运算，获得块中每个像素的平滑密度信息。

根据该图像编码装置，通过使用每个预定块的块密度信息矢量和平滑矩阵进行矩阵运算，可以获得块中所有像素的平滑密度信息。

作为预定块，可以使用一个包括任何数量像素的块。当应用一个使用DCT的标准化编码算法作为第二编码算法时，最好使用一个DCT块(8×8像素)(即DCT的一个处理单元)作为该预定块。

由于用于边沿平滑的系数被排列在为每个块产生的平滑矩阵中，使得这些系数在决中的边沿部分或邻近区域中的每个像素的密度信息上运算，该排列取决于块中包括的边沿部分或邻近区域的位置。

当为每个预定块进行平滑处理时，有可能这些块的一个边界上的密度信息不连续。为了防止该问题，边沿平滑部分可以包括：

像素判断部分，用于在逐像素扫描原始图像的同时判断边沿部分或边沿部分的一个邻近区域中是否存在一个像素；

矩阵运算部分，用于在边沿部分或邻近区域中存在一个像素时，通过使用一个块密度信息矢量和一个平滑矩阵进行矩阵运算，其中块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，该块包括该像素和围绕该像素的一个周围区域中的像素，并且块密度信息矢量的阶对应于块中像素的数目，并且其中平滑矩阵包括用于在块中每个像素的密度信息上运算的边沿平滑系数；

运算部分，用于通过在逐像素扫描原始图像的同时对通过在每个像素上执行矩阵运算所获得的块中每个像素的密度信息进行重叠，获得每个像素的平滑密度信息。

根据该图像编码装置，由于在逐像素扫描原始图像的同时执行矩阵运算和像素重叠，该过程可以连续地在原始图像上逐像素地执行，其中块密度信息和平滑矩阵被用于矩阵运算。

为了提供该像素判断部分的一个具体配置，像素判断部分可以包括：

距离转换部分，用于产生表示边沿部分和每个像素之间距离的距离信息；和

距离判断部分，用于判断每个像素的距离信息是否等于或小于一个预定值；

其中当判断距离信息等于或小于预定值时，判断出在边沿部分或邻近区域中存在一个对应于该距离信息的像素。

第二个目的也可以由一种图像解码装置实现，该装置对包括编码后的边沿信息和编码后的密度信息的编码信息解码，其中编码后的边沿信息表示原始图像的一个边沿部分，编码后的密度信息表示一个边沿平滑图像，该图像解码装置包括：

第一解码部分，用于通过根据第一解码算法对编码后的边沿信息解码获得表示边沿部分的边沿信息；

第二解码部分，用于通过根据第二解码算法对编码后的密度信息解码获得边沿平滑图像的密度信息；

边沿锐化部分，用于通过使用边沿信息对边沿平滑图像的边沿部分进行锐化，从而获得一个再现图像。

根据该图像解码装置，通过确定第一解码算法和第二解码算法，使得它们分别对应于第一编码算法和第二编码算法，可以正确地对由图像编码装置获得的编码信息进行解码。

为了提供对边沿平滑图像进行锐化的一个具体方法，边沿锐化部分可以包括密度信息校正部分，用于校正边沿平滑图像的每个像素的密度信息，使得由边沿平滑图像的边沿部分的一个邻近区域中跨越边沿部分排列的像素的密度信息所表示的密度级别的变化提高。

由于由边沿平滑图像的边沿部分的邻近区域中跨越边沿部分排列的像素的密度信息所表示的密度级别的变化变大，出现密度级别的急剧变化，使得边沿部分被锐化。

根据该图像解码装置，通过确定第一解码算法和第二解码算法，使得它们分别对应于第一编码算法和第二编码算法，并通过确定密度级别的变化的提高程度，使得其对应于用于获得边沿平滑图像的密度级别的变化的降低程度，可以正确地对由图像编码装置获得的编码信息进行解码。

密度信息校正部分可以包括：

平均值计算部分，用于计算一个预定区域中密度级别的平均值；和

密度级别判断部分，用于判断一个像素的密度级别是否高于或低于邻近区域中每个像素的平均值；

其中为一个密度级别高于平均值的像素校正密度信息，使得其密度级别提高，为一个密度级别低于平均值的像素校正密度信息，使得其密度级别降低。

为了在解码时不改变平均密度级别，密度信息校正部分可以校正邻近区域中每个像素的密度信息，使得密度级别的平均值不改变。

为了提供对边沿平滑图像进行锐化的一个具体方法，边沿锐化部分可以包括：

锐化矩阵产生部分，用于为边沿平滑图像中边沿部分或边沿部分的一个邻近区域中的每个块产生一个锐化矩阵，该矩阵用于与一个块密度信息矢量的矩阵运算，其中决密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，并且块密度信息矢量的阶对应于块中像素的数目，并且其中锐化矩阵包括用于在块中边沿部分或边沿部分的一个邻近区域中的每个像素的密度信息上运算的边沿锐化系数；和

矩阵运算部分，用于通过使用锐化矩阵和块密度信息矢量进行矩阵运算，获得块中每个像素的锐化密度信息。

根据该图像解码装置，通过使用块密度信息矢量和锐化方阵进行矩阵运算，可以在边沿锐化矩阵中获得块中每个像素的密度信息。

该图像解码装置可以被配置为，适合于对由前述图像编码装置获得的编码信息进行解码。在此情况下，为了容易地进行锐化操作，锐化矩阵产生部分可以产生一个平滑矩阵的逆矩阵来作为锐化矩阵，其中平滑矩阵用于获得从编码后的密度信息解码得到的边沿平滑图像的密度信息。

根据该图像解码装置，通过获得用于对原始图像进行平滑的平滑矩阵的逆矩阵，可以获得用于对边沿平滑图像的边沿部分进行锐化的锐化矩阵。

为了提供用于对边沿平滑图像进行锐化的一个具体方法，边沿锐化部分可以包括：

像素判断部分，用于在逐像素扫描边沿平滑图像的同时判断在由边沿信息表示的边沿部分中或在边沿部分的一个邻近区域中是否存在一个像素；

矩阵运算部分，用于在边沿部分或邻近区域中存在像素时，通过使用一个块密度信息矢量和一个锐化矩阵进行矩阵运算，其中块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，该块包括该像素和围绕该像素的一个周围区域中的像素，并且块密度信息矢量的阶对应于块中像素的数目，并且其中锐化矩阵包括用于在块中每个像素的密度信息上运算的边沿锐化系数；

运算部分，用于通过在逐像素扫描边沿平滑图像的同时对通过在每个像素上进行矩阵运算获得的块中每个像素的密度信息进行重叠，获得每个像素的锐化密度信息。

根据该图像解码装置，通过在逐像素扫描边沿平滑图像的同时使用块密度信息矢量和锐化矩阵进行矩阵运算，可以获得边沿锐化图像中的块中的每个像素的密度信息。

该图像解码装置可以被配置为，适合于对由前述图像编码装置获得的编码信息进行解码。在此情况下，为了容易地进行锐化操作，锐化矩阵可以是平滑矩阵的逆矩阵，其中平滑矩阵用于获得从编码后的密度信息解码得到的边沿平滑图像的密度信息。

根据该图像解码装置，可以获得用于对原始图像进行平滑的平滑矩阵的逆矩阵，作为用于对边沿平滑图像的边沿部分进行锐化的锐化矩阵。

附图说明

本发明的其它目的、特征和优点可以从下面参照附图给出的详细说明中得到更好的理解，在附图中：

图1显示根据本发明一个实施例的图像编码装置的处理的原理；

图2显示根据本发明一个实施例的图像解码装置执行的处理的原理；

图3是包括根据本发明一个实施例的图像编码装置和图像解码装置的图像传输系统的方框图；

图4显示一个距离图(distance map)的示例；

图5显示一个边沿邻近区域的示例；

图6是显示图像编码装置中的平滑处理的示例的流程图；

图7显示一个平滑滤波器的示例；

图8A-8C显示一个平滑滤波器矩阵，一个单位矩阵和一个用于加权运算的矩阵的示例；

图9显示一个锐化滤波器矩阵的示例；

图10显示在平滑处理中校正亮度的方法的示例；

图11显示一个平滑滤波器的示例；

图12显示一个平滑滤波器校正的另一个示例；

图13显示一个用于平滑处理的掩码区域(mask region)的示例；

图14是显示用于恢复(锐化)边沿平滑图像的一个边沿部分的处理的示例的流程图；

图15是包括图像编码装置和图像解码装置的图像传输系统的另一个配置示例的方框图；

图16是包括图像编码装置和图像解码装置的图像传输系统的再一个配置示例的方框图。

具体实施方式

下面参考附图对本发明的实施例进行说明。

本发明一个实施例的图像编码装置执行的处理的原理例如如图1所示。

如图1所示，为每个像素从由密度信息0(例如亮度级别)表示的原始图像I₀提取边沿信息A，其中边沿信息A代表原始图像I_c的边沿部分I_E。根据诸如JBIG等等的标准编码算法对提取的边沿信息A编码，从而获得编码后的边沿信息A_c。从所提取的边沿信息A，在表示原始图像I_o的密度信息上执行用于对边沿部分I_E进行平滑的处理，从而为每个像素获得边沿平滑图像I₁的密度信息B。根据诸如JPEG之类的标准编码算法对边沿平滑图像I₁的密度信息B编码，从而获得编码后的密度信息B_c。该图像编码装置输出编码后的边沿信息A_c和编码后的密度信息B_c作为编码信息。

根据该图像编码装置，对原始图像I₀的边沿部分I_E进行平滑以获得边沿平滑图像I₁，并对边沿平滑图像I₁编码。由于边沿平滑图像I₁具有相对小的高空间频率分量，即使在应用JPEG这样的使用DCT的标准编码算法时，也可以减少编码中丢失的信息。而且，当通过使用DCT对边沿平滑图像I₁编码时，可以改进围绕边沿平滑图像I₁的边沿的DCT编码效率。因此，如果单独对边沿部分I_E编码，可以防止编码效率的恶化。

而且，由本发明实施例的图像解码装置执行的处理的原理例如如图2所示。

在图2中，根据诸如对应于上述标准编码算法(例如JBIG)的JBIG之类的标准解码算法对编码后的边沿信息A_c解码，从而获得表示原始图像的边沿部分I_c的边沿信息A。而且，根据诸如对应于上述标准编码算法(例如JPEG)的JPEG之类的标准解码算法对编码后的密度信息B_c解码，从而获得边沿平滑图像I’₁的密度信息B’。然后，通过使用边沿信息A在边沿平滑图像I’₁的密度信息B’上执行用于对边沿平滑图像I’₁的边沿进行锐化的锐化处理。然后，获得由每个像素的密度信息0’代表的图像，作为一个对应于原始图像I₀的再现图像I’₀。

如上所述，在该图像解码装置中，对所获得的作为编码信息的编码后的边沿信息A_c和编码后的密度信息B_c进行解码，其中编码后的密度信息B_c对应于边沿平滑图像。通过对编码后的边沿信息A解码，可以再现对应于原始图像I₀的边沿部分的边沿信息。然后，通过使用以上述方式获得的边沿信息，对通过对编码后的密度信息B_c解码获得的边沿平滑图像I’₁的边沿部分进行锐化，从而可以获得再现图像I’。

对于在图像编码装置中获得的边沿平滑图像I₁，尽管该边沿周围的空间分辨率退化，图像信号中的固有视觉信息(密度信息)并没有大量丢失。因此，即使在不执行边沿平滑图像I₁的边沿的锐化处理时，也可以获得一个具有一定质量的图像。因此，边沿信息可以用作原始图像的增强信息。例如，在一个把编码信息从该图像编码装置发送到该图像解码装置的系统中，当由于网络拥塞而无法充分地发送信息时，只有边沿平滑图像I₁的编码后的密度信息可以被发送来作为编码信息。因此，可以把该图像传输系统配置为，在必要时使用边沿信息。

在此情况下，是否发送编码后的边沿信息可以通过图像编码装置和图像解码装置之间的协商来确定。而且，通过给边沿平滑图像的编码后的边沿信息和编码信息指派优先级并通过对这些信息进行IP分组，有可能在因特网路由器中精确地把高优先级信息发送到一个解码方。

接着，将对包括本发明一个实施例的图像编码装置和图像解码装置的示例进行说明。

例如，该图像传输系统如图3所示配置。在该示例中，图像编码装置10和图像解码装置20通过使用诸如JPEG等等的标准化静止图像编码方法和解码方法进行静止图像的压缩和扩展。图像编码装置10包括用于提高围绕阶越边沿的区域(例如主观边沿和特征区域(subject edge and character region))的压缩效率和用于把边沿信息与原始图像分离和分层发送边沿信息的功能。根据这些功能，可以改进图像解码装置20解码获得的围绕图像边沿的主观质量。

在图3中，在该图像传输系统中，通过传输线30把原始图像的编码信息(编码后的边沿信息和编码后的密度信息)从图像编码装置10发送到图像解码装置20。然后，图像解码装置20对编码信息解码，从而获得再现图像。

图像编码装置10包括边沿检测部分11，JBIG编码部分12，距离转换部分13，边沿平滑部分14和JPEG编码部分15。边沿检测部分11从一个输入图像(原始图像)中检测一个边沿部分，并输出代表边沿部分的边沿信息。可以使用一种常规已知的方法作为边沿检测部分11中的检测方法。例如，可以使用一个通用方法，例如苏贝尔算子。而且，考虑到边沿的连续性，可以应用一个用于优化所要平滑的边沿的检测精度的处理。从边沿检测部分11输出的信息是黑白二进制信息。

JBIG编码部分12根据JBIG编码方法对从边沿检测部分11输出的二进制边沿信息进行非失真(可逆)压缩。而且，距离转换部分13把边沿信息转换为一个距离图。由距离转换部分13执行的距离转换处理是一个用于获得图像上的位置(i，j)和位置(m，n)之间的每个距离的分布的处理。例如，边沿部分的一个像素到相邻像素的距离由距离d(f_ij，f_mn)表示，d(f_ij，f_mn)由欧几里德距离，4邻近距离(4 adjacent distance)，8邻近距离(8 adjacent distance)等等定义。该距离图表示从边沿部分的像素到邻近像素的距离值的状态。例如，当距离值由4邻近距离(d(f_ij，f_mn)＝|i-m|+|j-n|)定义时，可以获得图4中所示的距离图。在图4中，每个矩形区域代表一个像素，对角阴影矩形区域是边沿部分的像素。

边沿平滑部分14从距离转换部分13接收距离图(例如图4)，并接收输入图像(原始图像)，为接近图像中该边沿的部分执行平滑处理，从而获得边沿平滑图像。后面将详细说明平滑处理的细节。根据该平滑处理，包括密度急剧变化的阶越边沿等等的边沿部分被平滑。

JPEG编码部分15根据JPEG对代表从边沿平滑部分14接收的边沿平滑图像的密度信息编码。在该编码处理中，执行DCT和量化。由于这些处理是在边沿平滑图像上进行的，可以抑制由于DCT系数的量化引起的在解码图像中视觉上非常显著的图像质量退化，例如块失真，蚊子噪声等等，并且可以减少编码的代码量。

图像编码装置10输出来自JBIG编码部分12的编码后的边沿信息和对应于来自JBIG编码部分12的编码后的边沿信息的编码后的密度信息的JPEG码，以作为编码信息。此时，编码信息和用于标识相同帧的同步信息被多路复用。通过传输线30把多路复用信息从图像编码装置10发送到图像解码装置20。

下面将具体说明边沿平滑部分14的处理。

在该处理中，把一个具有逆矩阵的平滑滤波器矩阵应用于由距离图(图4)定义的一个邻近于边沿的区域(边沿邻近区域)中包括的像素。在矩阵运算中，使用一个重叠运算的方法来抑制平滑滤波器矩阵在其上运算的像素块边界中的视觉效果。

首先，假设输入图像的一个像素位置(i，j)的一个抽样(像素)是p_ij，距离图(图4)上像素位置(i，j)的距离值是d(p_ij)。而且，如图5所示，一个边沿邻近区域R被定义为R＝{p_ij|d(p_ij)＜ε}。把平滑处理执行到边沿邻近区域R中的每个p_ij。

例如，根据图6所示的程序执行平滑处理。

如图6所示，在步骤S1，把像素位置(i，j)初始化为(i＝0，j＝0)，输出图像缓冲器中的所有值被初始化为0。在此状态下，在步骤S2，在逐像素(递增i，j)扫描输入图像的同时判断像素p_ij是否包括在边沿邻近区域R中。更具体地说，判断像素的距离值d(p_ij)是否满足d(p_ij)＜ε。当在步骤S2判断出像素p_ij包括在边沿邻近区域R中时(YES)，在步骤S3-1执行一个矩阵运算v’_ij＝OEv_ij，其中v_i，j代表通过排列以像素p_ij作为中心的一个3×3像素块中的九个像素的图像值I(密度信息)获得的九阶像素块矢量V_ij＝{I(p_i-1j-1)，I(p_i，j-1)，...，I(p_i+1，j+1)}，E代表一个九阶平滑滤波器矩阵，该矩阵是正则矩阵并被定义用于平滑。

平滑滤波器矩阵E被排列为，使得由矩阵运算(EV_ij)把图7所示平滑滤波器中的每个系数与像素块矢量v_ij中包括的每个像素值进行运算。即，平滑滤波器E是图8A所示的一个正则9×9阶矩阵。尽管该9×9阶正则矩阵被用作平滑滤波器矩阵E，这并不是一个限制。E的阶可以是任何值，只要该值与作为矩阵运算的单位的像素块矢量v_ij的阶相同。而且，可以根据所需的平滑运算设置系数。因此，在用于后述解码的逆矩阵存在的条件下，可以自由定义平滑滤波器矩阵E。

为了执行平滑矩阵E(其中排列了平滑滤波器(图7)的系数)和像素块矢量V_ij之间的矩阵运算，在包括在3×3像素块中作为中心的像素p_ij进行平滑滤波器(图7)的运算。因此，根据矩阵运算，执行像素p_ij的平滑。

另一方面，当在步骤2判断出像素p_ij未包括在边沿邻近区域中时(NO)，在步骤S3-2执行一个使用像素块矢量v_ij和图8B中所示九阶单位矩阵P的运算v’_ij＝OPv_ij。当在图像块矢量v_ij上运算单位矩阵P时，像素块矢量v_ij不改变(pv_ij＝v_ij)。因此，在此情况下，不执行平滑处理。

用于矩阵运算v’_ij＝OEv_ij和v’_ij＝OPv_ij的矩阵O如图8C所示配置。由于上述运算是通过一个接一个移位像素p_ij执行的，在对应于3×3像素块的平滑滤波器(图7)重叠的同时(在每个像素变成3×3像素块的中心像素或变成一个周围像素的同时)执行平滑处理。矩阵O用于提供重叠操作中指派的权数。

由矩阵运算获得的运算结果v’_ij＝{I’(p_i-1j-1)，I’(p_i，j-1)，...，I’(p_i+1，j+1)}代表在为3×3像素块的每个像素执行平滑处理后的每个像素值I’。在步骤S4，把像素值I’(p_mn)添加在每个像素p_mn的输出图像缓冲器上。

之后，在步骤S5递增i和j以移位该抽样像素。而且，在步骤S6，判断i和j是否超过表示输入图像的最后像素的S。当i和j都不超过S时，重复执行上述步骤(S2，S3-1或S3-2，S4，S5，S6)。结果，在逐像素扫描输入图像的同时为包括在边沿邻近区域R中的像素p_ij执行平滑处理。之后，当i和j都超过S时，平滑处理结束。在结束时间存储在输出像素缓冲器中的像素的值I’变成代表边沿平滑图像的密度信息(像素值数据)。

如图3所示，图像解码装置20包括JBIG解码部分21，JPEG解码部分22，距离转换部分23，和边沿锐化部分24。图像解码装置20接收编码后的边沿信息和对应于在其中进行分离的边沿平滑图像的JPEG码(编码后的密度信息)，其中把编码后的边沿信息和JPEG码(编码后的密度信息)从图像编码装置10发送作为编码信息。

JBIG解码部分21通过根据JBIG解码方法对所接收的编码后的边沿信息解码产生边沿信息。JPEG解码部分22根据JPEG解码方法对所接收的JPEG码解码，从而产生代表边沿平滑图像的密度信息。以与图像编码装置10中的距离转换部分13所执行的相同方式，距离转换部分23基于来自JBIG解码部分21的边沿信息产生一个距离图(图4)。然后，边沿锐化部分24基于边沿邻近区域的每个像素的距离值，对来自JPEG解码部分22的边沿平滑图像中的边沿部分执行锐化，即，边沿锐化部分24执行边沿部分的强度恢复。

在边沿锐化部分24中，例如，执行以下的边沿锐化处理。

在该处理中，在由距离图定义的边沿邻近区域中包括的像素上进行一个锐化滤波器矩阵E^-1的运算，该矩阵是平滑滤波器矩阵E的逆矩阵。该处理程序与图6所示的相似。在图6的步骤S3-2中，不是使用平滑滤波器矩阵E，而是使用如图9所示配置的锐化滤波器矩阵E^-1用于矩阵运算。

即，当逐像素扫描边沿平滑图像的同时，执行矩阵运算v_ij＝OE^-1v’_ij，其中使用九阶像素块矢量v’_ij＝{I’(p_i-1j-1)，I’(p_i，j-1)，...，I’(p_i+1，j+1)}和锐化滤波器矩阵E^-1。九阶像素块矢量v’_ij是通过排列以包括在边沿邻近区域中的像素p_ij为中心的3×3像素块中包括的每个像素的像素值获得的。结果，为像素p_ij执行锐化。

然后，在为边沿平滑图像的每个像素的上述处理结束时，存储在输出图像缓冲器中的像素的像素值变成对应于原始图像的密度信息。该密度信息被输出到图像解码装置20作为输出图像信息。

根据上述图像传输系统，图像编码装置10检测原始图像(输入图像)的边沿位置，并在邻近边沿的像素上执行平滑处理。因此，防止了在编码时由于该边沿引起的信息丢失，并且防止了编码效率的降低。而且，由于通过使用具有逆矩阵的平滑滤波器矩阵算术地进行矩阵运算来执行边沿的平滑，可以由图像解码装置20通过执行平滑处理的逆运算来容易地执行边沿的锐化，即，可以恢复边沿区域的固有分辨率。

而且，对应于来自图像解码装置20中JPEG解码部分22的边沿平滑图像的输出可以用于显示一个图像等等来作为图像数据(密度信息)。在必要时，边沿信息可以用于恢复边沿强度。这意味着通过向一个遵从当前广泛分布的标准图像编码方法的产品增加一个边沿锐化功能，就可以恢复边沿部分的纹理(texture)。因此，可以实现一个执行图像压缩和扩展的系统，而无需大幅度改变一个支持现有标准图像编码方法的图像编码装置的基本结构。由于对应于所增加的用于恢复边沿强度的功能的处理量比诸如JPEG等等的压缩编码处理的处理量小，可以例如以一个软件模块的方式把该功能增加到图像解码装置中。

接着，将对图像编码装置10中的边沿平滑部分14和图像解码装置20中的边沿锐化部分24的其它示例进行说明。

首先，边沿平滑部分14把输入图像(原始图像)划分为N×N像素块B(例如，8×8像素DCT块)，并为包括原始图像的边沿部分的每个块B执行以下处理。所要处理的块可以包括多个边沿部分。

假设块B中一个像素k的像素值(密度信息：亮度值)是I_k(k∈B)。计算块B中像素的亮度值I_k的平均值E_B。然后，基于在距离转换部分13中产生的距离图(图4)的每个像素的距离值d_k，判断像素k是否在边沿邻近区域内(d_k＜ε)。当判断出像素k在边沿邻近区域R内时，根据距离值d_k校正像素k的亮度值I_k。

不限定基于块B计算平均值E_B。也可以基于一个包括一个边沿部分的预定区域中像素的亮度值计算平均值E_B。

在亮度校正中，判断块B中像素k的亮度值I_k是否高于或低于平均值E_B。然后，如图10所示，当判断出一个像素P₂的亮度值高于平均值E_B时，降低像素p₂的亮度值(↓)。另一方面，当判断出一个像素p₀的亮度值低于平均值E_B时，提高像素P₀的亮度值(↑)。然后，执行亮度值的校正(降低，提高)，使得校正之后(平滑前)块B中像素的亮度值I’_k的平均值E’_B变成与平均值E_B相同，并且使得该校正(降低，提高)与每个像素k的距离值d_k(到边沿部分的距离)成反比。

更具体地说，根据下面用于每个像素的程序，计算一个像素的校正亮度值I_k，其中α是一个常数，满足0＜α＜1。

If(I_k＜E_R)then

I’_k＝I_k+(E_R-I_k)*(1-αd_k)

Else if(I_k＞E_R)then

I’_k＝I_k-(I_k-E_R)*(1-αd_k)

根据该程序，在边沿邻近区域R中具有距离d_k的像素k的亮度值I_k被校正，使得亮度值I_k向平均值E_R移近一个平均值E_R和亮度值I_k之间的加权差值，其中根据该距离为该差值指派一个权数。

根据该处理，跨越边沿部分排列的像素的亮度值被校正，使得这些像素的亮度值的变化变小(即，使得亮度值向平均值E_B移近)。因此，边沿部分的亮度的变化变小，使得边沿部分被平滑。

在图像解码装置20中对通过根据上述程序进行平滑获得的边沿平滑图像进行锐化的边沿锐化部分24中，以与平滑处理相似的方式进行处理。

与上述方式相同，由JPEG解码部分22获得的边沿平滑图像被划分为N×N像素块B，并处理每个块。即，在一个包括一个边沿部分的块B中，当边沿邻近区域中的像素k的亮度值I’_k大于块B的亮度值的平均值E’_B时，亮度值I’_k被校正，使得亮度值I’_k被提高，当亮度值I’_k小于平均值E’_B时，亮度值I’_k被降低。更具体地说，在校正之后(锐化之后)每个像素的亮度值I_k由下式计算

$I_k=\frac{{I^{\′}}_k-{E^{\′}}_R*(1-{\mathrm{\αd}}_k)}{{\mathrm{\αd}}_k}$ 和 ${E^{\′}}_R=\frac{1}{N}\underset{k\∈R}{\mathrm{\Σ}}{I^{\′}}_k$

根据该锐化处理，跨越边沿部分排列的像素的亮度值被校正，使得边沿平滑图像中的边沿邻近区域中亮度值的变化变大(即，使得亮度值从平均值E_B移远)。因此，边沿平滑图像中边沿部分的亮度的变化变大，使得边沿部分被锐化(恢复了边沿强度)。

在下一个示例中，图像编码装置10中的边沿平滑部分14把一个输入图像(原始图像)划分为8×8像素块B(DCT块)，并对包括原始图像的边沿部分的每个块B执行以下处理。所要处理的块B可以包括多个边沿部分。

基于来自边沿检测部分11的边沿信息和来自距离转换部分13的距离图，产生平滑滤波器矩阵A(其是一个64×64阶方阵)，其中平滑滤波器矩阵A在一个64阶像素块矢量v上运算，该矢量是通过排列在包括边沿部分的块B(8×8像素块)中包括的像素(64个像素)的像素值I(密度信息)获得的。平滑滤波器矩阵A的结构取决于块B中包括的边沿的位置。

在平滑滤波器矩阵A中，系数被排列为，使得矩阵A和像素块矢量v之间的矩阵运算等效于由一个3×3像素块的平滑滤波器(例如图11)在8×8像素块的一个边沿部分或邻近区域(例如，图4中的对角阴影区)中的一个像素上执行的平滑处理。

更具体地说，平滑滤波器矩阵A的结构如图12所示。该平滑滤波器矩阵A的结构用于的情况是，仅有位置(m，n)的一个像素包括在边沿部分或邻近区域中。

在基于边沿信息和距离图获得了平滑滤波器矩阵A之后，执行矩阵运算v’＝Av，其中使用对应于块B的像素块矢量v和平滑滤波器矩阵A。在执行了平滑之后由该矩阵运算获得的矢量v’的每个元素(校正的像素值)成为一个块中每个像素的一个像素值。因此，平滑处理在该块中执行。

平滑滤波器矩阵A(图12)的结构和考虑的平滑滤波器(图11)的结构不限于上述示例。在必要时，它们可以改变。

在图像解码装置20中对根据上述程序的平滑处理获得的边沿平滑图像执行锐化的边沿锐化部分24中，根据与上述平滑处理相似的程序执行处理。对于锐化处理，基于块中的边沿部分和邻近区域(由边沿信息和距离图定义)，为每个块(8×8像素块)产生一个锐化滤波器矩阵A^-1，其是平滑滤波器矩阵A的逆矩阵。然后，由边沿平滑图像的每个块的矩阵运算v＝A^-1v’获得一个边沿锐化图像(恢复了边沿强度)的像素值，其中该矩阵运算使用一个由每个块中包括的像素的像素值构建的像素块矢量v’和锐化滤波器矩阵A^-1。

在这种图像编码和解码方法中，有必要产生对应于每个块的边沿位置的平滑滤波器矩阵A和逆矩阵A^-1。但是，可以配置一个在垂直和水平具有最大八阶抽头的滤波器，可以获得希望的平滑特性。

在下一个示例中，图像编码装置10中的边沿平滑部分14通过在被判断为位于输入图像(原始图像)中边沿邻近区域(图5)内的每个像素p(p∈R)的像素值x(密度信息)上执行以下处理来计算每个像素p的平滑像素值x’。

例如，如图13所示，定义一个3像素×3像素的掩码区域，其中像素p位于中心，掩码区域中围绕一个像素p的八个像素p₁-p₈的像素值x₁-x₈的平均值是C。那么，考虑周围像素的像素值x₁-x₈的平均值，由x’＝(1-λ)x+λC(方程1)获得被平滑的像素p的像素值x’。在该方程中，λ是一个等于或小于0.5的正常数，并且可以是该范围内的任何值。在值λ变大时，周围像素的像素值(平均值C)反映到像素值x’的比率变得更大，使得平滑程度变大。尽管在该示例中围绕像素p的八个像素p₁-p₈的像素值的平均值被用作值C，也可以通过其它方法确定C，只要反映出周围像素的密度状态。在此情况下，根据确定C的方法，可以把λ的值确定为一个正数。

在图像解码装置20中，边沿锐化部分24对由上述平滑处理获得的边沿平滑图像(从JPEG解码部分22输出的边沿平滑图像)的边沿部分进行锐化。例如，以如下方式执行锐化处理。

恢复原始像素值x，其中原始像素值x和边沿邻近区域R的像素的像素值x’之间的关系由方程1表示，其中像素值x’可以从来自距离转换部分23的边沿信息获得。在此情况下，由于要处理的主体是边沿平滑图像，与用于平滑处理的平均值C相同的值在该处理中不能被用作周围像素的像素值的平均值C，其中在该平滑处理中处理输入图像(原始图像)。因此，通过重复遵从最陡下降法的运算恢复原始图像值x。在假设恢复的像素值是

时，由于从方程1可知满足 $\hat{x}+\frac{1}{1-\mathrm{\λ}}\left({\mathrm{\λC}-x}^{\′}\right)=0,$ 定义 $e\left(X\right)={(X+\frac{1}{1-\mathrm{\λ}}\left({\mathrm{\λC}\left(n\right)-x}^{\′}\right))}^2$ (方程2)。然后，把恢复的像素值定义为使e(X)最小的X。由于C依据X的计算过程而改变，C被描述为使得该值取决于重复数n。

根据最陡下降法，由下面的递推方程 $X(n+1)=X\left(n\right)-G*\frac{\∂e}{\∂X}$ (方程3)的收敛值获得使e(X)最小的X。在该方程中，G是一个小常数，并基于由恢复的像素值代表的实际图像的状态被确定为一个最佳值。

例如，根据图14所示的程序执行通过方程3的重复运算获得每个像素的恢复像素值的处理。

在图14中，首先，在步骤S11初始化一个输出缓冲器，并在步骤S12为每个变量设置一个初始值。即，为重复计数n设置初始值“0”(n＝0)，并为每个像素p_ij的恢复图像值x_ij的初始像素值x_i，j(0)设置边沿平滑图像的像素值x’。而且，为对应于每个像素p_ij的每个标志Flag(i，j)设置“0”(Flag(i，j)＝0)。标志Flag(i，j)表示后述的重复运算是否使像素p_ij的恢复像素值收敛。在此状态下，在步骤S13中计算边沿平滑图像中围绕像素p_ij的八个像素的像素值的平均值C_ij(n)，在步骤S14中由 $\frac{\&PartialD;e}{\&PartialD;X}(X=\mathrm{Xij}\left(n\right))$ (方程4)计算方程2中e(X)的微分值。然后，在步骤S15判断该微分值是否满足一个条件 $\left|\frac{\&PartialD;e}{\&PartialD;X\left(n\right)}\right|<\mathrm{\&epsiv;}$ (ε：常数)(方程5)。

如果不满足该条件(步骤S15中的N)，即，如果不认为像素p_ij的恢复像素值收敛到一个值，那么在步骤S16通过使用C_ij(n)和微分值根据方程3计算X_ij(n+1)。当如此获得恢复图像值X_ij(n+1)时，在步骤S17把输出缓中器中像素p_ij的恢复像素值X_ij(n)更新为X_ij(n+1)。

之后，在步骤S18判断是否已经为边沿平滑图像中的边沿邻近区域R中的所有像素执行了该处理。当所有像素的处理没有完成时(步骤S18中的N)，在步骤S19中递增(i，j)，从而改变所要处理的像素。

当所要处理的像素改变时，在步骤S20判断标志Flag(i，j)是否是“0”。当该标志Flag(i，j)是“0”时，意味着该像素的恢复像素值不收敛。因此，在步骤S13计算围绕该像素的八个像素的像素值(恢复像素值)的平均值C(n)，并且在步骤S14根据上述方程4计算该微分值。然后，在步骤S15判断是否满足由方程5代表的条件，即判断是否可以认为恢复像素值是收敛的。当不满足该条件时(步骤S15中的N)，以与上述处理相同的方式，在步骤S16根据上述方程3计算X_ij(n+1)，并在步骤S17把输出缓冲器中像素p_ij的恢复像素值更新为X_ij(n+1)。

此后重复类似处理(S18，S19，S20，S13-S17)。然后，当判断出边沿平滑图像中边沿邻近区域R中的所有像素的上述处理完成时(S18中的Y)，在步骤S21判断像素的每个标志Flag(i，j)是否是“1”，即，判断是否可以认为每个像素的恢复图像值是收敛的。

当判断出所有像素的标志Flag(i，j)不都是“1”时(步骤S21中的N)，在步骤S22递增重复计数n，并把(i，j)设置为初始值(0，0)，使得被首先处理的像素p₀₀再次被选择作为一个要处理的像素。然后，在步骤S20判断对应于像素p₀₀的标志Flag(0，0)是否是“0”。当标志Flag(0，0)是“0”时，根据上述处理(S13-S17)更新像素p₀₀的恢复像素值。然后，在逐一改变所要处理的像素时重复地执行上述处理(S20，S13-S19，S21)。

在此过程中，如果满足由方程5代表的条件(步骤S15中的Y)，在步骤S23可以认为对应于输出缓冲器中存储的像素p_ij的恢复像素值X_ij(n)是收敛的，并且把像素p_ij的标志Flag(i，j)设置为“1”。此后重复上述处理(S18-S20，S13-S17，S18，S21，S22)。在这些处理中，每当满足由方程5代表的条件时(S15中的Y)，把对应于像素p_ij的标志Flag(i，j)设置为“1”。

当判断出每个所要处理的像素的标志Flag(i，j)是“1”时(S21中的Y)，即，当认为每个所要处理的像素的恢复像素值收敛时，边沿平滑图像的边沿部分的锐化处理完成。此时，把所有像素的恢复像素值X存储在输出缓冲器中。

根据对原始图像的边沿部分的平滑处理和对由平滑处理获得的边沿平滑图像的边沿部分的锐化处理，通过根据方程1不考虑每个像素的锐化程度执行上述重复运算可以获得具有相对较高精度的恢复像素值。而且，通过适当地设置边沿恢复处理(边沿锐化处理)中的参数，可以降低重复处理的重复次数，从而减少处理时间。

下面，将描述图像编码装置10和图像解码装置20的其它结构示例。

在图15中显示的图像传输系统中，执行运动图像的编码和解码。因此，使用MPEG-4视频编码部分16和MPEG-4视频解码部分25，而不是图3中的图像编码装置10中的JPEG编码部分15和图像解码装置20中的JPEG解码部分22。

在图像编码装置10中，在MPEG-4视频编码部分16中根据MPEG-4的标准方法对由输入图像的边沿平滑处理获得的一个边沿平滑图像的帧图像进行视频压缩和编码。结果，可以获得MPEG-4码作为编码信息。

在图像解码装置20中，由MPEG-4视频解码部分25对每个帧图像的MPEG-4码进行解码。然后，边沿锐化部分24通过使用相应边沿信息对每个解码帧图像进行边沿锐化处理。因此，从图像解码装置20中输出对应于原始图像(运动图像)的一个运动图像。

在图16所示的图像传输系统中，执行运动图像的编码和解码。在该图像传输系统中，使用MPEG-4形状编码部分17和MPEG-4形状解码部分26，而不是如图3所示的图像编码装置10中执行边沿信息的编码的JBIG编码部分12和图像解码装置20中执行编码后的边沿信息的解码的JBIG解码部分21。

在图像编码装置10中，由MPEG-4形状编码部分17无失真地对边沿信息压缩和编码。因此，除了在每个封闭帧内对边沿图像编码以外，可以通过使用在时间方向上各个帧之间的相关来压缩边沿图像。因此，可以改进边沿信息的压缩效率。而且，MPEG-4形状编码部分17通过使用MPEG-4核心简档(coreprofile)的BINARY ONLY编码模式，可以输出只有二进制图像数据的代码(MPEG-4形状代码)作为编码后的边沿信息。然后，仅通过提供一个遵从MPEG-4核心简档的解码部分(MPEG-4形状解码部分26和MPEG-4视频解码部分25)，和提供一个用于在MEPG-4形状代码上执行处理的功能(用于距离转换之后的边沿锐化)，可以构造出执行所需操作的图像解码装置20。

在上述每个示例中，尽管图像解码装置20对通过从图像编码装置10发送的边沿平滑图像的密度信息的编码获得的编码后的边沿信息和编码后的密度信息进行解码，可以通过使用一个诸如MO(磁光盘)之类的记录介质把每个编码信息提供给图像解码装置20。

而且，通过对边沿平滑图像的密度信息的编码获得的编码后的密度信息和未编码后的边沿信息可以被提供给图像解码装置20。在此情况下，图像解码装置20通过基于利用某种方式(从传输线接收，从记录介质读取等等)获得的边沿信息对密度信息执行锐化处理，获得一个再现图像，其中密度信息是通过对编码后的密度信息解码获得的。

如上所述，根据本发明，相对高空间频率分量在通过对原始图像的边沿部分进行平滑获得的边沿平滑图像中减少。因此，即使当根据一个标准编码算法对图像编码时，编码所导致的丢失信息也减少。结果，可以实现即使在应用了使用DCT的标准编码/解码方法时也获得低失真解码图像的图像编码和解码方法。

而且，根据本发明，可以实现根据该图像编码和解码方法对图像进行编码和解码的图像编码装置和图像解码装置。

本发明不限于特定公开的实施例，在不偏离本发明范围的条件下，可以有很多变型和改进。

Claims (27)

1.一种图像编码和解码方法，其中图像编码装置把编码信息发送到图像解码装置，该编码信息是通过对原始图像编码获得的，所述图像解码装置对所述编码信息解码以获得一个再现图像，所述图像编码装置执行以下步骤：

提取边沿信息，该边沿信息代表所述原始图像的一个边沿部分；

通过对所述边沿部分进行平滑从所述原始图像获得一个边沿平滑图像的密度信息；

通过根据第一编码算法对所述边沿信息编码获得编码后的边沿信息；

通过根据第二编码算法对所述边沿平滑图像的所述密度信息编码获得编码后的密度信息；

把所述编码后的边沿信息和所述编码后的密度信息作为所述编码信息发送到所述图像解码装置；和

所述图像解码装置执行以下步骤：

通过根据对应于所述第一编码算法的第一解码算法对所述编码后的边沿信息解码获得所述边沿信息；

通过根据对应于所述第二编码算法的第二解码算法对所述编码后的密度信息解码获得所述边沿平滑图像的所述密度信息；

通过使用所述边沿信息对所述边沿平滑图像的所述边沿部分进行锐化，从所述边沿平滑图像的所述密度信息获得所述再现图像。

2.根据权利要求1的图像编码和解码方法，所述图像编码装置通过在逐像素扫描所述原始图像的同时执行以下步骤来对所述边沿部分进行平滑：

通过使用第一块密度信息矢量和一个平滑矩阵执行第一矩阵运算，其中所述第一块密度信息矢量是通过排列一个第一块中包括的每个像素的密度信息获得的，所述第一块包括所述边沿部分中或所述边沿部分的一个邻近区域中的一个像素，并包括围绕所述像素的一个周围区域中的像素，所述第一块密度信息矢量的阶对应于所述第一块中像素的数目，并且其中所述平滑矩阵包括用于在所述第一块中每个像素的密度信息上运算的边沿平滑系数；

通过在逐像素扫描所述原始图像的同时对通过在每个像素上执行所述第一矩阵运算获得的所述第一块中每个像素的密度信息进行重叠，获得每个像素的平滑密度信息。

3.根据权利要求2的图像编码和解码方法，所述图像解码装置通过在逐像素扫描所述边沿平滑图像的同时执行以下步骤来对所述边沿平滑图像的所述边沿部分进行锐化：

通过使用第二块密度信息矢量和一个锐化矩阵进行第二矩阵运算，所述锐化矩阵是所述平滑矩阵的逆矩阵，其中所述第二块密度信息矢量是通过排列包括在一个第二块中的每个像素的密度信息获得的，所述第二块包括所述边沿部分中或所述边沿部分的一个邻近区域中的一个像素和所述周围区域中的像素，并且所述第二块密度信息矢量的阶对应于所述第二块中像素的数目；和

通过在逐像素扫描所述边沿平滑图像的同时对通过在每个像素上进行所述第二矩阵运算获得的所述第二块中每个像素的密度信息进行重叠，获得每个像素的锐化密度信息。

4.根据权利要求1的图像编码和解码方法，所述图像编码装置通过执行以下步骤对所述边沿部分进行平滑：

根据第一方程x’＝(1-λ)x+λC获得所述边沿平滑图像的所述边沿部分的一个像素的密度信息x’，其中λ是一个正常数，x是所述原始图像的所述像素的密度信息，C是代表所述像素的一个周围区域的密度状态的周围密度信息。

5.根据权利要求4的图像编码和解码方法，所述图像解码装置通过使用一个根据最陡下降法的预定方程对所述边沿平滑图像的所述边沿部分进行锐化，所述预定方程是根据由所述第一方程表示的所述密度信息x’和锐化密度信息之间的关系定义的。

6.根据权利要求5的图像编码和解码方法，其中所述预定方程是 $e\left(X\right)={(X+\frac{1}{1-\mathrm{\&lambda;}}(\mathrm{\&lambda;C}\left(n\right)-x^{\&prime;}))}^2,$ 其中C(n)是一个具有密度信息x’的像素的所述周围密度信息，n是一个重复计数，由所述最陡下降法获得使e(X)最小的X值，所述X值成为锐化之后一个像素的密度信息。

7.根据权利要求6的图像编码和解码方法，其中，在一个根据所述最陡下降法的过程中，作为递推公式 $X(n+1)=X\left(n\right)-G*\frac{\&PartialD;e}{\&PartialD;X}$ 的收敛值获得X，其中G是一个常数。

8.一种图像编码装置，包括：

边沿提取部分，用于提取边沿信息，该信息表示原始图像的一个边沿部分；

边沿平滑部分，用于通过对所述边沿部分进行平滑从所述原始图像获得边沿平滑图像的密度信息；

第一编码部分，用于通过根据第一编码算法对所述边沿信息编码获得编码后的边沿信息；

第二编码部分，用于通过根据第二编码算法对所述边沿平滑图像的所述密度信息编码获得编码后的密度信息；

其中所述编码后的边沿信息和所述编码后的密度信息是所述原始图像的编码信息。

9.根据权利要求8的图像编码装置，所述边沿平滑部分包括密度信息校正部分，用于校正每个像素的密度信息，使得由所述原始图像的所述边沿部分的一个邻近区域中跨越所述边沿部分排列的像素的密度信息所表示的密度级别的变化降低。

10.根据权利要求9的图像编码装置，所述密度信息校正部分包括：

平均值计算部分，用于计算一个预定区域中所述密度级别的平均值；和

密度级别判断部分，用于判断一个像素的所述密度级别是否高于或低于所述邻近区域中每个像素的所述平均值；

其中为一个所述密度级别高于所述平均值的像素校正密度信息，使得所述密度级别降低，并且为一个所述密度级别低于所述平均值的像素校正密度信息，使得所述密度级别提高。

11.根据权利要求10的图像编码装置，其中所述密度信息校正部分校正所述邻近区域中每个像素的密度信息，使得所述密度级别的所述平均值不变化。

12.根据权利要求8的图像编码装置，所述边沿平滑部分包括：

平滑矩阵产生部分，用于为每个包括所述边沿部分或所述边沿部分的一个邻近区域的块产生一个平滑矩阵，所述平滑矩阵用于与一个块密度信息矢量的矩阵运算，其中所述块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，所述块密度信息矢量的阶对应于所述块中像素的数目，并且其中所述平滑矩阵包括用于在所述块中的所述边沿部分或所述邻近区域中每个像素的密度信息上运算的边沿平滑系数；和

矩阵运算部分，用于通过使用所述平滑矩阵和所述块密度信息矢量进行矩阵运算，获得所述块中每个像素的平滑密度信息。

13.根据权利要求8的图像编码装置，所述边沿平滑部分包括；

像素判断部分，用于在逐像素扫描所述原始图像的同时判断所述边沿部分或所述边沿部分的一个邻近区域中是否存在一个像素；

矩阵运算部分，用于在所述边沿部分或所述邻近区域中存在所述像素时，通过使用一个块密度信息矢量和一个平滑矩阵进行矩阵运算，其中所述块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，所述块包括所述像素和围绕所述像素的一个周围区域中的像素，并且所述块密度信息矢量的阶对应于所述块中像素的数目，并且其中所述平滑矩阵包括用于在所述块中每个像素的密度信息上运算的边沿平滑系数；

运算部分，用于通过在逐像素扫描所述原始图像的同时对通过在每个像素上执行所述矩阵运算所获得的所述块中每个像素的密度信息进行重叠，获得每个像素的平滑密度信息。

14.根据权利要求13的图像编码装置，所述像素判断部分包括：

距离转换部分，用于产生表示所述边沿部分和每个像素之间距离的距离信息；和

距离判断部分，用于判断每个像素的所述距离信息是否等于或小于一个预定值；

其中当判断所述距离信息等于或小于所述预定值时，判断出在所述边沿部分或所述邻近区域中存在一个对应于所述距离信息的像素。

15.根据权利要求8的图像编码装置，其中所述边沿平滑部分根据一个方程x’＝(1-λ)x+λC获得所述边沿平滑图像的所述边沿部分的一个像素的密度信息x’，其中λ是一个正常数，x是所述原始图像的所述边沿部分的所述像素的密度信息，C是代表所述像素的一个周围区域的密度状态的周围密度信息。

16.一种图像解码装置，对包括编码后的边沿信息和编码后的密度信息的编码信息解码，其中编码后的边沿信息表示原始图像的一个边沿部分，编码后的密度信息表示一个边沿平滑图像，所述图像解码装置包括：

第一解码部分，用于通过根据第一解码算法对所述编码后的边沿信息解码获得表示所述边沿部分的边沿信息；

第二解码部分，用于通过根据第二解码算法对所述编码后的密度信息解码获得所述边沿平滑图像的密度信息；

边沿锐化部分，用于通过使用所述边沿信息对所述边沿平滑图像的所述边沿部分进行锐化，从而获得一个再现图像。

17.根据权利要求16的图像解码装置，所述边沿锐化部分包括密度信息校正部分，用于校正所述边沿平滑图像的每个像素的密度信息，使得由所述边沿平滑图像的所述边沿部分的一个邻近区域中跨越所述边沿部分排列的像素的密度信息所表示的密度级别的变化提高。

18.根据权利要求17的图像解码装置，所述密度信息校正部分包括：

平均值计算部分，用于计算一个预定区域中所述密度级别的平均值；和

密度级别判断部分，用于判断一个像素的所述密度级别是否高于或低于所述邻近区域中每个像素的所述平均值；

其中为一个所述密度级别高于所述平均值的像素校正密度信息，使得所述密度级别提高，为一个所述密度级别低于所述平均值的像素校正密度信息，使得所述密度级别降低。

19.根据权利要求18的图像解码装置，其中所述密度信息校正部分校正所述邻近区域中每个像素的密度信息，使得所述密度级别的所述平均值不改变。

20.根据权利要求16的图像解码装置，所述边沿锐化部分包括：

锐化矩阵产生部分，用于为所述边沿平滑图像中所述边沿部分或所述边沿部分的一个邻近区域中的每个块产生一个锐化矩阵，该矩阵用于与一个块密度信息矢量的矩阵运算，其中所述块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，并且所述块密度信息矢量的阶对应于所述块中像素的数目，并且其中所述锐化矩阵包括用于在所述块中所述边沿部分或所述边沿部分的一个邻近区域中的每个像素的密度信息上运算的边沿锐化系数；和

矩阵运算部分，用于通过使用所述锐化矩阵和所述块密度信息矢量进行所述矩阵运算，获得所述块中每个像素的锐化密度信息。

21.根据权利要求20的图像解码装置，其中所述锐化矩阵产生部分产生一个平滑矩阵的逆矩阵来作为所述锐化矩阵，其中所述平滑矩阵用于获得从所述编码后的密度信息解码得到的所述边沿平滑图像的密度信息。

22.根据权利要求16的图像解码装置，所述边沿锐化部分包括：

像素判断部分，用于在逐像素扫描所述边沿平滑图像的同时判断在由所述边沿信息表示的所述边沿部分中或在所述边沿部分的一个邻近区域中是否存在一个像素；

矩阵运算部分，用于在所述边沿部分或所述邻近区域中存在所述像素时，通过使用一个块密度信息矢量和一个锐化矩阵进行矩阵运算，其中所述块密度信息矢量是通过排列一个块中包括的每个像素的密度信息获得的，所述块包括所述像素和围绕所述像素的一个周围区域中的像素，并且所述块密度信息矢量的阶对应于所述块中像素的数目，并且其中所述锐化矩阵包括用于在所述块中每个像素的密度信息上运算的边沿锐化系数；

运算部分，用于通过在逐像素扫描所述边沿平滑图像的同时对通过在每个像素上进行所述矩阵运算获得的所述块中每个像素的密度信息进行重叠，获得每个像素的锐化密度信息。

23.根据权利要求22的图像解码装置，所述像素判断部分包括：

距离转换部分，用于产生表示所述边沿部分和每个像素之间距离的距离信息；和

距离判断部分，用于判断每个像素的所述距离信息是否等于或小于一个预定值；

其中当判断所述距离信息等于或小于所述预定值时，判断出在所述边沿部分或所述边沿平滑图像的所述邻近区域中存在一个对应于所述距离信息的像素。

24.根据权利要求22的图像解码装置，其中所述锐化矩阵是一个平滑矩阵的逆矩阵，其中所述平滑矩阵用于获得从所述编码后的密度信息解码得到的所述边沿平滑图像的密度信息。

25.根据权利要求16的图像解码装置，其中所述边沿锐化部分通过使用一个根据最陡下降法的预定方程对所述边沿平滑图像的所述边沿部分进行锐化，所述预定方程是根据由第一方程x’＝(1-λ)x+λC表示的所述边沿平滑图像的所述边沿部分的一个像素的密度信息x’和锐化密度信息之间的关系定义的，其中λ是一个正常数，x是所述原始图像的所述像素的密度信息，C是代表所述像素的一个周围区域的密度状态的周围密度信息。

26.根据权利要求25的图像解码装置，其中所述预定方程是 $e\left(X\right)={(X+\frac{1}{1-\mathrm{\&lambda;}}\left(\mathrm{\&lambda;C}\left(n\right)-x^{\&prime;}\right))}^2,$ 其中C(n)是一个具有密度信息x’的像素的所述周围密度信息，n是一个重复计数，由所述最陡下降法获得使e(X)最小的X值，所述X值成为锐化之后一个像素的密度信息。

27.根据权利要求26的图像解码装置，其中，在一个根据所述最陡下降法的处理中，作为递推公式 $X(n+1)=X\left(n\right)-G*\frac{\&PartialD;e}{\&PartialD;X}$ 的收敛值获得X，其中G是一个常数。

Images