CN1288639A - 视频信号处理方法和装置 - Google Patents

Abstract

本方法和装置提供一种能力,涉及存储一部分收到的节目,和访问存储的信息,并在作为输出信号重放期间,提供这部分节目的时间压缩版本。当观看时,时间压缩信号以原来持续时间的一部分提供节目部分。当重放完成时,时间压缩信号由原来的输入视频信号替换。在主要画面显示输入视频信号的同时,重放信号可以显示为辅助的画面。在重放期间,新的时间压缩的信息能被存储。新数据的重放发生的速率比存储速率快,因此结果是有一个时刻,重放中产生的‘过去的’信号和原来收到的信号在时间上一致;在这时输出信号自动切换回到接收的节目信号。

Description

视频信号处理方法和装置

本发明涉及在音频-视频系统中的数字信号处理，如电视接收机(有或没有显示设备)和机顶盒如数字卫星接收机。

例如使用录像机(VCR)录制音频-视频信号，是常见的。当观众想要在以后方便的时间观看节目时，录制很有用。当录制的节目重放时，观众能选择他想要看的节目部分，或能在任何时间中断重放，例如要接电话时。然而，当观看正在接收的节目时，观众不能中断节目。与他人谈话或离开房间，可能使观众不能‘实时’看到接收的节目(也就是，没有录制在录像带上)，如从广播卫星信号提供者、广播电视台或有线电视接收的。

前述的问题能通过提供一种处理所接收到的表示视频节目的视频信号的方法克服，这方法包括以下措施，处理表示在第一时间间隔发生的节目部分的数字数据，产生第一信号成分；第一信号成分表示时间压缩的视频信号部分；在第二时间间隔提供带有第一信号成分的输出信号；当第二时间间隔结束时，用表示输入视频信号的第二信号成分代替输出信号中的第一信号成分。

按照本发明的一个方面，第一信号成分在重放模式工作期间包括在输出信号中，并且在重放模式期间，连续存储新的时间压缩信息。重放模式下，时间压缩信息的输出速率比新数据存储的速率快。在某一时刻输出的数据与存储的数据相同，该时刻被检测到，并作为表示第二时间间隔的结束，并且响应于检测到第二时间间隔的结束，第一信号成分被输出信号中的第二信号成分自动替换。

本发明可以在一种系统上实现，其在多画面显示模式工作期间产生代表多画面图像的输出信号。输出信号适合于耦合到显示器件，同时显示第一和第二图像区。第一信号成分显示在第一图像区，第二信号成分显示在第二图像区。重放模式的激活能自动激活多画面显示模式，并且多画面显示模式自动在第二时间间隔结束时终止。

本发明的另一个方面涉及当重放模式工作激活时自动改变显示特征。

本发明能通过参照下面的详细描述和附图而更好的理解，其中：

图1是方框图，表示音频/视频信号处理系统，该系统体现了本发明的各方面；

图2是方框图，表示图1所示系统的视频信号处理部分的一个实例；

图3，4和5表示信号时序图，能帮助理解图2所示系统的工作；

图6是方框图，表示图1所示系统的视频信号处理部分的另一个实例；

图7表示图1所示系统的音频信号处理部分的一个实例。

图1表示体现了本发明各方面的方框图，实现了在这里称为‘返回当前’的重放能力。在图中，相对宽的信号线代表传输多比特并行数字信号的总线，相对窄的信号线代表传输单比特控制和模拟信号的连线。在图1中，视频和音频输入信号，分别表示为‘数字视频数据’和‘数字音频数据’，是首先分别在各自的数据缩减电路10和11中处理的数字数据信号。视频和音频数据压缩方法是专业人士所熟知的，这里不作讨论。例如，MPEG编码是一种众所周知的数据缩减(或压缩)方法。如果输入信号中的一个已经被压缩，例如输入信号是MPEG编码的，相应的数据缩减功能可能不需要。

每一个数据缩减电路后面是一个对应的数据时间压缩电路12和13。时间压缩电路减少数据传输率，例如，通过抛弃部分数据而实现。时间压缩因数‘F’定义为：

F＝输出信号数据传输率/输入信号数据传输率，这里F＜1。

时间压缩后，视频和音频数据存储在各自的存储器14和15中，存储器是先进先出(FIFO)存储器。尽管图1中表示了两个存储器，有可能只使用一个存储器存储音频和视频信号。重放时间取决于存储数据的多少，和存储器大小。取决于存储器大小，重放时间可能从几秒到几分钟。视频存储器14有充足的容量来存储‘M’个视频信息组。假设为PAL和NTSC标准，一个视频信息组与垂直偏转率一致，也就是，每20ms或16.683ms产生一视频信息组。在其他数字系统中，例如MPEG，信息组可能以不同的方式定义。例如MPEG编码信号中的一个信息组可能对应预定的MPEG编码数字数据包的数量。

音频和视频存储器输出耦合到各自的音频和视频开关16和17的输入端‘B’。每一个开关的输入‘B’也标记为‘过去的’，表示耦合的信号代表过去时间的视频和音频节目，也就是信号代表存储的信息。原来的音频和视频输入信号耦合入各自开关的输入端‘A’。‘A’输入也表示为‘当前的’输入，表示耦合的信号代表当前时间的视频和音频节目，也就是未存储的。两种开关由信号‘选择A/B’控制，该信号是信息组计数器的输出信号。这个计数器的输入信号是‘重放’和‘场频率时钟’。一般地，信号‘选择A/B’在第一逻辑电平，例如‘0’电平，其在输入端‘A’选择‘当前的’信号。当用户希望重放‘过去的’录像时，用户激活‘返回当前’功能，例如按下遥控器上的‘重放’键。重放功能的激活在场计数器18的输入端引起重放信号，从第一逻辑电平如低电平‘0’，改变到第二逻辑电平如高电平‘1’。这个逻辑电平的改变使计数器能以等于场频率时钟的频率开始计数。同时，输出信号‘选择A/B’改变为第二逻辑电平如逻辑‘1’，以使‘过去的’信号在输入端B被选择。

在重放时间等于T_重放之后，计数器18被复位，由此它的输出信号‘选择A/B’又变为第一逻辑电平例如逻辑‘0’电平，原来的接收信号在输入‘A’，也就是选定‘当前的’信号。计数时间T_重放由下面的方程决定：

T_重放＝〔M/(1-F)〕·T_场

其中T_场是场周期。对于PAL制式T_场＝20ms，对于NTSC制式T_场＝16.683ms。重放时间恰巧结束于重放序列‘过去的’信号与接收的‘当前的’信号一致的时刻。下面的描述和提供的例子进一步解释所描述系统的工作。

图2用更多的细节表示图1所示系统一部分的典型实例。图2所示系统包含带有多画面功能的电视机的一部分。图2所示系统产生的输出信号带有表现主画面的第一信号成分和表现第二或辅助画面的第二信号成分。图2所示实例涉及画中画或PIP系统，其中辅助画面是插入主画面中的小画面。可以以与图2所示那样不同的方式实施本发明。例如本发明应用于画外画或POP系统，其中辅助画面在主画面外部，如靠边显示。图2的实例也包括两个调谐器21和22来实现多画面功能。然而，本发明也可应用于单调谐器系统，如图6所示系统或类似于图2所示系统，但其中第二视频信号是从其他来源接收，而不是包括在系统中的第二调谐器，例如从外部设备如VCR的一个调谐器接收。

图2中，调谐器21接收主要信号，调谐器22接收第二信号用于产生表示辅助或PIP图像的信号成分。按照本发明的一个方面，在图2所示的实例中，第二调谐器也就是调谐器22的输出，用来提供被存储以供重放的信号，并且只要PIP窗口没有显示在屏幕上，调谐器22就自动与调谐器21调谐到相同的频道。这保证存储的重放节目与用户在主画面中看到的节目一致，也就是与调谐器21的输出一致。

解调的和模数转换的PIP视频数据被耦合到数据压缩电路23，23作为PIP功能的一部分已经包括在系统中。数据压缩电路23的输出信号耦合到32MB DRAM模块24的双向数据输入/输出‘D0...D7’脚，和三态缓冲器25的输入端，另外还送到三态锁存器26的输入端。32MB存储器是便宜的模块，广泛用于计算机中。它包括八个4MB DRAM并行连接在一起。

在控制电路27的输入端的‘重放’信号通常在第一逻辑电平，例如低电平或逻辑‘0’，表示重放是禁止的，同时触发器的‘当前的’和‘过去的’输出信号通常分别在逻辑电平如高电平‘1’和低电平‘0’，表示缓冲器25的输出被使能从而允许选择‘当前的’信号，同时锁存器26的输出被禁止而取消选定‘过去的’信号。三态缓冲器是激活的，而三态锁存器是非激活的并处在高阻抗状态。这样，在节点‘A’的视频数据就是接收到的‘当前的’PIP信号，‘A’是三态缓冲器和三态锁存器的公共输出。然而，非重放模式期间，在节点A的视频数据信号不显示在屏幕上，因为‘当前的’PIP信号与主画面信号表示相同的节目信息(除了PIP信号是数据压缩的)，因此显示实质上与主画面相同的PIP图像是不必要的。

如果观众激活重放模式，例如按下遥控器上的‘重放’键，在控制电路27的输入端的‘重放’信号改变状态，例如变到第二逻辑电平如高电平‘1’。结果是，在控制电路的输出端触发脉冲信号‘场计数器使能’和‘启动’，一起触发场计数器28和触发器29。作为响应，场计数器28开始计数，触发器启动，由此触发器的‘当前的’和‘过去的’输出信号改变状态，例如分别变为低电平‘0’和高电平‘1’。这引起三态缓冲器为非激活，并处于高阻抗状态，三态锁存器处于激活状态。在这情况下，三态缓冲器和三态锁存器的公共输出端数据是存储的‘过去的’PIP信号，开始以PIP窗口的形式自动显示在屏幕上重放。锁存器输出信号与锁存器时钟上升沿同步，发生在存储器的读周期期间。

场计数器28计数发生在输入视频信号中的场间隔，以决定重放的间隔时间。当计数器产生的计数表示预定场间隔数与已经发生的重放时间‘T_重放’一致时，计数器复位触发器，由此‘当前的’和‘过去的’控制信号分别改变逻辑电平为高电平‘1’和低电平‘0’，表示重放时间结束。重放间隔结束的检测，如用‘过去的’和‘当前的’信号电平的改变表示，引起系统自动改变为非重放模式，并引起‘当前的’接收数据再出现在三态缓冲器的输出端。同时，PIP显示自动禁止，PIP窗口自动消失，只显示主画面。

有三个地址计数器用来寻址DRAM模块24。这些计数器是：带有输出(A0...A21)W的22比特写地址计数器201，带有输出(A0...A21)R的22比特读地址计数器202，和带有输出(A0...A10)RE的11比特刷新地址计数器203。22比特对寻址4MB是必须的。既然DRAM只有11比特地址输入，地址计数器必须多路复用。地址多路复用器204由‘选择A’和‘选择B’信号控制。典型地DRAM控制信号也表示于图2中：WE，RAS0，RAS1，RAS2，RAS3，CAS0，CAS1，CAS2，CAS3。在控制电路的输入端的主时钟频率是17.7344MHz，是PAL彩色副载波频率的4倍(17.7344MHz＝4×4.4336MHz)。这个时钟频率用在PIP处理器如‘PIP2250画中画处理器’中，该处理器由ITT制造。

读地址计数器202是可编程计数器，也就是输出可以预置为与任一逻辑电平同步。计数器202加载输入端的低电平使计数器无效，并引起计数器输出在下一个时钟脉冲之后成为预置值(信号‘设置数据’)。信号‘设置数据’的预置值产生在写地址计数器201的输出端。在重放时间‘T_重放’的开始，在读地址计数器202的输入端的加载控制信号‘加载’改变其逻辑电平，如改为低电平，使能预置工作。假设此时在写地址计数器输出端的当前地址等于‘N’，读地址计数器的预置地址将发生在下一个时钟脉冲，并且是‘N+1’。读周期发生在写周期之前，以使从地址‘N+1’读出的数据是‘oldest’，也就是最早存储在存储器中的视频信息。这个数据是重放信号的开始。

按照本发明的另一方面，图2所示系统也能在重放模式期间，集中观众的注意力在重放的信号显示上。特殊地，图2所示系统包括的单元290，291，292和293提供重放显示强调功能。这个功能和单元290到293的工作在下面详细解释。

图3表示信号波形，描述视频时间压缩是如何实现的。在典型的实例中，每隔一个视频场，在存储器中存储(写入)一个，也就是两个场之一被忽略(F＝1/2)。也可能用其他压缩因数，例如每三个场写两个，F＝2/3，或每六个场写四个，F＝4/6。在图3中，写使能信号每隔一个场被激活，同时读使能信号每场都激活(也见图2)。对于压缩因数F＝1/2，结果是‘存储的’PIP信号比原来的图像快一倍。能从图3看出，每两个场存储64条PIP线，每条线包含128个样本。这些数字只代表可能值，其他值也能使用。只有视频信号的激活部分被存储，也就是不存储同步信号。压缩操作来存储数据，该数据代表在包含这段视频节目的第一时间间隔内接收的信号中视频节目的一部分。时间压缩数据在重放的第二时间间隔内输出。

图4表示信号波形，描述写地址计数器的写时钟。每条视频线有16个寻址周期。既然有8个并行的DRAM块，同一地址能用来在8个不同块处存放8个样本。在这种方式下，每条线的全部样本数等于128(8×16)。刷新时钟独立于写和读时钟，有利之处是能够更快。

图5表示波形，描述8个读/写周期。图5所示的DRAM控制信号是典型的DRAM控制信号，被本领域技术人员所熟悉。应注意的是，按照本发明的一个方面，存储器读周期必须发生在写周期之前，也就是在用当前的数据覆盖之前，先读出过去的数据。

图6表示体现本发明的装置实例的方框图，不包括图2所示的多画面功能。图6中所示部件类似于图2相似标号的部件，将不再详细解释。因为图6的系统不提供辅助画面‘窗口’，以显示重放的‘过去的’图像，重放时接收的‘当前的’图像从屏幕上完全消失，替换为‘过去的’图像。在重放时间‘T_重放’之后，原来的图像画面再出现。

因为只有一个主要图像由图6所示系统产生，在重放模式下就是重放图像，在重放时不可能看到与当前信号相联系的图像。因此，可能出现用户错过重放时当前信号发生的节目部分。然而，本发明的一个方面，涉及在重放期间连续存储时间压缩数据，解决了这个问题。在重放进行的同时，新的时间压缩数据被存储(写操作)在存储器中的数据已经被重放(读操作)的位置。重放发生的速率大于新数据存储的速率。那就是在重放期间，产生重放信号的存储器读操作的速率超过存储新数据的存储器写操作速率。这样，重放将在重放期间逐渐赶上新数据的存储，直到某一时刻，录制的数据立即被重放。在这一时刻，重放已经达到了当前时间，也就是‘返回当前’。该系统检测这一时刻，使用上面描述的场计数器，自动取消重放操作，并重新开始显示当前信号。在重放和第一时间间隔内存储压缩数据，或在第二时间间隔内读出压缩数据。是用第二时间间隔结束，也就是重放结束，表示‘返回当前’的条件。

在图2所示的系统中，所描述的问题不存在，因为重放时出现辅助图像，当前信号显示为主要图像。用户在重放期间能看见当前信号，不会错过节目部分。因此对于图2所示系统，重放期间连续存储数据不必要。然而，图2所示系统中在重放期间连续存储数据是有利的。例如在图2所示系统中实现这个功能会保证PIP图像在重放结束时与主图像相同，PIP图像在重放模式终止时被自动去除。另外，可能会对观众造成混乱，当观众看见两个不同视频信号时，特别是因为在重放模式工作期间，过去的信号(小画面)中的音频信号是激活的(被输出)。

本发明的另一方面涉及集中观众的注意力在重放的图像上，例如，由图2所示系统产生的辅助画面。这能使用不同的方法实现。例如当前信号显示(例如由图2所示系统产生的主画面)颜色能改变，当前信号显示能变为黑白的，当前信号显示的对比度和/或亮度能比重放信号显示的减少，重放信号显示的对比度和/或亮度能比当前信号显示的增加，或使用这些技术的组合。在重放结束时，原来的显示特征重新复位。

本发明的重放信号强调功能包括在图2所示系统中。特别地，对于当前显示和过去的显示指定的画面控制参数(例如一或多种颜色，对比度和亮度参数)，存储在单元290和291中。这些控制特征通过选择器耦合到显示控制单元293，或MUX，292。MUX 292由触发器29的信号‘当前的’控制。这样，当重放模式非激活时(信号‘当前的’在逻辑1)，MUX 292耦合单元290的输出到单元293的控制输入端。作为结果，当前的或主画面的正常图像控制特征，被用来控制和产生主画面。这样，主画面将表现出它的‘正常的’特征如颜色，亮度和对比度。如果重放模式是激活的(信号‘当前的’在逻辑0)，MUX 292耦合单元291的输出到单元293的控制输入端，引起显示控制器改变当前的图像信号，按照‘过去的’模式显示参数。例如当重放模式被激活时，存储在单元291中的数据可能引起显示控制单元293改变主要的或当前的信号的颜色，改变信号为黑白的，减少对比度，减少亮度，或这些改变的组合。这样，当前的信号成为非重点的，实际上强调了重放的显示，引起观众的注意力集中在重放的显示上。当重放结束时，当前信号的显示恢复正常。

各种各样对重放信号强调功能的改变是可能的。例如，尽管图2表示出显示控制单元293处在主要的(当前的)画面信号处理通道上，来改变主画面，类似的功能能包括在PIP(过去的)视频通道上，来改变PIP或过去的图像。那就是，当重放模式激活时，过去的图像能被加强(例如亮度和/或对比度增加)，由此强调重放显示。显示控制单元293也能包括在当前的和过去的信号通道中之一或两者都有，独立的或同时控制过去和当前图像的显示特征。其他增强重放图像的方法也可能使用。例如在多画面显示系统中如图2所示，如上面描述的重放图像，显示为辅助图像，并能替换显示在主画面中。也就是随重放功能的激活，发生主要和辅助画面的‘交换’。重放功能的终止能导致再次交换，在主显示中恢复当前信号。

图7表示一个按照‘返回当前’的能力提供音频信号处理的实例。图7所示系统产生和存储时间压缩音频信息，在重放模式时输出。尽管可能出现压缩的音频信息使音频信息难以理解，输出音频信息的一个主要目的是提供给用户在重放时间间隔内发生的讲话。讲话是不连续的，也就是说，在讲话中有停顿，压缩能利用停顿保留更多的语音信息和基板维护语言的可理解性。图7中，假设音频信号不是数字形式的。模拟音频信号首先通过截止频率10kHz的低通滤波器71。信号然后耦合到自动增益控制放大器72，保留音频信号幅值在有用的电压范围内以提供后面的A/D转换73。A/D转换器的取样时钟选定为22kHz。A/D转换器输出信号应用到数据压缩电路723，然后使用图7所示的存储器724、控制电路727、存储器地址控制单元7201，7202，7203和7204以与视频信号处理相同的方式处理。如图7中所表示的，音频处理需要的DRAM的大小为2MB。这个音频存储器大小的计算在下面提供的例子中表示。重放音频数字信息转换为模拟信号，‘过去的音频信号’使用数模转换器74。模拟开关75响应于信号‘过去/当前的’选择性地输出当前的或过去的音频模拟信号。信号‘过去/当前的’在图7中可以是同一个信号，像在视频通道中产生的一样。

下面的例子说明所述系统的操作。这个例子参照图2所示的实例和假定为PAL标准信号。

视频处理：

1.压缩因数：

F＝(1秒内写入的场数/1秒内读出的场数)

 ＝25/50

 ＝1/2

2.场数‘M’存储在32MB DRAM中：

一场包含64条线。

一条线包含128数据样本，‘比特’。

这样，一场包含64×128＝8192比特。

可用的存储器单元总比特数＝33554432比特。

存储在DRAM中的场‘M’＝33445532/8192＝4096场。

这个场数对应于：

(4096×T_场)秒＝4096×20ms＝81.92秒＝1.365分钟。

这个时间在这里指的是存储时间T_存储。

也就是，T_存储＝81.92秒＝1.365分。

实际上，T_存储表示{4096/F×T_场)秒，这段时间的视频信息是能被用户复查的。这个时间在这里指定为信息时间T_信息，也就是，T_信息＝4096×2×20ms＝163.84秒＝2.7307分。

3.重放时间T_重放能按下面计算：

(a)在读出存储的4096场同时，新的2048场一定被存储，(4096×F)。

(b)在读出存储在(a)中的2048场同时，新的1024场一定被存储。

(c)在读出存储在(b)中的1024场同时，新的512场一定被存储。

(d)在读出存储在(c)中的512场同时，新的256场一定被存储....等等。

这些场的和＝

4096+2048+1024+512+....+8+4+2+1+0.5+0.25+....

表示直到过去的和当前的场一致时，一定存储的全部场数。

这个和是数学级数‘几何级数’，它的和等于：

4096/(1-1/2)＝4096×2＝8192场

这样T_重放＝8192×20ms＝2.7307分

一般来说，T_重放＝M/(1-F)×T_场

音频处理：

T_信息＝163.84秒

每秒样本数＝22000

全部样本数＝22000×163.84＝3604480比特

压缩因数F＝1/2

全部存储数据数＝3604480/2＝1.802240M比特

这样2MB DRAM足够用来存储音频信号。

Claims (9)

1.一种处理所接收的表示视频节目的视频信号的方法，包括的步骤为：

处理表示在第一时间间隔发生的视频节目部分的数字数据，产生第一信号成分；第一信号成分表示时间压缩的视频信号部分；

在第二时间间隔提供带有第一信号成分的输出信号；

当第二时间间隔结束时，用表示输入视频信号的第二信号成分，代替输出信号中的第一信号成分。

2.权利要求1的方法，其中处理数字数据的步骤包括：

接收表示包括在视频节目部分中的视频信息的多个场的数字数据；

以第一速率向存储器写入多场视频信息的一部分；

以第二速率从存储器读出存储的多场视频信息的一部分；

处理从存储器读出的视频信息场，产生第一信号成分。

3.权利要求2的方法，其中第二速率比第一速率快。

4.权利要求3的方法，其中向存储器写入的步骤与从存储器读出的步骤同时发生，且其中数据从一个存储器区域中读出，发生在数据向一个存储器区域写入之前。

5.权利要求4的方法，其中多个视频信息场的一部分的压缩因数是1/2。

6.权利要求2的方法，其中输出信号适合于耦合到显示设备，并产生具有第一和第二区域的图像，第一区域显示对应于第一信号成分的图像，第二区域显示对应于第二信号成分的图像。

7.权利要求6的方法，其中第二显示区域显示主要图像，第一显示区域显示辅助图像，辅助图像插入主图像中或在主图像外边。

8.权利要求2的方法，其中用第二信号成分替换输出信号中的第一信号成分的步骤包括：

计数在输入视频信号中发生的视频信息场；

决定何时视频信息场的计数与预定的计数一致；

响应于视频信息场的计数与预定的计数一致，解耦合输出信号中的第一信号成分，并耦合第二信号成分到输出信号中。

9.处理所接收的表示视频节目的视频信号的装置，包括：

处理在第一时间间隔期间发生的代表视频节目部分的数字数据以产生第一信号成分的装置；第一信号成分代表时间压缩的视频信号部分；

在第二时间间隔提供带有第一信号成分的输出信号的装置；还用于在第二时间间隔结束时用表示输入视频信号的第二信号成分替换输出信号中的第一信号成分；

检测第二时间间隔结束的装置。

Images