-
Die
Erfindung bezieht sich auf Verfahren und Einrichtungen zum Verdecken
von Bildfehlern in decodierten Fernsehsignalen, die in komprimierter Form übertragen
wurden.
-
Derzeit
werden hohe Anstrengungen gemacht, Einrichtungen zum Übertragen
von Videosignalen zu entwickeln, die hochauflösendes Fernsehen (HDTV), Telefonanwendungen,
interaktive Videoanwendungen usw. betreffen. Eine recht attraktive
Lösung
ist bekannt geworden unter dem Begriff bewegungskompensierte vorausschauende
Codierung (motion compensated predictive encoding). Die Internationale
Organisation für
Standardisierung entwickelt derzeit einen Standard, der die codierte
Darstellung von Video für
digitale Speichermedien spezifiziert, die auf einer Variante dieses
Typs der Codierung basieren. Dieser Standard unterstützt eine
kontinuierliche Daten-Übertragungsrate
von 1.5 Mbits/sec und wird beschrieben in dem Dokument ISO-IEC JTC1/SC2/WG11;
CODING OF MOVING PICTURES AND ASSOCIATED AUDIO; MPEG90/176 Rev.
2, December 18, 1990. Dieses Format ist bekannt geworden unter dem
Begriff MPEG. Entsprechend diesem Format werden Sequenzen von Vollbildern
in Gruppen geteilt und jeweilige Vollbilder innerhalb jeder Gruppe
codiert entsprechend einer einer Mehrzahl von Codier-Modes. Typische
Codier-Modes beinhalten Intraframe-Codierung (I Vollbilder) und
zwei Typen von Interframe-Predictive-Coding (P und B Vollbilder).
-
Das
Forschungskonsortium für
fortgeschrittenes Fernsehen (Advanced Television Research Consortium;
ATRC) in den Vereinigten Staaten hat ein HDTV-System entwickelt,
das auf dem MPEG-Format basiert, zum Übertragen von hochauflösenden Fernsehsignalen
(HDTV) in Digitalform. Dieses HDTV-System wird beschrieben in
US 5,122,875 . In dem HDTV-System,
das von der ATRC entwickelt wurde, wird ein Videosignal – welches
entsprechend einem MPEG-ähnlichen
Format komprimiert wurde – in
speziellen Service-type Transportpaketen für die Übertragung arrangiert. Diese
Pakete werden einer ersten Fehlercodierung unterworfen (FCS), z.
B. einer zyklischen Redundanzprüfung (CRC),
wobei FCS-Fehler-Prüfcodes
an die Transportpakete angehängt
werden. Danach werden die Transportpakete mit den angefügten Fehler-Prüfcodes einer
Vorwärts-Fehlercodierung FEC
unterworfen, wie beispielsweise dem Reed-Solomon-Code, und FEC-Fehlererfassungs-/-Korrektur-
Codes an diese Daten angehängt.
-
Am
Empfänger
wird die übertragene
Information erfasst und an einen FEC-Decoder angelegt, der eine
begrenzte Fehlerkorrektur mit den übertragenen Daten durchführt. Die
FEC korrigiert die Grosszahl der Fehler, die während der Übertragung auftreten, jedoch
werden einige Fehler den FEC- Decoder ohne Erfassung- /Korrektur passieren,
weil der Fehlerprüf-Overhead-Umfang
aufgrund von Bandbreiten- Beschränkungen
begrenzt ist. Das FEC-codierte
Signal wird dann an einen FCS-Decoder gekoppelt. Der FCS-Decoder
ist in der Lage, Daten zu erfassen, jedoch keine Daten zu korrigieren.
Wenn ein Fehler in einem Transportpaket erfasst wird, wird das gesamte
Transportpaket ausser acht gelassen (discarded).
-
Die
ausser Acht gelassenen (ausgemusterten) Transportpakete können danach
mit synthetischen komprimierten Daten ersetzt werden. Als Beispiel
kann die Lösung
dienen, die in der nachveröffentlichten
Schrift WO 93/09636 A1 eschrieben ist; sie zeigt eine Einrichtung
zum Ausführen
einer Vor-Dekompressions-Fehlerverdeckung
und trägt den
Titel "Einrichtung
zum Verdecken von Fehler in einem digitalen Videoverarbeitungssystem". In diesem System
erzeugt der FCS- Decoder Fehlersymbole (error tokens), die anzeigen,
wenn Daten ausser Acht gelassen wurden. Abhängig von den Fehlertokens ersetzt
das System ausgemusterte Daten mit bestimmten Sequenzen von komprimierten
(compressed) Daten. Die Daten werden dann dekomprimiert (decompressed)
zur Anzeige oder für
Speicherzwecke. Abhängig
vom Typ der Daten, die verloren gegangen sind, kann das Ersetzen
mit synthetisierten komprimierten Daten kein zufriedenstellendes
Bild ergeben.
-
Die
Erfindung möchte
deshalb die Fehlerverdeckung nach der Dekompression verbessern.
Dies wird mit der technischen Lehre des Anspruchs 1 erreicht.
-
Dabei
wird ein weiteres Signalersetzen über Bildbereiche eingesetzt,
die durch synthetisierte Daten repräsentiert sind. Die Bildbereiche,
die von den synthetisierten Daten repräsentiert werden, werden von
Fehlertokens identifiziert, welche die dekomprimierten Videodaten
begleiten. Wenn ein Bildbereich mit Daten identifiziert wird, die
außer
acht gelassen wurden, werden benachbarte dekomprimierte Bildbereiche
hinsichtlich Bewegung und Detail untersucht. Abhängig von der relativen Menge
(dem Betrag) der Bewegung bzw. des Details in den benachbarten Bildbereichen
wird der aktuelle Bildbereich ersetzt durch räumlich synthetisierte (spatially
synthesized) bzw. zeitlich benachbarte (temporally co-located) Daten.
-
Weitere
Ausgestaltungen der Erfindung erläutern die abhängigen Ansprüche. Die
Einrichtung gemäß Anspruch
1 kann mit einem entsprechenden Verfahren betrieben werden.
-
Das
Verständnis
der Erfindung soll durch Ausführungsbeispiele
vertieft werden.
-
1 veranschaulicht
die MPEG-ähnliche Signal-Codierhierarchie.
-
2 veranschaulicht
das Format und den Inhalt eines Transportpaketes von komprimierten
Videodaten (transport packet).
-
3 ist
ein Blockschaltbild eines Ausführungsbeispiels
der Erfindung als Empfänger.
-
4A bzw. 4B sind
schematische Darstellungen von Makroblocks von Bilddaten bzw. Blocks
von Bilddaten, die nützlich
bei der Erläuterung der
Ausführungsbeispiele
der Erfindung sind.
-
5 ist
ein Blockschaltbild einer Einrichtung für Videosignal-Dekompression
und Fehlerverdeckung nach dieser Dekompression, als Ausführungsbeispiel
der Erfindung.
-
Vor
der Erläuterung
der Ausführungsbeispiele
der Erfindung soll das MPEG-ähnlich
komprimierte Signalformat unter Bezugnahme auf die 1 und 2 erläutert werden.
Das MPEG-Protokoll teilt aufeinanderfolgend auftretende Vollbilder
in Sequenzen von Gruppen von Vollbildern (groups of frames; GOF).
Die Vollbilder (frames) in jeweiligen GOFs werden komprimiert entsprechend
dreier Verfahren, dem Intraframe-Codieren (I-Vollbilder), dem Vorwärts-Interframe-Codieren (P-Vollbilder)
und dem Vorwärts/Rückwärts-Interframe-Codieren
(B-Vollbilder). Jeweilige Vollbilder von codierten Daten werden in
Schichten/Scheiben (slices) aufgeteilt, die z. B. 16 Bildzeilen
darstellen. Jeder slice wird in Makroblocks aufgeteilt, wovon jeder
eine Matrix von 16 × 16
Pixeln aufweist. Jeder Makroblock ist in sechs Blocks aufgeteilt,
die vier Blocks von – sich
auf das Luminanzsignal beziehende – Information und zwei Blocks
von – sich
auf das Chrominanzsignal beziehende – Information beinhalten. Die
Luminanz- und Chrominanz-Informationen werden separat codiert und
dann für
die Übertragung
kombiniert. Die Luminanzblocks beinhalten Daten, die sich auf jeweilige
8 × 8
Matrizen von Pixeln beziehen. Jeder Chrominanzblock weist eine 8 × 8 Datenmatrix
auf, die sich auf die gesamte 16 × 16 Pixel-Matrix bezieht,
welche von dem Makroblock repräsentiert
wird.
-
Ein
Datenblock, der entsprechend der Intraframe-Codierung codiert wurde,
besteht aus Matrizen von diskreten Cosinuskoeffizienten. D. h. jeweilige
8 × 8
Pixelblocks werden einer diskreten Cosinus-Transformation (DCT;
Discrete Cosine Transform) unterworfen, um das codierte Signal zu
erzeugen. Die Koeffizienten werden einer adaptiven Quantisierung
zugeführt
und sie werden lauflängen-
und variabellängen- codiert (run-length;
variable-length). Folglich können
jeweilige Blocks von übertragenen Daten
weniger als eine 8 × 8
Codewort-Matrix aufweisen. Makroblocks von intraframecodierten Daten werden – zusätzlich zu
den DCT-Koeffizienten – Information
beinhalten, wie den Pegel der eingesetzten Quantisierung, einen
Makroblock-Adressen- oder Positions-Anzeiger und einen Makroblock-Typ.
-
Codierte
Datenblocks entsprechend den P- oder B-Intraframe-Codierungen bestehen
auch aus Matrizen von diskreten Cosinuskoeffizienten. Zu diesem
Zeitpunkt stellen diese Koeffizienten jedoch Residuen (Reste) oder
Differenzen zwischen einer vorhergesagten (predicted) 8 × 8 Pixel-Matrix
und der aktuellen 8 × 8
Pixel-Matrix dar. Diese Koeffizienten werden auch einer Quantisierung
und einer Lauflängen-
und Variablen-Längen-Codierung
unterzogen. In der Folge der Vollbilder werden die I- und P-Vollbilder
die Anker-Vollbilder
(anchor frames) genannt. Jedes P-Vollbild wird vorhergesagt (predicted)
von dem zuletzt aufgetretenen Anker-Vollbild. Jedes B-Vollbild wird vorhergesagt
von einem oder beiden der Anker-Vollbilder, zwischen denen es angeordnet
ist. Das predictive Codierverfahren verwendet das Erzeugen von Verschiebungsvektoren
(displacement vectors), die anzeigen, welcher Makroblock eines Anker-Vollbildes
am besten zu dem Makroblock des vorhergesagten Vollbildes, das gerade
codiert wird, paßt.
Die Pixeldaten des passenden Blocks (matched block) in dem Anker-Vollbild
wird subtrahiert auf einer Pixel-zu-Pixel-Bass von dem Block des
Vollbildes, der (gerade) codiert wird, um Residuen zu bilden. Die
Residuen werden der diskreten Cosinus-Transformation unterworfen
und die transformierten Residuen und die Bewegungsvektoren bilden
die codierten Daten für
die vorhergesagten Bilder. Für
intraframe-codierte Vollbilder beinhaltet der Makroblock Quantisierung,
Adressen- und Typeninformation. Erwähnt werden soll dabei, daß – obgleich ein
Vollbild prediktiv codiert ist – ein
bestimmter Block oder Makroblock in dem prediktiven Vollbild intraframe-codiert
sein kann, wenn keine angemessenen Block-Übereinstimmungen (block matches)
gefunden werden können.
Zusätzlich
können
bestimmte der Makroblocks nicht codiert sein. Makroblocks können übersprungen
werden (skipped) durch Erhöhen der
Adresse des nächsten
codierten Makroblocks.
-
Nachdem
die Videodaten codiert sind, werden sie gemäß einem MPEG-ähnlichen
Protokoll angeordnet. Das hierarchische MPEG-Format beinhaltet eine Mehrzahl von
Lagen/Schichten (layers), wovon jede mit jeweiliger Kopfinformation
(header information) versehen ist. Nominell beinhaltet jede Kopfinformation
einen Startcode, Daten bezogen auf die jeweilige Schicht und die
Möglichkeit
zum Hinzufügen
von Kopferweiterungen (header extensions). Ein Großteil der
Kopfinformation (wie in dem in Bezug genommenen MPEG-Dokument angedeutet
wird) wird zu Synchronisationszwecken in einer MPEG-Systemumgebung
benötigt.
Zum Zweck des Bereitstellens eines komprimierten Videosignals für ein digitales
HDTV-Simulcast-System
(Simultanübertragung
Radio/TV) wird nur beschreibende Kopfinformation benötigt, d.
h. Startcodes und optionelle Erweiterungen können ausgeschlossen sein.
-
Wenn
Bezug genommen wird auf das MPEG-ähnliche Signal, das von dem
vorliegenden System erzeugt wird, ist damit gemeint
- a) aufeinanderfolgende Halbbilder/Vollbilder des Videosignals
werden codiert (encoded) entsprechend einer I, P, B Codiersequenz
und
- b) codierte Daten auf dem Bildpegel (picture level) sind codiert
in MPEG-ähnlichen
Schichten (slices) oder Gruppen von Blocks, obgleich die Anzahl
der slices pro Halbbild/Vollbild unterschiedlich sein kann und die
Zahl der Makroblocks pro Slice verschieden sein kann.
-
Um
Speicherplatz am empfängerseitigen Ende
des Übertragungssystems
zu sparen oder zu bewahren, werden die Gruppen von Vollbildern – wie in
1 dargestellt – neu angeordnet,
so daß die
Ankerbilder, aus denen die B-Vollbilder
vorherbestimmt (predicted) werden, vor den jeweiligen B-Vollbildern übertragen
werden. Zum Beispiel werden die ersten vier Vollbilder (I, B, B,
P) in einer GOF (Gruppe von Vollbildern) übertragen in der Reihenfolge
(I, P, B, B). Die komprimierten Signale können weiterer Manipulation
unterzogen werden, wie in
US
5,122,875 erläutert.
Letztlich kann das komprimierte Signal in Transportpaketen (transport
packets) angeordnet werden, wie dies in
2 veranschaulicht
wird.
-
Jeweilige
Transportpackets können
mehr oder weniger als eine Datenschicht (slice of data) enthalten.
So kann ein bestimmtes Transportpaket Daten vom einen Ende der einen
Schicht und Daten von dem Anfang der folgenden Schicht beinhalten. Transportpakete,
die Videodaten beinhalten, können verschachtelt
sein (interleaved) mit Transportpaketen, die andere Daten, z. B.
Tondaten, enthalten. Jedes Transportpaket beinhaltet einen Servicetyp-Kopf ST,
welcher die Art der Information anzeigt, die in dem jeweiligen Transportpaket
enthalten ist. In diesem Beispiel ist der ST-Kopf ein 8-bit-Wort, welches anzeigt,
ob Audio-, Video- oder Hilfsdaten vorliegen.
-
Jedes
Transportpaket (transport pocket) beinhaltet einen Transportkopf
TH, der unmittelbar dem ST-Kopf folgt. Der Transportkopf beinhaltet
einen 7-bit-Makroblock-Pointer, einen 18-bit-Identifizierer und
einen 7-bit-Record-Header-Pointer
(Datensatzkopf-Zeiger; RH). Der Makroblock-Zeiger ist eingesetzt
für die
segmentierten Makroblocks oder Record-Header-Komponenten und zeigt auf den
Start der nächsten
decodierbaren Komponente. Zum Beispiel können – wenn das bestimmte Transportpaket Makroblockdaten
beinhaltet, die mit dem Ende der Schicht n und dem Beginn der Schicht
n + 1 assoziiert sind – die
Daten von der Schicht n benachbart dem Transportkopf angeordnet
sein und der Zeiger indiziert, daß die nächsten decodierbaren Daten
benachbart dem Transportkopf TH sind.
-
Der
18-bit-Identifizierer identifiziert den aktuellen Typ des Vollbildes,
die Vollbildzahl (modulo 32), die aktuelle Schichtnummer und den
ersten Makroblock, der in dem Transportpaket enthalten ist.
-
Dem
Transportkopf folgen entweder ein Datensatzkopf (record header,
RH) oder Daten. Der Record Header für die Videodaten beinhaltet
die folgende Information: ein 1-bit FLAG (Marke), welche anzeigt,
ob eine Header Extension EXTEND vorliegt. Dem FLAG folgt ein Identifizierer
IDENTIFY, welcher anzeigt
- a) den Halbbild/Vollbild-Typ
I, B oder P;
- b) eine Halbbild/Vollbild-Zahl (modulo 32) FRAME 2D;
- c) eine Schichtnummer (modulo 64) SLICE IDENTITY.
-
Es
wird angemerkt, daß die
Kopfdaten der Transportpakete redundante Informationen beinhalten
bezüglich
der Indentität
der Daten in jeweiligen Paketen. D. h. identifizierende Indexe (indicia)
werden in den Transportköpfen
und in den komprimierten Videodaten-Köpfen eingefügt.
-
Jedes
Transportpaket wird beendet mit einer 16-bit Vollbild-Prüffolge (frame
check sequence, FCS), welche über
alle bits in dem Transportpaket berechnet wird. Die FCS kann erzeugt
werden durch Verwenden eines CRC.
-
Das
Transportpaket von 2 wird aufeinanderfolgend einem
Vorwärts-Fehlercodierer
zugeführt,
welcher
- a) eine Vorwärts-Fehlerkorrektur-Codierung
ausführt,
z. B. eine REED-SOLOMON-Codierung;
- b) Blöcke
von Daten verschachtelt (interleaves), um großen Fehlerbursts nicht die
Möglichkeit
zu geben, lange zusammenhängende
Bereiche von reproduzierten Bildern zu stören;
- c) z.B. Barker-Codes an die Daten anhängt, um den Datenstrom im Empfänger zu
synchronisieren.
-
Danach
werden die komprimierten Daten an eine Übertragungsstufe, wie ein Modem,
geliefert.
-
3 veranschaulicht
die allgemeine Form eines Empfängers
zum Bearbeiten der zuvor beschriebenen Signale. Übertragene Signale können beispielsweise
von einer (nicht dargestellten) Antenne stammen und werden dem Tuner/Demodulator 10 zugeführt; dieser
stellt ein Basisbandsignal in der Form zur Verfügung, daß an den FEC-Codierer abgebbar
ist. Das Basisbandsignal wird an einen FEC-Decoder 12 geliefert,
der das übertragene
Signal prüft
und Fehlerkorrekturen entsprechend seiner Fehlerkorrektur-Fähigkeit
durchführt,
die im Übertragungskanal
aufgetreten sind. Fehlerkorrigierte Daten von dem FEC 12 werden
an ein Ratenpuffer 14 angelegt, der Daten mit relativ konstanter
Rate (Zeitabstand) von dem FEC 12 erhält und Daten auf Anforderung
an die nachfolgenden Verarbeitungselemente abgibt. Daten von dem
Puffer werden an einen FCS-Decoder 16 geliefert, welcher
die fehlerkorrigierten Daten prüft,
und zwar auf unkorrigierte Fehler entsprechend den FCS-Prüfbits, die
an die Transportpakete angehängt
sind.
-
Der
FCS-Decoder 16 gibt Transportpakete D an Element 18 zusammen
mit einem Fehlersignal ED, welches anzeigt, ob die jeweiligen Transportpakete
Datenfehler beinhalten. Das Element 18 ist abhängig von
den Fehlerdaten und läßt Transportpakete
außer
acht, die Datenfehler beinhalten.
-
Fehlerfreie
Transportpakete werden in Videodaten und Transport-Kopfdaten getrennt.
Die Transportkopf- und Fehlerdaten ED werden eingesetzt, um zu bestimmen,
welche Daten verlorengegangen sind und danach, um synthetische komprimierte
Videodaten zu erzeugen und die verlorengegangenen Daten zu substituieren.
Ein beispielhaftes Gerät
zum Erzeugen synthetischer komprimierter Videodaten zeigt die nachveröffentlichte
Schrift WO 93/09636 A1. Das Element 18 gibt die kombinierten
fehlerfreien Videodaten und die synthetischen Daten an einen Dekompressor 20 (Expander).
Zusätzlich
gibt das Element 18 Fehlertokens an den Expander 20,
welche Tokens eine Vielzahl von Funktionen haben können. Zum Beispiel
kann es auftreten, daß für die Art
der Daten, die in einem bestimmten Transportpaket verlorengegangen
sind, eine bessere Bildreproduktion erhalten wird, wenn das Dekodieren
dieses Abschnitts der Daten einfach von dem Dekompressor 20 übersprungen wird,
statt synthetische komprimierte Videodaten zu erzeugen zum Anlegen
an den Dekompressor. In diesem Beispiel wird das Fehlertoken so
gebildet, daß es
den Betriebsablauf des Dekompressors beinflußt. Alternativ kann es (beispielhaft)
auftreten, daß es
von vorneherein bekannt ist, daß synthetische
komprimierte Daten für
einen bestimmten Block wahrscheinlich keine akzeptierbare Bilder
erzeugen und daß die
Beeinflussung der Decodier-Abfolge des Dekompressors keine Verbesserung
gegenüber
der Verwendung synthetischer komprimierter Daten bringen würde. In
diesem Beispiel werden die bestimmten Fehlertokens an einen weiteren
Fehlerverbergungs-Prozessor 26 geleitet, welcher mit decodierten oder
dekomprimierten Videosignalen arbeitet.
-
Der
Dekompressor 20 verwendet Vollbildspeicher 22 bei
dem Dekompressions-Verfahren. Dieser Speicher ist so angeordnet,
daß er
Vollbilder von decodiertem Videosignal speichert, zur Verwendung
eines Bewegungskompensations-Predictiv-Decodier-Verfahrens. Decodierte Bildinformation
wird aufeinanderfolgend an einen Anzeigespeicher 24 übertragen,
in welchem sie im Rasterformat zur Anzeige zugänglich ist.
-
Das
Fehlerverdeckungs-Element 26 wird zusammen mit den dekomprimierten
Daten im Speicher 22 und ersetzt Bilddaten, die von Fehlertokens
identifiziert werden. Die Substitution der Daten ist adaptiv, wobei
die Adaption entsprechend signifikanter Bewegung oder entsprechend
signifikantem Detail des (derzeit) betrachteten Bildbereichs erfolgt.
Im letzteren Fall werden zeitlich versetzte daneben angeordnete
Daten (temporally displaced co-located data) substituiert für die decodierten
Daten und im ersteren Fall werden räumlich interpolierte Daten
(spatially interpolated data) substituiert.
-
Luminanz-
und Chrominanz-Daten werden getrennt dekomprimiert, jedoch mit einem ähnlichen Verfahren
und dann rekombiniert zur Anzeige. Die folgende Diskussion bezüglich Fehlerverdeckung wird
gerichtet auf Verdeckung von Fehlern in Luminanz-Daten. Fehler in
Chrominanz-Daten werden in ähnlicher
Weise verdeckt (concealed).
-
Die
Bestimmung, ob Fehlerverdeckung durch zeitliches Ersetzen (temporal
replacement) oder durch räumliche
Interpolation (spatial interpolation) ausgeführt wird, wird unter Berücksichtigung
der 4A erläutert. 4A veranschaulicht
Blocks von Daten entsprechend einem Teil eines decodierten Bildes.
Die größeren Quadrate
repräsentieren
Makroblocks von Luminanz-Daten und die kleineren Quadrate – beziffert
ij innerhalb jedes Makroblocks – repräsentieren
decodierte Pixelwerte, z. B.
-
8 × 8 Matrizen.
Es soll angenommen werden, daß ein
Fehlertoken anzeigt, daß der
Makroblock MB einer Fehlerverdeckung unterzogen werden soll. In einem
ersten Ausführungsbeispiel
wird der Makroblock MA und der daneben angeordnete Makroblock in
einem vorher decodierten Vollbild untersucht, um die relativen Beträge (Größen) von
Bewegung und Detail zu bestimmen, die mit ihnen assoziiert sind. Zwei
statistische Werte (Indexe) werden berechnet. Der erste statistische
Wert VAR wird bestimmt entsprechend der Gleichung VAR = E[(x – xa)2] (1).
-
Die
zweite statistische Variable VAROR wird berechnet ensprechend der
Gleichung VAROR =
E[x2] – u2 (2).
-
Die
Werte x korrespondieren mit den jeweiligen Pixelwerten in Makroblock
MA; xa korrespondiert mit dem jeweiligen
Pixelwert des daneben angeordneten Makroblocks in dem vorhergehenden
decodierten Vollbild; und der Wert u ist der Mittelwert der Werte
von x. Die Funktion E[...] repräsentiert
den Erwartungswert (expected value) der Terme in dem Argument.
-
Der
Erwartungswert kann über
den gesamten Makroblock oder einen Teil desselben berechnet werden.
D. h. die Berechnung kann ausgeführt
werden über
alle Pixel des Makroblocks MA oder mit den Pixeln in den geringeren
zwei Blocks von Pixeln 02 und 03 oder über die untersten Zeilen der
Pixel in den Blöcken
02 und 03 oder über
eine diagonale Linie von Pixeln von – beispielsweise – dem oberen
linken Eckblock 00 bis zu dem unteren rechten Eckblock 03, etc....
-
Der
statistische Wert VAR tendiert dazu, die örtliche Bewegung (local motion)
anzuzeigen zwischen dem durch Makroblock MA repräsentierten Bild und dem daneben
angeordneten Makroblock in dem vorhergehenden Vollbild. Der statistische
Wert VAROR tendiert dazu, das örtliche
Raumdetail (local spatial detail) im Makroblock MA anzuzeigen. Weil vertikal
benachbarte Bildbereiche dazu tendieren, redundante Bildinformation
zu enthalten, werden die Bewegungs- und Detailcharakteristika des
Makroblocks MA und MB ähnlich
sein. Deshalb können
die Charakteristika von Makroblock MA verwendet werden bei der Entscheidung
des optimalen Typs von Fehlerverdeckung für den Makroblock MB.
-
Wenn
VAR größer als
eine vorbestimmte Schwelle, z. B. 64 ist, beinhaltet dieser Bereich
keine signifikante Bildbewegung und ein Ersetzen des Makroblocks
MB mit zeitlich verschobenen daneben angelegten Makroblocks kann
signifikante Bewegungs-Artefakte
im breiteren Bildbereich einführen. Deshalb
wird es unter dieser Bedingung vorteilhaft sein, MA mit interpolierten
Daten zu ersetzen, obschon potentiell geringeres Bilddetail als
in daneben gelagerter Information liegt. Zusätzlich werden – wenn VAR
größer als
VAROR ist – räumlich interpolierte
Daten als Substitutionsdaten verwendet. Letztlich werden – wenn VAR
geringer als eine Schwelle oder geringer als VAROR ist – zeitlich
versetzte daneben angeordnete Daten als Substitutions- oder Ersatzdaten
verwendet.
-
Es
wurde erkannt, daß bessere
Gesamt-Leistungsfähigkeit
erreicht wird, wenn der Typ von Ersatzdaten für die oberen 10, 11 und
unteren 12, 13 Blocks von Makroblock MB unabhängig voneinander
bestimmt werden. So werden die statistischen Werte VARA und
VARORA für
Makroblock MA gebildet und die statistischen Werte VARC und
VARORC werden für Makroblock MC gebildet. Die
statistischen Werte VARA und VARORA werden eingesetzt, um den Typ der Datenersetzung
für die
Blocks 10 und 11 zu bestimmen und die statistischen
Werte VARC und VARORC werden
zur Bestimmung des Typs des Datenersatzes für die Blocks 12 und 13 eingesetzt.
-
Das
Erzeugen von räumlich
interpolierten Werten kann in einer Mehrzahl von Arten erfolgen. Wichtig
ist es allerdings, sicherzustellen, daß die Grenzen von angrenzenden
Blocks ohne signifikante Diskontinuität ineinander übergehen.
Zwei Verfahren werden mit Bezug auf 4B erläutert. In 4B repräsentieren
die abgegrenzten Quadrate jeweilige Blocks von 8 × 8 Pixelwerten.
Es wird angenommen, daß die
Pixelwerte des Blocks B5 ersetzt werden sollen mit interpolierten
Pixelwerten. Ein erstes Verfahren der Erzeugung dieser Werte ist
es, vertikale GV und horizontale GH Gradienten von benachbarten Blocks von
Daten zu berechnen, dann zu beginnen mit einem Wert von einem benachbarten
Block, um die Matrix zu berechnen. Zum Beispiel kann ein Vertikal-Gradient
GV berechnet werden durch Subtrahieren des
Mittelwerts der eingekreisten Pixelwerte in Block B1 und B3 von
dem Mittelwert der eingekreisten Pixelwerte in Blocks B7 und B9. Ähnlich kann
ein Horizontal-Gradient GH berechnet werden
durch Subtrahieren des Mittelwertes der eingekreisten Pixelwerte
in Blocks B1 und B7 von dem Mittelwert der eingekreisten Pixelwerte
in Blocks B3 und B9. Die Matrixwerte werden berechnetentsprechend
der Gleichung Pij
= B1 + i·GH + j·GV (3);wobei
B1 der Wert des eingekreisten Pixels in Block B1 ist und i und j
Horizontal- und Vertikal-Koordinaten der Pixel in der Matrix sind – bezüglich der
oberen linken Ecke. Ein zweites Verfahren ist es, einen Vertikal-Gradienten
für jede
Spalte von Pixeln aus den Pixelwerten in den vertikal benachbarten
Blocks zu erzeugen. Für
Pixel in Spalte 5 kann ein Vertikalgradient GV berechnet
werden durch Subtrahieren der Pixelwerte in den quadratischen Kästchen in
Spalte 5 des Blocks B2 von dem Pixelwert in dem quadratischen
Kästchen
in Spalte 5 des Blocks B8. Die jeweiligen Pixelwerte in
Spalte 5 des Blocks B5 werden berechnetentsprechend der
Gleichung P5j = B25,8 + j·GV (4).wobei
der Wert B25,8 der Wert des fünften Pixels
in der achten Reihe des Blocks B2 ist.
-
Als
weitere Alternative können
die Blocks von Pixelwerten erzeugt werden von lokalen Pixelwerten über das
Verfahren des bekannten Gradienten-Abstiegs (known gradient descent),
obgleich dieses Verfahren dazu neigt, etwas höhere Rechenleistung zu binden.
-
In
einem Bildbereich muß zeitliches
Ersetzen von Blocks vor dem Ersetzen von räumlich interpolierten Daten
erfolgen. Diese Abfolge ist erforderlich, um sicherzustellen, daß Daten
verfügbar
sind, um interpolierte Daten zu erzeugen. Unter der beispielhaften
Annahme, daß die
Blocks B1 und B9 ersetzt werden sollen mit zeitlich daneben angeordneten
Daten (temporally co-located data) und Block B5 mit interpolierten
Daten ersetzt werden soll, die entsprechend Gleichung (3) erzeugt
wurden, ergibt sich folgendes: Wenn die Blocks B1 und B9 nicht zuerst
ersetzt werden, können
zutreffende Gradienten GV und GH nicht berechnet
werden, was in möglichen
Bild-Unstetigkeiten
an den Blockgrenzen resultiert.
-
5 zeigt
ein Blockschaltbild mit einer Dekompressions-Einrichtung und der Nach-Dekompressions-Verdeckungseinrichtung.
Die Elemente 300 bis 318 korrespondieren mit der
Dekompressor-Schaltung. Der Betrieb dieses Typs der Schaltung ist
allgemein bekannt. Kurz: die komprimierten Videodaten und die Fehlertokens
werden in einem Speicher 300 gepuffert und einer Steuereinrichtung 302 übergeben.
Die Steuereinrichtung sendet die Videodaten an einen variablen Längen-Decoder 303 (variable
length decoder), welcher eine Decodierung variabler Länge, inverse
Lauflängen-Decodierung (run
length decoding), inverse Differenzpuls-Codiermodulations-Decodierung (differential
pulse code modulation decoding), Entquantisierung, etc., ausführt, je
nach Erfordernis. Die decodierten Videoköpfe werden dem Steuergerät 302 zurückgegeben
zum Steuern des weiteren Decodierens des Signales. Die Steuereinrichtung
ist in ihrer Wirkung eine Zustands-Maschine (state machine) zum
Ausführen fester
Sequenzen von Decoder-Operationen, welche Sequenzen von den aktuellen
Video-Kopfdaten und eines Rückblicks
(history) auf die (schon) verarbeiteten Daten bestimmt wird. Die
decodierten DCT-Koeffizienten werden an ein inverses DCT-Element 310 weitergeleitet,
welches eine inverse diskrete Cosinus-Transformation mit den Koeffizienten
ausführt und
Pixelwerte (I-Vollbilder) und Residuenwerte (P- oder B-Vollbilder) an den
Addierer 312 abgibt. Decodierte Bewegungsvektoren werden
an den Bewegungs-Kompensations-Predictor 304 angelegt.
Abhängig
von den Bewegungsvektoren greift der Prediktor auf vorher dekomprimierte
Makroblocks von Pixelwerten aus dem Pufferspeicher 316 zu
und legt diese Pixelwerte an den Addierer 312 (zum Decodieren
von P- oder B-Vollbildern).
Wenn I-Vollbilder bearbeitet werden, legt der Predictor 304 Nullwerte
an den Addierer 312.
-
Die
Dekompression von I-Vollbildern umfaßt das Weiterleiten der invers-DCT-verarbeiteten
Pixelwerte über
den Addierer 312 und das Speichern dieser in einem Teil
des Speichers 316 zur Verwendung bei der Dekompression
von P- oder B-Vollbildern. Die I-Vollbild-Pixelwerte werden auch
von dem Speicher 316 an einen Anzeigespeicher 318 gekoppelt,
von welchem sie im Rasterformat gelesen werden können.
-
Die
Dekompression eines P-Vollbildes umfaßt – entsprechend der Richtung
des jeweiligen Bewegungsvektors – auch den Zugriff auf Makroblocks des
vorher decodierten I-Vollbildes (oder eines vorher decodierten P-Vollbildes,
welches dem zuletzt liegenden I-Vollbild folgt, und das Anlegen
der Pixelwerte der jeweiligen Blocks in den Makroblocks an den Addierer 312.
Entsprechende Blocks von decodierten Residuen werden von der inversen
DCT 310 an den Addierer 312 geführt, welcher
Summen entsprechend den jeweiligen decodierten Pixelwerten für das aktuelle
P-Vollbild erzeugt. Diese Pixelwerte werden in einen Bereich (oder:
Teil) des Speichers 316 gekoppelt, der nicht von den zuletzt
decodierten I- oder P-Vollbildern belegt ist und sie werden beim
Decodieren der darauffolgenden B- und P-Vollbilder verwendet. Diese
P-Vollbilddaten
werden an den Anzeigespeicher 318 gekoppelt, nachdem darauffolgende B-Vollbilder
decodiert sind (die B-Vollbilder,
die vor den P-Vollbildern in der Codiersequenz auftraten).
-
B-Vollbilder
von komprimierten Daten werden ähnlich
zu den P-Vollbildern
decodiert, ausgenommen, daß auf
Makroblocks von Daten aus dem Speicher 316 zugegriffen
werden kann von jedem oder beiden der Anker-Vollbilder, zwischen
welchen die B-Vollbilder
vor dem Codieren ursprünglich
angeordnet waren. Wenn auf Daten zugegriffen wird von beiden Vollbildern
für einen
bestimmten Makroblock, werden die Daten interpoliert oder Bemittelt
vor dem Anlegen an den Addierer, um zu den Residuenwerten hinzugefügt zu werden.
B-Vollbilder werden nicht im Speicher 316 gespeichert,
weil sie beim Decodieren der darauffolgenden Vollbilder nicht verwendet
werden. Also werden die B-Vollbilddaten über die Speichereinrichtung 316 an
den Anzeigespeicher 318 (display memory) gegeben.
-
Die
Einrichtung von 5 (Nach-Dekompressions-Fehlerverdeckungs-Gerät), ist
so eingerichtet, daß sie
Fehler in decodierten I- und P-Vollbildern verdecken kann, nicht
in decodierten B-Vollbildern. Nach-Dekompressions-Verdeckung von
Fehlern in B-Vollbildern ist mit der Einrichtung von 5 nicht vorgesehen.
Dies beeinflußt
das Gesamtbild nicht wesentlich, da Fehler in B-Vollbildern kurz
in Zeitdauer (1 Vollbild) sind und sich nicht in nachfolgende Vollbilder
verlagern (propagate). Das System der 5 verwendet
den Dekompressor-Pufferspeicher 316 als Fundus (repository),
aus welchem Signale geschöpft
werden können
und in welchem Signale ersetzt werden können. Dieser Speicher speichert keine
B-Vollbilder, da solche B-Vollbilder nicht für Verdeckungs-Bearbeitung zur
Verfügung
stehen. B-Vollbilder können
aber für
Fehler-Verdeckung ähnlich
den P-Bildern verarbeitet werden – wie unten beschrieben -,
einfach durch Hinzufügen
zusätzlichen Speichers
zum Speichern der B-Vollbilder.
-
Wenn
Vorsorge getroffen wurde, um decodierte B-Vollbilder zu speichern,
werden die statistischen Werte VAR und VAROR unter Verwendung angelagerter
(co-located) Daten in aufeinanderfolgenden Anker-Vollbildern berechnet.
D. h. mit Bezug auf die Vollbild-Folge von 1 werden
VAR und VAROR für
jedes Anker-Vollbild (I oder P) berechnet unter Verwendung der Makroblocks
des Anker-Vollbildes unmittelbar zu seiner Linken (I oder P). Zusätzlich werden
angelagerte Makroblocks/Blocks zum Substituieren (zeitlichen Ersetzen)
in jeweiligen Anker-Vollbildern gewonnen, und zwar aus den Anker-Vollbildern,
die unmittelbar zu seiner Linken angeordnet sind. wenn Vorsorge
getroffen wäre,
um B-Vollbilder zu
speichern und zu bearbeiten, dann würden die statistischen Berechnungen
für jedes
Vollbild gemacht werden unter Verwendung der Daten aus den unmittelbar
vorhergehenden Vollbildern in der Sequenz und zeitliche Substitutionsdaten würden gewonnen
werden aus dem unmittelbar vorhergehenden Vollbild der Sequenz.
-
Zuerst
wird Fehlerverdeckung in I-Vollbildern betrachtet und hierzu Bezug
auf die 4A und 5 genommen.
Aus 4A ist erkennbar, daß bei Abgabe von Pixeln des
Makroblocks MA von dem Addierer 312 es dabei noch nicht
bekannt ist, ob es erforderlich ist, die Werte VAR und VAROR über den Makroblock
MA zu erzeugen, d. h. ob Makroblock MB einer Fehlerverdeckung unterzogen
werden muß. Andererseits
müssen
Pixeldaten für
den Makroblock MA sowie für
seine anliegenden Gegenparts aus dem Speicher gewonnen werden, um
die Berechnung durchführen
zu können,
wenn der Makroblock MB decodiert wird und es erforderlich ist, die
Werte VAR und VAROR über
den Makroblock MA zu erzeugen. Dies könnte einen Speicher-Zugriffskonflikt
bewirken. Um einen solchen Konflikt zu vermeiden, werden die Werte
VAR und VAROR für
alle Makroblocks bei dem jeweiligen Decodieren des Makroblocks erzeugt.
Die Ergebnisse werden in einem Speicherplan/-karte 342 (memory
map) gespeichert und sind verfügbar,
wann immer ein Fehlertoken anzeigt, daß ein bestimmter Makroblock
einem Fehlerverdeckungs-Prozeß unterzogen
werden muß.
-
I-Vollbild-Makroblocks
werden in einer vorbestimmten Reihenfolge decodiert. Während Makroblocks
von I-Vollbild-Daten
decodiert werden, wird auf anliegende (co-located) Makroblocks aus
dem letzten decodierten P-Vollbild im Speicher 316 zugegriffen,
und zwar unter der Steuerung der Steuereinrichtung 344 zur
Fehlerverdeckung, Entscheidung und Steuerung. Die I-Vollbilddaten
und anliegenden P-Vollbilddaten
werden an einen Rechner 340 angelegt, der die Werte VAR
und VAROR erzeugt. Diese Werte werden in dem Speicher 342 für zukünftige Verwendung
gespeichert. Während
die I-Vollbild-Makroblocks decodiert werden, gibt die Steuerung 302 entsprechende
Fehlertokens – wenn
zutreffend – ab, die
in einem weiteren Speicherkarte (memory map) 348 gespeichert
werden. Zusätzlich
wird jeweilige Vollbild-Typeninformation
in der Speicherkarte (memory map) 348 gespeichert. Während des
Decodierens von P-Vollbildern werden auch Bewegungsvektoren aus
dem VLD 303 für
korrespondierende Makroblocks mit Fehlertokens gespeichert.
-
Mehrere
Reihen von Makroblocks werden decodiert/dekomprimiert, bevor die
Fehler-Verdeckung begonnen wird, um Speicher-Zugriffskonflikte in
dem Pufferspeicher 316 zu vermeiden. Wenn die Fehlerverdeckung
einmal begann, geht die Steuereinrichtung 344 durch die
Fehlertokens in der/dem Fehlerkarte/-plan 348. Wenn ein
Fehlertoken anzeigt, daß die
Daten in einem Makroblock ersetzt werden sollen, wird auf die Werte
VAR und VAROR – die über die
passenden Makroblocks berechnet wurden – aus der Speicherkarte 342 zugegriffen
und sie verglichen. Wenn der Vergleich anzeigt, daß die Pixeldaten
in dem Makroblock ersetzt werden müssen mit zeitlich versetzten
anliegenden Daten, wird auf diese Daten im Speicher 316 zugegriffen
(dem Teil, der das vorhergehend decodierte P-Vollbild speichert)
und verwendet, um die Makroblock-Daten für das I-Vollbild in Speicher 316 zu
ersetzen (dem Teil, der das aktuell decodierte I-Vollbild speichert),
alles unter der Steuerung der Einrichtung 344.
-
Wenn
der Vergleich anzeigt, daß der
Makroblock ersetzt werden muß mit
interpolierten Daten, wird diese Anzeige in einer Schlange plaziert,
wobei geeignete Handlungen nach dem Vergleich ausgeführt werden,
z. B. zwei Reihen von Makroblöcken nach
dem Vergleich. Dies stellt sicher, daß zeitliches Ersetzen ausgeführt wurde – wo notwendig – in allen Blocks,
die mit interpolierten Daten ersetzt werden müssen, so daß Randdaten (boundary data)
verfügbar
sind zum Erzeugen der interpolierten Daten. Alternativ kann das
System als Doppel-Durchlauf-System programmiert werden, bei dem
zeitliches Ersetzen ausgeführt
wird (wo erforderlich) über
das gesamte Vollbild und dann interpolierte Blocks substituiert
werden (wo erforderlich) über
das gesamte Vollbild. Wenn ein Block von Daten mit interpolierten
Daten zu ersetzen ist, greift die Steuerung 344 auf die Grenz-
oder Randdaten aus den Nachbar-Blocks in dem I-Vollbild im Speicher 316 zu
und stellt diese dem Interpolator 346 zur Verfügung. Der
Interpolator 346 erzeugt den Block von Daten, auf den die
Steuerung 344 zugreift und der in den passenden Makroblock
in dem I-Vollbild – das
im Speicher 316 gespeichert ist – substituiert wird.
-
Fehlerverdeckung
für/in
P-Vollbildern wird ähnlich
ausgeführt,
mit der Ausnahme, daß bei
Ersetzen von Blocks mit zeitlich versetzten Daten es keine anligenden
(co-located) Daten sind. Bei Bezug auf 4A muß berücksichtigt
werden, daß die
P-Vollbilder interframe-codiert sind. Das komprimierte Signal beinhaltet
Bewegungsvektoren, welche auf die optimalen Makroblocks in dem vorhergehenden
Anker-Vollbild zeigen,
aus welchem Makroblocks in dem aktuellen P-Vollbild vorhergesagt werden können. Wenn
der Bewegungsvektor zum Beispiel mit dem Makroblock MF assoziiert
ist, und zwar in dem aktuellen P-Vollbild, kann er anzeigen, daß der Makroblock
ME in dem vorhergehenden Anker-Vollbild verwendet wurde, um den
Makroblock MF in dem aktuellen P-Vollbild zu prädidzieren (vorherzusagen). Der
daneben angeordnete (co-located)
Makroblock MF in dem vorhergehenden Ankerbild kann wenig Ähnlichkeit
mit dem Makroblock MF in dem aktuellen P-Vollbild haben. Wenn daher zeitliches
Ersetzen ausgeführt
wird, wird es ausgeführt
unter Verwendung von Datenblocks, die durch entsprechende Bewegungsvektoren
bezeichnet werden. Was – allerdings – sind die
geeigneten Bewegungsvektoren? Dabei muß berücksichtigt werden, daß Bewegungsvektoren
in relativen Termen codiert sind, d. h. daß sie anzeigen, wie weit nach
links oder rechts oder oben oder unten – ausgehend vom Ort des aktuellen Makroblocks – die prädizierten
Makroblocks in dem vorhergehenden Vollbild gefunden werden. Wenn nun
angenommen wird, daß ein
hoher Grad an Redundanz zwischen vertikal benachbarten Bildabschnitten
besteht, dann kann man erwarten, daß die Bewegungsvektoren von
den vertikal benachbarten Makroblocks auch dazu neigen, ähnlich zu
sein, und so ist es auch der Fall. Daher gibt es mehrere Optionen, abhängig davon,
ob man das System komplexer machen möchte. Es soll beispielhaft
angenommen werden, daß Daten
in Makroblock MB ersetzt werden sollen mit zeitlich verschobenen
Daten. Wenn das bestimmte System VAR und VAROR über nur den Makroblock MA für den gesamten
Makroblock MB berechnet wird, kann der Bewegungsvektor zum Auffinden
der zeitlich versetzten Daten, die in Makroblock MB substituiert
werden sollen, der Bewegungsvektor sein, der mit Makroblock MA assoziiert
ist. Wenn das bestimmte System VAR und VAROR über Makroblock MA bestimmt
für die
oberen zwei Blocks des Makroblocks MB und VAR und VAROR über Makroblock
MC für
die unteren zwei Blocks des Makroblocks MB bestimmt, dann kann der
Bewegungsvektor, der mit dem Makroblock MA assoziiert ist, verwendet
werden zum Auffinden von Daten für
die oberen zwei Blocks des Makroblocks MB und der Bewegungsvektor,
der mit Makroblock MC assoziiert ist, kann verwendet werden zum
Auffinden von Substitutionsdaten für die unteren zwei Blocks von
Makroblock MB. In beiden Fällen
können
alternativ die Bewegungsvektoren, die mit beiden Makroblocks MA und
MB assoziiert sind, Bemittelt werden, um einen geeigneten Bewegungsvektor
zu erhalten.
-
Bewegungsvektoren,
die mit horizontal benachbarten Makroblocks assoziiert sind, können auch
verwendet werden zum Auffinden von Substitutionsdaten zum Ersatz
in P-Vollbildern, jedoch neigen Fehlerverlust und/oder Laufzeiten
in MPEG-ähnlichen
Codierverfahren dazu, in Horizontal-Richtung zu liegen. Es ist daher
sehr wahrscheinlich, daß zuverlässige Bewegungsvektoren
nicht in horizontal benachbarten Makroblocks verfügbar sein
können.
-
Wenn
man die Berechnung der Werte VAR und VAROR für P-Vollbild-Fehlerverdeckung betrachtet,
treten die geeigneten Makroblocks in jeweiligen Vollbildern automatisch
auf. Wenn ein Makroblock des P-Vollbildes decodiert wird und vom
Addierer 312 abgegeben wird, wird der geeignete Makroblock,
der von dem zugeordneten Bewegungsvektor bezeichnet wird, von dem
Speicher 316 zur Verfügung
gestellt, und zwar im normalen Decodier-Verfahren. Deshalb sind
keine Änderungen
in der Einrichtung zum Berechnen von VAR und VAROR erforderlich.