DE60302924T2

DE60302924T2 - Anpassungsfähige nichtlineare Bildvergrösserung mittels Wavelet-Transformkoeffizienten

Info

Publication number: DE60302924T2
Application number: DE60302924T
Authority: DE
Inventors: Kathrin Suite 115 Menlo Park Berkner
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-04-16
Filing date: 2003-04-15
Publication date: 2006-08-17
Anticipated expiration: 2023-04-16
Also published as: JP4035474B2; US20030194150A1; JP2003348328A; EP1610267B1; EP1355271A1; EP1610267A3; EP1355271B1; EP1610267A2; DE60302924D1; US7120305B2

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf das Gebiet der Bildverarbeitung; insbesondere bezieht sich die vorliegende Erfindung auf die kantenerhaltende Bildinterpolation mit Wavelets.
2. Beschreibung des Standes der Technik
Die Skalierung digitaler Bilder wird oft bei der digitalen Bildverarbeitung ausgeführt und wird in Netzumgebungen wichtiger, die Vorrichtungen mit einer unterschiedlichen Auflösung in Bildpunkten pro Zoll besitzen. Während das Aliasing und die Moiré-Bildfehler die Hauptprobleme bei der Bildverkleinerung sind, muss die Vergrößerung von Bildern mit dem Problem umgehen, wie Hochfrequenzkomponenten eingefügt werden, damit das Bild, insbesondere die Kanten, nicht zu glatt oder zu unscharf erscheinen. Ein typisches Verfahren für die Vergrößerung von Bildern ist die Verwendung eines Interpolationsfilters. Diese Filterung verbindet Informationen von benachbarten Bildpunkten, um einen Interpolationswert vorherzusagen. Häufig verwendete Filter, wie z. B. in einer weitverbreiteten Anwendung zum manipulieren von Photobildern, sind bilineare oder bikubische Interpolationsfilter. Bei der Verwendung dieser Filter kann eine perfekte Stufenkante nicht interpoliert werden, um eine perfekte Stufenkante in einer höheren Auflösung zu erzeugen. Die interpolierte Kante sieht immer ein wenig unscharf aus.
Ein Standardverfahren für die Bildinterpolation ist die Polynominterpolation. Abhängig vom Grad des Interpolationspolynoms (z. B. linear, quadratisch, kubisch usw.) sieht das Bild mehr oder weniger glatt aus. Die am häufigsten verwendete Technik wird als kubische Interpolation bezeichnet. Ein Vorteil der Polynomverfahren ist ihre Einfachheit, weil sie auf globalen linearen Filterungstechniken basieren. Ein Nachteil ist, dass es nicht möglich ist, eine adaptive Interpolation auszuführen, was dadurch zu Kanten führt, die typischerweise überglättet sind. Dies ist ein signifikanter Nachteil bei der Vergrößerung von Dokumenten.
Es gibt andere Interpolationsfilter, wie z. B. Keys-Filter, die Verwandte der Polynominterpolationsfilter sind, die aber die Kennlinien von unscharfen Maskierungs filtern sitzen, d. h. sie verstärken die Hochfrequenzinhalte durch das Erzeugen eines Überschwingens-Unterschwingens an den Kanten, wobei ein Überschwingen-Unterschwingen außerdem für Rauschbildpunkte erzeugt wird und zu einer Vergrößerung des Rauschpegels im Bild führt. Weil alle diese Filter global auf das ganze Bild wirken, ist die adaptive Interpolation nicht möglich. Es gibt einen Kompromiss zwischen der Verbesserung der Kanten und dem Unterdrücken des Rauschens in Hintergrundbereichen.
Es gibt nichtlineare Interpolationsverfahren, die im Bildpunktbereich arbeiten und die Kanteninformationen aus dem Bild extrahieren und diese Informationen verwenden, um eine auf die Kanten gerichtete Interpolation auszuführen. Ein Verfahren berechnet zuerst eine Kantenabbildung des Bildes mit niedriger Auflösung unter Verwendung der Laplace-Funktion der Gauß-Funktion. In einem zweiten Schritt wird die Vorverarbeitung des Bildes mit niedriger Auflösung unter Verwendung der Kanteninformationen ausgeführt, um Fehler in einer geschätzten Kantenabbildung mit hoher Auflösung zu vermeiden. Der dritte Schritt führt die Interpolation unter Verwendung der Kanteninformationen aus. In glatten Bereichen wird eine bilineare Interpolation ausgeführt. In der Nähe der Kanten werden die interpolierten Werte durch Werte ersetzt, die die Schärfe der Kanten bewahren. Zuletzt wird ein interativer Korrekturschritt ausgeführt, um die Interpolation weiter zu verbessern. Eine typische Anzahl der Iterationen beträgt 10. Siehe Allebach, J., und Wong, P. W., "Edge-directed interpolation", Proceedings of ICIP'98, S. 707–710, 1998.
In einem weiteren Verfahren werden die lokalen Kovarianzeigenschaften im Bild mit niedriger Auflösung geschätzt, wobei diese Schätzwerte verwendet werden, um eine klassische Wiener-Filterungsinterpolation auszuführen. Weil die lokalen Kovarianzen Teil der Filterkoeffizienten sind, wird ein Glätten längs der Kanten, aber nicht über die Kanten ausgeführt. Ein Nachteil dieses Verfahrens ist, das isolierte Punkte nach der Interpolation nicht gut erhalten sind, weil sie als sehr kurze Kanten behandelt werden. Siehe Li, X., und Orchard, M., "New edge directed interpolation", Proceedings of ICIP'200, Vancouver, 2000.
Im Vergleich zu den vorhergehenden zwei Verfahren wird ein sehr einfaches kantenempfindliches Verfahren in Carrato, S., Ramponi, G., und Marsi, S., "A simple edge-sensitive image interpolation filter", Proceedings of ICIP'96, S. 711–714, 1996, vorgeschlagen. Diese Technik verwendet ein nichtlineares Filter, um den Interpolations-Abtastwert zu bestimmen. Im Einzelnen wird für ein eindimensionales Signal eine lokale Interpolation xint = μkxk + (1 – μk)xk+1 (1)ausgeführt. Falls x_int nah bei 0 liegt, ist der Interpolationswert ähnlich zum Abtastwert auf der rechten Seite, wohingegen der Interpolationswert ähnlich zum Abtastwert auf der linken Seite ist, falls x_int nah bei 1 liegt. Diese Anordnung hängt von der Glattheit des Signals mit niedriger Auflösung in einer Umgebung des Interpolationswertes ab, wobei sie über die Nichtlinearität
berechnet wird, wobei k ein Parameter ist, der die Kantenempfindlichkeit steuert. Für k = 0 wird eine lineare Interpolation erhalten, während positive Werte von k eine vergrößerte Kantenempfindlichkeit verursachen. Ein Vorteil dieser nichtlinearen Technik ist ihre Einfachheit – es sind keine Iterationen notwendig. Ein Nachteil dieser Technik ist, dass der Parameter k abgestimmt werden muss und dass isolierte kurze Kanten nicht vergrößert werden und im interpolierten Bild ein wenig "zusammengedrückt" aussehen. Außerdem ist die Interpolation einer perfekten Stufenkante, z. B. x_k-1 = x_k = 1, x_k+1 = x_k+2 = 0, keine perfekte Stufenkante mehr: 1, 1, 1, 1/2, 0, 0, 0. Es wird eine lineare Interpolation ausgeführt.
1 ist eine schematische graphische Darstellung, die eine zweidimensionale Erweiterung der eindimensionalen nichtlinearen Interpolationsverfahren veranschaulicht. Die Bildpunktorte, die in 1 "o" enthalten, sind Repräsentanten der Bildpunkte des Bildes mit niedriger Auflösung. Eine Erweiterung auf zwei Dimensionen wird ausgeführt, indem das eindimensionale Verfahren getrennt auf die Zeilen und Spalten des Bildes I_low mit niedriger Auflösung, die in der Matrix 101 gezeigt sind, angewendet wird, wobei die Ergebnisse in I_comb kombiniert sind, die in der Matrix 102 gezeigt sind. Die fehlenden Werte werden als Mittelwerte der Interpolation in den Zeilen und Spalten im kombinierten Bild I_int interpoliert, wobei sie in der Matrix 103 gezeigt sind.
Es gibt mehrere Techniken, die die Mehrfachauflösungsstrukturen der Bilder in der Wavelet-Domäne untersuchen, um die Bilder zu extrapolieren. Ein allgemeiner Zugang zur kantenerhaltenden Bildinterpolation mit Wavelets besteht darin, ein zusätzliches Hochfrequenzband zur Wavelet-Zerlegung des Bildes mit niedriger Auflösung hinzuzufügen. Einige Techniken des Standes der Technik bestimmen den Ort einer Kante durch Extrapolieren der Extrema der Wavelet-Koeffizienten über Maßstäbe oder Zerlegungsebenen. Diese Extrapolation erfordert typischerweise eine Lokalisierung und eine Anpassung mit Hilfe des Fehlerquadratverfahrens der Extrema. Ein Problem bei diesen Zugängen ist, dass die Ausrichtung einer Kante niemals ausreichend ist. Für das Extrapolieren glatterer Bilder ist es weniger wichtig, aber für die Extrapolation von Text ziemlich schlimm. Ein Weg, dieses Problem zu überwinden, enthält das Iterieren bei der Extrapolation, um das unterabgetastete Bild mit hoher Auflösung besser auf das Originalbild mit niedriger Auflösung abzubilden. Für weitere Informationen siehe Carey, W. K., Chuang, D. B., und Hemami, S. S., "Regularity-Preserving Image Interpolation", Trans. Image Processing, Bd. 8, Nr. 9, S. 1293–1297, 1999, und Chang, S. G., Cvetkovic, Z., und Vetterli, M., "Resolution enhancement of images using wavelet transform extrema extrapolation", Proceedings of ICASSP'95, S. 2379–2382, 1995.
Im US-Patent Nr. 5.717.789 mit dem Titel "Image enhancement by non-linear extrapolation in frequency space", erteilt im Februar 1998, wird die Laplacesche Pyramide verwendet, um eine modifizierte unscharfe Maskierung an einem glatt interpolierten Bild auszuführen. In diesem Fall ist es schwierig, eine perfekte Kante im interpolierten Bild geeignet auszurichten.
ZUSAMMENFASSUNG DER ERFINDUNG
Es werden ein Verfahren und eine Vorrichtung für die Vergrößerung und die Auflösungsverbesserung von Bildern in der Wavelet-Domäne beschrieben. In einer Ausführungsform umfasst das Verfahren das Empfangen einer Wavelet-Darstellung eines Bildes, wobei die Wavelet-Darstellung die Wavelet-Koeffizienten umfasst, und das Ausführen der lokalisierten adaptiven Interpolation an den Wavelet-Koeffizienten in der Wavelet-Domäne.
KURZBESCHREIBUNG DER ZEICHNUNG
Die vorliegende Erfindung wird aus der im Folgenden gegebenen ausführlichen Beschreibung und aus der beigefügten Zeichnung verschiedener Ausführungsformen der Erfindung vollständiger verstanden, die jedoch nicht genommen werden sollten, um die Erfindung auf die spezifischen Ausführungsformen einzuschränken, sondern die nur der Erklärung und dem Verständnis dienen.
1 veranschaulicht die zweidimensionale Erweiterung eindimensionaler nichtlinearer Interpolationsverfahren;
2 ist ein Ablaufplan, der den Prozess zum Einbetten der Interpolation in eine inverse Wavelet-Transformation veranschaulicht;
3A, 3B und 3C sind Ablaufpläne, die eine Ausführungsform eines Prozesses zum Einbetten der Interpolation in eine inverse Wavelet-Transformation veranschaulichen;
4 ist eine schematische graphische Darstellung, die eine Vorrichtung veranschaulicht, um die in einer inversen Wavelet-Transformation eingebettete Interpolation gemäß einer Ausführungsform auszuführen;
5 ist eine schematische graphische Darstellung, die ein Beispiel einer adaptiven nichtlinearen Bildvergrößerung unter Verwendung der Wavelet-Transformationskoeffizienten im Vergleich zur bikubischen Standardinterpolation veranschaulicht;
6 ist ein Ablaufplan, der eine Ausführungsform eines Prozesses zum Interpolieren einer Stufenkante veranschaulicht;
7 veranschaulicht ein digitales Kopiergerät mit einem auf Wavelets basierenden Verbesserungssystem;
8 veranschaulicht einen Prozess, der für das Drucken mit hoher Auflösung ausgeführt wird;
9 ist ein Blockschaltplan einer Ausführungsform eines Computer-Systems.
10 veranschaulicht eine Ausführungsform eines Verfahrens zum Verarbeiten von Bilddaten;
11 veranschaulicht eine weitere Ausführungsform des Prozesses zum Verarbeiten von Bilddaten;
12 ist ein Blockschaltplan einer Filterbank-Implementierung der ersten Ebene der unscharfen Mehrfachmaßstabs-Maskierung mit einer diskreten Wavelet-Transformation;
13 veranschaulicht einen weiteren Blockschaltplan einer Filterungsimplementierung der ersten Ebene der unscharfen Mehrfachmaßstabs-Maskierung mit einer übervollständigen diskreten Wavelet-Transformation;
14 ist ein Ablaufplan einer Ausführungsform des Prozesses zum Ausführen der Mehrfachmaßstabs-Schärfung und -Glättung mit Wavelets;
15A–15D veranschaulichen Vorwärts- und Rückwärtstransformationen;
16A–16D veranschaulichen die Anwendung der Schärfung/Glättung auf RDWTs; und
17 ist ein Blockschaltplan einer Ausführungsform eines Kopiergeräts.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Es werden ein Verfahren und eine Vorrichtung für die adaptive nichtlineare Bildvergrößerung unter Verwendung von Wavelet-Transformationskoeffizienten beschrieben. Der Wavelet-Transformationskoeffizient unterteilt das Bild natürlich in glatte Abschnitte und Kantenabschnitte. Die vorliegende Erfindung führt die Interpolation in der Wavelet-Domäne aus und verwendet die Informationen in den Tiefpass- und Hochpasskoeffizienten, um eine glatte Interpolation in glatten Bereichen automatisch auszuführen und scharfe Kanten in Bereichen mit hohen Frequenzen vorherzusagen.
Die hierin beschriebene Technik ist ein modifizierter Zugang zur Idee der nichtlinearen adaptiven Interpolation durch das Ausführen der adaptiven Interpolation in der Wavelet-Domäne. In einer Ausführungsform bewahrt dies signifikante scharfe Kanten, die oberhalb des Rauschpegels liegen (die z. B. durch eine Standardabweichung σ der Wavelet-Koeffizienten charakterisiert sind, wie im Folgenden beschrieben ist), wobei die Kanten, einschließlich kurzer Kanten, isoliert werden können und wobei Rauschbildpunkte nicht verstärkt werden. Ein kantenempfindlicher Parameter k wird aus der oben beschriebenen Technik des Standes der Technik beseitigt, wobei ein Parameter p, der die metrischen Abstände bestimmt, die ge messen werden, verwendet wird. Außerdem kann die Technik den Algorithmus an beliebige Wavelet-Systeme und -Transformationen anpassen. In einer Ausführungsform ist die Technik mit auf Wavelets basierenden Rauschbeseitigungs- und Verbesserungstechniken kombiniert, wobei sie deshalb eine nützliche Ergänzung zur Technik der Wavelet-Schärfung und -Glättung ("WSS"-Technik) ist. Sie ist außerdem auf JPEG-2000-komprimierte (J2K-komprimierte) Bilder anwendbar.
In der folgenden Beschreibung werden zahlreiche Einzelheiten dargelegt, wie z. B. die Abstände zwischen den Komponenten, die Typen der Formgebung usw. Es ist jedoch für einen Fachmann klar, dass der vorliegende Erfindungsgegenstand ohne diese spezifischen Einzelheiten hergestellt werden kann. In anderen Fällen sind wohlbekannte Strukturen und Vorrichtungen anstatt ausführlich in Blockschaltplanform gezeigt, um zu vermeiden, dass die vorliegende Erfindung undeutlich gemacht wird.
Einige Abschnitte der folgenden ausführlichen Beschreibungen sind in Form von Algorithmen und symbolischen Darstellungen von Operationen an Datenbits innerhalb eines Computer-Speichers dargestellt. Diese algorithmischen Beschreibungen und Darstellungen sind das durch die Fachleute auf dem Gebiet der Datenverarbeitung verwendete Mittel, um den Stoff ihrer Arbeit anderen Fachleuten am effektivsten mitzuteilen. Ein Algorithmus wird hier und im Allgemeinen als eine selbstkonsistente Folge von Schritten, die zu einem gewünschten Ergebnis führt, begriffen. Die Schritte sind diejenigen, die physikalische Manipulationen physikalischer Größen erfordern. Normalerweise, aber nicht notwendigerweise, nehmen diese Größen die Form elektrischer oder magnetischer Signale an, die gespeichert, übertragen, kombiniert, verglichen und anderweitig manipuliert werden können. Es hat sich gelegentlich als zweckmäßig erwiesen, prinzipiell aus Gründen der gemeinsamen Nutzung auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Begriffe, Zahlen oder dergleichen Bezug zunehmen.
Es sollte jedoch nicht vergessen werden, dass alle diese und ähnliche Begriffe den geeigneten physikalischen Größen zugeordnet sind und lediglich zweckmäßige Bezeichnungen sind, die für diese Größen verwendet werden. Wenn es nicht spezifisch anders dargelegt ist, wie es aus der folgenden Erörterung offensichtlich ist, ist klar, dass sich in der ganzen Beschreibung die Erörterungen, die Begriffe, wie z. B. "Verarbeitung" oder "Computer-Berechnung" oder "Berechnung" oder "Bestimmen" oder "Anzeigen" oder dergleichen, verwenden, auf die Wirkung und die Prozesse eines Computer-Systems oder ähnlicher elektronischer Computer-Vorrichtungen beziehen, die die als physikalische (elektronische) Größen dargestellten Daten innerhalb der Register und Speicher des Computer-Systems manipulieren und in andere Daten transformieren, die ähnlich als physikalische Größen innerhalb der Speicher oder Register des Computer-Systems oder anderer derartiger Informationsspeicherungs-, -übertragungs- oder -anzeigevorrichtungen dargestellt sind.
Die vorliegende Erfindung bezieht sich außerdem auf eine Vorrichtung, um die Operationen hierin auszuführen. Diese Vorrichtung kann für die erforderlichen Zwecke speziell konstruiert sein, oder sie kann einen Universal-Computer umfassen, der durch ein im Computer gespeichertes Computer-Programm selektiv aktiviert oder rekonfiguriert wird. Ein derartiges Computer-Programm kann in einem computerlesbaren Speichermedium, wie z. B. irgendeinem Plattentyp, einschließlich Disketten, optischer Platten, CD-ROMs und magnetoptischer Platten, Festwertspeichern (ROMs), Schreib-Lese-Speichern (RAMs), EPROMs, EEPROMs, magnetischen oder optischen Karten oder jedem Medientyp, der für das Speichern elektrischer Befehle geeignet ist, aber nicht eingeschränkt darauf, wobei jedes an einen Computer-Systembus gekoppelt ist, gespeichert sein.
Die hierin dargestellten Algorithmen und Anzeigen stehen nicht inhärent mit irgendeinem speziellen Computer oder einer anderen Vorrichtung in Beziehung. Mit den Programmen in Übereinstimmung mit den Lehren hierin können verschiedenen Universalsysteme verwendet werden, oder es kann sich als zweckmäßig weisen, eine spezialisiertere Vorrichtung zu konstruieren, um die erforderlichen Verfahrensschritte auszuführen. Die erforderliche Struktur für eine Vielfalt dieser Systeme geht aus der folgenden Beschreibung hervor. Außerdem wird die vorliegende Erfindung nicht unter Bezugnahme auf irgendeine spezielle Programmiersprache beschrieben. Es ist klar, dass verschiedene Programmiersprachen verwendet werden können, um die Lehren der Erfindung zu implementieren, wie sie hierin beschrieben sind.
Ein maschinenlesbares Medium enthält irgendeinen Mechanismus, um Informationen in einer durch eine Maschine (z. B. einen Computer) lesbaren Form zu speichern oder zu übertragen. Ein maschinenlesbares Medium enthält z. B. einen Festwertspeicher ("ROM"); einen Schreib-Lese-Speicher ("RAM"); magnetische Plattenspeichermedien; optische Speichermedien, Flash-Speichervorrichtungen; elektrische, optische oder akustische Signale oder eine andere Form sich ausbreitender Signale (z. B. Trägerwellen, Infrarotsignale, digitale Signale usw.); usw.
Der auf Wavelets basierende Algorithmus
2 ist ein Ablaufplan einer Ausführungsform eines Prozesses zum Ausführen der nichtlinearen Bildvergrößerung unter Verwendung der Wavelet-Transformationskoeffizienten. In einer Ausführungsform wird der Prozess durch eine Verarbeitungslogik ausgeführt, die Hardware (z. B. eine Schaltungsanordnung, dedizierte Logik usw.), Software (wie sie z. B. auf einem Universal-Computer-System oder einem dedizierten Computer ausgeführt wird) oder eine Kombination aus beidem umfassen kann.
In einer Ausführungsform enthält der Prozess das Einbetten der Interpolation in eine inverse Wavelet-Transformation. Die Unterschiede zwischen den Abtastwerten in der obigen Gl. (2) werden in einer Ausführungsform als Haar-Wavelet-Koeffizienten interpretiert. In einem derartigen Fall wird angenommen, dass das Bild in redundanten Haar-Wavelet-Koeffizienten gegeben ist. Die erste Ebene der Zerlegung ist durch die Tiefpasskoeffizienten c_LL(j, i) 201 und die Detailkoeffizienten d_LH(j, i) 202, d_HL(j, i) 203 und d_HH(j, i) 204 gegeben. Die Reihenfolge der Vorwärtstransformation ist, dass die horizontale Transformation zuerst ausgeführt wird, gefolgt von der vertikalen Transformation. Im JPEG 2000 ist die Reihenfolge umgekehrt: zuerst wird die vertikale Transformation angewendet, gefolgt von der Anwendung der horizontalen Transformation. Siehe JPEG2000: ITU-T Rec. T.800-ISO/IEC 15444-1:2000, Information Technology – JPEG2000 Image Coding System. In diesem Fall wird die inverse Transformation, die die horizontale Transformation ausführt, gefolgt von der vertikalen Transformation angewendet.
Die Verarbeitungslogik führt eine vertikale inverse Wavelet-Transformation an den Spalten von c_LL 201 und d_LH 202 aus, wobei die Ergebnisse als c_L 205 bezeichnet werden.
Als Nächstes führt die Verarbeitungslogik eine vertikale inverse Wavelet-Transformation an den Spalten von d_HL 203 und d_HH 204 aus, wobei das Ergebnis als d_H 206 bezeichnet wird.
Die Verarbeitungslogik setzt die Ergebnisse c_L 205 und d_H 206 in grobe Gitterbil der C_L 207 und D_H 208, sodass C_L(2j, i) = c_L(j, i) und D_H(2j, i) = d_H(j, i) gilt.
Dann interpoliert die Verarbeitungslogik die Spalten C_L(2j + 1, i) und D_H(2j + 1, i) entsprechend CL(2j + 1, i) = μj,iCL(2j, i) + (1 – μj,i)CL(2j + 2, i) (3)und DH(2j + 1, i) = μj,iDH(2j, i) + (1 – μj,i)DH(2j + 2, i) (4)mit
falls |dLH+HH(j, i)| > ε, |dLH+HH(j – 1, i)|p + |dLH+HH(j + 1, i)|p ≠ 0 (6) und dLH+HH(j – 1, i)·dLH+HH(j + 1, i) ≥ 0 gilt, (7)ε ist das Maß des Rauschpegels (z. B. die Standardabweichung der Koeffizienten, der Medianwert, die Standardabweichung oder der Medianwert der Absolutwerte der Koeffizienten in einem Bereich (z. B. ein spezielles Band der Koeffizienten auf speziellen Pegeln), die Standardabweichung oder der Medianwert der Absolutwerte der Koeffizienten desselben Pegels auf jedem Pegel, die Standardabweichung oder der Medianwert der Absolutwerte der Koeffizienten verschiedener Bänder auf einem ersten Pegel, die Standardabweichung oder der Medianwert der Absolutwerte der Koeffizienten verschiedener Bänder auf jedem Pegel usw.) oder wird manuell festgelegt. In einer Ausführungsform kann der Rauschpegel durch die Standardabweichung σ der Wavelet-Koeffizienten charakterisiert sein. In einem derartigen Fall ist die Schwellenwert-Anzeige des Rauschpegels:
σ√2logN
für N Abtastwerte.
Die Gleichung (5) ist eine modifizierte Version der obigen Gl. (2), wobei der Parameter k beseitigt ist. Falls der Wavelet-Koeffizient auf der rechten Seite groß im Vergleich zu dem auf der linken Seite ist, wird der Interpolationswert mehr auf der linken Seite placiert und umgekehrt. Der Parameter p steuert, ob die Differenzen zwischen den Koeffizienten stärker oder weniger gewichtet werden. Eine gute Wahl für Bilder ist p = 1. Falls |dLH+HH(j, i)| > ε und (|dLH+HH(j – 1, i)|p + |dLH+HH(j + 1, i)|p = 0 oder dLH+HH(j – 1, i)·dLH+HH(j + 1, i) < 0) gilt, dann wird μj,i auf 1 gesetzt, andernfalls, d. h. falls |dLH+HH(j, i)| ≤ ε gilt, wird μj,i auf 0,5 gesetzt. (8)
Die Verarbeitungslogik führt dann horizontale inverse Wavelet-Transformationen an den Zeilen von c_L 207 und d_H 208 aus. Das Ergebnis wird als i_int 209 bezeichnet. Die Verarbeitungslogik placiert diese Abtastwerte durch I_INT(j, 2i) = i_int(j, i) in ein grobes Gitterbild I_INT 210.
Die Verarbeitungslogik interpoliert dann die Zeilen I_INT(j, 2i + 1) durch IINT(2j, 2i + 1) = ν2j,iIINT(2j, 2i) + (1 – ν2j,i)IINT(2j, 2i + 2), (9) IINT(2j + 1, 2i + 1) = ν2j,iIINT(2j + 1, 2i) + (1 – ν2j,i)IINT(2j + 1, 2i + 2), (10)mit
falls |DH(2j, i)| > ε, |DH(2j, i – 1)|p + |DH(2j, i + 1)|p ≠ 0 (12) und DH(2j, i – 1)·DH(2j, i + 1) ≥ 0, (13) DH(2j, i – 1)·DH(2j, i + 1) < 0 gilt.
In einer Ausführungsform wird, wenn |D_H(2j, i)| > ε und (|D_H(2j, i – 1)|^p + |D_H(2j, i + 1)|^p = 0 oder D_H(2j, i – 1)·D_H(2j, i + 1) < 0) gilt, dann ν_2j,i auf 1 gesetzt, andernfalls, d. h. wenn |D_H(2j, i) ≤ ε gilt, wird dann ν_2j,i auf 0,5 gesetzt.
In einer Ausführungsform legt die Verarbeitungslogik das Bild I_INT zurück auf den Bereich der Werte für seine Palette fest. In einer Ausführungsform, in der das Bild z. B. ein Graustufenbild mit 256 Schattierungen ist, wird der Bereich zurück auf den Bereich [0, 255] festgelegt.
In den obigen Gleichungen (6) und (12) gibt es eine Bedingung |Koeffizient| > ε. Eine Alternative zum Festlegen des Schwellenwertes ε kann sein, ein Klassifiziererergebnis zu verwenden, das die Koeffizienten in Klassen A und B klassifiziert, und die Operationen anhand dessen, ob sich z. B. ein Koeffizient in der Klasse A befindet, auszuführen. Dies könnte z. B. in Halbton-Bereichen verwendet werden.
Falls ein Halbton-Klassifizierer verwendet wird, der entscheidet, ob ein Koeffizient zu einem Halbtonbereich gehört oder nicht, könnten die Gleichungen als:
falls |d_LH+HL(j, k)| ein Halbton ist, gilt |dLH+HL(j – 1, i)ν|p + |dLH+HL(j + 1, i)|p ≠ 0 und dLH+HH(j – 1, i)·dLH+HH(j + 1, i) ≥ 0,geschrieben werden. Im Allgemeinen könnten sie als
falls d_LH+HL(j, k) die Bedingung A erfüllt, gilt |dLH+HL(j – 1, i)|p + |dLH+HL(j + 1, i)|p ≠ 0, DH(2j, i – 1)·DH(2j, i + 1) ≥ 0,geschrieben werden.
Eine Bedingung A kann z. B. sein

1) |Koeffizient| > Schwellenwert, wenn der Schwellenwert den Rauschpegel in dem Bild darstellt,
2) der Koeffizient gehört zum Halbtonbereich, wenn der Klassifizierer für Halbton gegen kein Halbton verwendet wird,
3) der Koeffizient gehört zum Text, wenn der Klassifizierer für Text gegen kein Text verwendet wird oder wenn das MRC-Komprimierungsschema (Komprimierungsschema für gemischte Rasterinhalte) verwendet wird, oder
4) der Koeffizient gehört zum Interessenbereich oder zu einer spezifischen Schicht im JPEG2000.

Der obige Prozess wird im Folgenden in anderen Begriffen ausgedrückt. Die 3A, 3B und 3C sind Ablaufpläne, die das Einbetten einer Interpolationstechnik in eine inverse Wavelet-Transformation veranschaulichen.
In den 3A, 3B und 3C empfängt in einer Ausführungsform die Verarbeitungslogik ein in Wavelet-Koeffizienten gegebenes Bild (Verarbeitungsblock 301). Im Prozessblock 302 führt die Verarbeitungslogik eine erste vertikale inverse Wavelet-Transformation an den Spalten (j) einer ersten Koeffizientenmatrix des Bildes (z. B. c_LL(j, i)) und den Spalten (j) einer zweiten Koeffizientenmatrix des Bildes (z. B. d_LH(j, i)) aus. Dann führt im Prozessblock 303 die Verarbeitungslogik eine zweite vertikale inverse Wavelet-Transformation an den Spalten (j) einer dritten Koeffizientenmatrix des Bildes (z. B. d_HL(j, i)) und den Spalten (j) einer vierten Koeffizientenmatrix des Bildes (z. B. d_HH(j, i)) aus.
Als Nächstes setzt die Verarbeitungslogik im Prozessblock 304 für jede Spalte (j) in einem Ergebnis der ersten vertikalen inversen Wavelet-Transformation (z. B. c_L(j, i)) eine entsprechende geradzahlige Spalte (2j) in einem ersten vertikal gröberen Gitterbild (z. B. C_L(2j, i)) gleich der Spalte (j) im Ergebnis der ersten vertikalen inversen Wavelet-Transformation (z. B. C_L(2j, i) = c_L(j, i)).
Dann setzt die Verarbeitungslogik im Prozessblock 305 für jede Spalte (j) in einem Ergebnis der zweiten vertikalen inverse Wavelet-Transformation (z. B. d_H(j, i)) eine entsprechende geradzahlige Spalte (2j) in einem zweiten vertikal gröberen Gitterbild (z. B. D_H(2j, i)) gleich der Spalte im Ergebnis der zweiten vertikalen inversen Wavelet-Transformation (z. B. D_H(2j, i) = d_H(j, i)).
Als Nächstes setzt die Verarbeitungslogik im Prozessblock 306 für jede Spalte (j) und jede Zeile (i) in einer fünften Koeffizientenmatrix (z. B. d_LH+HH(j, i)) ein Element in der Spalte (j) und der Zeile (i) der fünften Koeffizientenmatrix gleich einer Summe aus einem ersten Summanden und einem zweiten Summanden (z. B. d_LH+HH(j, i) = [d_LH(j, i)] + [d_HH(j, i)] = x + y). Der erste Summand (x) ist ein Element in einer Spalte und einer Zeile in der zweiten Koeffizientenmatrix (z. B. x = d_LH(j, i)). Die Spalte (j) und die Zeile (i) in der zweiten Koeffizientenmatrix (z. B. d_LH(j, i)) entsprechen der Spalte (j) und der Zeile (i) in der fünften Koeffizientenmatrix (z. B. d_LH+HH(j, i)). Der zweite Summand (y) ist ein Element in einer Spalte und einer Zeile in der vierten Koeffizientenmatrix (z. B. y = d_HH(j, i)). Die Spalte (j) und die Zeile (i) in der vierten Koeffizientenmatrix (z. B. d_HH(j, i)) entsprechen der Spalte (j) und der Zeile (i) in der fünften Koeffizientenmatrix (z. B. d_LH+HH(j, i)).
Dann setzt die Verarbeitungslogik im Prozessblock 307 für jede Zeile (i) jeder ungeradzahligen Spalte (2j + 1) im ersten vertikalen gröberen Gitterbild (z. B. C_L(2j + 1, i)) ein Element in der Zeile der ungeradzahligen Spalte gleich einer Summe aus einem ersten Summanden und einem zweiten Summanden (z. B. C_L(2j + 1, i) = ⌊μ_j,iC_L(2j, i)⌋g + ⌊(1 – μ_j,i)C_L(2j + 2, i)⌋ = x + y). Der erste Summand (x) ist ein Produkt aus einem ersten Parameter (μ_j,i) und einem Element in derselben Zeile (i) einer geradzahligen Spalte auf der linken Seite der ungeradzahligen Spalte (z. B. x = ⌊μ_j,i⌋[C_L(2j, i)]). Der zweite Summand (y) ist ein Produkt aus einer Differenz (z) und einem Element in derselben Zeile (i) einer geradzahligen Spalte auf der rechten Seite der ungeradzahligen Spalte (z. B. y = ⌊(1 – μ_j,i)⌋[C_L(2j + 2, i)] = [z][C_L(2j + 2, i)]). Die Differenz (z) ist gleich eins minus den ersten Parameter (z. B. z = 1 – μ_j,i).
Als Nächstes setzt die Verarbeitungslogik im Prozessblock 308 für jede Zeile (i) jeder ungeradzahligen Spalte (2j + 1) im zweiten vertikal gröberen Gitterbild (z. B. D_H(2j + 1, i)) ein Element in der Zeile der ungeradzahligen Spalte gleich einer Summe aus einem ersten Summanden und einem zweiten Summanden (z. B. D_H(2j + 1, i) = ⌊μ_j,iD_H(2j, i)⌋ + ⌊(1 – μ_j,i)D_H(2j + 2, i)⌋ = x + y). Der erste Summand (x) ist ein Produkt aus dem ersten Parameter (μ_j,i) und einem Element in derselben Zeile (i) einer geradzahligen Spalte auf der linken Seite der ungeradzahligen Spalte (z. B. x = ⌊μ_j,i⌋[D_H(2j, i)]). Der zweite Summand (y) ist ein Produkt aus einer Differenz (z) und einem Element in derselben Zeile (i) einer geradzahligen Spalte auf der rechten Seite der ungeradzahligen Spalte (z. B. y = [z][D_H(2j + 2, i)]). Die Differenz (z) ist gleich eins minus den ersten Parameter (z. B. z = 1 – μ_j,i).
Dann führt im Prozessblock 309 die Verarbeitungslogik eine horizontale inverse Wavelet-Transformation an den Zeilen (i) des ersten vertikal gröberen Gitterbildes (z. B. C_L(j, i)) und den Zeilen (i) des zweiten vertikal gröberen Gitterbildes (z. B. D_H(j, i)) aus.
Als Nächstes setzt die Verarbeitungslogik im Prozessblock 310 für jede Zeile (i) in einem Ergebnis der horizontalen inversen Wavelet-Transformation (z. B. i_int(j, i)) eine entsprechende geradzahlige Zeile (2i) in einem horizontal gröberen Gitterbild (z. B. I_INT(j, 2i)) gleich der Zeile im Ergebnis der horizontalen inversen Wavelet-Transformation (z. B. I_INT(j, 2i) = i_int(j, i)).
Dann setzt die Verarbeitungslogik im Prozessblock 311 für jede geradzahlige Spalte (2j) jeder ungeradzahligen Zeile (2i + 1) im horizontal gröberen Gitterbild (z. B. I_INT(2j, 2i + 1)) ein Element in der geradzahligen Spalte der ungeradzahligen Zeile gleich einer Summe aus einem ersten Summanden und einem zweiten Summanden (z. B. I_INT(2j, 2i + 1) = ⌊ν_2j,iI_INT(2j, 2i)⌋ + ⌊(1 – ν_2j,i)I_INT(2j, 2i + 2)⌋ = x + y). Der erste Summand (x) ist ein Produkt aus einem dritten Parameter (ν_2j,i) und einem Element in derselben geradzahligen Spalte (2j) einer geradzahligen Zeile über der ungeradzahligen Zeile (z. B. x = ⌊ν_2j,i⌋[I_INT(2j, 2i)]). Der zweite Summand (y) ist ein Produkt aus einer Differenz (z) und einem Element in derselben gerad zahligen Spalte (2j) einer geradzahligen Zeile unter der ungeradzahligen Zeile (z. B. y = [z][I_INT(2j, 2i + 2)]). Die Differenz (z) ist gleich eins minus den dritten Parameter (z. B. z = 1 – ν_2j,i).
Schließlich setzt die Verarbeitungslogik im Prozessblock 312 für jede ungeradzahlige Spalte (2j + 1) jeder ungeradzahligen Zeile (2i + 1) im horizontal gröberen Gitterbild (z. B. I_INT(2j + 1, 2i + 1)) ein Element in der ungeradzahligen Spalte der ungeradzahligen Zeile gleich einer Summe aus einem ersten Summanden und einem zweiten Summanden (z. B. I_INT(2j + 1, 2i + 1) = ⌊ν_2j,iI_INT(2j + 1, 2i)⌋ + ⌊(1 – ν_2j,i)I_INT(2j + 1, 2i + 2)⌋ = x + y). Der erste Summand (x) ist ein Produkt aus dem dritten Parameter (ν_2j,i) und einem Element in derselben ungeradzahligen Spalte (2j + 1) einer geradzahligen Zeile über der ungeradzahlige Zeile (z. B. x = ⌊ν_2j,i⌋[I_INT(2j + 1, 2i)]. Der zweite Summand (y) ist ein Produkt aus einer Differenz (z) und einem Element in derselben ungeradzahligen Spalte (2j + 1) einer geradzahlige Zeile unter der ungeradzahligen Zeile (z. B. y = [z][I_INT(2j + 1, 2i + 2)]). Die Differenz (z) ist gleich eins minus den dritten Parameter (z. B. z = 1 – ν_2j,i).
In einer Ausführungsform legt die Verarbeitungslogik das resultierende Bild zurück auf einen Bereich fest, was im Prozessblock 313 gezeigt ist. Der Prozessblock 314 veranschaulicht eine Ausführungsform des Festlegens, bei der jedes Element im resultierenden Bild, das einen Wert unterhalb des Bereichs besitzt, auf einen niedrigsten Wert in dem Bereich gesetzt wird, während jedes Element im resultierenden Bild, das einen Wert oberhalb des Bereichs besitzt, auf einen höchsten Wert im Bereich gesetzt wird. Folglich ist in einer Ausführungsform der Bereich ein Bereich aus 256 Grauschattierungen. In einer weiteren Ausführungsform ist der Bereich ein Bereich einer größeren Anzahl von Grauschattierungen; z. B. 65.536 Schattierungen. In einer noch weiteren Ausführungsform ist das Bild ein Farbbild mit drei Bereichen für die Farbtöne rot, grün bzw. blau. Jeder dieser Bereiche wird ähnlich festgelegt. Folglich wird in der ganzen Interpolation die gewünschte Bildpalette aufrechterhalten.
In einer Ausführungsform sind die Wavelet-Koeffizienten redundante Haar-Wavelet-Koeffizienten.
In einer Ausführungsform sind der erste Parameter (μ_j,i) und der dritte Parameter (ν_2j,i) auf 0,5 gesetzt.
Falls eine Bedingung (k') erfüllt ist, wobei k' vom oben im Stand der Technik erwähnten Parameter k verschieden ist, ist in einer Ausführungsform der erste Parameter (μ_j,i) ein durch einen Nenner geteilter Zähler (z. B. μ_j,i = [|d_LH+HH(j + 1, i)|^p]/[|d_LH+HH(j – 1, i)|^p + |d_LH+HH(j + 1, i)|^p] = x/y). Der Zähler (x) ist ein erster Absolutwert (|x'|), der exponentiell in eine Potenz eines zweiten Parameters erhoben ist (z. B. x = [|d_LH+HH(j + 1, i)|]^[p] = |x'|^p). Der erste Absolutwert (|x'|) ist ein Absolutwert eines ersten Elements (x'). Das erste Element (x') ist ein Element in einer Spalte (j + 1) und einer Zeile (i) in der fünften Koeffizientenmatrix (z. B. x' = d_LH+HH(j + 1, i)). Die Spalte (j + 1) in der fünften Koeffizientenmatrix ist eine Spalte rechts von einer Spalte (j) in der fünften Koeffizientenmatrix, die einer geradzahligen Spalte (2j) links von der ungeradzahligen Spalte (2j + 1) im ersten vertikal gröberen Gitterbild (und außerdem der ungeradzahligen Spalte (2j + 1) im zweiten vertikal gröberen Gitterbild) entspricht. Die Zeile (i) in der fünften Koeffizientenmatrix entspricht der Zeile (i) der ungeradzahligen Spalte im ersten vertikal gröberen Gitterbild (und außerdem der Zeile (i) der ungeradzahligen Spalte im zweiten vertikal gröberen Gitterbild). Der Nenner (y) ist eine Summe aus einem Summanden (z) und dem Zähler (z. B. y = [|d_LH+HH(j – 1, i)|^p] + [|d_LH+HH(j + 1, i)|^p] = z + x). Der Summand (z) ist ein zweiter Absolutwert (|z'|), der exponentiell in die Potenz des zweiten Parameters erhoben ist (z. B. z = [|d_LH+HH(j – 1, i)|]^[p] = |z'|^p). Der zweite Absolutwert (|z'|) ist ein Absolutwert eines zweiten Elements (z'). Das zweite Element (z') ist ein Element in einer Spalte (j – 1) und einer Zeile (i) in der fünften Koeffizientenmatrix (z. B. z' = d_LH+HH(j – 1, i)). Die Spalte (j – 1) in der fünften Koeffizientenmatrix ist eine Spalte links von einer Spalte (j) in der fünften Koeffizientenmatrix, die einer geradzahligen Spalte (2j) links der ungeradzahligen Spalte (2j + 1) im ersten vertikal gröberen Gitterbild (und außerdem der ungeradzahligen Spalte (2j + 1) im zweiten vertikal gröberen Gitterbild) entspricht. Die Zeile (i) in der fünften Koeffizientenmatrix entspricht der Zeile (i) der ungeradzahligen Spalte im ersten vertikal gröberen Gitterbild (und außerdem der Zeile (i) der ungeradzahligen Spalte im zweiten vertikal gröberen Gitterbild).
In einer Ausführungsform ist der zweite Parameter (p) gleich eins.
In einer Ausführungsform ist die Bedingung (k') erfüllt, falls ein Absolutwert größer als ein Schwellenwert ist (z. B. |d_LH+HH(j, i)| > ε) und der Nenner nicht gleich null ist (z. B. |d_LH+HH(j – 1, i)|^p + |d_LH+HH(j + 1, i)|^p ≠ 0) und ein Produkt nicht kleiner als Null ist (z. B. [d_LH+HH(j – 1, i)][d_LH+HH(j + 1, i)] ≥ 0). Der Absolutwert ist ein Absolutwert eines dritten Elements. Das dritte Element ist ein Element in einer Spalte (j) und einer Zeile (i) in der fünften Koeffizientenmatrix (z. B. d_LH+HH(j, i)). Die Spalte (j) in der fünften Koeffizientenmatrix entspricht einer geradzahligen Spalte (2j) links von der ungeradzahligen Spalte (2j + 1) im ersten vertikal gröberen Gitterbild (und außerdem der ungeradzahligen Spalte (2j + 1) im zweiten vertikal gröberen Gitterbild). Die Zeile (i) in der fünften Koeffizientenmatrix entspricht der Zeile (i) der ungeradzahligen Spalte im ersten vertikal gröberen Gitterbild (und außerdem der Zeile (i) der ungeradzahligen Spalte im zweiten vertikal gröberen Gitterbild). Das Produkt ist ein Produkt aus dem ersten Element und dem zweiten Element (z. B. [x'][z'] = [d_LH+HH(j + 1, i)][d_LH+HH(j – 1, i)]).
In einer Ausführungsform ist der erste Parameter (μ_j,i) auf eins gesetzt, falls der Absolutwert größer als der Schwellenwert ist (z. B. |d_LH+HH(j, i)| > ε) und der Nenner gleich null ist (z. B. |d_LH+HH(j – 1, i)|^p + |d_LH+HH(j + 1, i)|^p = 0).
In einer Ausführungsform ist der erste Parameter (μ_j,i) auf eins gesetzt, falls der Absolutwert größer als der Schwellenwert ist (z. B. d_LH+HH(j, i) > ε) und das Produkt kleiner als null ist (z. B. [d_LH+HH(j – 1, i)][d_LH+HH(j + 1, i)] < 0.
Falls eine Bedingung (k') erfüllt ist, ist in einer Ausführungsform der dritte Parameter (ν_2j,i) ein durch einen Nenner geteilter Zähler (z. B. ν_2j,i = [|D_H(2j, i + 1)|^p]/[|D_H(2j, i – 1)|^p + |D_H(2j, i + 1)|^p] = x/y). Der Zähler (x) ist ein erster Absolutwert (|x'|), der exponentiell in eine Potenz eines zweiten Parameters erhoben ist (z. B. x = [|D_H(2j, i + 1)|]^[p] = |x'|^p). Der erste Absolutwert (|x'|) ist ein Absolutwert eines ersten Elements (x'). Das erste Element (x') ist ein Element in einer Zeile (i + 1) und einer geradzahlige Spalte (2j) im zweiten vertikal gröberen Gitterbild (z. B. x' = D_H(2j, i + 1)). Die Zeile (i + 1) im zweiten vertikal gröberen Gitterbild ist eine Zeile unter einer Zeile (i) im zweiten vertikal gröberen Gitterbild, die einer geradzahligen Zeile (2i) über der ungeradzahligen Zeile (2i + 1) im horizontal gröberen Gitterbild entspricht. Die geradzahlige Spalte (2j) im zweiten vertikal gröberen Gitterbild entspricht der geradzahlige Spalte (2j) der ungeradzahligen Zeile im horizontal gröberen Gitterbild. Der Nenner (y) ist eine Summe aus einem Summanden (z) und dem Zähler (z. B. y = [|D_H(2j, i – 1)|^p] + [|D_H(2j, i + 1)|^p] = z + x). Der Summand (z) ist ein zweiter Absolutwert, der exponentiell in die Potenz des zweiten Parameters erhoben ist (z. B. z = [|D_H(2j, i – 1)|]^[p] =|z'|^p). Der zweite Absolutwert (|z'|) ist ein Absolutwert eines zweiten Elements (z'). Das zweite Element (z') ist ein Element in einer Zeile (i – 1) und einer geradzahligen Spalte (2j) im zweiten vertikal gröberen Gitterbild (z. B. z' = D_H(2j, i – 1)). Die Zeile (i – 1) im zweiten vertikal gröberen Gitterbild ist eine Zeile über einer Zeile (i) im zweiten vertikal gröberen Gitterbild, die einer geradzahligen Zeile (2i) über der ungeradzahligen Zeile (2i + 1) im horizontal gröberen Gitterbild entspricht. Die geradzahlige Spalte (2j) im zweiten vertikal gröberen Gitterbild entspricht der geradzahligen Spalte (2j) der ungeradzahligen Zeile im horizontal gröberen Gitterbild.
In einer Ausführungsform ist die Bedingung (k') erfüllt, falls ein Absolutwert größer als ein Schwellenwert ist (z. B. |D_H(2j, i)| > ε und der Nenner nicht gleich null ist (z. B. |D_H(2j, i – 1)|^p + |D_H(2j, i + 1)|^p ≠ 0) und ein Produkt nicht kleiner als null ist (z. B. [D_H(2j, i – 1)][D_H(2j, i + 1)] ≥ 0). Der Absolutwert ist ein Absolutwert eines dritten Elements. Das dritte Element ist ein Element in einer Zeile (i) und einer geradzahlige Spalte (2j) im zweiten vertikal gröberen Gitterbild (z. B. D_H(2j, i)). Die Zeile (i) im zweiten vertikal gröberen Gitterbild entspricht einer geradzahligen Zeile (2i) über der ungeradzahligen Zeile (2i + 1) im horizontal gröberen Gitterbild. Die geradzahlige Spalte (2j) im zweiten vertikal gröberen Gitterbild entspricht der geradzahligen Spalte (2j) der ungeradzahligen Zeile im horizontal gröberen Gitterbild. Das Produkt ist ein Produkt aus dem ersten Element und dem zweiten Element (z. B. [x'][z'] = [D_H(2j, i – 1)][D_H(2j, i + 1)]).
In einer Ausführungsform ist der dritte Parameter (ν_2j,i) auf eins gesetzt, falls der Absolutwert größer als der Schwellenwert ist (z. B. (z. B. |D_H(2j, i)| > ε) und der Nenner nicht gleich null ist (z. B. |D_H(2j, i – 1)|^p + |D_H(2j, i + 1)|^p ≠ 0).
In einer Ausführungsform ist der dritte Parameter (ν_2j,i) auf eins gesetzt, falls der Absolutwert größer als der Schwellenwert ist (z. B. |D_H(2j, i)| > ε) und das Produkt nicht kleiner als null ist (z. B. [D_H(2j, i – 1)][D_H(2j, i + 1)] ≥ 0).
Der Schwellenwert ε kann verhindern, dass Rauschbildpunkte, einschließlich Halbton-Rauschbildpunkte, als starke Kanten behandelt werden. In glatten Bereichen, in denen die Detailkoeffizienten null sind, kann sich die Interpolation auf eine lineare Interpolation verringern.
4 ist ein Blockschaltplan einer Ausführungsform einer Vorrichtung, um die in einer inversen Wavelet-Transformation eingebettete Interpolation auszuführen. In 4 umfasst die Vorrichtung 400 eine Empfangseinheit 401, um ein in Wavelet-Koeffizienten gegebenes Bild zu empfangen, und eine Zentraleinheit 402, die an die Empfangseinheit 401 gekoppelt ist. Die Zentraleinheit 402 führt die oben beschriebene Funktionalität aus. In einer Ausführungsform umfasst die in 4 gezeigte Vorrichtung eine Multifunktions-Maschine.
In 5 veranschaulichen zwei Bilder ein Beispiel einer adaptiven nichtlinearen Bildvergrößerung unter Verwendung der Wavelet-Transformationskoeffizienten im Vergleich zur bikubischen Standardinterpolation gemäß einer Ausführungsform. Das Bild 501 ist unter Verwendung der bikubischen Standardinterpolation erzeugt worden. Das Bild 502 ist unter Verwendung der auf Wavelets basierenden nichtlinearen Interpolation erzeugt worden. In einer Ausführungsform sind die Bildpunktunterschiede im Algorithmus des Standes der Technik zu den Haar-Wavelet-Koeffizienten einer redundanten Wavelet-Transformation äquivalent. Im Gegensatz zum Algorithmus des Standes der Technik interpoliert in einer Ausführungsform die hierin dargelegte Technik, die eine redundante Haar-Transformation verwendet, eine perfekte Stufenkante "exakt", d. h. das interpolierte Signal besitzt außerdem eine perfekte Stufenkante.
6 ist ein Ablaufplan, der eine Ausführungsform eines Prozesses zum Interpolieren einer Stufenkante veranschaulicht. In einer Ausführungsform wird ein Bild, das eine perfekte Stufenkante besitzt, im Prozessblock 601 empfangen, wobei im Prozessblock 602 die perfekte Stufenkante exakt interpoliert wird, während das Bild vergrößert wird.
In einer Ausführungsform wird außerdem die Technik unter Verwendung der redundanten Wavelet-Transformationskoeffizienten für beliebige Wavelet-Typen angewendet. Sie wird außerdem für maximal dezimierte Wavelet-Transformationen und komplexe Wavelet-Transformation verwendet.
In einer Ausführungsform wird die Technik erweitert, um die Informationen von verschiedenen Ebenen der Wavelet-Zerlegung, z. B. unter Verwendung der Wavelet-Koeffizienten von größeren Maßstäben für die Berechnung der Parameter μ und ν, einzuschließen.
In Kombination mit einer Wavelet-Schärfungs- und -Glättungstechnik ("WSS"-Technik) kann die Vergrößerung nach der Rauschbeseitigung durch Begrenzung mit einem Schwellenwert und dem Schärfen/Glätten durch Neuskalierung der Wavelet-Koeffizienten ausgeführt werden. Für weitere Informationen über die WSS siehe die US-Patentanmeldung mit der laufenden Nr. 09/467.544 mit dem Titel "Multiscale Sharpening and Smoothing With Wavelets", eingereicht am 10. Dezember 1999 und auf den gemeinsamen Anmelder der vorliegenden Erfindung übertragen.
In einer Ausführungsform wird für den Zweck der Vergrößerung von JPEG2000-komprimierten oder ähnlich komprimierten Bildern die oben beschriebene Technik in die letzte Ebene der inversen Wavelet-Transformation auf der Decodiererseite aufgenommen.
Nun wird eine Beschreibung der WSS (einer Mehrfachmaßstabs-Schärfungs- und -Glättungstechnik mit Wavelets) gegeben, die in der obenerwähnten US-Patentanmeldung mit der laufenden Nr. 09/467.544 beschrieben ist.
Die hierin beschriebenen Mehrfachmaßstabs-Schärtungs- und -Glättungstechniken, die außerdem als unscharfe Mehrfachmaßstabs-Maskierung bezeichnet werden, schaffen eine Alternative zu den Verfahren des Standes der Technik und sind einfach zu implementieren. Dieser Zugang verwendet die Glattheitseigenschaften der Wavelet-Systeme, um die Schärfung und Glättung zu schaffen.
Spezifisch schärfen und glätten die hierin beschriebenen Techniken die Bilder über verschiedene Auflösungsebenen unter Verwendung eines neuen Schärfungs-/Glättungsparameters. In einer Ausführungsform ist die Mehrfachmaßstabs-Schärfung und -Glättung in einer Wavelet-Zerlegung durch das Multiplizieren der Wavelet-Koeffizienten mit einem maßstabsabhängigen Parameter implementiert. 10 veranschaulicht eine Ausführungsform eines Verfahrens zum Verarbeiten von Bilddaten. Das Verfahren wird durch eine Verarbeitungslogik ausgeführt, die Hardware, Software oder eine Kombination aus beidem umfassen kann. In 10 beginnt der Prozess mit dem Zerlegen der Bilddaten in mehrere Zerlegungsebe nen durch das Anwenden einer Wavelet-Transformation auf die Bilddaten (Verarbeitungsblock 1001). Die Transformation, die auf die Bilddaten angewendet wird, kann z. B. eine kritisch abgetastete diskrete Wavelet-Transformation, eine übervollständige diskrete Wavelet-Transformation, eine komplexe Wavelet-Transformation, eine kritisch abgetastete oder übervollständige Wavelet-Pakettransformation umfassen. In einer Ausführungsform werden die Bilddaten unter Verwendung einer kritisch abgetasteten Transformation für ausgewählte Unterbänder einer übervollständigen Transformation in andere in mehrere Zerlegungsebenen transformiert. Dann modifiziert nach dem Ausführen der Zerlegung der Prozess die Koeffizienten in mehrere Zerlegungsebenen durch das Skalieren der Koeffizienten in diesen Zerlegungsebenen unter Verwendung verschiedener maßstabs- oder ebenenabhängiger Parameter für jede der Zerlegungsebenen (Verarbeitungsblock 1002). Wenn z. B. zwei Ebenen skaliert werden, wird jeder Koeffizient in einer der Zerlegungsebenen mit einem ersten maßstabsabhängigen Parameter multipliziert, während jeder Koeffizient in einer anderen der Zerlegungsebenen mit einem zweiten maßstabsabhängigen Parameter multipliziert wird.
In einer Ausführungsform wird jeder der verschiedenen maßstabsabhängigen Parameter entsprechend der folgenden Formel bestimmt: μj = 2jα, (14)wobei der Wert von α (positiv oder negativ) angibt, ob das Schärfen oder das Glätten auf die Koeffizienten angewendet wird, während j den speziellen Maßstab (die spezielle Ebene) angibt. In einer Ausführungsform wird das Schärfen auf die Koeffizienten angewendet, falls α kleiner als null ist, während das Glätten auf die Koeffizienten angewendet wird, falls α größer als null ist. Folglich ist, wenn μ_j größer als 1 ist, dann das Ergebnis der Skalierungsoperation das Glätten, während, wenn μ_j kleiner als 1 ist, dann das Ergebnis der Skalierungsoperation das Schärfen ist. Die Neuskalierung wird nur auf die Wavelet-Koeffizienten (Detailkoeffizienten), nicht auf die Skalierungskoeffizienten angewendet. Um die Gesamtenergie des Bildes zu erhalten, kann eine Renormierung der Wavelet-Koeffizienten notwendig sein.
In einer Ausführungsform wird der maßstabsabhängige Parameter anhand der Kenntnis der Bilddaten ausgewählt. Das heißt, die direkt aus dem Bild extrahierten Informationen können in die Wahl des Schärfungs- oder Glättungsparameters aufgenommen werden. Die Kenntnis, dass die Eingangsdaten Stufenkanten ange ben, kann z. B. verwendet werden, um den Schärfungs- oder Glättungsparameter auszuwählen. Die Kenntnis der Quelle des Bildes, z. B. ein Scanner, kann außerdem die Grundlage der Auswahl des Schärfungs- oder Glättungsparameters sein. Diese Kenntnis könnte z. B. die Informationen über die Punktverbreiterungsfunktion in einem Scanner oder einer anderen Bildquelle sein. In einer noch weiteren Ausführungsform kann der maßstabsabhängige Parameter anhand einer monotonen Funktion ausgewählt werden. Der maßstabsabhängige Parameter kann anhand eines Schätzwertes des Zerfalls der Wavelet-Koeffizienten über die Maßstäbe ausgewählt werden.
In 10 führt nach dem Ausführen der Mehrfachmaßstabs-Schärfung und/oder -Glättung die Verarbeitungslogik eine inverse Transformation an den skalierten (und nicht skalierten) Koeffizienten aus (Verarbeitungsblock 1003).
Diese Technik kann mit anderen auf Wavelets basierenden Bildverarbeitungsverfahren, wie z. B. der Rauschbeseitigung, kombiniert werden. Das heißt, die Mehrfachmaßstabs-Schärfung und -Glättung kann mit anderen Bildverarbeitungsschritten in der Wavelet-Domäne kombiniert werden. Es ist in vielen Anwendungen gezeigt worden, dass die Wavelet-Rauschbeseitigung erfolgreich ist, weil die Kanten scharf gehalten werden, wohingegen das Rauschen in den glatten Bereichen beseitigt wird. Diese Rauschbeseitigung kann einfach durch die Begrenzung des Wavelet-Koeffizienten mit einem Schwellenwert ausgeführt werden. Geeignete Techniken zum Begrenzen mit einem Schwellenwert enthalten die harte und die weiche Begrenzung mit einem Schwellenwert. Siehe z. B. Donoho, D. L., "Denoising by Soft-Thresholding, IEEE Trans. Inform. Theory, 41 (3): 613–627, 1995.
In einer Ausführungsform kann die gleichzeitige Rauschbeseitigung und das gleichzeitige Schärfen an den Wavelet-Koeffizienten durch das Multiplizieren aller Koeffizienten oberhalb eines vorgegebenen Schwellenwertes mit einem Skalierungsparameter und das Setzen aller Koeffizienten in derselben Zerlegungsebene unterhalb eines Schwellenwertes auf null oder auf einen Wert nahe bei null ausgeführt werden. In einer Ausführungsform werden alle Werte der Koeffizienten um einen vorgegebenen Betrag verringert, der durch eine monotone Funktion gegeben sein könnte. Die resultierenden Koeffizienten werden dann mit dem maßstabsabhängigen Parameter multipliziert.
Beim Vorhandensein von zufälligem weißen Gaußschen Rauschen besteht ein Vorteil der kombinierten Rauschbeseitigungs- und Schärfungs-/Glättungstechnik darin, dass der Rauschbeseitigungs-Schwellenwert direkt aus den Wavelet-Koeffizienten und der Menge der Eingangsdaten berechnet werden kann, aber nicht vom tatsächlichen Signal abhängt. Während beim herkömmlichen Schärfen das Problem des Schärfens nicht nur der "echten" Kanten sondern außerdem der Rauschbildpunkte auftritt, können die Wavelet-Schärfung und -Rauschbeseitigung ausgeführt werden, indem z. B. ein Schwellenwert gewählt wird, alle Koeffizienten oberhalb dieses Schwellenwertes mit μ_j = 2^jα multipliziert werden und alle Koeffizienten unterhalb eines Schwellenwertes auf null gesetzt werden. Dies führt zu einer leichten Implementierung der signaladaptiven Glättung und Schärfung, wie sie z. B. in einem digitalen Kopiergerät notwendig oder erforderlich ist.
Ein übliches Modell für das Rauschen in den Daten ist das additive weiße Gaußsche Rauschen. Eine von Donoho und Johnstone für die Rauschbeseitigung mit Wavelets entwickelte Technik ist eine Rauschbeseitigungstechnik des Standes der Technik. Die Rauschbeseitigung wird ausgeführt, indem die Wavelet-Koeffizienten einfach durch einen Schwellenwert begrenzt werden. Der Schwellenwert hängt nur von der Größe der Daten N, wobei N die Anzahl der Abtastwerte ist (für ein Bild ist die Anzahl der Abtastwerte die Anzahl der Bildpunkte), und der Standardabweichung des Rauschens σ ab, wobei der Schwellenwert ist:
σ√2logN.
Der letztere Parameter kann aus der Standardabweichung der ersten Ebene der Wavelet-Koeffizienten geschätzt werden. Asymptotisch sollte das ganze Rauschen unter Verwendung dieser Technik beseitigt werden, wie N gegen unendlich geht. Bei der praktischen Anwendung kann jedoch trotzdem etwas Rauschen in den Daten vorhanden sein, was durch die Endlichkeit der Daten oder die abweichende Schwellenwertauswahl verursacht wird. Es ist außerdem bekannt, dass der Sehapparat des Menschen tatsächlich etwas Rauschen entspricht, das z. B. in Bildern vorhanden ist. Nach der hierin beschriebenen Neuskalierung (Schärfung oder Glättung) der Wavelet-Koeffizienten transformiert die inverse Transformation das verbleibende weiße Rauschen in farbiges Rauschen (z. B. die Färbung des verbleibenden Rauschens).
Ähnlich können die Wavelet-Koeffizienten renormiert werden müssen, insbesondere um die Verhältnisse der modifizierten Wavelet-Koeffizienten und der ur sprünglichen Skalierungskoeffizienten aufrechtzuerhalten, wie im Folgenden ausführlicher beschrieben ist. Die Renormierung kann ausgeführt werden, indem ein Skalar auf die Koeffizienten in allen Ebenen oder einer Teilmenge aller Ebenen angewendet wird. In einer Ausführungsform kann die Renormierung mit der Schärfung oder der Glättung durch das Multiplizieren aller Koeffizienten in einer oder mehreren der Zerlegungsebenen mit einem für das Ausführen der Renormierung und der Schärfung/Glättung gewählten maßstabsabhängigen Parameter kombiniert sein. In einer alternativen Ausführungsform kann die Renormierung durch Berechnung eines Bereichs der Wavelet-Koeffizienten (z. B. der minimalen und maximalen Koeffizientenwerte) vor der Neuskalierung ausgeführt werden, wobei dann die Neuskalierung (Schärfung oder Glättung) ausgeführt wird. Danach wird die vollständige Menge der modifizierten Koeffizienten vor der Neuskalierung zurück in den Originalbereich skaliert (z. B. Abbilden der geglätteten und geschärften Koeffizienten zurück in den Originalbereich, der durch die minimalen und maximalen Koeffizientenwerte spezifiziert ist).
11 veranschaulicht eine weitere Ausführungsform des Prozesses zum Verarbeiten von Bilddaten. Der Prozess wird durch eine Verarbeitungslogik ausgeführt, die Hardware, Software oder eine Kombination aus beidem umfassen kann. In 11 beginnt der Prozess mit der Verarbeitungslogik, die durch das Anwenden einer Wavelet-Transformation auf die Bilddaten die Bilddaten in mehrere Zerlegungsebenen zerlegt (Verarbeitungsblock 1101).
Sobald die Zerlegung abgeschlossen worden ist, klassifiziert dann die Verarbeitungslogik die Koeffizienten in den verschiedenen Zerlegungsebenen und Bändern (Verarbeitungsblock 1102). Diese Klassifikation ist optional. In einer Ausführungsform werden die Koeffizienten abhängig von einem vorgegebenen Kriterium in "Text" und "Hintergrund" klassifiziert. Die resultierende Klassifikation kann verwendet werden, um das Glätten oder das Schärfen anzupassen, um den Typ der Daten, die verarbeitet werden, zu kompensieren.
Dann führt die Verarbeitungslogik die Rauschbeseitigung an den Koeffizienten in einer oder mehreren der Zerlegungsebenen aus (Verarbeitungslogik 1103).
Nach dem Ausführen der Zerlegung und der Klassifikation modifiziert die Verarbeitungslogik in mehreren Zerlegungsebenen durch die Skalierung der klassifizierten Koeffizienten in diesen Zerlegungsebenen unter Verwendung verschiedener maßstabsabhängiger (ebenenabhängiger) Parameter für jede der Zerlegungsebenen (Verarbeitungsblock 1104). In einer Ausführungsform können die Parameter bandabhängige Parameter sein. Für eine 1D-Transformation gibt es ein Band (oder Unterband) für jeden Maßstab (für jede Ebene). Für 2D- oder höherdimensionale Transformationen besitzt jedes Band einen speziellen Maßstab (eine spezielle Ebene) und eine spezielle Orientierung. Eine 2D-Transformation besitzt z. B. ein Band für den ersten Maßstab (für die erste Ebene) und für die vertikalen Einzelheiten (Hochpass) und das horizontale Glätten (Tiefpass).
Nachdem das Schärfen oder das Glätten ausgeführt worden ist, führt die Verarbeitungslogik die Renormierung an den Koeffizienten (Verarbeitungsblock 1105) in allen Ebenen oder einer Teilmenge aller Ebenen aus. Sobald die Renormierung ausgeführt worden ist, führt die Verarbeitungslogik eine inverse Transformation an den skalierten (und nicht skalierten) Koeffizienten aus (Verarbeitungsblock 1106).
Es wird angegeben, dass die hierin beschriebenen Techniken für das Schärfen und das Glätten vorteilhaft sind, weil "echte" Kanten über verschiedene Maßstäbe mehr als Rauschbildpunkte vergrößert werden, während glatte Bereiche über verschiedene Maßstäbe geglättet werden. Die Technik kann außerdem die herkömmliche unscharfe Maskierung in Bezug auf die Qualität des verarbeiteten Bildes übertreffen.
Die Schärfungs-/Glättungstheorie
Die Theorie hinter den Schärfungs- und Glättungstechniken der vorliegenden Erfindung ist im Folgenden beschrieben. Im Folgenden wird eine Beschreibung gegeben, wie diese Ergebnisse verwendet werden können, um die unscharfe Mehrfachmaßstabs-Maskierung über diskrete Wavelet-Zerlegungen abzuleiten.
Sei {H, H*, G, G*} ein Quadrupel biorthogonaler Wavelet-Filter (H = Hochpass, G = Tiefpass), wobei H und G bei der Vorwärtstransformation verwendet werden, während H* und G* bei der inversen Transformation verwendet werden. Im Z-Transformations-Bereich ist eine perfekte 2-Kanal-Rekonstruktionsfilterbank erforderlich, um die folgenden Bedingungen zu erfüllen (siehe z. B. G. Straug, T. Nguyen, "Wavelets and Filter Banks", Wellesley-Cambridge Press, 1996). H*(z)H(z) + G*(z)G(z) = 2z–m (15) H*(z)H(–z) + G*(z)G(–z) = 0. (16)
Als eine Folge der folgenden Gleichheit, die außerdem als die Eigenschaft der perfekten Rekonstruktion bekannt ist, ist für ein beliebiges Signal X garantiert:
Werden die folgenden Bezeichnungen eingeführt:
(Tiefpassausgabe) und
(Hochpassausgabe),
kann die Eigenschaft der perfekten Rekonstruktion als zmX(z) = F0[X](z) + F1[X](z) (7)umgeschrieben werden. Falls die Filter H und G symmetrisch und um null zentriert sind, ist die Verzögerung null, d. h. m = 0.
Weil F₀ ein Tiefpassfilter ist, während F₁ ein Hochpassfilter ist, gibt es eine Wavelet-Formulierung der Definition eines geschärften Bildes F_dwt-s(x) durch xdwt-s[z] := F0[x](z) + μF1[x](z), (18)wobei der Wavelet-Schärfungsparameter μ zum Parameter λ im herkömmlichen Schärfungsverfahren entsprechend der Gleichung fsharp(x) := fsmooth(x) + λfgradient(x)äquivalent ist.
Wenn die Skalierungs- und Wavelet-Koeffizienten auf höheren Zerlegungsebenen berechnet werden, sind die Eingangsdaten X die Skalierungskoeffizieten s^j in einem spezifischen Maßstab j. Der Wavelet-Schärfungsparameter μ kann sich von Maßstab zu Maßstab (d. h. von Ebene zu Ebene) unterscheiden. Die Ergebnisse aus der Theorie der Glattheitsräume, die z. B. in Y. Meyer, "Wavelets and Opera tors", Cambridge University Press, Cambridge, WC, 1992, beschrieben sind, führen in einer natürlichen Weise zu einer Definition der Mehrfachmaßstabs-Schärfung durch das Wählen eines maßstabsabhängigen Schärfungsparameters. μj = 2jα mit α < 0. (19)
Der Parameter α ändert die Gesamtglattheit des Signals hinsichtlich der Hoelder-Stetigkeit.
Die "geschärften" Skalierungskoeffizienten s^j _dwt-s im Maßstab j sind dann als sj dwt-s = F0[sj] + μjFj[sj] (20)definiert. Analog zu den theoretischen Ergebnissen über die Charakterisierung der Glattheit schärft die Parameterwahl α < 0 das Bild. Der Bereich von α ist durch Beschränkungen begrenzt, die durch das gewählte Wavelet-System gegeben sind. Ein Blockschaltplan einer ersten Stufe einer Filterbankimplementierung dieses Verfahrens ist in 12 gezeigt. In 12 wird ein Eingangssignal X in ein Tiefpass-Wavelet-Filter (H) 1201 und ein Hochpassfilter (G) 1202 eingegeben. Die Ausgaben der Filter 1201 und 1202 sind an die Dezimierungseinheiten 1203 bzw. 1204 gekoppelt, die die Signale von den Filtern 1201 und 1202 durch zwei (kritisch unterabgetastet) dezimieren. Die Linie 1205 stellt die Trennung zwischen dem Analyseabschnitt und dem Syntheseabschnitt des in 12 gezeigten Systems dar. Obwohl dies nicht gezeigt ist, können die tiefpass-übertragenen Signale iterativ in die Filter 1201 und 1202 eingegeben werden, um zusätzliche Zerlegungsebenen mit dem Parameter mμ_j zu erzeugen. Dieser Prozess kann wiederholt werden, um irgendeine Anzahl von Zerlegungsebenen (z. B. 2, 3, 4, 5 usw.) zu erzeugen.
Zwischen dem Analyseabschnitt und dem Syntheseabschnitt können ein Codierer und ein Decodierer eingefügt sein (die nicht gezeigt sind, um zu vermeiden, dass die Erfindung undeutlich gemacht wird). Der Codierer und der Decodierer können alle Verarbeitungslogik und/oder alle Routinen enthalten, die im transformierten Bereich ausgeführt werden, (z. B. Vorhersage, Quantisierung, Codierung usw.).
Die kritisch unterabgetasteten Signale, die aus der Dezimierungseinheit 1204 ausgegeben werden, werden (nach irgendeiner Codierung und Decodierung) in die Skalierungseinheit 1206 eingegeben. Die Skalierungseinheit 1206 wendet verschiedene maßstabsabhängige Parameter μ auf die transformierten Signale der mehreren Zerlegungsebenen an.
Die unterabgetasteten transformierten Signale, die aus der Dezimierungseinheit 1203 ausgegeben werden, und die skalierte Ausgabe aus der Skalierungseinheit 1206 werden in die Überabtasteinheiten 1207 bzw. 1208 eingegeben, die die transformierten Signale mit 2 überabtasten (d. h. nach jedem Term wird eine Null eingefügt) und dann die Signale zum inversen Tiefpass-Wavelet-Transformationsfilter 1209 bzw. zum inversen Hochpass-Wavelet-Transformationsfilter 1210 weiterleiten. Die Ausgaben der Filter 1209 und 1210 werden durch eine Additionseinheit 1211 kombiniert, um ein Ausgangssignal X' zu erzeugen. Die Additionseinheit 1211 addiert ihre zwei Eingänge. In alternativen Ausführungsformen kann die Additionseinheit 1211 in abwechselnde Stellen im Speicher (z. B. einem Rahmenpuffer) schreiben oder die Informationen unter Verwendung von Adressen speichern, die gewählt werden, damit sie zu der kombinierten Ausgabe führen.
Um die Gesamtenergie des Bildes zu erhalten und um die Verhältnisse der modifizierten Wavelet-Koeffizienten und der ursprünglichen Skalierungskoeffizienten aufrechtzuerhalten, kann eine Renormierung der Wavelet-Koeffizienten verwendet werden. In einer Ausführungsform wird dies ausgeführt, indem die modifizierten Koeffizienten durch
geteilt werden, mit
γ ist die obere Grenze des Hoelder-Stetigkeitsbereichs des Wavelet-Systems, während α der gewählte Schärfungsparameter ist. Für ein Daubechies-8-Wavelet-System der Ordnung 4 (Filterlänge = 8, γ = 1,596 mit α = –1,596 führt der Normierungsfaktor zu
Die Hoelder-Stetigkeit und die verschwindenden Momente für die verschiedenen Daubechies-Wavelet-Systeme aus dem Buch von Ingrid Daubechies, "Ten Lectures on Wavelets", SIAM, Philadelphia, PA, 1992, sind in der folgenden Ta belle 1 gezeigt:
Tabelle 1
Der Parameter γ ist das Minimum der verschwindenden Momente und der Hoelder-Stetigkeit. Es können alternative Renormierungstechniken verwendet werden.
Das Fehlen der Verschiebungsinvarianz der kritisch abgetasteten DWT ist ein Nachteil für die Bildverarbeitungsschritte, wie z. B. die Rauschbeseitigung und außerdem die Mehrfachmaßstabs-Glättung und -Schärfung, weil eine spezielle Kante abhängig von der Ausrichtung der Kante im Wavelet-Baum verschieden geglättet oder geschärft werden könnte. Um diesen Nachteil zu überwinden, wird eine übervollständige (redundante) DWT, die als RDWT bezeichnet wird, gewählt, wobei sie die kritisch abgetastete DWT übertrifft. Falls für das Schärfen eines Bildes eine RDWT gewählt wird, kann derselbe Zugang, wie er oben beschrieben worden ist, verwendet werden, um eine unscharfe Mehrfachmaßstabs-Maskierung zu definieren. Der Hauptunterschied ist, dass die Unter- und Überabtastschritte in der Filterbank unterlassen werden.
Die Eigenschaft der perfekten Rekonstruktion der RDWT im Maßstab 1 ist durch
gegeben. Ein schematischer Überblick ist in 13 gezeigt. In 13 wird ein Eingangssignal X in ein Tiefpass-Wavelet-Transformationsfilter 1301 und ein Hochpass-Wavelet-Transformationsfilter 1302 eingegeben. Die Ausgabe des Filters 1301 wird in geradzahlige Koeffizienten 1303 und ungeradzahlige Koeffi zienten 1304 getrennt, während die Ausgabe des Filters 1302 in geradzahlige Koeffizienten 1305 und ungeradzahlige Koeffizienten 1306 getrennt wird. Es wird angegeben, dass keine Dezimierung ausgeführt wird. Wie die Linie 1205 in 12 stellt die Linie 1307 abermals die Trennung zwischen den Analyse- und Syntheseabschnitten dar und kann Codierungs- und Decodierungsoperationen enthalten, wie hierin beschrieben ist. Außerdem können die aus dem Tiefpassfilter 1301 ausgegebenen Koeffizienten iterativ in die Filter 1301 und 1302 rückgekoppelt werden, um eine Anzahl von Zerlegungsebenen zu erzeugen.
Die Skalierungseinheiten 1308 und 1309 wenden einen maßstabsabhängigen Parameter auf die geradzahligen und ungeradzahligen Koeffizienten an, wie oben für die mehreren Zerlegungsebenen beschrieben worden ist. Die Ausgaben der Skalierungseinheiten 1308 und 1309 und die geradzahligen und ungeradzahligen Koeffizienten vom Filter 1301 werden durch die Überabtasteinheiten 1310–1313 überabgetastet. Die Ausgänge der Überabtasteinheiten 1310 und 1311 sind an die Eingänge der inversen Tiefpass-Transformationsfilter 1314 bzw. 1315 gekoppelt, während die Ausgänge der Überabtasteinheiten 1312 und 1313 an die Eingänge der inversen Hochpass-Transformationsfilter 1316 bzw. 1317 gekoppelt sind. Die Ausgänge der inversen Filter 1314-1317 sind an die Teilereinheiten 1318–1321 gekoppelt, die die Ausgaben durch 2 teilen, was zur Mittelung der zwei Zahlen führt, um die Verwendung einer übervollständigen DWT zu kompensieren. Die Renormierung geht in der gleichen Weise wie für eine DWT weiter, nur der Wert Gamma für das Wavelet-System ist, ganz allgemein gesagt, verdoppelt (siehe Tabelle 1).
Die Additionseinheit 1322 addiert die Ausgaben der Decodierereinheiten 1318 und 1319, während die Additionseinheit 1323 die Ausgaben der Teilereinheiten 1320 und 1321 addiert. Die Additionseinheit 1324 addiert die Ausgaben der Additionseinheiten 1322 und 1323, um das X¹-Signal zu erzeugen. Die Additionseinheiten 1322–1324 können in einer wohlbekannten Weise arbeiten, wie z. B. oben beschrieben worden ist.
Falls die Filter H und G orthogonal sind, sind die Filter H*H und G*G in der ersten Stufe der Filterbank einfach die Autokorrelationsfilter von H und G.
Für Maßstäbe j > 1 wird die Eigenschaft der perfekten Rekonstruktion nicht unter Verwendung der Originalfilter H, H*, G, G*, sondern durch die iterierten Versionen dieser, die durch H_j, H*_j, G_j, G*_j bezeichnet werden, wie folgt ausgedrückt:
In Analogie zum kritisch abgetasteten Fall kann ein geschärftes Bild x_rdwt-s als
definiert werden. Indem μ^j = s^jα gewählt wird, können die geschärften (α < 0) letzten Skalierungskoeffizienten durch
beim Maßstab j = 1 erhalten werden. Für Maßstäbe j > 1 sind die geschärften Skalierungskoeffizienten als
definiert. Die Filterbank-Implementierung für die übervollständige Mehrfachmaßstabs-Schärfung ist in 13 gezeigt. Im Vergleich zur Struktur der maximal dezimierten Filterbank in 12 wird die Unterabtastung um einen Faktor von zwei unterlassen. In derselben Weise wie in 12 werden aber die Detailkoeffizienten mit μ_j multipliziert. Im Gegensatz zur kritisch abgetasteten DWT ist der Bereich der möglichen Exponenten erweitert.
Die Normierung der modifizierten Wavelet-Koeffizienten kann in derselben Weise wie für die kritisch abgetastete DWT ausgeführt werden. Die Renormierung geht in der gleichen Weise wie für eine DWT weiter, mit Ausnahme, dass der Wert σ für das Wavelet-System, ganz allgemein gesagt, verdoppelt ist. Für die übervollständigen Transformationen ändern sich die Werte, wie in der folgenden Tabelle 2 gezeigt ist:
Tabelle 2
Ähnlich zur Mehrfachmaßstabs-Schärfung für kritisch abgetastete und übervollständige Wavelet-Transformationen ist die Mehrfachmaßstabs-Glättung für kritisch abgetastete und übervollständige Wavelet-Transformationen möglich, indem der Parameter α größer als null gewählt wird.
Es gibt einige Vorteile aus der Kenntnis der Glattheit der Originaldaten und der verarbeiteten Eingangsdaten. Wird vorausgesetzt, dass die Eingangsdaten eine Glättung der Originaldaten durch die Neuskalierung der Wavelet-Koeffizienten, die durch das Anwenden einer orthogonalen DWT erhalten worden sind, sind, dann kann die hierin beschriebene Technik die Originaldaten exakt wiederherstellen. Es bedeutet z. B., dass eine geglättete Stufenkante in den verarbeiteten Eingangsdaten in die ursprüngliche Stufenkante umgekehrt werden kann.
Die Mehrfachmaßstabs-Glättung und -Schärfung unter Verwendung einer DWT mit orthogonalen Wavelets ist invertierbar, während im Gegensatz die RDWT nicht invertierbar ist. Der Grund dafür ist, dass die RDWT keine orthogonale Transformation ist und im Allgemeinen
gilt.
14 veranschaulicht einen Ablaufplan einer Ausführungsform des Prozesses zum Ausführen der Mehrfachmaßstabs-Schärfung und -Glättung mit Wavelets. In 14 beginnt der Prozess mit der Verarbeitungslogik, die die Eingangsparameter empfängt (Verarbeitungsblock 1401). In einer Ausführungsform umfassen die Eingangsparameter den Typ des Wavelet-Systems, die Anzahl der Zerlegungsebenen, den Schärfungs-/Glättungsparameter und die Rauschbeseitigungstechnik. In Bezug auf die Rauschbeseitigungstechnik umfassen die Eingangsparameter die Schwellenwerte für die Rauschbeseitigungstechnik.
Sobald die Eingangsparameter empfangen worden sind, schlägt die Verarbeitungslogik den Glattheitswert γ für das gewählte Wavelet-System nach (Verarbeitungsblock 1402), wobei sie den Renormierungsfaktor
unter Verwendung der Formel (21) oder (22) berechnet (Verarbeitungsblock 1403). Die Werte von γ können in einer Nachschlagtabelle gespeichert sein, wobei jeder Eintrag einem anderen Wavelet-System zugeordnet ist. Die Verarbeitungsblöcke 1401–1403 stellen einen Initialisierungsabschnitt des Prozesses dar. Diese Schritte werden einmal ausgeführt, während die verbleibenden Schritte für jedes Bild ausgeführt werden.
Nach der Initialisierung führt die Verarbeitungslogik eine erste Ebene der Wavelet-Transformationen aus (Verarbeitungsblock 1404). Dann stellt die Verarbeitungslogik den Schwellenwert für die Rauschbeseitigung ein (Verarbeitungsblock 1405). In einer Ausführungsform berechnet die Verarbeitungslogik, falls der Donoho-Johnstone-Schwellenwert für die Rauschbeseitigung verwendet wird, die Standardabweichung der Wavelet-Koeffizienten und setzt den Schwellenwert auf:
σ√2logN,
wobei H das Maximum der Zeilen und Spalten der Daten ist, während σ die Standardabweichung der ersten Ebene der Wavelet-Koeffizienten ist.
Als Nächstes führt die Verarbeitungslogik die zweite Ebene der Wavelet-Transformationen an den Koeffizienten aus (Verarbeitungsblock 1407 _Z). Die Verarbeitungslogik führt die anderen Wavelet-Transformationen bis zur L-ten Ebene der Wavelet-Transformation aus (Verarbeitungsblock 1407 _L).
Nach dem Ausführen der Wavelet-Transformationen führt die Verarbeitungslogik die Begrenzung mit einem Schwellenwert (Rauschbeseitigung) und Neuskalierung (Schärfung und Glättung) durch das Multiplizieren der Wavelet-Koeffizienten in der Ebene j mit:
2^jα/R
aus (Verarbeitungsblock 1408). Danach führt die Verarbeitungslogik L Ebenen der inversen Transformation aus (Verarbeitungsblock 1409).
15A–15D veranschaulichen die Vorwärtstransformation und die inverse Transformation. Die 15A und 15B veranschaulichen die Systembausteine für die diskrete Vorwärts-Wavelet-Transformation bzw. die inverse diskrete Wavelet-Transformation (DWT). Es wird angegeben, dass diese zu den ähnlich benannten Blöcken in 12 ähnlich sind. 15C ist eine Ausführungsform einer Vorwärts-DWT für L Ebenen der Zerlegung. In 15C wird die Eingabe X in den Vorwärts-DWT-Block 1501 der Ebene eins eingegeben. Die Ausgabe der Vorwärts-DWT 1501 der Ebene eins wird in den Vorwärts-DWT-Block 1502 der Ebene zwei eingegeben, wobei dies durch die verbleibenden Ebenen der Zerlegung bis zur Ebene L in ähnlicher Weise fortgesetzt wird. 15D veranschaulicht die inverse DWT mit der Neuskalierung (Schärfung/Glättung) für L Ebenen der Zerlegung. Unter Bezugnahme auf 15D wird angegeben, dass es einen Schärfungs-/Glättungsparameter für jede Ebene der inversen DWTs gibt. Das heißt, der Schärfungs-/Glättungsparameter ist derselbe für alle Transformationsschritte, die in derselben Ebene ausgeführt werden.
16A–16D veranschaulichen die Anwendung der Schärfung/Glättung auf die RDWTs. Die 16–16B veranschaulichen den Systembaustein für die redundante Vorwärts-DWT bzw. die inverse redundante DWT (RDWT). 16C veranschaulicht eine Vorwärts-RDWT für L Ebenen der Zerlegung. 16D veranschaulicht die inverse RDWT für alle Ebenen der Zerlegung mit der Neuskalierung (Schärfung/Glättung) für L Ebenen der Zerlegung. In 15D ist der Neuskalierungsparameter derselbe für jeden der einzelnen Verarbeitungsblöcke in jeder Ebene. Der Neuskalierungsparameter kann jedoch von Ebene zu Ebene verschieden sein.
Die Auswahl des Schärfungs-/Glättungsparameters
Abhängig von der Kenntnis über die Glattheit der Eingangsdaten und der Ausgangsdaten gibt es verschiedene Möglichkeiten, den Parameter α zu bestimmen. Im Folgenden werden vier verschiedene Techniken beschrieben; es können jedoch andere Techniken verwendet werden. Zuerst ist, falls die verfügbaren Ein gangsdaten Daten sind, die aus dem Senden der Originaldaten durch eine Eingabevorrichtung, wie z. B. einen Scanner, erhalten werden, die Hoelder-Stetigkeit der Daten die der Eingabevorrichtung. Im Fall des Scanners ist die Stetigkeit durch die Glattheit der Punktverbreiterungsfunktion gegeben. Falls die Originaldaten die Glattheit β besitzen und die abgetasteten Eingangsdaten die Glattheit ε besitzen, dann würde eine sinnvolle Wahl für den Schärfungsparameter –(ε – β) sein. Es ist jedoch nicht erlaubt, dass der Term |ε – β| größer als γ, die Hoelder-Stetigkeit des Wavelet-Systems, ist. Deshalb sollte der Schärfungsparameter α = 0 sein, falls β > γ und ε > γ gilt, während er α = min(γ, ε) – β sein sollte, falls β ≤ γ gilt.
Falls die Kenntnis der Glattheit der Eingangsdaten nicht vorhanden ist, kann die sprechende Hoelder-Stetigkeit ε aus dem Zerfall der Wavelet-Koeffizienten über den Maßstab geschätzt werden. Die Hoelder-Stetigkeit ε sollte die kleinste Zahl sein, so dass
für eine Konstante C > 0 und Maßstäbe j und Positionen k gilt.
Falls die Originaldaten Stufenkanten enthalten, wie sie in Textbereichen auftreten, ist z. B. die Originalglattheit β gleich null. Bei gegebener Glattheit β der Originaldaten sollte der Schärfungs-/Glättungsparameter α immer so gewählt werden, dass 0 ≤ β + α ≤ γ gilt.
Wenn ein abgetastetes Bild verarbeitet wird, kann der Exponent α = –1 verwendet werden, was einen theoretischen Grund hat. Ein Bild kann als eine Funktion modelliert werden, die aus glatten Bereichen und Stufenkanten besteht. Durch das Abtasten dieses Bildes werden die Stufenkanten unscharf. Diese Unschärfe kann als eine Faltung mit einem Gaußschen Kern oder einem Kern mit einer ähnlichen Eigenschaft modelliert werden. Als eine Folge gewinnt die übervollständige Wavelet-Zerlegung mit dem Haar-System einen Zerfall der Wavelet-Koeffizienten, der durch den Exponenten 1 beschrieben wird. Um das abgetastete Bild zu schärfen, d. h. um die Glättung der Kanten umzukehren, wird der Exponent α = –1 als ein Exponent im Schärfungsparameter gewählt. Der Parameter γ in der Normierungskonstante in der obigen Gl. (21) beträgt γ = 1. In diesem Fall müssen für eine Gesamtzerlegungsebene L = 3 die folgenden Modifikationen der Wavelet-Koeffizienten ausgeführt werden:
Multiplikation der ersten Ebene der Wavelet-Koeffizienten mit
Multiplikation der zweiten Ebene der Wavelet-Koeffizienten mit
Multiplikation der dritten Ebene der Wavelet-Koeffizienten mit
Folglich ist ein allgemeines Schema beschrieben worden, wie der Schärfungsparameter in Anwendungen zu wählen ist, die abgetastete Dokumente umfassen, z. B. in einem digitalen Kopiergerät, einer digitalen Kamera, einem Faxgerät, dem Drucker usw.
Eine weitere Anwendung der Mehrfachmaßstabs-Schärfung und -Glättung besteht darin, eine adaptive Glättung oder Schärfung abhängig von den Wavelet-Koeffizienten auszuführen. Bei einem übervollständigen Haar-System werden folglich nur ausgewählte Koeffizienten durch die Multiplikation mit 2^jα mit α < 0 geschärft, während die Koeffizienten in den glatten Bereichen durch die Multiplikation mit 2^jβ mit β > 0 geglättet werden.
In 17 ist eine Ausführungsform eines digitalen Kopiergeräts gezeigt. In 17 liefert ein Scanner 1701 oder eine andere Halbton-Bildquelle 1702 ein Bild an die Klassifizierereinheit 1703, die die Bilddaten als Text und Hintergrund klassifiziert. Die Ausgabe der Klassifizierereinheit 1703 wird durch die Skalierungseinheit 1704 empfangen, die abhängig vom klassifizierten Bildpunkt die Glättung oder Schärfung ausführt. Es wird angegeben, dass die Verwendung der Klassifizierung und das Stützen der Schärfung/Glättung auf die Klassifizierung optional ist. Der Ausgang der Skalierungseinheit 1704 ist an die Zentraleinheit 805 gekoppelt, die die anderen Prozesse (z. B. Unterabtastung, Gammakorrektur, Halbton usw.) ausführt. Die Ausgabe der Zentraleinheit 1705 wird durch den Drucker 806 empfangen, der das Bild druckt.
Nun wird eine Beschreibung der Anwendungen der vorliegenden Erfindung gegeben.
Die Anwendungen
Es gibt eine Anzahl zusätzlicher Anwendungen, in denen die hierin beschriebene adaptive nichtlineare Bildvergrößerung vorteilhaft sein kann. Die adaptive nichtlineare Bildvergrößerung kann z. B. beim Vergrößerungsprozess im Verarbeitungsweg eines digitalen Kopiergeräts verwendet werden. Ein derartiges System ist in 7 gezeigt. In 7 wird eine redundante Vorwärts-Wavelet-Transformation 701 auf ein Bild angewendet. Die Wavelet-Transformation 701 kann M-mal auf das Bild angewendet werden, sodass es M Ebenen gibt, wobei M größer als 1 ist. Nach dem Anwenden der redundanten Vorwärts-Wavelet-Transformation 701 werden die Rauschbeseitigung, die Textschärfung und die Halbtonglättung im Bildprozessor 702 auf die Koeffizienten angewendet. Nach einer derartigen Verarbeitung wird eine inverse redundante Wavelet-Transformation 703 auf die verarbeiteten Koeffizienten angewendet. In einer Ausführungsform wird die inverse redundante Wavelet-Transformation 703 M – 1-mal angewendet, sodass es M – 1 Ebenen gibt. Nach dem Anwenden der inversen redundanten Wavelet-Transformation 703 führt eine Vergrößerungseinrichtung 704 den hierin beschriebenen Vergrößerungsprozess aus. Es wird angegeben, dass jeder dieser Blöcke in Software, Hardware oder einer Kombination aus beidem implementiert sein kann.
Die adaptive nichtlineare Bildvergrößerung kann in einem Überabtastprozess verwendet werden, bei dem die Überabtastung für das Drucken mit einer höheren Anzahl von Bildpunkten pro Zoll ausgeführt wird, wie z. B. mit 600 dpi abgetastete und mit 1200 dpi gedruckte Bilder. Ein derartiges System ist in 8 gezeigt. In 8 wird eine Ebene einer redundanten Wavelet-Transformation 801 auf die empfangenen digitalen Daten mit einer spezifischen Auflösung R in Bildpunkten pro Zoll angewendet (800). Die Koeffizienten werden an die Vergrößerungseinrichtung 802 ausgegeben, die den hierin beschriebenen Vergrößerungsprozess ausführt. Nach der Vergrößerung wird durch den Bildprozessor 803 die Verarbeitung für das Drucken mit 2R dpi ausgeführt. Die Verarbeitung kann die Gammakorrektur, die Punktschattierungen usw. enthalten. Die Ausgabe 804 ist ein verarbeitetes Bild. In dieser Weise wird der adaptive nichtlineare Bildvergrößerungsprozess verwendet, um das Bild mit niedrigerer Auflösung für das Drucken mit hoher Auflösung zu reparieren. Es wird angegeben, dass jedes Verarbeitungselement in 8 in Software, Hardware oder einer Kombination aus beidem implementiert sein kann.
Andere Anwendungen enthalten die Verwendung der hierin beschriebenen adaptiven nichtlinearen Bildvergrößerungstechnik für die Vergrößerung von JPEG2000-Bildern. Dies könnte die Ergänzung eines JPEG-Decodierers erfordern, um die nichtlineare Bildvergrößerung zu kompensieren. Eine andere Anwendung liegt in digitalen Kameras. Spezifisch kann der adaptive nichtlineare Bildvergrößerungsprozess in einer digitalen Kamera für die Entrasterung ausgeführt werden.
Ein beispielhaftes Computer-System
9 ist ein Blockschaltplan eines beispielhaften Computer-Systems, das eine oder mehrere der hierin beschriebenen Operationen ausführen kann. In 9 umfasst das Computersystem 900 einen Kommunikationsmechanismus oder Bus 911, um Informationen zu übertragen, und einen Prozessor 912, der an den Bus 911 gekoppelt ist, um die Informationen zu verarbeiten. Der Prozessor 912 enthält einen Mikroprozessor, ist jedoch nicht auf einen Mikroprozessor eingeschränkt, wie z. B. einen Pentium^TM, PowerPC^TM usw.
Das System 900 umfasst ferner einen Schreib-Lese-Speicher (RAM) oder eine andere dynamische Speichervorrichtung 904 (die als Hauptspeicher bezeichnet wird), die an den Bus 911 gekoppelt ist, um Informationen und Anweisungen, die durch den Prozessor 912 ausgeführt werden sollen, zu speichern. Der Hauptspeicher 904 kann außerdem verwendet werden, um Variable oder andere Zwischeninformationen während der Ausführung der Anweisungen durch den Prozessor 912 vorübergehend zu speichern.
Das Computer-System 900 umfasst außerdem einen Festwertspeicher (ROM) und/oder eine andere statische Speichervorrichtung 906, die an den Bus 911 gekoppelt ist, um die statischen Informationen und Anweisungen für den Prozessor 912 zu speichern, und eine Datenspeichervorrichtung 907, wie z. B. eine Magnetplatte oder eine optische Platte und ihr entsprechendes Plattenlaufwerk. Die Datenspeichervorrichtung 907 ist an den Bus 911 gekoppelt, um die Informationen und die Anweisungen zu speichern.
Das Computer-System 900 kann ferner an eine Anzeigevorrichtung 921, wie z. B. eine Katodenstrahlröhre (CRT) oder eine Flüssigkristallanzeige (LCD), gekoppelt sein, die an den Bus 911 gekoppelt ist, um die Informationen einem Computer-Anwender anzuzeigen. Eine alphanumerische Eingabevorrichtung 922, die alphanu merische und andere Tasten enthält, kann außerdem an den Bus 911 gekoppelt sein, um Informationen und Befehlsauswahlen zum Prozessor 912 zu übertragen. Eine zusätzliche Anwender-Eingabevorrichtung ist eine Cursor-Steuerung 923, wie z. B. eine Maus, eine Rollkugel, eine statische Maus, ein Stylus oder die Cursor-Richtungstasten, die an den Bus 911 gekoppelt ist, um Richtungsinformationen und Befehlsauswahlen zum Prozessor 912 zu übertragen und um die Cursor-Bewegung auf der Anzeige 921 zu steuern.
Eine weitere Vorrichtung, die an den Bus 911 gekoppelt sein kann, ist eine Druckkopie-Vorrichtung 924, die verwendet werden kann, um Anweisungen, Daten oder andere Informationen auf ein Medium, wie z. B. Papier, Film oder ähnliche Medientypen, zu drucken. Außerdem kann eine Tonaufzeichnungs- und -wiedergabevorrichtung, wie z. B. Lautsprecher und/oder ein Mikrophon, optional an den Bus 911 gekoppelt sein, um eine Audio-Schnittstelle mit dem Computer-System 900 zu schaffen. Eine weitere Vorrichtung, die an den Bus 911 gekoppelt sein kann, schafft eine Fähigkeit 925 für die verdrahtete/drahtlose Kommunikation für die Kommunikation mit einem Telephon oder einer tragbaren Palm-Vorrichtung.
Es wird angegeben, dass irgendeine oder alle der Komponenten des Systems 900 und der zugeordneten Hardware in der vorliegenden Erfindung verwendet werden können. Es kann jedoch eingesehen werden, dass andere Konfigurationen des Computer-Systems einige oder alle der Vorrichtungen enthalten können.
Während viele Änderungen und Modifikationen der vorliegenden Erfindung für einen Durchschnittsfachmann auf dem Gebiet nach dem Lesen der vorangehenden Beschreibung zweifellos offensichtlich sein werden, ist es selbstverständlich, dass jede spezielle Ausführungsform, die zur Veranschaulichung gezeigt und beschrieben worden ist, in keiner Weise vorgesehen ist, um als einschränkend betrachtet zu werden. Deshalb sind die Bezugnahmen auf die Einzelheiten der verschiedenen Ausführungsform nicht vorgesehen, um den Umfang der Ansprüche einzuschränken, die selbst nur diejenigen Merkmale darstellen, die als für die Erfindung wesentlich angesehen werden.

Claims

Ein Verfahren zur Bildvergrößerung, das die folgenden Schritte umfasst: Empfangen einer Waveletdarstellung eines Bildes, wobei die Waveletdarstellung Waveletkoeffizienten umfasst; und Durchführen einer Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne, dadurch gekennzeichnet dass die Interpolation eine lokalisierte adaptive Interpolation ist.
Verfahren gemäß Anspruch 1, das weiter das Durchführen einer Aufwärstabtastung umfasst, wobei adaptive Filter auf Waveletkoeffizienten verwendet werden.
Verfahren gemäß Anspruch 2, wobei die Filterkoeffizienten der adaptiven Filter aus Waveletkoeffizienten berechnet werden.
Verfahren gemäß Anspruch 1, wobei das Durchführen einer lokalisierten adaptiven Interpolation das Durchführen einer linearen Interpolation auf den Waveletkoeffizienten umfasst.
Verfahren gemäß Anspruch 1, wobei das Durchführen der lokalisierten adaptiven Interpolation das Durchführen einer Interpolation auf wenigstens einem der Waveletkoeffizienten umfasst, falls der wenigstens eine Koeffizient der Waveletkoeffizienten eine Bedingung erfüllt.
Verfahren gemäß Anspruch 5, wobei die Bedingung ist, ob der wenigstens eine Koeffizient größer als ein Schwellwert ist.
Verfahren gemäß Anspruch 6, wobei der Schwellwert einen Rauschpegel in dem Bild darstellt.
Verfahren gemäß Anspruch 5, wobei die Bedingung ist, ob der wenigstens eine Koeffizient zu einem Bereich in dem Bild gehört.
Verfahren gemäß Anspruch 8, wobei der Bereich einen Halbtonbereich in dem Bild umfasst.
Verfahren gemäß Anspruch 9, das weiter einen Klassifizierer umfasst, der bestimmt, ob der wenigstens eine Waveletkoeffizient in dem Halbtonbereich des Bildes liegt.
Verfahren gemäß Anspruch 8, wobei der Bereich einen Textbereich in dem Bild aufweist.
Verfahren gemäß Anspruch 11, das weiter einen Klassifizierer umfasst, der bestimmt, ob der wenigstens eine Waveletkoeffizient in dem Textbereich des Bildes liegt.
Verfahren gemäß Anspruch 8, wobei der Bereich einen Interessenbereich umfasst.
Verfahren gemäß Anspruch 13, wobei der Interessenbereich ein JPEG 2000 Interessenbereich ist.
Verfahren gemäß Anspruch 8, wobei der Bereich eine JPEG 2000 Schicht aufweist.
Verfahren gemäß Anspruch 1, das weiter das Durchführen einer Aufwärtsabtastung umfasst, wobei eine Koeffizienten-abhängige Interpolation verwendet wird.
Verfahren gemäß Anspruch 1, wobei das Durchführen der lokalisierten adaptiven Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne die folgenden Schritte aufweist: Anwenden einer vertikalen inversen Transformation auf Spalten von Tiefpasskoeffizienten und Detailkoeffizienten, um erste (205) und zweite Sätze (206) von Ergebnissen zu erzeugen; Platzieren der ersten (205) und zweiten Sätze (206) von Ergebnissen jeweils in ersten (207) und zweiten (208) Gitterbildern, in welchen jede andere Zeile in jedem der ersten (207) und zweiten (208) Gitterbilder Werte von 0 hat; Durchführen einer Interpolation, wobei eine Interpolationstechnik auf Werte in Spalten in den ersten (207) und zweiten (208) Gitterbildern angewendet wird, um Werte für Zeilen in den ersten (207) und den zweiten (208) Gitterbildern zu erzeugen, die Werte von 0 haben; Anwenden einer horizontalen inversen Transformation auf Zeilen der ersten (207) und zweiten (208) Gitterbilder, um einen dritten Satz (209) von Ergebnissen zu erzeugen; Platzieren des dritten (209) Satzes von Ergebnissen in einem entsprechenden dritten (210) Gitterbild, in welchem jede andere Spalte in dem dritten (210) Gitterbild Werte von 0 hat; und Durchführen einer Interpolation, wobei eine Interpolationstechnik auf Werte in Zeilen in dem dritten (210) Gitterbild angewendet wird, um Werte für Zeilen in dem dritten (210) Gitterbild zu erzeugen, die Werte von 0 haben.
Verfahren gemäß Anspruch 17, wobei die Interpolationstechnik eine nichtlineare Interpolation umfasst.
Verfahren gemäß Anspruch 17, das weiter Abschneiden bzw. Festklemmen bzw. Festlegen von resultierenden Werten auf einen vordefinierten Bereich umfasst.
Verfahren gemäß Anspruch 1, wobei das Durchführen der lokalisierten adaptiven Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne die folgenden Schritte aufweist: Anwenden einer horizontalen inversen Transformation auf Zeilen von Tiefpasskoeffizienten und Detailkoeffizienten, um erste (205) und zweite (206) Sätze von Ergebnissen zu erzeugen; Platzieren der ersten (205) und zweiten (206) Sätze von Ergebnissen in entsprechenden ersten (207) und zweiten (208) Gitterbildern, in welchen jede andere Spalte in jedem der ersten (207) und zweiten (208) Gitterbilder Werte von 0 hat; Durchführen einer Interpolation, wobei einer Interpolationstechnik auf Werte in Zeilen in den ersten und zweiten Gitterbildern angewendet wird, um Werte für Zeilen in den ersten und zweiten Gitterbildern zu erzeugen, die Werte von 0 haben; Anwenden einer vertikalen inversen Transformation auf Spalten der ersten (207) und zweiten (208) Gitterbilder, um einen dritten Satz (209) von Ergebnissen zu erzeugen; Platzieren des dritten (209) Satzes von Ergebnissen in einem entsprechenden dritten (210) Gitterbild, in welchem jede andere Zeile in dem dritten (210) Gitterbild Werte von 0 hat; und Durchführen einer Interpolation, wobei eine Interpolationstechnik auf Werte in Spalten in dem dritten (210) Gitterbild angewendet wird, um Werte für Spalten in dem dritten (210) Gitterbild zu erzeugen, die Werte von 0 haben.
Vorrichtung zur Bildvergrößerung, die folgendes umfasst: eine Einrichtung für eine Waveletdarstellung eines Bildes, die Waveletdarstellung eine Einrichtung für Waveletkoeffizienten; und eine Einrichtung für eine Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne, dadurch gekennzeichnet, dass die Interpolation eine lokalisierte adaptive Interpolation ist.
Vorrichtung gemäß Anspruch 21, die weiter eine Einrichtung zum Durchführen einer Aufwärtsabtastung aufweist, die adaptive Filter auf Waveletkoeffizienten benutzt.
Vorrichtung gemäß Anspruch 22, wobei die Filterkoeffizienten der adaptiven Filter aus Waveletkoeffizienten berechnet werden.
Vorrichtung gemäß Anspruch 21, wobei die Einrichtung zum Durchführen der lokalisierten adaptiven Interpolation eine Einrichtung zum Durchführen einer linearen Interpolation auf den Waveletkoeffizienten umfasst.
Vorrichtung gemäß Anspruch 21, wobei die Einrichtung zum Durchführen der lokalisierten adaptiven Interpolation eine Einrichtung aufweist, um eine Interpolation auf wenigstens einem der Waveletkoeffizienten durchzuführen, falls dieser wenigstens eine Koeffizient der Waveletkoeffizienten eine Bedingung erfüllt.
Vorrichtung gemäß Anspruch 25, wobei die Bedingung ist, ob der wenigstens eine Koeffizient größer ist als ein Schwellwert.
Vorrichtung gemäß Anspruch 26, wobei der Schwellwert einen Rauschpegel in dem Bild darstellt.
Vorrichtung gemäß Anspruch 25, wobei die Bedingung ist, ob der wenigstens eine Koeffizient zu einem Bereich des Bildes gehört.
Vorrichtung gemäß Anspruch 28, wobei der Bereich einen Halbtonbereich in dem Bild aufweist.
Vorrichtung gemäß Anspruch 29, der weiter einen Klassifizierer aufweist, um zu bestimmen, ob der wenigstens eine Waveletkoeffizient in dem Halbtonbereich des Bildes liegt.
Vorrichtung gemäß Anspruch 28, wobei der Bereich einen Textbereich in dem Bild umfasst.
Vorrichtung gemäß Anspruch 31, die weiter einen Klassifizierer umfasst, um zu bestimmen, ob der wenigstens eine Waveletkoeffizient in dem Textbereich des Bildes liegt.
Vorrichtung gemäß Anspruch 28, wobei der Bereich einen Interessenbereich umfasst.
Vorrichtung gemäß Anspruch 33, wobei der Interessenbereich ein JPEG 2000 Interessenbereich ist.
Vorrichtung gemäß Anspruch 28, wobei der Bereich eine JPEG 2000 Schicht umfasst.
Vorrichtung gemäß Anspruch 21, die weiter eine Einrichtung zum Durchführen einer Aufwärtsabtastung aufweist, wobei eine Koeffizienten-abhängige Interpolation verwendet wird.
Vorrichtung gemäß Anspruch 21, wobei die Einrichtung zum Durchführen der lokalisierten adaptiven Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne Folgendes aufweist: eine Einrichtung zum Anwenden einer vertikalen inversen Transformation auf Spalten von Tiefpasskoeffizienten und Detailkoeffizienten, um erste (205) und zweite (206) Sätze von Ergebnissen zu erzeugen; eine Einrichtung zum Platzieren der ersten (205) und zweiten (206) Sätze von Ergebnissen in entsprechenden ersten (207) und zweiten (208) Gitterbildern, in welchen jede andere Zeile in jedem der ersten (207) und zweiten (208) Gitterbilder Werte von 0 hat; eine Einrichtung zum Durchführen einer Interpolation, wobei eine Interpolationstechnik auf Werte in Spalten in den ersten (207) und zweiten (208) Gitterbildern verwendet wird, um Werte für Spalten in den ersten (207) und zweiten (208) Gitterbildern zu erzeugen, die Werte von 0 haben; eine Einrichtung zum Anwenden einer horizontalen inversen Transformation auf Zeilen in den ersten (207) und zweiten (203) Gitterbildern, um einen dritten Satz (209) von Ergebnissen zu erzeugen; eine Einrichtung zum Platzieren des dritten (209) Satzes von Ergebnissen in einem entsprechenden dritten Gitterbild, in welchem jede andere Spalte in dem dritten (210) Gitterbild Werte von 0 hat; und eine Einrichtung zum Durchführen einer Interpolation, wobei eine Interpolationstechnik auf Werte in Zeilen in dem dritten (210) Gitterbild benutzt wird, um Werte für Zeilen in dem dritten (210) Gitterbild zu erzeugen, die Werte von 0 haben.
Vorrichtung gemäß Anspruch 37, wobei die Einrichtung zum Durchführen der Interpolationstechnik eine nichtlineare Interpolation umfasst.
Vorrichtung gemäß Anspruch 37, die weiter eine Einrichtung zum Abschneiden bzw. Festklemmen bzw. zum Festlegen von resultierenden Werten auf einen vordefinierten Bereich umfasst.
Gegenstand der Herstellung zur Bildvergrößerung, der einen oder mehreren Aufzeichnungsmedien umfasst, die ausführbare Anweisungen haben, die darauf gespeichert sind, welche, wenn sie durch ein System ausgeführt werden, das System dazu veranlassen: eine Waveletdarstellung eines Bildes zu empfangen, wobei die Waveletdarstellung Waveletkoeffizienten umfasst; und eine Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne durchzuführen, dadurch gekennzeichnet, dass die Interpolation eine lokalisierte adaptive Interpolation ist.
Gegenstand der Herstellung gemäß Anspruch 40, der weiter Anweisungen zum Durchführen eines Aufwärtsabtastens umfasst, wobei adaptive Filter auf Waveletkoeffizienten verwendet werden.
Gegenstand der Herstellung gemäß Anspruch 40, wobei die Filterkoeffizienten der adaptiven Filter aus Waveletkoeffizienten berechnet werden.
Gegenstand der Herstellung gemäß Anspruch 40, wobei die Anweisungen zum Durchführen einer lokalisierten adaptiven Interpolation Anweisungen umfasst, um eine lineare Interpolation auf den Waveletkoeffizienten durchzuführen.
Gegenstand der Herstellung gemäß Anspruch 40, wobei die Anweisungen zum Durchführen der lokalisierten adaptiven Interpolation Anweisungen umfassen, um eine Interpolation auf wenigstens einem der Waveletkoeffizienten durchzuführen, falls der wenigstens eine Koeffizient der Waveletkoeffizienten eine Bedingung erfüllt.
Gegenstand der Herstellung gemäß Anspruch 44, wobei die Bedingung ist, ob der wenigstens ein Koeffizient größer als ein Schwellwert ist.
Gegenstand der Herstellung gemäß Anspruch 45, wobei der Schwellwert einen Rauschpegel in dem Bild darstellt.
Gegenstand der Herstellung gemäß Anspruch 44, wobei die Bedingung ist, ob der wenigstens eine Koeffizient zu einem Bereich des Bildes gehört.
Gegenstand der Herstellung gemäß Anspruch 47, wobei der Bereich einen Halbtonbereich in dem Bild umfasst.
Gegenstand der Herstellung gemäß Anspruch 48, der weiter Anweisungen umfasst, welche, wenn sie durch das System ausgeführt werden, das System dazu veranlassen, zu bestimmen, ob der wenigstens eine Waveletkoeffizient in dem Halbtonbereich des Bildes liegt.
Gegenstand der Herstellung gemäß Anspruch 47, wobei der Bereich einen Textbereich in dem Bild umfasst.
Gegenstand der Herstellung gemäß Anspruch 50, der weiter Anweisungen umfasst, welche, wenn sie durch das System ausgeführt werden, das System dazu veranlassen, zu bestimmen, ob der wenigstens eine Waveletkoeffizient in dem Textbereich des Bildes liegt.
Gegenstand der Herstellung gemäß Anspruch 47, wobei der Bereich einen Interessenbereich umfasst.
Gegenstand der Herstellung gemäß Anspruch 52, wobei der Interessenbereich ein JPEG 2000 Interessenbereich ist.
Gegenstand der Herstellung gemäß Anspruch 53, wobei der Bereich eine JPEG 2000 Schicht umfasst.
Gegenstand der Herstellung gemäß Anspruch 40, der weiter Anweisungen umfasst, welche, wenn sie durch das System ausgeführt werden, das System dazu veranlassen, ein Aufwärtsabtasten durchzuführen, wobei eine koeffizientenabhängige Interpolation verwendet wird.
Gegenstand der Herstellung gemäß Anspruch 40, wobei das Durchführen einer lokalisierten adaptiven Interpolation auf den Waveletkoeffizienten in der Wavelet-Domäne folgendermaßen durchgeführt wird: Anwenden einer vertikalen inversen Transformation auf Spalten von Tiefpasskoeffizienten und Detailkoeffizienten, um erste (205) und zweite (206) Sätze von Ergebnissen zu erzeugen; Platzieren der ersten (205) und zweiten (206) Sätze von Ergebnissen in entsprechenden ersten (207) und zweiten (208) Gitterbildern, in welchen jede andere Zeile in jeden der ersten (207) und zweiten (208) Gitterbilder Werte von 0 hat; Durchführen einer Interpolation, wobei eine Interpolationstechnik auf Werte in Spalten in den ersten (207) und zweiten (208) Gitterbildern verwendet wird, um Werte für Spalten in den ersten (207) und zweiten (208) Gitterbildern zu erzeugen, die Werte von 0 haben; Anwenden einer horizontalen inversen Transformation auf Zeilen der ersten (207) und zweiten (208) Gitterbilder, um einen dritten (209) Satz von Ergebnissen zu erzeugen; Platzieren des dritten (209) Satzes von Ergebnissen in einem entsprechenden dritten (210) Gitterbild, in welchem jede andere Spalte in dem dritten Gitterbild Werte von 0 hat; und Durchführen einer Interpolation, wobei die Interpolationstechnik auf Werte in Zeilen in dem dritten (210) Gitterbild angewendet wird, um Werte für Zeilen in dem dritten (210) Gitterbild zu erzeugen, die Werte von 0 haben.
Gegenstand der Herstellung gemäß Anspruch 56, wobei die Interpolationstechnik eine nichtlineare Interpolation umfasst.