DE69919474T2

DE69919474T2 - Automatische Anpassung der Qualität von Bilddaten um die Antwortzeiten eines Web-Servers zu reduzieren

Info

Publication number: DE69919474T2
Application number: DE69919474T
Authority: DE
Inventors: Pravin Winchester Bhagwat; Richard Yeh-whein c/o IBM United Kin Winchester Han; Richard O. Winchester La Maire; Todd William Winchester Mummert; James Winchester Rubas
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1998-10-02
Filing date: 1999-09-24
Publication date: 2005-08-18
Anticipated expiration: 2019-09-25
Also published as: EP0992922A3; EP0992922B1; DE69919474D1; KR20000034960A; US6563517B1; EP0992922A2; ATE274207T1; KR100353172B1

Description

Diese Erfindung betrifft Browser-Proxies, die in Dokumenten eingebettete Bildobjekte umwandeln. Allgemeiner betrifft sie ein beliebiges Proxy- oder Gateway-System, das MIME-gekapselte Objekte und das World Wide Web verarbeitet.
Transcodierungs-Proxies dienen manchmal als Vermittler zwischen Web-Servern und einer Vielzahl von Client-Einheiten, die über Kommunikationsverbindungen mit sehr unterschiedlichen Eigenschaften verbunden sind. Im Allgemeinen weist ein Transcodierungs-Proxy zwei wesentliche Vorteile auf: eine enorme Verkürzung des Zeitraums für das Herunterladen von Daten bei Verbindungen mit geringer Bandbreite und die individuelle Anpassung der Web-Daten an die Client-Einheit.
Mobile Einheiten sind häufig über drahtlose Modemverbindungen geringer Bandbreite oder drahtgebundene Modemverbindungen mittlerer Bandbreite verbunden, die die Betrachtung von umfangreichem Web-Inhalt wie zum Beispiel Bildern aufgrund der sich ergebenden sehr langen Zeiträume für das Herunterladen recht umständlich machen. Außerdem können die Kosten für solche Ladevorgänge von einem entfernten Server auf ein lokales System (Downloads) über gebührenpflichtige drahtlose Weitverkehrsnetze unangemessen hoch sein. Transcodierungs-Web-Proxies können den Umfang von Web-Daten verringern, während der größte Teil ihres semantischen Werts erhalten bleibt. Eine Verkürzung des Zeitraums für das Herunterladen um den Faktor sechs bis zehn kann bei vielen typischen Web-Bildern erreicht werden, ohne dass sie an Verständlichkeit einbüßen.
Der zweite bedeutende Vorteil besteht darin, dass solch ein zwischengeschalteter Proxy zuweilen auch Text und Bilder auf die Vielzahl der kleinen, verbindungsschwachen, aber webfähigen mobilen Einheiten, die es heutzutage gibt, individuell zuschneiden kann. Die Fähigkeiten dieser mobilen Einheiten, Web-Inhalte zu empfangen, zu verarbeiten, zu speichern und anzuzeigen, sind sehr unterschiedlich. Angesichts der Verschiedenartigkeit der Client-Einheiten ist es für Herausgeber von Internet-Inhalten schwierig, den Inhalt auf die einzelnen Einheiten zuzuschneiden. Folglich wird ein aktiver Web-Proxy verwendet, um den Web-Inhalt zu transcodieren/zu ändern, damit er die Vorgaben in Bezug auf Auflösung, Farbtiefe und Größe einer Einheit mit kleinem Bildschirm am besten erfüllt und den Umfang der gespeicherten Daten auf einen Bruchteil ihres ursprünglichen Umfangs verringert.
Ein typischer Transcodierungs-Web-Proxy kann realisiert werden, indem ein HTTP-Proxy um ein Transcodierungsmodul erweitert wird. Das Transcodierungsmodul ist ein Eingabe-/Ausgabe-System, das ein Datenobjekt (z.B. ein Bild oder eine HTML-Seite) als Eingabe annimmt und es entsprechend einem Satz von gewählten Parametern in ein Objekt mit niedriger Auflösung (z.B. in ein Bild von geringer Qualität oder eine zusammengefasste HTML-Seite) umwandelt. Diese Parameter werden in den Transcoder eingegeben, der den Auflösungsverlust und den Verkleinerungsgrad des Objekts feststellt. In der folgenden Erörterung geht es vorwiegend um Bildobjekte.
Um die Vorteile der Transcodierung auf ein Höchstmaß zu steigern, ist es wichtig, das Verhältnis zwischen Qualität und Größe so zu wählen, dass das Bild mit der besten Qualität innerhalb der vom Benutzer angegebenen Verzögerungstoleranz gesendet wird. Die Wahl des richtigen Satzes von Transcodierungsparametern ist jedoch nicht einfach. Erstens ist es schwierig, die Größe des transcodierten Bildes abzuschätzen, da der durch die Transcodierung erzielte Kompressionsgrad vom Inhalt abhängig ist. Beispielsweise können manche JPEG-Dateien um bis zu 80% komprimiert werden, während bei anderen nur eine Kompression von weniger als 5% möglich ist. Dasselbe gilt bei Transformationen von GIF nach GIF oder von GIF nach JPEG. Da die Transcodierung ein rechenintensiver Prozess ist, lohnt sich eine Verarbeitung nur, wenn sich ein hohes Kompressionsverhältnis erzielen lässt. Bei Bildern, die bereits gut komprimiert (oder von geringer Qualität) sind, ist eine Transcodierung gegebenenfalls unnütz.
Selbst wenn sich die Größe der transcodierten Ausgabe vorhersagen lässt, machen es Schwankungen bei den Netzwerken schwierig, den Zeitaufwand für das Herunterladen von Bildern vorherzusagen. Da sich die Leistung letztendlich an der vom Benutzer wahrgenommenen Qualität und Latenzzeit bemisst, sind exakte Schätzungen der Zeiträume für das Herunterladen notwendig, um den optimalen Punkt im Verhältnis zwischen Qualität und Größe wählen zu können. Über Best-Effort-Dienstnetzwerke wie zum Beispiel das Internet, bei denen die zur Verfügung stehende Bandbreite unter den Benutzern aufgeteilt wird, sind genaue Schätzwerte der Netzwerkeigenschaften (Bandbreite, Verzögerung, Verlustrate) schwer zu berechnen. Häufig ist die Abweichung so groß, dass die statistischen Schätzwerte nicht aussagekräftig genug sind, um Qualitätsanpassungen vorzunehmen.
Ein weiteres Problem, das Entscheidungen bezüglich der Verfahrensweise schwierig macht, ist das Auffinden des Engpasses im Netzwerk. Wenn der Pfad zwischen dem Web-Server und dem Proxy der Engpass ist, hilft eine Transcodierung überhaupt nichts. Im Gegenteil, da diese Operation vom Typ "store and forward" ("Speichern und Weiterleiten") ist, macht sie alles noch schlimmer. Idealerweise sollten Web-Proxies Bilder von Web-Servern an Clients immer dann kontinuierlich übertragen, wenn der Pfad vom Server zum Proxy der Engpass ist. Selbst in den Fällen, in denen der Pfad vom Proxy zum Client der Engpass ist, muss der durch die Verringerung der Größe erzielbare Vorteil gegen den Nachteil der beim Store-and-Forward-Weiterleitungsverfahren entstehenden Verzögerung aufgrund der Transcodierung abgewogen werden.
Angesichts der Schwierigkeit, die Netzwerkeigenschaften und den Bildinhalt abzuschätzen, unterstützen Transcodierungs-Proxies eine Anpassung oftmals nur in sehr grober Form. Bei einer Anpassung müssen Transcodierungsparameter geändert werden, die gewöhnlich aus einem vorher festgelegten Satz von Standardwerten oder vom Benutzer ausgewählt werden. Das Problem bei beiden Lösungsansätzen besteht darin, dass das volle Potenzial der Transcodierung nicht ausgeschöpft wird. Vorher festgelegte statische Verfahrensweisen sprechen nicht auf Änderungen der Netzwerkbandbreite an, und vom Benutzer wählbare Entscheidungen hinsichtlich der Verfahrensweise sind aufgrund mangelnder Kenntnisse über den Zustand des Netzwerks wahrscheinlich nicht so optimal. Es gibt kein Verfahren, das dem Benutzer eine Rückmeldung über den Zustand des Netzwerks und auch des Proxy bereitstellt. Mittels schrittweiser Verfeinerung können Benutzer allmählich zu einer optimalen Wahl der Transcodierungsparameter gelangen, aber ein solcher Prozess ist zeitaufwendig und nicht sehr benutzerfreundlich.
1 zeigt ein beispielhaftes Szenario 100 mit einem Transcodierungs-Proxy und verschiedenen Verbindungen und verschiedenen Client-Einheiten. Wie in 1 gezeigt ist, betrachten wir ein beispielhaftes Szenario, bei dem alle Web-Anforderungen und -Antworten für die Clients 130 bis 134 über einen generischen Hypertext-Transfer-Protocol-(HTTP-)Proxy 190 geleitet werden. In dem beispielhaften Szenario von 1 ist es der Vorgang des Herunterladens von großen Datenobjekten, hauptsächlich von Bildern, über die letzte Verbindung 160 bis 164 vom Proxy zum Client, der gewöhnlich die Hauptursache der von den Clients 130 bis 134 erfahrenen Verzögerung bei der Ende-zu-Ende-Antwortzeit ist.
Der Transcodierungs-Proxy 190 ermöglicht eine ernorme Verdünnung der Web-Daten, damit Web-Daten wie zellulare digitale Paketdaten (CDPD) 163, die in Abhängigkeit von der Anzahl der Clients, die die Verbindung gemeinsam benutzen, einen Durchsatz von 10 kByte/s oder weniger ermöglichen, über langsame drahtlose Weitverkehrsverbindungen in Echtzeit aufgerufen und dargestellt werden können. Der Client am Ende könnte ein mit allen Funktionen ausgestatteter PC 134 mit einem guten Farbbildschirm sein, so dass das vorrangige Problem in der Verringerung der Bandbreite besteht. Alternativ dazu könnte der Client eine kleine webfähige mobile Einheit 130 bis 132 sein, wobei es in diesem Fall von Vorteil ist, die Web-Daten auf die jeweilige Client-Einheit, insbesondere auf die Bildschirmeigenschaften des Client, zuzuschneiden.
Verschiedene Erscheinungsformen von Transcodierungs-Proxies tragen verschiedenen Szenarien Rechnung (d.h. gebührenpflichtige Proxy-Client-Verbindung, starker/schwacher Client-Bildschirm usw.), doch lassen sich alle innerhalb derselben Proxy-Architektur 100 ohne weiteres handhaben.
2 zeigt ein Blockschaltbild einer Ausführungsform des Transcodierungs-Proxy 190, der zur Umwandlung von Objekten auf der Grundlage von Voreinstellungen und statischen Verfahrensweisen, die vom Benutzer festgelegt werden, verwendet wird. Ein Transcodierungs-Proxy 190 wird aufgebaut, indem ein Transcodierungsmodul 240 mit einer HTTP-Proxy-Maschine 220 kombiniert wird. Eine HTTP-Anforderung 222 wird an einem Client 230 erzeugt und vom Proxy 190 an einen Web-Server 210 weitergeleitet, 224. Die Antwortdaten 226 (d.h. HTML-Seiten sowie GIF- und JPEG-Bilder) werden vom Transcoder 240 umgewandelt und dann an den Client 230 weitergeleitet, 228. Üblicherweise werden dem Transcoder 240 mehrere Transcodierungsparameter angegeben, um die gewünschte Qualitäts-/Größenverringerung des in den Antwortdaten 226 enthaltenen Objekts zu erreichen. Die heute eingesetzten Transcodierungs-Proxies verwenden entweder einen statischen Satz von Verfahrensweisen (policies) 250 oder irgendeine Form von vom Benutzer über den Pfad 265 festgelegten Voreinstellungen 260, um die Transcodierungsparameter festzulegen. Wenn ein gleichbleibender Satz von Transcodierungsparametern auf alle Objekte angewendet wird, sind die Ergebnisse nicht immer vorteilhaft. Tatsächlich führt die Transcodierung in vielen Fällen zu einem schlechteren Ergebnis.
Die internationale Patentanmeldung WO 98/43177 beschreibt ein System zur dynamischen Transcodierung von Daten, die zwischen einem Netzwerkserver und einem Netzwerk-Client über eine Kommunikationsverbindung übertragen werden. Das System enthält einen Parser, der mit einem Transcodierungs-Dienstleister verbunden und so konfiguriert ist, dass er als Antwort auf ein vorher festgelegtes Auswahlkriterium selektiv den Transcodierungs-Dienstleister aufruft. Das Auswahlkriterium kann eine Eigenschaft der Daten, die übertragen werden, eine Eigenschaft der Kommunikationsverbindung, eine Eigenschaft des Netzwerkservers, eine Eigenschaft des Netzwerk-Clients oder eine Voreinstellung des Benutzers sein. Zu den Netzwerkeigenschaften gehören die Latenzzeit im günstigsten Fall, die Latenzzeit im ungünstigsten Fall und die durchschnittliche Latenzzeit, und zu den Benutzervoreinstellungen gehören das bevorzugte Verhältnis zwischen der Qualität des Inhalts und der Geschwindigkeit. Die Datenmenge, die an den Netzwerk-Client übertragen wird, kann verringert werden, wodurch sich der Vorgang des Herunterladens und die Darstellung des Inhalts beschleunigen lassen.
Gemäß der vorliegenden Erfindung wird nun ein Verfahren nach Anspruch 1 bereitgestellt.
Vorzugsweise zählt die Bandbreite zu den Netzwerkeigenschaften, und die Prüfung der Netzwerkeigenschaften beinhaltet die Schätzung der Netzwerkbandbreite zwischen dem einen der Server und dem Proxy sowie zwischen dem Proxy und dem einen der Clients.
Vorzugsweise zählt die Verzögerung zu den Netzwerkeigenschaften, und der Schritt der Prüfung der Netzwerkeigenschaften beinhaltet die Schätzung der Verzögerung zwischen dem einen der Server und dem Proxy sowie die Verzögerung zwischen dem Proxy und dem einen der Clients.
Das Verfahren umfasst vorzugsweise des Weiteren die Bereitstellung einer Rückmeldung an den Benutzer über den Grad der Transcodierung, die an dem Objekt durchgeführt wird, um die transcodierte Form zu bilden.
Vorzugsweise beinhaltet der Schritt der Prüfung die Feststellung der Größe des Objekts.
In dem beschriebenen Verfahren kann das Objekt vom Typ Bild sein, das ein Bildobjekt bildet, und das Verfahren umfasst des Weiteren die folgenden Schritte: Feststellen der Abmessungen des Bildobjekts und Berechnen des Kompressionsverhältnisses des Bildobjekts. Vorzugsweise werden die Abmessungen des Bildobjekts nach der Fläche des Bildes in Quadratpixeln und das Kompressionsverhältnis nach dem Bits-per-Pixel-(bpp-) Verhältnis des Bildobjekts ermittelt.
Der Schritt der Bildung einer transcodierten Form nimmt vorzugsweise eine dynamische Anpassung vor.
Der Schritt der Bildung einer transcodierten Form wird vorzugsweise gestartet, bevor der Schritt des Empfangs des Objekts von dem einen der Server abgeschlossen ist. Der empfangene Objekttyp ist vorzugsweise JPEG und bildet ein JPEG-Objekt. Vorzugsweise beinhaltet der Schritt der Bildung einer transcodierten Form die Transcodierung von JPEG-Bildern in JPEG-Bilder, und der Schritt des Versendens der transcodierten Form beginnt damit, dass mindestens eine MCU von JPEG-codierten Ausgangsbilddaten ausgelesen wird, bevor der Schritt des Empfangs des Objekts abgeschlossen ist.
Bei dem beschriebenen Verfahren wird der Schritt des Versendens der transcodierten Form vorzugsweise gestartet, nachdem ein erster Teil des empfangenen Objekts verarbeitet wurde und bevor der Schritt des Empfangs des Bildobjekts von dem einen der Server abgeschlossen ist.
Der Schritt des Versendens der transcodierten Form wird vorzugsweise gestartet, bevor der Schritt der Bildung einer transcodierten Form des Objekts abgeschlossen ist.
In einer zweiten Erscheinungsform stellt die vorliegende Erfindung ein Verfahren für einen Proxy zur Bildung einer transcodierten Form eines Objekts bereit, das von einem Server in Erfüllung einer Anforderung von einem Client für ein von dem Server lieferbares Objekt empfangen wird, wobei das Verfahren die dynamische Anpassung von Parametern zur Transcodierung des Objekts für den Client, die Bildung einer transcodierten Form des Objekts und das Versenden der transcodierten Form an den Client umfasst. Der Schritt der Anpassung von Parametern beinhaltet vorzugsweise die Feststellung von mindestens einer Eigenschaft des Objekts. Eine Eigenschaft ist vorzugsweise ein Objekt-Kopfbereich, wobei der Objekt-Kopfbereich Informationen über die Größe und die Art des Objekts liefert. Das Verfahren umfasst vorzugsweise ferner den Vergleich der Größe des Objekts mit einem als "size threshold" bezeichneten Schwellenwertparameter. Der Schritt der Anpassung von Parametern beinhaltet vorzugsweise die Erfassung der vorhandenen Netzwerkeigenschaften zwischen dem Server und dem Proxy und zwischen dem Proxy und dem Client. Eine der Eigenschaften ist vorzugsweise die Netzwerkbandbreite, und der Schritt der Anpassung beinhaltet die Schätzung der Netzwerkbandbreite zwischen dem Server und dem Proxy sowie zwischen dem Proxy und dem Client.
Bei dem beschriebenen Verfahren hängt die transcodierte Form vorzugsweise von der geschätzten Bandbreite ab. Der Schritt der Anpassung beinhaltet vorzugsweise auch den Abruf von Voreinstellungen des Benutzers, wobei die transcodierte Form von den Voreinstellungen abhängt. Der Schritt der Anpassung beinhaltet vorzugsweise die Prüfung des Inhalts des Objekts. Das Objekt ist vorzugsweise vom Typ Bild, das ein Bildobjekt bildet, und die Prüfung des Inhalts des Bildobjekts beinhaltet die Feststellung der Abmessungen des Bildes.
Bei dem beschriebenen Verfahren hängt der Schritt der Anpassung vorzugsweise von der Ermittlung des Kompressionsverhältnisses des Bildobjekts ab. Außerdem ist die Art des Bildobjekts vorzugsweise GIF, und der Schritt der Anpassung hängt von einem Vergleich des Kompressionsverhältnisses mit einem vorher festgelegten Verfahrensschwellenwert mit der Bezeichnung "gif_threshold" ab.
Das beschriebene Verfahren umfasst darüber hinaus vorzugsweise die Vorhersage von mindestens einem Parameter der transcodierten Form des Objekts. Die transcodierte Form ist vorzugsweise außerdem gleich einer ursprünglichen Form des Objekts. Vorzugsweise beinhaltet mindestens einer der Parameter eine Größe der transcodierten Form. Ebenfalls vorzugsweise beinhaltet mindestens einer der Parameter den für die Transcodierung des Objekts aufgewendeten Zeitraum.
In einer dritten Erscheinungsform stellt die vorliegende Erfindung ein Verfahren zur Vorhersage von Parametern einer transcodierten Form eines Objekts bereit, wobei das Objekt eine Anfangsgröße und Anfangsabmessungen hat und von einem Server in Erfüllung einer von einem Client gestellten Anforderung für das Objekt empfangen wird, wobei das Verfahren Folgendes umfasst: Berechnen des bpp-Verhältnisses des Objekts, Erfassen eines Satzes von Statistiken von einer Vielzahl von zuvor transcodierten Objekten und Verwenden des Satzes von Statistiken und des bpp-Verhältnisses zur Vorhersage der Parameter.
In einem beschriebenen Verfahren ist mindestens einer der Parameter vorzugsweise die Größe, und der Satz von Statistiken beinhaltet Größen einer Vielzahl von zuvor transcodierten Objektstatistiken.
Das Objekt ist vorzugsweise vom Typ Bild, und der Satz von Statistiken beinhaltet die Bildqualität. Die Vielzahl der zuvor transcodierten Objekte wird vorzugsweise von einer vorher festgelegten Folge von Bildern ausgewählt, die als Referenz (benchmark) dient.
In einem beschriebenen Verfahren nimmt der Schritt der Verwendung des Satzes von Statistiken und des bpp-Verhältnisses vorzugsweise eine dynamische Aktualisierung des Satzes von Statistiken unter Verwendung der Statistiken des Objekts vor, das gerade transcodiert wird. Mindestens einer der Parameter ist vorzugsweise die Dauer zur Bildung einer transcodierten Form eines Objekts, und der Satz von Statistiken beinhaltet die Dauer zur Bildung einer Vielzahl von zuvor transcodierten Objekten.
In einer vierten Erscheinungsform stellt die vorliegende Erfindung ein Transcodierungs-Proxy-System bereit, um das Durchsuchen (Browsing) einer Vielzahl von Clients und einer Vielzahl von Servern, die über ein Kommunikationsnetzwerk verbunden sind, zu vereinfachen, wobei der Proxy eine HTTP-Proxy-Maschine umfasst, um eine Anforderung von einem der Clients für ein Objekt zu empfangen, das auf einem der Server gespeichert ist, und um das Objekt von dem einen der Server abzurufen, einen Objekt-Transcoder, um unter Verwendung eines Satzes von Parametern für die Transcodierung eine transcodierte Form des Objekts zu bilden, ein dynamisches Verfahrensmodul (dynamic policy module), um den Satz der Transcodierungsparameter festzulegen, ein Bildgrößen- und Verzögerungsvorhersagemodul, um Eigenschaften des Objekts zu erfassen, ein Modul für die Benutzervoreinstellungen, um Qualitäts-Voreinstellungen, die von einem Benutzer von dem einen der Clients festgelegt werden, zu erfassen, und ein Bandbreitenschätzmodul, um die verfügbare Netzwerkbandbreite zu schätzen, wobei das dynamische Verfahrensmodul die Parameter der Transcodierung unter Verwendung der vom Bildgrößen- und Verzögerungsvorhersagemodul, dem Modul für die Benutzervoreinstellungen und dem Bandbreitenschätzmodul empfangenen Eingabe dynamisch anpasst, um eine höhere Benutzerzufriedenheit zu erreichen, und wobei das Transcodierungssystem eine Rückmeldung an den Benutzer über den Grad der durchgeführten Transcodierung bereitstellt.
Das Modul für die Benutzervoreinstellungen erfasst vorzugsweise außerdem Eigenschaften wie zum Beispiel die Größe und die Auflösung des Bildschirms und die Geschwindigkeit der CPU von der einen der Einheiten und stellt dem dynamischen Verfahrensmodul diese Eigenschaften zur Verfügung.
In dem beschriebenen System erfasst das Bandbreitenschätzmodul vorzugsweise Überwachungsprotokolle (traces) von zuvor hergestellten Netzwerkverbindungen zwischen dem einen der Server und dem Proxy, es erfasst Überwachungsprotokolle von zuvor hergestellten Netzwerkverbindungen zwischen dem Proxy und dem einen der Clients, und es schätzt den Zeitraum für das Herunterladen des Objekts, indem es die erfassten Überwachungsprotokolle statistisch auswertet.
Die statistische Auswertung, die zur Schätzung der Bandbreite zwischen dem einen der Server und dem Proxy dient, beruht vorzugsweise auf der Berechung eines statistischen Maßes wie zum Beispiel des Zentralwerts oder des Mittelwerts der Zeiträume für das Herunterladen oder des Herunterlademodus von zuvor abgerufenen Objekten, die aus den erfassten Überwachungsprotokollen ermittelt werden.
Die statistische Auswertung, die zur Schätzung der Bandbreite zwischen dem Proxy und dem einen der Clients dient, beruht vorzugsweise auf der Berechnung der gesamten Bandbreite aller aktiven Verbindungen zwischen dem Proxy und dem einen der Clients. Das System umfasst vorzugsweise außerdem die Anzeige einer Schiebeleiste auf dem Bildschirm von dem einen der Clients, um die vom Benutzer festgelegten Voreinstellungen zu erfassen. In einem System wie dem beschriebenen kann der Benutzer des einen der Clients durch die Verwendung einer grafischen Benutzeroberfläche mit einer Schiebeleiste vorzugsweise das Verhältnis zwischen dem Zeitraum für das Herunterladen und der Datenqualität angeben. Der Benutzer des einen der Clients kann durch die Verwendung einer grafischen Benutzeroberfläche mit einer Schiebeleiste, die einen speziellen Schalter enthält, um Farbe oder Graustufen als gewünschte Ausgabeform zu wählen, vorzugsweise das Verhältnis zwischen dem Zeitraum für das Herunterladen und der Bildqualität angeben. Der Benutzer des einen der Clients kann durch die Verwendung einer grafischen Benutzeroberfläche mit einer Schiebeleiste vorzugsweise außerdem den Wunsch angeben, eine Zielantwortzeit einzuhalten, so dass das System automatisch die Datenqualität (und damit den Umfang der heruntergeladenen Daten) verringert, um dynamische Schwankungen der Bandbreite auf dem weg zu dem einen der Clients auszugleichen. Die Schiebeleiste der grafischen Benutzeroberfläche wird vorzugsweise auch als Ausgabeschnittstelle verwendet, um dem Benutzer die optimale Wahl der Transcodierungsparameter anzuzeigen.
In einer fünften Erscheinungsform stellt die vorliegende Erfindung einen Herstellungsgegenstand bereit, der einen von einem Rechner nutzbaren Datenträger mit einem darauf befindlichen rechnerlesbaren Programmcodemittel umfasst, um eine dynamische Anpassung der transcodierten Form eines Objekts in einem Transcodierungs-Proxy zu veranlassen, wobei das rechnerlesbare Programmcodemittel in dem Herstellungsgegenstand ein rechnerlesbares Programmcodemittel umfasst, um einen Rechner zur Durchführung von Folgendem zu veranlassen: Veranlassen eines Proxy zum Empfang eines zu einem Benutzer gehörenden Objekts von einem Server, Ermitteln von Parametern des Objekts, Abrufen der Voreinstellungen des Benutzers, Erfassen der vorhandenen Netzwerkeigenschaften, Abrufen von Verfahrensschwellenwerten für die Transcodierung, Treffen einer Verfahrensentscheidung auf der Grundlage von Objektparametern, Benutzervoreinstellungen, Netzwerkeigenschaften und Verfahrensschwellenwerten, Bilden eines transcodierten Objekts, Bereitstellen einer Rückmeldung an den Benutzer über den Grad der an dem Objekt durchgeführten Transcodierung und Senden des transcodierten Objekts an den Benutzer.
In einer sechsten Erscheinungsform stellt die vorliegende Erfindung einen Herstellungsgegenstand bereit, der einen von einem Rechner nutzbaren Datenträger umfasst, auf dem sich ein rechnerlesbares Programmcodemittel befindet, um einen Transcodierungs-Proxy zu veranlassen, das Durchsuchen (Browsing) einer Vielzahl von Client-Einheiten und einer Vielzahl von Servern, die über ein Kommunikationsnetzwerk verbunden sind, zu vereinfachen, wobei das rechnerlesbare Programmcodemittel in dem Herstellungsgegenstand ein rechnerlesbares Programmcodemittel umfasst, um einen Rechner zur Durchführung von Folgendem zu veranlassen: Empfangen einer Anforderung von einer der Client-Einheiten für ein Objekt, das auf einem der Server gespeichert ist, Weiterleiten der Anforderung für das Objekt an den einen der Server, Empfangen des Objekts von dem einen der Server, Prüfen von Voreinstellungen, die von einem Benutzer von der einen der Client-Einheiten festgelegt wurden, Prüfen des Inhalts des Objekts, Prüfen von Eigenschaften des Kommunikationsnetzwerks, Wählen eines Satzes von Transcodierungsparametern, Bilden einer transcodierten Form des Objekts und Senden der transcodierten Form an den einen der Clients.
Das rechnerlesbare Programmcodemittel in dem Herstellungsgegenstand umfasst vorzugsweise des Weiteren ein rechnerlesbares Programmcodemittel, um einen Rechner zu veranlassen, dem Benutzer eine Rückmeldung über den Grad der Transcodierung bereitzustellen, die an dem Objekt durchgeführt wird, um die transcodierte Form zu bilden. Das rechnerlesbare Programmcodemittel in dem Herstellungsgegenstand umfasst vorzugsweise ferner ein rechnerlesbares Programmcodemittel, um einen Rechner zu veranlassen, die Abmessungen des Objekts festzustellen und das Kompressionsverhältnis des Objekts zu berechnen. Das rechnerlesbare Programmcodemittel in dem Herstellungsgegenstand umfasst überdies vorzugsweise ein rechnerlesbares Programmcodemittel, um einen Rechner zu veranlassen, den Schritt der Bildung einer transcodierten Form zu beginnen, bevor der Schritt des Empfangs des Objekts von dem einen der Server abgeschlossen ist.
In einer siebten Erscheinungsform stellt die vorliegende Erfindung ein Rechnerprogrammprodukt bereit, das einen von einem Rechner nutzbaren Datenträger umfasst, auf dem sich ein rechnerlesbares Programmcodemittel befindet, um einen Proxy zu veranlassen, eine transcodierte Form eines Objekts zu bilden, das von einem Server in Erfüllung einer Anforderung von einem Client für ein von dem Server lieferbares Objekt empfangen wird, wobei das rechnerlesbare Programmcodemittel in dem Rechnerprogrammprodukt ein rechnerlesbares Programmcodemittel umfasst, um einen Rechner zur Durchführung von Folgendem zu veranlassen: Dynamisches Anpassen von Parametern, um das Objekt für den Client zu transcodieren, Bilden einer transcodierten Form des Objekts und Senden der transcodierten Form an den Client.
Das rechnerlesbare Programmcodemittel in dem Rechnerprogrammprodukt umfasst vorzugsweise darüber hinaus ein rechnerlesbares Programmcodemittel, um einen Rechner zur Erfassung der vorhandenen Netzwerkeigenschaften zwischen dem Server und dem Proxy und zwischen dem Proxy und dem Client zu veranlassen. Das rechnerlesbare Programmcodemittel in dem Rechnerprogrammprodukt umfasst vorzugsweise ferner ein rechnerlesbares Programmcodemittel, um einen Rechner zur Anpassung von Parametern für eine Transcodierung auf der Grundlage der geschätzten Bandbreite und der Voreinstellungen des Benutzers zu veranlassen.
In einer achten Erscheinungsform stellt die vorliegende Erfindung eine maschinenlesbare Programmspeichereinheit bereit, die physisch ein Programm mit Befehlen enthält, die von der Maschine ausgeführt werden können, um Verfahrensschritte zur Vorhersage von Parametern einer transcodierten Form eines Objekts durchzuführen, wobei das Objekt eine Anfangsgröße und Anfangsabmessungen hat und wobei das Objekt von einem Server in Erfüllung einer von einem Client gestellten Anforderung für das Objekt empfangen wird, wobei die Verfahrensschritte Folgendes umfassen: Berechnen des bpp-Verhältnisses des Objekts, Erfassen eines Satzes von Statistiken einer Vielzahl von zuvor transcodierten Objekten, Verwenden des Satzes von Statistiken und des bpp-Verhältnisses, um die Parameter vorherzusagen.
Der Verfahrensschritt, der den Satz von Statistiken verwendet, umfasst vorzugsweise des Weiteren die Aktualisierung des Satzes von Statistiken, wobei die Statistiken der aktuell transcodierten Objekte verwendet werden.
Eine Erscheinungsform der vorliegenden Erfindung besteht in der Bereitstellung von Verfahren, Einheiten und Systemen, die dazu dienen, Transcodierungsparameter dynamisch anzupassen, um die Vorteile der Transcodierung zu vergrößern. Die Verfahren zur Anpassung sind so ausgelegt, dass sie der Verschiedenartigkeit der Netzwerkeigenschaften und den unterschiedlichen Größen der transcodierten Bilder Rechnung tragen.
In einer Ausführungsform enthält die Erfindung drei neue Komponenten: einen Bildgrößenvorhersager, einen Netzwerkbandbreiten-Analysator und ein Verfahrensmodul. Bevor eine Transcodierungsaktion eingeleitet wird, fragt das Verfahrensmodul den Bildgrößenvorhersager nach der geschätzten Größe des Ausgangsbildes ab. Der Bandbreitenanalysator wird abgefragt, um einen Schätzwert der Bildübertragungsdauer vom Server zum Proxy und vom Proxy zum Client abzurufen. Auf der Grundlage der abgerufenen Schätzwerte entscheidet der Proxy, ob das Bild transcodiert wird. Darüber hinaus kann das Verfahrensmodul auch den optimalen Punkt im Verhältnis zwischen der Qualität und der Größe berechnen, der die vom Benutzer festgelegten Leistungskriterien (z.B. kürzere Antwortzeit, höhere Qualität) erfüllen würde.
Eine weitere Erscheinungsform der vorliegenden Erfindung besteht in der Bereitstellung eines Verfahrens und/oder einer Vorrichtung, mit dem/der der Transcodierungs-Proxy das Verhältnis zwischen Qualität und Größe je nach Bild- und/oder Client anpassen kann. Der adaptive Transcoder wählt verschiedene Parameter für jedes Objekt und ermöglicht Leistungsverbesserungen.
Noch eine weitere Erscheinungsform dieser Erfindung stellt einen allgemeinen Rahmen bereit, um Verfahrensentscheidungen zu treffen, wobei die verfügbare Bandbreite, der Inhalt und die Art des Bildes sowie die Benutzervoreinstellungen berücksichtigt werden. Der Verwalter des Proxy trifft unter vielen verschiedenen Optimierungszielen eine Auswahl, um vom System eine verbesserte Leistung zu erhalten. In einer Ausführungsform, wenn der Durchsatz des Proxy-Transcoders der Engpass ist, wird das Verfahrensmodul angewiesen, umsichtig mit den CPU-Ressourcen umzugehen, um die Antwortzeit für alle Benutzer zu verringern. Ein vorteilhaftes Element der Erfindung ist die automatisierte Entscheidungsfindung, um Benutzer von der Aufgabe der aktiven Steuerung der Verfahrenssteuerkomponente (policy engine) des Proxy zu entbinden.
In noch einer weiteren Erscheinungsform der vorliegenden Erfindung wird ein Verfahren zur Erzeugung einer Rückmeldung an den Benutzer über die Wahl der optimalen Transcodierungsparameter bereitgestellt. In einem Beispiel der Ausführungsform stellt das Transcodierungssystem dem Benutzer eine Rückmeldung bereit, indem es die Position der Schiebeleiste für die Benutzervoreinstellungen dynamisch anpasst. Die Schiebeleiste für die Benutzervoreinstellungen dient sowohl als Eingabe- als auch als Ausgabeeinheit.
Eine bevorzugte Ausführungsform der vorliegenden Erfindung wird nun anhand eines Beispiels und mit Bezug auf die Zeichnungen beschrieben, in denen:
1 ein beispielhaftes Szenario mit einem Transcodierungs-Proxy mit unterschiedlichen Verbindungen und unterschiedlichen Client-Einheiten zeigt;
2 ein Blockschaltbild eines Transcodierungs-Proxy zeigt, der zur Umwandlung von Objekten entsprechend vom Benutzer angegebener Voreinstellungen und statischer Verfahren dient;
3 ein Blockschaltbild eines Beispiels eines Transcodierungs-Proxy zeigt, der gemäß der vorliegenden Erfindung so abgeändert wurde, dass er einen Bildgrößenvorhersager, eine Bandbreitenschätzeinheit, ein dynamisches Verfahrensmodul und einen Benutzerrückmeldungsgenerator enthält;
4 ein beispielhaftes Blockschaltbild eines beispielhaften HTTP-Proxy mit Cachespeicher- und Transcodierungsmodulen gemäß der vorliegenden Erfindung zeigt;
5 ein beispielhaftes Flussdiagramm eines dynamischen Transcodierungs-Verfahrensmoduls gemäß der vorliegenden Erfindung zeigt;
6 einen beispielhaften Web-Anforderungs-/Antwortzyklus zeigt, der einen Transcodierungs-Proxy gemäß der vorliegenden Erfindung verwendet;
7 eine beispielhafte Betriebsweise zeigt, bei der die Transcodierung gemäß der vorliegenden Erfindung nützlich ist;
8 ein beispielhaftes Flussdiagramm einer beispielhaften Verfahrensfunktion gemäß der vorliegenden Erfindung zeigt;
9 ein beispielhaftes Blockschaltbild eines beispielhaften Bildgrößen-Vorhersagemoduls gemäß der vorliegenden Erfindung zeigt;
10 ein beispielhaftes Blockschaltbild eines beispielhaften Bandbreitenvorhersagemoduls gemäß der vorliegenden Erfindung zeigt;
11 eine Eingabe-/Rückmeldungs-Benutzerschnittstelle gemäß der vorliegenden Erfindung zeigt;
12 ein beispielhaftes Zeitdiagramm einer kontinuierlichen Transcodierung gemäß der vorliegenden Erfindung darstellt.
3 zeigt ein Blockschaltbild 300 einer beispielhaften Ausführungsform von Änderungen an dem Transcodierungs-Proxy 190 gemäß der vorliegenden Erfindung. Ein Vergleich von 3 mit 2 zeigt, dass das statische Verfahrensmodul 250 in 2 gegen ein dynamisches Verfahrensmodul 370 in 3 ausgetauscht wurde. Das dynamische Verfahrensmodul 370 hat den Zweck, Entscheidungen hinsichtlich des Zeitpunkts, zu dem die Transcodierung ein- und ausgeschaltet werden soll, und der Frage, welches Transcodierungsverfahren (d.h. der Transcodierungsalgorithmus zusammen mit seinen Parametern) verwendet werden soll, zu treffen. Das dynamische Verfahrensmodul 370 ist über eine Schnittstelle auch mit einem Bildgrößen- und Verzögerungsvorhersager 375, einer Bandbreitenschätzeinheit 380 und einer Benutzerrückmeldungs-Bereitstellungseinheit 390 verbunden. In der gezeigten Ausführungsform legt das Verfahrensmodul 370 mehrere Kriterien zugrunde, unter anderem: die Eigenschaften der Daten (z.B. die Größe der Bilder, die aktuelle Codierleistung, die Rolle beim Aufbau der HTML-Seite), die vom Inhaltauswertungs-Flussdiagramm (in 5 gezeigt) ermittelt werden, den aktuellen Schätzwert der Bandbreite auf den Verbindungen vom Proxy zum Client und vom Server zum Proxy (in 10 gezeigt), die Eigenschaften des Client, insbesondere das Anzeigevermögen des Bildschirms des Client, sowie die Benutzervoreinstellungen hinsichtlich der bevorzugten Darstellung der Daten (in 11 als die Benutzervoreinstellungen mittels Schiebeleiste gezeigt).
Die in den 5, 10 und 11 gezeigten Elemente werden nachstehend beschrieben. Insbesondere stellen die Benutzervoreinstellungen mittels Schiebeleiste ein Verfahren zur interaktiven Kommunikation mit dem Transcodierungs-Proxy bereit, um das Verhältnis zwischen der Bildqualität und dem Zeitraum für das Herunterladen dynamisch zu ändern. Außer dass sie als Eingabeschnittstelle dient, hat die Schiebeleiste (1140, 1150, 1160 von 11) auch die Funktion einer Ausgabeschnittstelle, wobei sie die vom dynamischen Verfahrensmodul 370 empfangene Rückmeldung 390 anzeigt.
4 zeigt ein Blockschaltbild 400, das eine beispielhafte Funktion eines Mehrfachauflösungs-Cachespeichers 410 in einem Transcodierungs-HTTP-Proxysystem 400 gemäß der vorliegenden Erfindung veranschaulicht. Cachespeicher sind bei HTTP-Proxies hilfreich, da sie bei wiederholten Datenanforderungen (von demselben oder von verschiedenen Clients) für dasselbe Datenobjekt kürzere Antwortzeiten ermöglichen. Viele verschiedene Verfahren können angewendet werden, um sicherzustellen, dass die im Cachespeicher abgelegten Daten auf dem neuesten Stand sind. Bei dem beispielhaften Transcodierungssystem 400 mit Zwischenspeicherung der Daten im Cachespeicher speichert der Mehrfachauflösungs-Cachespeicher 410 eine ursprüngliche Version der Daten sowie andere mögliche Formen der Daten einschließlich Versionen mit verringerter Auflösung, die für bestimmte Arten von Einheiten transcodiert wurden.
Als Beispiel betrachten wir nochmals den Fall eines Bilddatenobjekts, doch versteht der Fachmann, dass diese Verfahren auch auf andere Datenarten angewendet werden können. Wir beschreiben ein Verfahren zur Speicherung, Kennzeichnung und zum Abruf von verschiedenen Formen der Daten im Zusammenhang mit einem Transcodierungs-Proxysystem mit Zwischenspeicherung der Daten im Cachespeicher.
Bezug nehmend auf 4 wird davon ausgegangen, dass vom Server 210 als Antwort auf eine Anforderung von einem Client 230 ein JPEG-Bild empfangen wird. Dieses Bild wird aus dem verlustbehafteten JPEG-Codierformat in eine Bitmap-Darstellung des Bildes decodiert. Der Fachmann in der Bildverarbeitung versteht, dass der JPEG-Codierstandard Bilder beschreibt, die Koeffizienten verwenden, die diskrete Cosinus-Transformierte (DCTs) gewichten, so dass im Allgemeinen ein rechenintensiver Decodierschritt notwendig ist, damit man die tatsächlichen Farben eines jeden Pixels erhält. Diese Bitmap erfordert eine größere Speicherkapazität als das ursprüngliche JPEG-Bild. Wenn der Cachespeicher jedoch ausreichend groß ist, kann es sinnvoll sein, dieses vergrößerte Bild zu speichern (über den Datenpfad 420), um den rechenintensiven Schritt der JPEG-Decodierung zu vermeiden, wenn eine transcodierte Version desselben Bildes später benötigt wird, jedoch mit anderen Transcodierungsparametern als bei der ersten Anforderung. In einem zweiten Schritt wird das JPEG-Bild auf der Grundlage der Transcodierungsparameter (d.h. der Farbtiefe, des Skalierungsfaktors und des JPEG-Qualitätsfaktors) erneut codiert. Das Bild kann erneut als JPEG-Bild oder in einem alternativen Codierformat codiert werden. Die endgültige transcodierte Version des Bildes wird ebenfalls über den Datenpfad 420 im Mehrfachauflösungs-Cachespeicher 410 zwischengespeichert.
Wenn weitere Datenanforderungen gestellt werden, prüft der HTTP-Proxy 220 in der beispielhaften Ausführungsform zuerst seinen Cachespeicher 410, um festzustellen, ob eine auf den neuesten Stand gebrachte Version des Datenobjekts mit der angeforderten Auflösung oder dem angeforderten Transcodierungsgrad verfügbar ist. Jedes Objekt in dem Mehrfachauflösungs-Cachespeicher 410 wird mit einer Versionsangabe gespeichert, die Folgendes enthält: eine URL-Beschreibung, einen Zeitstempel für das Datenobjekt und die Eigenschaften des Objekts. Bei einem JPEG-Bild gehören die Farbtiefe, der Skalierungsfaktor und der JPEG-Qualitätsfaktor zu den Objekteigenschaften. Eine alternative Ausführungsform trägt einen Hinweis, dass das JPEG-Bild decodiert und in seinem Bitmap-Format gespeichert wurde oder dass es umgewandelt und als GIF mit verschiedenen Eigenschaften gespeichert wurde.
Wenn eine auf den neuesten Stand gebrachte Version des Objekts von der angeforderten Art und mit der angeforderten Auflösung verfügbar ist, wird diese Version an den Client zurückgesendet. wenn eine solche Version nicht verfügbar ist, aber eine auf den neuesten Stand gebrachte Version des Objekts entweder in seiner ursprünglichen JPEG-Form oder der decodierten Bitmap-Form vorhanden ist, wird diese Version an den Transcoder 240 mit der Angabe ihrer Eigenschaften zurückgeschickt. Dadurch kann der Transcoder 240 die gewünschte Version des Objekts erzeugen, die an den Client 230 zurückgeschickt und über den Datenpfad 420 im Mehrfachauflösungs-Cachespeicher 410 gespeichert wird.
Es sei erwähnt, dass es mehrere Erweiterungen dieses Schemas gibt, die für den Fachmann offensichtlich sind. Eine Erweiterung verwendet statt des ursprünglichen Datenobjekts eine bereits transcodierte Version des Objekts, um eine weitere Version des Objekts mit noch geringerer Auflösung zu erzeugen. Verfahren zur Verwaltung der verschiedenen Versionen von Datenobjekten mit unterschiedlicher Auflösung in einem Cachespeicher sind in der am 13. Februar 1998 eingereichten US-Patentanmeldung mit dem Titel "Conserving Storage Space by Means of Low Resolution Objects" von R. O. LaMaire und J. T. Robinson, Aktenzeichen Y0997308, näher beschrieben.
5 zeigt ein beispielhaftes Flussdiagramm für das dynamische Verfahrensmodul 370 der 3 und 4. 5 zeigt auch, wie das Verfahrensmodul 370 über eine Schnittstelle mit der HTTP-Proxy-Maschine 220 und dem Objekt-Transcoder 240 von 3 verbunden ist. Die nachstehend beschriebenen Verfahren gelten für viele Arten von Inhalten, darunter Text, Bilder, Audio und Video. Die folgende Erörterung konzentriert sich jedoch nur auf Bilddatenarten. Für den Fachmann ist es offensichtlich, dass diese Konzepte und dynamischen Verfahren auch auf andere Medienarten angewendet werden können.
5 zeigt, dass die HTTP-Proxy-Maschine 220 auf der Grundlage des vom Server 210 empfangenen Antwortkopfbereichs zuerst die Größe des Objekts 510 feststellt. Wenn die Art des Inhalts der Antwort "Bild/*" 520 ist, reicht die Proxy-Maschine 220 die Kennung für das Objekt an das dynamische Verfahrensmodul 370 zur weiteren Auswertung weiter. Im Verfahrensmodul 370 wird die Größe des Eingangsobjekts mit einem vorher konfigurierten Schwellenwert mit der Bezeichnung "size threshold" 530 verglichen. Wenn das Objekt kleiner als "size threshold" ist oder die Art des Inhalts nicht "Bild/*" 520 ist, wird das Objekt nicht transcodiert, sondern ohne Änderungen am Inhalt an den Client weitergeleitet, 515. Kleine Objekte (wie zum Beispiel Aufzählungspunkte, Miniaturbilder, Logos usw.), wie man sie im Web findet, sind üblicherweise GIF-Objekte, die aufgrund der GIF-Codierung bereits stark komprimiert sind. Mit einer Transcodierung solcher Objekte lässt sich im Allgemeinen keine weitere Kompression erzielen.
Wir wandeln GIF-Bilder in GIF- oder JPEG-Bilder um, die verkleinert und/oder deren Farbtiefe verringert wird (die Wahl von GIF oder JPEG als Endformat hängt von den Bildeigenschaften ab). Darüber hinaus wandeln wir JPEG-Bilder in JPEG-Bilder um, deren JPEG-Qualität, Größe und/oder Farbtiefe verringert wird. JPEG-Qualität bezieht sich auf einen Transcodierungsparameter, der verwendet wird, um den Grad festzulegen, bis zu dem die beim JPEG-Codierungsstandard verwendeten Koeffizienten der diskreten Cosinus-Transformationen quantisiert werden. Es wurde festgestellt, dass der Parameter für die JPEG-Qualität auch einen hohen Vorhersagewert für die wahrgenommene Bildqualität hat. Dieser Parameter schwankt im Bereich zwischen 1 und 100, wobei 100 eine sehr hohe Qualität darstellt. JPEG-Bilder, die man im Web findet, haben gewöhnlich eine JPEG-Qualitätsparameter von 75.
Bei großen Bildern sind die Art der Bildcodierung (JPEG oder GIF) und die Leistungsfähigkeit der Codierung wichtige Faktoren bei der Transcodierungsentscheidung. Da JPEG ein verlustbehaftetes Kompressionsverfahren ist, ist eine Verkleinerung immer möglich, indem der Qualitätsfaktor verringert wird. Eine ähnliche Qualitätsverringerung kann jedoch nicht auf GIF-Dateien angewendet werden, da GIF ein verlustfreies Kompressionsverfahren ist. Um eine Qualitätsverringerung zu erreichen, muss eine GIF-Datei zuerst decodiert und anschließend als JPEG-Bild mit verringerter Qualität neu codiert werden. Dieses Verfahren macht jedoch nicht immer eine Verkleinerung möglich. Das GIF-Format ist gewöhnlich bei der Codierung von Land-/Straßenkarten, Logos und Zeichnungen leistungsfähiger, während JPEG bei der Codierung von natürlichen Bildern leistungsfähiger ist. Eine Umwandlung von GIF nach JPEG ist nur sinnvoll, wenn das ursprüngliche GIF-Bild nicht wirksam codiert wurde.
Wir definieren Bits pro Pixel (bpp) als ein Maß für die Leistungsfähigkeit der Kompression. Bpp wird als das Verhältnis der Größe der Bilddatei zum Bildbereich in Pixel berechnet. Im Verarbeitungsschritt 540 werden die X- und Y-Abmessungen und der bpp-Wert des Eingangsbildes berechnet, indem der Kopfbereich des Bildes ausgewertet wird. wenn das Eingangsobjekt vom Typ "Bild/jpg" 550 ist, wird immer eine Transcodierung durchgeführt. Wenn die Art des Inhalts jedoch "Bild/gif" 525 ist, werden nur diejenigen Objekte transcodiert, die ein bpp-Verhältnis ergeben, das größer als "gif_threshold" 535 ist. GIF-Dateien, die nicht sehr wirksam codiert wurden, weisen einen bpp-Wert auf, der größer als "gif_threshold" ist. Folglich ist der Entscheidungsschritt 535 bei der Feststellung von komprimierbaren GIF-Dateien mit hoher Genauigkeit sehr erfolgreich. Zwar ist dies in 5 nicht gezeigt, doch ist es für den Fachmann offensichtlich, dass auch andere Transcodierungsverfahren wie zum Beispiel Skalierung und Dateikürzung (für schrittweise codierte Daten) für stark komprimierte GIFs verwendet werden können.
Ein wichtiger Aspekt der vorgeschlagenen Erfindung besteht darin, dass die Entscheidungsschritte 510 bis 565 durchgeführt werden, sobald der Kopfbereich des Bildes empfangen wird. Wenn die Entscheidung dahingehend ausfällt, dass keine Transcodierung durchgeführt wird, können Bildsegmente weitergeleitet werden, sobald sie vom Server empfangen wurden, ohne dass eine Verzögerung aufgrund des Store-and-Forward-Weiterleitungsverfahrens entsteht. Ebenso können Bilder, wenn eine Transcodierung durchgeführt werden soll, entweder im Pufferspeicher abgelegt und dann transcodiert werden ("Store-and-Forward"-Transcodierung), oder jedes Segment kann direkt, ohne vorherige Ablage im Pufferspeicher, transcodiert werden (kontinuierliches Transcodierungsverfahren).
Nachdem ein Bild erkannt wurde, das komprimiert werden kann, beinhaltet der nächste Schritt die Ermittlung, in welchem Umfang das ausgewählte Bild transcodiert werden soll. Die Verfahrensfunktion 565 ist für die Erfassung der Eingabe von drei verschiedenen Quellen (Bildgrößenvorhersager 375, Bandbreitenschätzeinheit 380, Benutzervoreinstellung-Auswahleinheit 260) und die anschließende Auswahl der Transcodierungsparameter entsprechend der in 8 gezeigten Schritte verantwortlich. Die gewählten Parameter bestimmen den Umfang und die Arten der Kompression, die vom Objekt-Transcoder 240 durchgeführt wird. Beispielsweise bestimmt der Skalierungsparameter den Betrag, um den die Abtastrate eines Bildes verringert wird. Quantisierungsparameter steuern die Art und Weise, in der ein Bild im Pixel- und/oder im Frequenzbereich quantisiert wird. Die Anzahl der Farben in einem in Farbe dargestellten Bild kann verringert werden, oder ein 24-Bit-Farbbild kann in ein 8-Bit-Graustufenbild oder sogar in eine Schwarzweiß-Darstellung umgewandelt werden. Der Prozess der Transcodierung wird im Schritt 570 durchgeführt, und die Ausgabe des Transcoders wird an den Client 230 weitergeleitet.
Ein wichtiger Aspekt der Verfahrensfunktion 565 besteht in dem Auswertungsrahmen, der dazu dient, Transcodierungsentscheidungen zu treffen. Der Auswertungsrahmen berücksichtigt Faktoren wie z.B. die verfügbare Bandbreite, die Art und Größe des Bildes sowie Benutzervoreinstellungen und liefert objektive Kriterien für das Treffen von Transcodierungsentscheidungen. Als Beispiel betrachten wir die Zielsetzung, die Antwortzeit für den Benutzer auf ein Minimum herabzusetzen, jedoch versteht der Fachmann, dass bei Verwendung desselben Rahmens auch andere Optimierungskriterien angelegt werden können. Wir beschreiben ein Verfahren zur Feststellung, wann eine Transcodierung vorteilhaft ist und bis zu welchem Grad eine Transcodierung zur Anwendung kommen sollte. Die hier beschriebene Ausführungsform wird als dynamische Anpassung von Transcodierungsparametern beschrieben.
6 zeigt einen beispielhaften Web-Anforderungs-/Antwort-Zyklus und die Antwortzeit für das Abrufen eines Objekts der Größe S durch einen nach dem Store-and-Forward-Weiterleitungsverfahren arbeitenden Transcodierungs-Proxy 190. wir definieren einen nach dem Store-and-Forward-Weiterleitungsverfahren arbeitenden Bildtranscoder als einen Bildtranscoder, der warten muss, bis ein ganzes Eingangsbild gespeichert worden ist, bevor die Transcodierung an diesem Bild beginnen kann, und der dann warten muss, bis er ein transcodiertes Bild in seiner Gesamtheit erzeugen kann, bevor es zur Ausgabe bereitgestellt wird. Wie in 6 gezeigt ist, wird das ursprüngliche Bild 620 der Größe S (Byte) 670 über die Server-Proxy-Verbindung mit einer effektiven Bandbreite B_sp (Bit/s) in den Store-and-Forward-Proxy heruntergeladen. Der Transcoder führt eine Verzögerung D_x(S) 650 ein und erzeugt ein Ausgangsbild 630 der Größe S_x(S) 680. Sowohl die Transcodierungsverzögerung 650 als auch die Bytegröße 680 des Ausgangsbildes werden als von der Bytegröße S 670 des Eingangsbildes abhängig gekennzeichnet. Das transcodierte Bild wird dann über eine Proxy-Client-Verbindung mit einer effektiven Bandbreite B_pc übertragen.
Die Verfahrensfunktion muss den Preis der Transcodierung (Verzögerung) gegen eine durch die Transcodierung erzielte Größenverringerung abwägen. Damit eine Transcodierung Vorteile bringt, muss die Verzögerung, zu der es aufgrund der Transcodierung kommt, durch die Verkürzung der Übertragungszeit, die durch die Kompression erzielt wird, ausgeglichen werden. Bei Proxy-Client-Zugriffsverbindungen mit sehr geringer Bandbreite überwiegt der Vorteil in Form von einer kürzeren Antwortzeit aufgrund einer aggressiven Bildkompression gewöhnlich bei weitem den Nachteil der längeren Antwortzeit, die durch die rechenintensive Transcodierung verursacht wird. 7 zeigt jedoch, dass mit zunehmender Bandbreite der Proxy-Client-Verbindung ein Punkt (Transcodierungsschwellenwert 710) erreicht wird, an dem eine Transcodierung nicht mehr vorteilhaft ist, da die Verringerung der Antwortzeit, die durch die aggressive Kompression erreicht wird, in Abhängigkeit von der Bandbreite der Verbindung, die einen Engpass aufweist, abnimmt, während die Zeitdauer für die Transcodierung gleich bleibt.
Nehmen wir an, R_o ist die Antwortzeit für den Abruf eines Web-Objekts der Größe S vom Web-Server bei ausgeschalteter Transcodierung. Ebenso sei R_p die Antwortzeit für den Abruf der transcodierten Version desselben Web-Objekts durch den Transcodierungs-Proxy. Zum Zweck der folgenden Erörterung nehmen wir an, dass der Proxy keine Zwischenspeicherung im Cachespeicher unterstützt.
Die vom Client wahrgenommene Antwortzeit bei ausgeschalteter Transcodierung ist die Summe der folgenden drei Terme: R0 = 2·RTTpc + 2·RTTsp + S/min (Bpc, Bsp).
RTT_pc ist die Umlaufzeitverzögerung zwischen dem Client und dem Proxy, und gleichermaßen ist RTT_sp die Latenzzeit zwischen dem Proxy und dem Server. Der Abruf des Web-Objekts erfordert einen TCP-SYN/ACK-Austausch sowie eine HTTP-Anforderung/Antwort, wodurch ein Beitrag von 2·RTT_pc + 2· RTT_sp zum Verzögerungsterm hinzukommt. Darüber hinaus bringt ein Web-Bild eine Übertragungsverzögerung mit sich, die gleich der Zeitspanne zwischen der Ankunft seiner ersten und seiner letzten Bits ist. Es sei min (B_pc, B_sp) die Engpass-Bandbreite zwischen dem Client und dem Server. In Abwesenheit eines Proxy liegen die ersten und die letzten Bits eines Bildes um S/min(B_pc,B_sp) zeitlich auseinander. Diese Spanne entspricht der tatsächlichen Übertragungsdauer des Bildes über die verknüpfte Verbindung vom Server zum Proxy und vom Proxy zum Client.
Wenn die Transcodierung eingeschaltet wird, arbeitet der Proxy in einer Betriebsart "Store and Forward" (Speichern und Weiterleiten). 2·RTT_pc + 2·RTT_sp ist wieder fester Bestandteil der Antwortzeit. D_P(S) ist der zusätzliche Term, der die Transcodierungsverzögerung darstellt. Die sich ergebende Antwortzeit für das transcodierte Objekt lässt sich wie folgt ausdrücken: RP = 2·RTTpc + 2·RTTsp + DP(S) + S/Bsp + Sp(S)/Bpc.
Eine Transcodierung verkürzt die Antwortzeit, wenn R_P < R_o. Das heißt, DP(S) + S/Bsp + SP(S) /Bpc < S/min/Bpc, Bsp).
Es ist klar, dass R_P immer größer als R_o ist, wenn B_pc > B_sp. Wenn andererseits B_pc < B_sp ist, ist eine Transcodierung nur sinnvoll, wenn: DP(S) + S/Bsp < {S – SP(S)}/Bpc.
Die vorstehende Gleichung zeigt deutlich die Bedingungen auf, unter denen eine Transcodierung die Antwortzeit verkürzt. 8 zeigt ein Flussdiagramm einer beispielhaften Verfahrensfunktion, die mit Hilfe des vorstehend beschriebenen Auswertungsrahmens erstellt wird. 810 kennzeichnet einen Eintrittspunkt in die Verfahrensfunktion. Die Verfahrensfunktion 800 wird von 565 mit der ursprünglichen Größe des Bildobjekts als eine der Eingaben in die Verfahrensfunktion aufgerufen. Die Variable S wird gleich der Größe des Eingangsobjekts gesetzt, und der Qualitätsfaktor q wird auf einen Anfangswert gesetzt, der die bestmögliche Anfangsbildqualität darstellt (beispielsweise die Qualität des Eingangsbildes). Im Schritt 830 gibt die Verfahrensfunktion 800 eine Anfrage an die Bandbreitenschätzeinheit 380 aus, mit der sie um Angabe des geschätzten Zeitraums für das Herunterladen der Objektgröße S von dem angegebenen Server auf den Proxy bittet, der als T₁(S) bezeichnet wird. Sie bittet auch um Angabe des Schätzwerts des Zeitraums für das Herunterladen desselben Objekts vom Proxy auf den Client, der als T₂(S) bezeichnet wird. Auf der Grundlage der Protokolle von vorherigen Verbindungen zu dem gewählten Ziel gibt die Bandbreitenschätzeinheit einen Schätzwert von T₁(S) und T₂(S) zurück. Im nächsten Schritt 840 fragt die Verfahrensfunktion den Bildgrößen- und Verzögerungsvorhersager 375 ab, um einen Schätzwert der Größe des transcodierten Bildes S_P(S) zu erhalten. Sie berechnet dann die Einsparungen bei dem geschätzten Zeitraum für das Herunterladen, indem sie den Schätzwert des Zeitraums für das Herunterladen der Größe des transcodierten Bildes T₂ (S_P(S)) von T₂(S) abzieht, 850. Im Schritt 870 werden schließlich die beiden Größen (Transcodierungsverzögerung + T₁(S) – die Einsparungen beim Herunterladen) und die Verringerung der Zielantwortzeit verglichen. Wenn der erste Term kleiner als der zweite Term ist, wird die Berechnung angehalten, und der gewählte Qualitätsfaktor q wird als Ausgabe zurückgegeben, 880. Andernfalls erfolgt mit einem verringerten Wert von q erneut ein Eintritt in die Schleife 840 bis 870.
Es sei erwähnt, dass der Fachmann leistungsfähigere Suchverfahren oder Varianten von Zielfunktionen ersinnen kann, ohne von dem in dieser Erfindung dargestellten Wesen des Verfahrensfunktionsrahmens abzuweichen. Eine Erweiterung bestünde darin, die Terme in der Verfahrensgleichung wie folgt umzuordnen: Verringerung der Antwortzeit (q) = {S – SP(S)}/Bpc – DP(S) – S/Bsp.
In der obigen Gleichung ist S_P(S) auch abhängig vom Qualitätsfaktor (je kleiner die Ausgabegröße, desto schlechter die Qualität). Man beachte, dass festgestellt wurde, dass die Transcodierungsverzögerung tatsächlich unabhängig vom Qualitätsfaktor ist. In der obigen Gleichung gibt es zwei unabhängige Variablen: q, den Qualitätsfaktor, und die Verringerung der Zielantwortzeit. Im Rahmen der obigen Gleichung lassen sich mehrere unterschiedliche Verfahren entwickeln, zum Beispiel:
Setze die Antwortzeit für alle Benutzer auf ein Minimum herab;
Setze die Qualität bei einer vom Benutzer angegebenen Vorgabe für die Antwortzeit auf ein Höchstmaß herauf;
Optimiere die Leistungsfähigkeit des gesamten Systems, nicht nur die Leistungsfähigkeit einer Benutzereinheit.
Da die Transcodierung eine rechenintensive Aufgabe ist und die Leistungsfähigkeit der CPU des Proxy beschränkt ist, werden die CPU-Zyklen des Proxy am besten für die Aufgaben verwendet, die dem Erreichen einer höchstmöglichen Gesamtzufriedenheit des Benutzers dienen. Während der Hauptnutzungszeit, wenn jeder Benutzer die Transcodierung einschaltet, kann es vorkommen, dass nicht genügend CPU-Zyklen zur Verfügung stehen, um alle Transcodierungsanforderungen zu erfüllen. Indem die Verantwortung für die Parameterauswahl der Verfahrensfunktion 800 übertragen wird, kann das System die optimalen Transcodierungsparameter automatisch auswählen und dem Endbenutzer eine gleichbleibende und vorhersagbare Antwortzeit bereitstellen. Wenn Benutzer diese Parameter selbständig auswählen müssten, könnte das Transcodierungssystem nicht mit der optimalen Leistung arbeiten.
Betrachten wir nun die Transcodierungsverzögerung und die Größenschätzung. Der Entscheidungsschritt 870 erfordert zwei zusätzliche Eingaben: einen Schätzwert der Größe des transcodierten Bildes, S_P(S), und die Transcodierungsverzögerung, D_P(S), die der Prozess der Transcodierung mit sich bringt. Eine genaue Vorhersage dieser beiden Größen ist schwer zu bekommen, da sie vom Bildinhalt, der verwendeten Codierungsart, dem ursprünglichen Qualitätsfaktor, der Geschwindigkeit des Prozessors und der Auslastung des Proxy abhängen. wie im Falle der Bandbreitenschätzeinheiten verwendet die vorliegende Erfindung statistische Verfahren, um diese beiden Größen zu schätzen.
9 ist ein Blockschaltbild, das ein Beispiel des Bildgrößen-Vorhersagemoduls gemäß der vorliegenden Erfindung zeigt. Wie bei 910 gezeigt ist, initialisieren wir unser System mit statistischen Kennwerten von S_x(q), die auf einem großen Referenzsatz von Bildern beruhen. Das bei 910 gezeigte Verfahren dient zur Initialisierung der Verteilungsfunktionen der Größe des transcodierten Bildes, die von den Parametern bpp und q abhängen. Der Proxy fügt der Verteilungsfunktion laufend neue Stichprobenpunkte 920 zu, während er neue Bildobjekte abruft und transcodiert. Die Funktion von 920 ermöglicht dem Bildgrößenvorhersager 375, sein Verhalten an verschiedene Datensätze anzupassen, auf die ein Client gegebenenfalls zugreift.
Bei dem in 930 beschriebenen Verfahren verwenden wir folglich statistische Verfahren zur Schätzung der Verzögerung und der Ausgabegröße, und wir verwenden das bpp-Verhältnis als das Kriterium zur Durchführung einer genaueren Klassifizierung von Bildern und folglich zur Bildung eines besseren Schätzwerts der Größe der resultierenden transcodierten Datei. Dieses Verfahren funktioniert besonders gut bei GIF-Dateien.
Bei Verwendung von ähnlichen statistischen Verfahren lässt sich D_P(S) auf der Grundlage einer Initialisierung mit Referenzwerten und einer Online-Aktualisierung des statistischen Modells schätzen. Aus unserer Arbeit mit Statistiken wir auch festgestellt, dass sich die Transcodierungsverzögerung gut als eine lineare Funktion der Anzahl der Pixel (im Gegensatz zur Dateigröße) charakterisieren lässt.
Betrachten wir nun die Schätzung der Bandbreite und des Zeitraums für das Herunterladen. Die Genauigkeit des Entscheidungsschritts 870 hängt in hohem Maße auch von der Genauigkeit der Schätzwerte des Zeitraums für das Herunterladen von Bildern ab. Die in den 3 bis 5 gezeigte Bandbreitenschätzeinheit 380 ist für die Bereitstellung dieser Schätzwerte für den Zeitraum verantwortlich. Die Bandbreitenschätzeinheit 380 zeichnet jedes Paketsende- und -empfangsereignis am Proxy auf und wertet die erfassten Überwachungsprotokolle statistisch aus, um Vorhersagen über den Zustand des Netzwerks zu treffen. Der Fachmann im Bereich der Netzwerküberwachung versteht, dass die Netzwerküberwachungsfunktion auf mehrere unterschiedliche Arten realisiert werden kann. Eine Ausführungsmöglichkeit wäre eine Zwischenschicht zwischen der Proxy-Anwendung und der Verbindungsschicht. Eine weitere Ausführungsmöglichkeit wäre eine Verarbeitungsschicht über einer Paketfilter-Software. Im Allgemeinen liefert die Ausführung, bei der eine Verarbeitungsschicht über der Paketfilter-Software eingerichtet wird, genauere Schätzwerte der Bandbreite und des Zeitraums für das Herunterladen. Bei der vorliegenden Erfindung ist es nicht erforderlich, dass die Bandbreitenschätzeinheit 380 und auch der Verfahrensentscheidungsschritt 870 auf derselben Maschine laufen, obgleich eine gemeinsame Unterbringung der beiden Module am selben Ort den Kommunikationsaufwand zwischen ihnen auf ein Mindestmaß herabsetzt.
10 zeigt ein beispielhaftes Bandbreitenschätzmodul 380 gemäß der vorliegenden Erfindung. Das Modul besteht aus zwei Komponenten: dem Überwachungsmonitor 1010 und einer Statistik-Auswerteeinheit 1020. Der Überwachungsmonitor überwacht laufend alle Verbindungen zwischen den Clients und dem Proxy. Derselbe Überwachungsmonitor (oder eine andere Instanz von ihm) wird auch zur Überwachung des Verkehrs zwischen dem Proxy und allen Web-Servern verwendet. Für jede überwachte Verbindung werden die folgenden Informationen aufgezeichnet:

– der Zeitpunkt, zu dem eine neue Verbindung hergestellt wird
– die Quellenadresse, die Nummer des Quellenanschlusses, die Zieladresse sowie die Nummer des Zielanschlusses einer jeden Netzwerkverbindung,
– die Anzahl der auf jeder Verbindung gesendeten und empfangenen Bytes und der jeweilige Zeitstempel eines jeden Sende- und Empfangsereignisses,
– der Zeitpunkt, zu dem die Verbindungen geschlossen werden.

Die Statistik-Auswerteeinheit 1020 verwaltet eine Datenbank aller bisherigen und aller aktuellen aktiven Verbindungen. Für jede Verbindung zeichnet sie auch in Form eines Verlaufs auf, wie viele Bytes wann auf dieser Verbindung gesendet und/oder empfangen wurden. Auf der Grundlage dieses Verlaufs kann die Statistik-Auswerteeinheit 1020 Vorhersagen über den Zeitraum für das Herunterladen bei zukünftigen Verbindungen treffen. Um den Zeitraum für das Herunterladen von Daten vom Server auf den Proxy und vom Proxy auf den Client vorherzusagen, verwenden wir unterschiedliche Heuristiken.
Aufgezeichnete Verbindungen vom Server zum Proxy weisen ein Verhalten auf, das bei TCP-Weitverkehrsverbindungen üblich ist. Es wurde beobachtet, dass Aufzeichnungskurven vom Typ "Sequenz über dem Zeitstempel" nichtlinear sind, und wir haben festgestellt, dass lineare Schätzkonzepte wie beispielsweise des Durchschnitts- oder Zentralwerts der Bandbreite keine genauen Schätzwerte hervorbringen. Um den Zeitraum für das Herunterladen eines Objekts mit einer bestimmten Größe vorherzusagen, betrachtet die Bandbreitenschätzeinheit den Verlauf der Verbindungen zu dem gewählten Ziel und berechnet die Verteilungsfunktion des Zeitraums für das Herunterladen für alle Objekte, die ungefähr dieselbe Größe haben. Der Zentralwert oder eine andere geeignete statistische Funktion dieser Verteilung wird als Schätzwert des Zeitraums für das Herunterladen zurückgeschickt.
Im Gegensatz dazu bestimmen hauptsächlich die Auswirkungen einer bandbreitenbegrenzten Verbindungsstrecke, üblicherweise in Form des letzten Übertragungsabschnitts 160 bis 164, das TCP-Verhalten vom Proxy zum Client. Da es hier einen Verbindungsengpass gibt, kommt es durch die Gesamtheit aller aktiven TCP-Verbindungen zu einem Client an diesem Verbindungsengpass üblicherweise zu Sättigungserscheinungen. Um Schätzwerte des Zeitraums für das Herunterladen von Daten vom Proxy auf den Client bereitzustellen, fasst die Bandbreitenschätzeinheit alle aktiven Verbindungen zu einem Client zu einer einzigen Gruppe zusammen. Für jede Verbindungsgruppe erstellt sie ein Diagramm, das die Zeit über der Anzahl Bytes zeigt, und anschließend nimmt sie eine Kurvenanpassung an den Daten vor. Dieses Verfahren liefert einen genauen Schätzwert der aktuell zur Verfügung stehenden Bandbreite zwischen dem Proxy und dem Client. Obgleich sich dieser Wert im Laufe der Zeit ändert, sind die Schwankungen in den meisten Fällen begrenzt. Beispielsweise kann die Bandbreitenüberwachungseinheit ohne weiteres feststellen, ob der Client über eine 10-MB-Ethernet-Verbindung, einen 14,4-Modem oder einen 28,8-Modem angeschlossen ist, indem sie die Ausgabe des Kurvenanpassungsalgorithmus auswertet. Die vorhergesagten Werte sind nicht genau (sie weichen von den korrekten Werten um 20 % bis 30 % ab), aber der Fachmann versteht, dass sich die Genauigkeit der Bandbreitenschätzung durch Verfeinerung des Schätzalgorithmus verbessern lässt.
Betrachten wir nun die Transcodierungs-Benutzerschnittstelle. Die Transcodierungs-Benutzerschnittstelle ist die Schnittstelle, über die der Benutzer das Verhältnis zwischen der Bildqualität und dem Zeitraum für das Herunterladen dynamisch ändern kann. Sie ist in den 2 bis 5 als das Element 260 dargestellt. 11 zeigt eine beispielhafte Ausführung der Schnittstelle für die Benutzervoreinstellungen gemäß der aktuellen Erfindung. Diese Benutzerschnittstelle ist gut in Form einer linearen Schiebeleiste dargestellt, die als ein Java-Applet realisiert werden kann, um den Benutzern die Möglichkeit zu geben, die Bildqualität ständig zu ändern. wie in 11 gezeigt ist, steht auch eine Option zur Auswahl der Farbe (im Gegensatz zur Grauskala) zur Verfügung. Darüber hinaus kann eine Option zur Auswahl von "Autopilot" auf zweierlei Arten wie folgt verwendet werden: 1) als Hinweis an den Proxy, dass er auf der Grundlage der aktuellen Schätzwerte der Bandbreite der Client-Proxy-Verbindung und der Proxy-Server-Verbindung und der aktuell verfügbaren CPU-Ressourcen automatisch entscheiden kann, ob eine Transcodierung durchgeführt wird, wie vorstehend beschrieben wurde, oder 2) als Hinweis an den Proxy, dass er versuchen soll, die aktuellen Zeiträume für das Herunterladen, die der Benutzer gerade erfährt, beizubehalten (d.h., indem die Bildqualität am Proxy so geändert wird, dass dynamische Änderungen der Bandbreite, die von dem Teilsystem zur Bandbreitenschätzung festgestellt werden, ausgeglichen werden); oder es können sowohl 1) als auch 2) verwendet werden. Gelegentlich, wenn der Benutzer eine getreue Version der Daten benötigt, kann er die verfeinerten Daten einfach anfordern, indem er die Schiebeleiste (nach unten) verschiebt und die qualitativ höherwertigen Daten anfordert. Gewöhnlich stellen wir fest, dass nahezu unser gesamtes Web-Browsing durchgeführt werden kann, indem Bilder auf ein Sechstel oder ein Zehntel ihrer ursprünglichen Größe transcodiert werden, und nur selten stoßen wir tatsächlich auf ein Objekt, wie zum Beispiel eine Land- oder Straßenkarte, bei der wir eine Verfeinerung anfordern müssen. Es sei angemerkt, dass alternative Nur-HTML-Schnittstellen möglicherweise erfunden worden sind, um Nicht-Java-Einheiten wie zum Beispiel auf Windows CE basierende Plattformen zu unterstützen.
Als Nächstes betrachten wir eine kontinuierliche Bildtranscodierung. Die vorstehende Beschreibung ist im Allgemeinen auf einen nach dem Store-and-Forward-Weiterleitungsverfahren arbeitenden Transcodierungs-Proxy anwendbar. Im Folgenden beschreiben wir Bedingungen, unter denen es für einen kontinuierlich arbeitenden Bildtranscoder vorteilhaft ist, eine Transcodierung durchzuführen. Ein kontinuierlich arbeitender Bildtranscoder ist ein Bildtranscoder, der mit dem Auslesen von Bilddaten, die in einem Ausgangsformat codiert sind, beginnt, bevor er den vollständigen Eingangsbytestrom, der dem ganzen Bild entspricht, das in dem Eingangsformat codiert ist, vollständig eingelesen hat.
In 12 zeigen wir ein Beispiel für die Überlegungen hinter unserem Algorithmus, indem wir ein Zeitdiagramm verwenden. Das Eingangsbild kommt als ein Strom von Bits im Abstand von 1/B_sp an. Der kontinuierlich arbeitende Bildtranscoder nimmt eine Gruppe von G Bits zur Transcodierung, wobei eine geringe Store-and-Forward-Verzögerung D₁ entsteht. Die Gruppe der Bits wird dann in eine Gruppe von G_P Ausgangsbits transcodiert, wobei eine Verzögerung D₂ entsteht. Wenn D₂ < D₁, kann der Bildtranscoder jede Eingangsgruppe G in ihre entsprechende Ausgangsgruppe G_P umwandeln, bevor die nächste Eingangsgruppe G verarbeitet werden muss. In diesem Fall ist der interne Speicherplatzbedarf des kontinuierlich arbeitenden Bildtranscoders begrenzt. Wenn aber D₂ > D₁, kann der Bildtranscoder die Eingangsbits nicht schnell genug verarbeiten. In diesem letzteren Fall, unter der Annahme eines kontinuierlichen Eingangsstroms, nimmt der interne Speicherplatzbedarf des Bildtranscoders unbegrenzt zu, d.h., die internen RAM-Pufferspeicher endlicher Länge des Bildtranscoders laufen über. Deshalb ist es unser Wunsch, dass die Transcodierungsverzögerung D₂ die Bedingung D₂ < D₁ erfüllt. Es ist klar, dass D₁ = G/B_sp. Um D₂ zu ermitteln, sei D_P(S) = der vorhergesagte Bildcodierungszeitraum für ein Bild mit S Bits. ((D_P(S) hängt eigentlich von anderen Parametern wie dem Bildinhalt und den Abmessungen ab, aber wir verwenden D_P(S) der Einfachheit der Notation halber). Dann ist D₂ = D_P(S)/(S/G). Um zu verhindern, dass der RAM-Pufferspeicher überläuft, muss die Transcodierungsverzögerung der Gruppe D_P(S)/(S/G) < G/B_sp sein oder DP(S) < S/Bps) (Bedingung A). erfüllen.
Unter der Annahme, dass die Bedingung A gilt, sind die ausgegebenen transcodierten Gruppen G_P durch eine Verzögerung, die gleich D₁ ist, in gleichmäßigem Abstand voneinander getrennt. Der Übertragungskanal kann jede transcodierte Bitgruppe G_P im Zeitraum D₃ = G_P/B_pc senden. Im Fall i) zeigen wir, dass D₂(i) < D₁, d.h., jede Ausgangsgruppe G_P kann gesendet werden, bevor die nächste Ausgangsgruppe übertragungsbereit ist. Im Fall ii) ist D₃(ii) > D₁, so dass die Ausgangsübertragungsverbindung die erzeugten Bits nicht schnell genug senden kann, um die Ausgabewarteschlange leer zu halten. Im Fall ii) wächst die Ausgabewarteschlange der Übertragungsverbindung bei einem kontinuierlichen Strom von transcodierten Bits unbegrenzt, was zu einem Überlauf der Pufferspeicher endlicher Länge der Übertragungsverbindung führt. Deshalb ist es unser Wunsch, dass die Verzögerung, die durch die Größe der transcodierten Ausgangsgruppe D₃(i) verursacht wird, kleiner D₁ ist (D₃(i) < D₁). Es ist klar, dass D₃(i) = G_P/B_pc. Um zu verhindern, dass der Ausgabepufferspeicher der Übertragungsverbindung überläuft, muss die Größe G_P der transcodierten Ausgangsbildgruppe G_P/B_pc < G/B_sp sein oder c > Bps /Bpc (Bedingung B)erfüllen, wobei c = das Kompressionsverhältnis G/G_P des Gruppenbildes ist, von dem wir annehmen, dass es im Durchschnitt gleich dem gesamten Bildkompressionsverhältnis ist. Zusammenfassend lässt sich sagen, dass der kontinuierlich arbeitende Bildtranscoder eine Transcodierung nur durchführen sollte, wenn sowohl die Bedingung A als auch die Bedingung B erfüllt sind. Wenn die Verbindung vom Proxy zum Server den Engpass darstellt, d.h. B_cp < B_pc, verringert sich die Bedingung B auf c > N, wobei N eine Zahl kleiner 1 ist. Normalerweise ist das Kompressionsverhältnis immer größer als 1, so dass die Bedingung B immer erfüllt ist. In diesem Fall muss nur die Bedingung A erfüllt werden, damit eine Transcodierung nicht von Nachteil ist. Wenn die Verbindung vom Proxy zum Server der Engpass ist, könnte die Bedingung B tatsächlich so gedeutet werden, dass sie das bei einem transcodierten Bild erlaubte Vergrößerungsverhältnis nach oben begrenzt, nämlich 1/c < B_pc/B_sp. Die Vergrößerung eines Bildes kann zuweilen notwendig sein, wenn eine Formatumwandlung, z.B. aus dem GIF- in das Palm-Format, zwingend notwendig ist. Mit der vorstehenden Gleichung können wir feststellen, wann eine solche Formatumwandlung das Risiko eines Pufferspeicherüberlaufs erhöht und wann eine Formatumwandlung zu keinem Überlauf des Pufferspeichers führt. Wenn beispielsweise B_sp = 1 b_ps, B_pc = 2b_ps und G = 1 Bit, sagt die Bedingung B aus, dass die Ausgangsgruppe G_P auf höchstens 2 Bit erweitert werden kann. Wenn die Verbindung vom Client zum Proxy der Engpass ist, d.h. B_sp > B_pc, sagt die Bedingung B aus, dass das Bildkompressionsverhältnis c größer als das Verhältnis der Bandbreiten vom Proxy zum Server und vom Client zum Proxy sein muss, damit sich die Transcodierung lohnt. Darüber hinaus muss die Bedingung A nach wie vor erfüllt werden.
Es sei erwähnt, dass die Bedingung A und die Bedingung B enge Grenzen darstellen, die voraussetzen, dass der Pufferspeicher nie überlaufen darf. Der Fachmann versteht, dass weniger strenge Einschränkungen unter der Voraussetzung abgeleitet werden können, dass die Bilder statt des in der Auswertung angenommenen kontinuierlichen Stroms eine endliche Länge haben. Weniger strenge Einschränkungen würden mehr Zeit für die Transcodierung und/oder eine weniger aggressive Kompression ermöglichen.
Es ist somit ein Aspekt der vorliegenden Erfindung, ein Verfahren für einen Transcodierungs-Proxy bereitzustellen, um das Durchsuchen (Browsing) von Client-Einheiten und Servern, die über ein Kommunikationsnetzwerk verbunden sind, zu vereinfachen. Das Verfahren umfasst den Empfang einer HTTP-GET-Anforderung von einer Client-Einheit für ein Objekt, das auf einem der Server gespeichert ist, die Weiterleitung der GET-Anforderung für das Objekt an den Server, den Empfang des Objekts von den Servern, die Prüfung der Voreinstellungen, die von einem Benutzer der Client-Einheit festgelegt wurden, die Prüfung des Inhalts des Objekts, die Prüfung von Eigenschaften des Kommunikationsnetzwerks, die Wahl eines Satzes von Transcodierungsparametern, die Bildung einer transcodierten Form des Objekts, das Senden der transcodierten Form an den Client und/oder das Prüfen von Netzwerkeigenschaften einschließlich der Schätzung der Netzwerkbandbreite zwischen dem Server und dem Proxy sowie zwischen dem Proxy und dem Client und/oder der Schätzung der Verzögerung zwischen den Servern und dem Proxy sowie der Verzögerung zwischen dem Proxy und der Client-Einheit und/oder die Bereitstellung einer Rückmeldung an den Benutzer über den Grad der an dem Objekt durchgeführten Transcodierung und/oder den Schritt der Prüfung, der die Feststellung der Größe des Objekts beinhaltet, und/oder die Feststellung der Abmessungen des Objekts und/oder die Berechnung des Kompressionsverhältnisses des Objekts. Wenn das Objekt vom Typ Bild ist, werden die Abmessungen des Bildobjekts anhand der Bildfläche in Quadratpixeln ermittelt, und das Kompressionsverhältnis wird über das bpp-Verhältnis des Bildobjekts ermittelt. Die vorliegende Erfindung ermöglicht sowohl eine Store-and-Forward-Transcodierung als auch eine kontinuierliche Transcodierung, wodurch eine transcodierte Form gebildet werden kann, bevor der Schritt des Empfangs des Objekts von den Servern abgeschlossen ist. Dieses Verfahren lässt sich auf JPEG, GIF und andere Bildarten anwenden. Ein weiterer Aspekt dieser Erfindung ist, dass sie das Versenden der transcodierten Form ermöglicht, bevor der Schritt der Bildung einer transcodierten Form des Objekts abgeschlossen ist.
Es gibt mehrere andere Überlegungen, die wichtig sind. Die vorstehenden Beispiele für die Konzepte der vorliegenden Erfindung gelten gewöhnlich für Bilder und Videofilme usw. Die breite Nutzung des Internet hat den wert von Bilddaten, die nach JPEG und MPEG komprimiert sind, gezeigt. Audiocodierte Daten müssen ebenfalls dekomprimiert, mit speziellen Toneffekten gemischt, mit anderen Audiodaten zusammengeführt, bearbeitet und im realen Umfeld verarbeitet werden. Ähnliche Ausführungen werden für industrielle, kommerzielle und militärische Anwendungen durchgeführt.
Diese Erfindung kann auch in Form eines Prozesses, eines Herstellungsgegenstands, einer Vorrichtung, eines Systems, einer Architektur und/oder eines Rechnerprodukts bereitgestellt werden. Beispielsweise kann sie als ein Herstellungsgegenstand realisiert werden, der einen von einem Rechner nutzbaren Datenträger mit einem darauf befindlichen rechnerlesbaren Programmcodemittel umfasst, um einen Rechner zur Durchführung der Verfahren der vorliegenden Erfindung zu veranlassen.
Obgleich die Beschreibung der Erfindung bestimmte Schrittfolgen vorsieht, sei darauf hingewiesen, dass die Zielsetzung und das Konzept der vorliegenden Erfindung auch für andere Schrittfolgen geeignet und auf diese anwendbar ist. Zum Beispiel kann die Erfindung auch an einen beliebigen Browser angepasst werden, obgleich die Ausführungsform ausschließlich auf den Aufruf und die Darstellung von Web-Seiten gerichtet ist. Obwohl hauptsächlich dynamische Ausführungen näher betrachtet werden, kann die Erfindung mit einer Kombination aus statischen, quasi-dynamischen und dynamischen Ausführungen eingesetzt werden.

Claims

Verfahren für einen Transcodierungs-Proxy (220, 240, 370), um das Durchsuchen(Browsing) einer Vielzahl von Client-Einheiten (230) und einer Vielzahl von Servern (210), die über ein Kommunikationsnetzwerk verbunden sind, zu vereinfachen, wobei das Verfahren Folgendes umfasst: Empfangen einer Anforderung von einer der Client-Einheiten (230) für ein Objekt, das auf einem der Server (210) gespeichert ist, Weiterleiten der Anforderung für das Objekt an den einen der Server (210), Empfangen des Objekts von dem einen der Server (210), Prüfen von Voreinstellungen, die von einem Benutzer von der einen der Client-Einheiten (230) festgelegt wurden, Prüfen des Inhalts des Objekts, Prüfen von Eigenschaften des Kommunikationsnetzwerks, Wählen eines Satzes von Transcodierungsparametern, Bilden einer transcodierten Form des Objekts mittels des Transcodierungs-Proxy (220, 240, 370), und Senden der transcodierten Form an den einen der Clients (230), gekennzeichnet durch: Setzen einer Variablen (S) auf die Eingangsgröße des Objekts, Schätzen eines ersten Zeitraums (T₁(S)) für das Herunterladen der Objektgröße (S) von dem einen der Server (210) auf den Transcodierungs-Proxy (220, 240, 370) und eines zweiten Zeitraums (T₂(S)) für das Herunterladen der Objektgröße von dem Transcodierungs-Proxy (220, 240, 370) auf den einen der Clients (230), Setzen eines Qualitätsfaktors (q) auf einen Anfangswert, Schätzen der Größe (S_P(S)) des Objekts, wenn es von dem Transcodierungs-Proxy in die von dem Qualitätsfaktor (q) dargestellte Qualität transcodiert wurde, Ermitteln der Transcodierungsverzögerung (D_P(S)), um das Objekt zu transcodieren, Schätzen eines dritten Zeitraums (T₂(S_P(S))) für das Herunterladen der Größe des transcodierten Objekts von dem Transcodierungs-Proxy auf den einen der Clients, Berechnen eines Schätzwerts der Verringerung der Antwortzeit aus dem ersten, dem zweiten und dem dritten Zeitraum für das Herunterladen (T₁(S), T₂(S), T₂(S_P(S))) und der Transcodierungsverzögerung (D_P(S)), wobei die Verringerung durch die Transcodierung des Objekts bewirkt wird, und Vergleichen des Schätzwerts der Verringerung der Antwortzeit mit einem voreingestellten Zielwert und Verringern des Qualitätsfaktors (q), wenn der Schätzwert der Verringerung der Antwortzeit unter dem Zielwert liegt.
Verfahren nach Anspruch 1, wobei zu den Netzwerkeigenschaften die Bandbreite gehört und wobei die Prüfung der Netzwerkeigenschaften das Schätzen der Netzwerkbandbreite zwischen dem einen der Server (210) und dem Proxy (220, 240, 370) sowie zwischen dem Proxy (220, 240, 370) und dem einen der Clients (230) beinhaltet.
Verfahren nach einem der vorhergehenden Ansprüche, das des Weiteren die Bereitstellung einer Rückmeldung an den Benutzer (230) über den Grad der Transcodierung umfasst, die an dem Objekt durchgeführt wird, um die transcodierte Form zu bilden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt der Bildung einer transcodierten Form eine dynamische Anpassung vornimmt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt der Bildung einer transcodierten Form gestartet wird, bevor der Schritt des Empfangs des Objekts von dem einen der Server (210) abgeschlossen ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Versendens der transcodierten Form gestartet wird, nachdem ein erster Teil des empfangenen Objekts verarbeitet wurde und bevor der Schritt des Empfangs des Bildobjekts von dem einen der Server (210) abgeschlossen ist.
Verfahren nach dem vorhergehenden Anspruch 1, wobei der Schritt des Versendens der transcodierten Form gestartet wird, bevor der Schritt der Bildung einer transcodierten Form des Objekts abgeschlossen ist.
Kommunikationssystem, das einen Transcodierungs-Proxy (220, 240, 370) beinhaltet, um das Durchsuchen(Browsing) einer Vielzahl von Client-Einheiten (230) und einer Vielzahl von Servern (210), die über ein Kommunikationsnetzwerk verbunden sind, zu vereinfachen, wobei das System Folgendes umfasst: ein Mittel, um eine Anforderung von einer der Client-Einheiten (230) für ein Objekt zu empfangen, das auf einem der Server (210) gespeichert ist, ein Mittel, um die Anforderung für das Objekt an den einen der Server (210) weiterzuleiten, ein Mittel, um das Objekt von dem einen der Server (210) zu empfangen, ein Mittel, um Voreinstellungen zu prüfen, die von einem Benutzer von der einen der Client-Einheiten (230) festgelegt wurden, ein Mittel, um den Inhalt des Objekts zu prüfen, ein Mittel, um Eigenschaften des Kommunikationsnetzwerks zu prüfen, ein Mittel, um einen Satz von Transcodierungsparametern zu wählen, ein Mittel, um eine transcodierte Form des Objekts mittels des Transcodierungs-Proxy (220, 240, 370) zu bilden, und ein Mittel, um die transcodierte Form an den einen der Clients (230) zu senden, gekennzeichnet durch: ein Mittel, um eine Variable (S) auf die Eingangsgröße des Objekts zu setzen, ein Mittel, um einen ersten Zeitraum (T₁(S)) für das Herunterladen der Objektgröße (S) von dem einen der Server (210) auf den Transcodierungs-Proxy (220, 240, 370) und einen zweiten Zeitraum (T₂(S)) für das Herunterladen der Objektgröße von dem Transcodierungs-Proxy (220, 240, 370) auf den einen der Clients (230) zu schätzen, ein Mittel, um einen Qualitätsfaktor (q) auf einen Anfangswert zu setzen, ein Mittel, um die Größe (S_P(S)) des Objekts zu schätzen, wenn es in die von dem Qualitätsfaktor (q) dargestellte Qualität transcodiert wurde, ein Mittel, um die Transcodierungsverzögerung (D_P(S)) zu ermitteln, um das Objekt zu transcodieren, ein Mittel, um einen dritten Zeitraum (T₂(S_P(S))) für das Herunterladen der Größe des transcodierten Objekts von dem Transcodierungs-Proxy auf den einen der Clients zu schätzen, ein Mittel, um einen Schätzwert der Verringerung der Antwortzeit aus dem ersten, dem zweiten und dem dritten Zeitraum für das Herunterladen (T₁(S), T₂(S), T₂(S_P(S))) und der Transcodierungsverzögerung (D_P(S)) zu berechnen, wobei die Verringerung durch die Transcodierung des Objekts bewirkt wird, und ein Mittel, um den Schätzwert der Verringerung der Antwortzeit mit einem voreingestellten Zielwert zu vergleichen und um den Qualitätsfaktor (q) zu verringern, wenn der Schätzwert der Verringerung der Antwortzeit unter dem Zielwert liegt.
Rechnerprogramm, das Rechnerprogrammbefehle umfasst, um einen Rechner zur Durchführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 7 zu veranlassen.