DE102007023640A1

DE102007023640A1 - Virtueller Arbeitsplatz

Info

Publication number: DE102007023640A1
Application number: DE102007023640A
Authority: DE
Inventors: Charlotte Skourup; John Pretlove; Trond Loekstad; Torbjorn Engedal
Original assignee: ABB Technology AG
Current assignee: ABB Technology AG
Priority date: 2006-05-31
Filing date: 2007-05-22
Publication date: 2008-03-20
Also published as: US8046719B2; SE0601216L; US20080005702A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und ein auf Computer basierendes System zum Konfigurieren, Überwachen und/oder Betreiben eines graphischen Benutzer-Interfaces in zwei oder drei Dimensionen. Insbesondere betrifft sie ein graphisches Benutzer-Interface, das zum Steuern, Überwachen und/oder Betreiben von Einrichtung in einem Steuerungssystem eines Industrieprozesses oder einer Einrichtung für Öl und Gas oder für eine Einrichtung zur Erzeugung, Weiterleitung und/oder Verteilung von elektrischer Energie...

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Verfahren und ein auf Computer basierendes System zum Konfigurieren, Überwachen und/oder Betreiben mehrerer graphischer Benutzeroberflächen beziehungsweise -Interfaces in zwei oder drei Dimensionen. Insbesondere betrifft sie eine graphische Benutzeroberfläche, die zum Steuern, Überwachen und/oder Betreiben einer Anlage in einem Steuersystem eines industriellen Prozesses oder einer Einrichtung für Öl und Gas oder für eine Einrichtung für elektrische Energie-Erzeugung, -Weiterleitung und/oder Verteilung verwendet wird.
Stand der Technik
Das Arbeiten vor einem Computerbildschirm für 8 Stunden täglich, für 5 Tage die Woche ist sowohl körperlich als auch geistig anspruchsvoll. Es ist körperlich unbequem und anstrengend den ganzen Tag in nahezu der gleichen Position still zu sitzen und auf einen Computerbildschirm zu starren. Folglich leiden zahlreiche Leute unter Belastung und Muskelproblemen an Nacken, Schultern und Armen. Wenn die gesamte Arbeit auf einem relativ kleinen Computerbildschirm, beispielsweise in Kontrollräumen statt finden muss, dann ist der beschränkte Platz beziehungsweise Raum fordernd, falls mit relativ zahlreichen Anwendungen auf dem/der Computerbildschirm/-anzeige gearbeitet wird, die durch funktionelle Oberflächen beziehungsweise Interfaces dargestellt werden. Bei Anwendungen benötigen die Bediener Information, beispielsweise sowohl eine Übersicht über den Prozess als auch ausführliche Information über den gegenwärtigen Zustand spezifischer Teilprozesse. Beispiele einer zusätzlichen Information, die durch funktionelle Interfaces, wie beispielsweise Microsoft Word Windows oder Ansichten dargestellt werden, sind Datentabellen und Information, Trends, Instandhaltungs- und Reparatur-Information, Berichte, Bestellungssysteme und Arbeitsgenehmigungen. Diese funktionellen Interfaces werden grundsätzlich durch zweidimensionale (2D) Informationsdarstellungen bereitgestellt. Alle funktionellen Interfaces werden in einem beschränkten Bereich auf der Desktop- beziehungsweise Arbeitsplatz-Anzeige übereinander gelegt und der Benutzer muss ein zusätzliches Einrichtung, beispielsweise eine Maus oder ähnliches verwenden, um die funktionellen Interfaces umher zu bewegen. Dann ist es einfach sich in den zahlreichen Zusammenstellungen der funktionellen Interfaces zu verlieren, wobei Zeit aufgebracht wird, um das richtige Interface aufzufinden.
Ein weiterer Nachteil besteht darin, dass jeder Benutzer, beispielsweise in Kontrollräumen, häufig mindestens einen Desktop-Bildschirm zusätzlich zu möglichen Projektoren als auch großen Bildschirmen benötigt. Dies ist sowohl teuer als auch raumfordernd. Werden mehr Desktop-Bildschirme bereitgestellt, dann wird der Arbeitsplatzraum immer noch durch die körperlichen Abmessungen der Bildschirme beschränkt. Die Tatsache, dass jeder Benutzer mindestens einen Desktop-Bildschirm zusätzlich zu einem oder mehreren großen Bildschirmen benötigt, ist kostspielig und uneffizient.
Erweiterte beziehungsweise gesteigerte Realität (AR) ist ein Verfahren, bei dem reale Weltdarstellungen mit durch den Computer erzeugten Graphiken überlagert werden. Idealerweise wird bei auf Sicht beziehungsweise Sehvermögen basierender erweitetr Realität der Benutzer den Unterschied zwischen den realen und den durch Computer erzeugten Graphiken nicht erkennen können, wobei dadurch der Benutzer eine verbesserte Vorstellung beziehungsweise Wahrnehmung der realen Weltumgebung erhält. Heutzutage werden in zahlreichen Anwendungen erweiterte Realitäts-Techniken verwendet. Beispiele einer Verwendung bestehen innerhalb von Medien, beispielsweise dem Wetterbericht, der Medizin, beispielsweise der Sichtbarmachung von Innenorganen, bei gemeinschaftlicher Umgebung, beispielsweise virtuellen Versammlungsräumen, und der Verarbeitungsindustrie zur Instandhaltung, Betriebseinsatz und Reparatur.
Es gibt bereits in der Hand gehaltene und tragbare Steuerpulte mit Interaktionsmöglichkeiten und das Interesse an derartigen Einrichtungen nimmt zu.
Die Verwendung von Mobiltelefonen und persönlichen digitalen Assistenten beziehungsweise Minicomputer (PDAs) als das Interface in Richtung auf Systeme und Vorrichtungen ist bekannt. Ebenfalls werden Tablett-PCs beispielsweise in Krankenhäusern verwendet, die dem Benutzer ein Interface bereitstellen, das einfach umher getragen und mit dem durch Berühren des Bildschirms kommuniziert werden kann.
US-6,826,532 B1 offenbart eine Steuerung für ein selbstbewegtes beziehungsweise Fahrzeug-Servicesystem einschließlich einer Schutzbrille, die eine projizierte Frontscheibenanzeige beziehungsweise ein Headup Display umfasst, die dem Techniker in dessen vorwärts gerichteten Blickfeld durch virtuelle Anzeige die Daten von dem Systemcontroller anzeigt ohne dessen allgemeines vorwärts gerichtetes Gesichtsfeld zu blockieren.
WO 2005/066744 A1 offenbart ein System, durch das ein Benutzer mit einem virtuellen Steuerpult unter Verwendung eines von einem Benutzer gesteuerten Zeigegegenstandes interagieren kann. Das System umfasst ein tragbares Identifikationselement, eine Trackingeinheit, um Daten einzufangen, die die Position des Zeigegegenstandes und die Position des Identifikationselements darstellt, eine Speichereinheit, die mindestens ein vorher festgelegtes graphisches Interface speichert, das ein Steuerpult einer Vorrichtung darstellt, eine Graphik-Einheit, die eine graphische Darstellung des Steuerpults erzeugt, eine Registrier- beziehungsweise Verzeichnende-Einheit, die die graphische Darstellung des Steuerpults in einer festen Relation zu dem tragbaren Identifikationselement anzeigt, um ein virtuelles Steuerpult und eine Anzeigeeinheit zu erzeugen, die dem Benutzer eine Ansicht zeigt, die die Realwelt und das virtuelle Steuerpult umfasst.
Es besteht ein Bedarf ein Verfahren aufzufinden, um die Zugänglichkeit und die Umschaltung zwischen mehreren möglichen technischen Informations-/Steuerungsanwendungen auf einem Desktop zu verbessern und eine kompaktere leichtgewichtige Einrichtung aufzufinden, um sowohl einen ergonomischeren Arbeitsplatz zu ermöglichen als auch dem Arbeitspersonal Zugang zu schwierigen Orten zu ermöglichen, an die in einer Fabrik lediglich eine Person gehen kann, während sie zu technischer Information Zugang hat und Steuerungsanwendungen ausführt.
Zusammenfassung der Erfindung
Die Aufgabe der Erfindung besteht darin einen Arbeitsplatz, wie vorstehend spezifiziert zu verbessern.
In einer ersten Ausführungsform der Erfindung wird die Aufgabe durch ein wie in Anspruch 1 festgelegtes System gelöst.
Ein System umfasst eine Logikeinheit, um in mehreren Anwendungen Daten zu verwalten beziehungsweise handhaben, eine tragbare Anzeigeeinrichtung, um die von der Logikeinheit erhaltenen Daten sichtbar anzuzeigen, einschließlich Mittel zum Abbilden der Daten in einem Gesichtsfeld des Benutzers, wodurch der Benutzer Daten von der tragbaren Anzeige empfangen kann. Das System umfasst weiterhin eine erweiterte Realitätsdarstellung von durch Computer erzeugter graphischer Information, die der Realwelt überlagert wird, eine interaktive Eingabeeinrichtung, ein Tracking- beziehungsweise Verfolgungssystem, um Daten einzufangen, die die Position der tragbaren Anzeigeeinrichtung relativ zu der interaktiven Eingabeeinrichtung darstellen, und Mittel zum Anzeigen einer erweiterten Realitätsdarstellung eines virtuellen Desktops auf der tragbaren Anzeigeeinrichtung, umfassend mehrere funktionelle Interfaces, die die Anwendungen darstellen, die unter Verwendung der interaktiven Eingabeeinrichtung zugänglich sind, und dass das Desktop im Raum so erweitert wird, dass das Desktop als eine virtuelle Sphäre beziehungsweise Kugel geformt vorliegt und wobei die funktionellen Interfaces bei optionaler Tiefe in der Sphäre angezeigt werden.
Diese Erfindung erweitert grundsätzlich den Arbeitsbereich für einen oder mehrere Benutzer von gewöhnlich zwei-dimensionalen (2D) Anzeigen auf Bildschirmen zu einem drei-dimensional (3D) erweiterten Welt-virtuellen Desktop. Virtuelle Desktops und virtuelle funktionelle Interfaces werden dadurch zugänglich gemacht und um den Benutzer in 3D in der realen Welt schwebend angeordnet. Dieses System erfordert keine körperlichen Computerbildschirme. Die funktionellen Interfaces werden, beispielsweise, auf an dem Kopf angebrachten Anzeigen (HMD) sichtbar gemacht. Dies ist vorteilhaft, da der Benutzer mit dessen Händen die funktionellen Interfaces im Raum bewegen und andererseits unter Verwendung einer Tastatur, einer Maus und eines Joysticks mit den funktionellen Interfaces interagieren kann.
Vorteile der vorliegenden Erfindung:

– Es ist ein/e gesteigerte/r Zugang zu mehr Datenquellen/Steuerung funktioneller Anzeigen über 3D virtuelle Desktops, die im 3D Raum angeordnet sind, möglich als durch mehrere 2D körperliche Bildschirme.
– Es wird ein schneller und ergonomischer Zugang zu zahlreichen Quellen technischer oder Steuerungsinformation möglich gemacht, da das virtuelle Desktop im 3D-Raum um den Benutzer in der Realwelt angeordnet ist.
– Der Arbeitsraum wird unter Verwendung eines größeren Desktops erweitert.
– Die Arbeitsumgebungen und Modi sind vollständig individuell anpassbar und folglich einfacher zugänglich und ergonomischer als ein mehr stationärer beziehungsweise fester Arbeitsplatz unter Verwendung von körperlichen 2D Bildschirmen.
– Eine bessere Übersicht über die Prozesse, was eine Entscheidungsbildung vereinfacht, was weiterhin zu besserer Effizienz führt und dadurch die Kosten senkt.
– Eine gesteigerte Flexibilität und Mobilität, da die Einrichtung kompakter und daher leichtgewichtiger ist.

Ein wie vorstehend beschriebenes erweitertes Realitäts-(AR) System umfasst mindestens:
Eine tragbare Anzeigeeinrichtung, eine interaktive Eingabeeinrichtung, einen Computer, um die virtuellen funktionellen Interfaces im 3D-Raum zu steuern und anzuzeigen, ein Trackingsystem, um Position und Orientierung der tragbaren Anzeigeeinrichtung relativ zu der interaktiven Eingabeeinrichtung zu bestimmen, und graphische Software, um Graphiken der virtuellen funktionellen Interfaces und die eingefangene Videoabbildungen und/oder die Realwelt-Ansicht zu kombinieren.
Dieses System kann ebenfalls auf andere Anwendungen als Steuerräume und Büros angewendet werden.
Die interagierende Eingabeeinrichtung kann ebenfalls eine Ausgabeeinrichtung zum Interagieren mit den funktionellen Interfaces umfassen.
Gemäß einer erfindungsgemäßen Ausführungsform beträgt die Erweiterung des virtuellen Desktops 360 Grad in drei Freiheitsgraden. Da der Benutzer funktionelle Interfaces um sich herum in 360 Grad in drei Freiheitsgraden anordnen kann, ist der Desktop-Raum nahezu unbegrenzt. Dies stellt einen Vorteil dar, da das Desktopsystem dadurch flexibel und ergonomisch bequem beziehungsweise komfortabel ist.
Gemäß einer erfindungsgemäßen Ausführungsform ist das System dazu angepasst die Erscheinungsform des virtuellen Desktops als Antwort auf die Interaktionen zwischen der interaktiven Eingabeeinrichtung und dem virtuellen Desktop zu modifizieren. Dies ist vorteilhaft, da das Desktopsystem dadurch flexibel ist. Weiterhin ist dies vorteilhaft, da die Bediener die Position und Größe der unterschiedlichen Information in den unterschiedlichen funktionellen Interfaces anordnen können, wodurch Information gefiltert, hervorgehoben und individuell beziehungsweise Kundenwünschen angepasst werden kann, wobei dadurch die funktionellen Interfaces und der Arbeitsplatz an eine gegenwärtige Anwendung individuell angepasst wird. Der Bediener kann ebenfalls zwischen mehreren möglichen technischen Informationen/Steuerungsfunktionsanzeigen einfacher umschalten.
Gemäß einer erfindungsgemäßen Ausführungsform wird die interaktive Eingabeeinrichtung dazu verwendet, um funktionelle Interfaces in dem 3D-Raum zu bewegen, zu drehen, zu staffeln beziehungsweise skalieren, und zu sperren. Die Arbeitsbedingungen werden dadurch verbessert, da der Benutzer ein funktionelles Interface genau zu der Position bewegen kann, die zu dem gegenwärtigen Zeitpunkt am besten geeignet ist. Beispielsweise wird das funktionelle Interface im Raum angeordnet oder das funktionelle Interface wird an einem Tisch horizontal angeordnet. Da der Arbeitsraum unter Verwendung eines größeren Desktops erweitert wird, wird der Zugang auf unterschiedliche Anwendungen, die als funktionelle Interfaces auf der Anzeige dargestellt sind, erhöht. Der Bediener kann zwischen mehreren möglichen technischen Informationen/Steuerungsfunktionsanzeigen einfacher umschalten. In einer bevorzugten erfindungsgemäßen Ausführungsform beträgt die Erweiterung des virtuellen Desktops 360 Grad in drei Freiheitsgraden, wobei die funktionellen Interfaces in dem 3D-Raum, der unter Verwendung von Polar- oder kartesischen Koordinaten koordiniert beziehungsweiseangeordnet wurde, bewegt, gedreht, skaliert und gesperrt werden.
Gemäß einer erfindungsgemäßen Ausführungsform wird die interaktive Eingabeeinrichtung verwendet, um mit einer über ein funktionelles Interface zugänglichen Anwendung zu interagieren. Dies ist vorteilhaft, da die Bediener Informationen und Daten innerhalb der Anwendung selbst auswählen, eingeben, kopieren, einfügen, löschen, ändern, etc. können. Beispiele einer Interaktion mit der über ein funktionelles Interface zugänglichen Anwendung sind Abmelden (sign off) eines eingehenden Alarms, Anordnen des Cursors innerhalb eines Dokuments, um zusätzlichen Text eingeben zu können, Auswählen einer Einrichtung, beispielsweise einer Pumpe, Betrachten ausführlicher Information, wie beispielsweise eines Instandhaltungsberichts oder von Trends, Einstellen eines Sollwerts, beispielsweise einer Systemgrenze für Temperatur oder Druck, etc..
Gemäß einer erfindungsgemäßen Ausführungsform ist das System an zwei oder mehrere Benutzer angepasst, die gleichzeitig an einer Anwendung gemeinsam arbeiten. Da bei dem System lediglich ein/e körperlicher/körperliche Computerbildschirm/Anzeige pro Benutzer anstelle von einem oder mehreren Desktopbildschirmen, Projektoren und großen Bildschirmen pro Benutzer verwendet wird, werden die Kosten gesenkt. Weiterhin wird dadurch die Zugänglichkeit von technischer Information/Steuerungsanwendungen auf dem Desktop verbessert.
Gemäß einer erfindungsgemäßen Ausführungsform umfasst das System eine Kamera, um einen Live-Video-Datenstrom der Umgebung einzufangen, die der Benutzeransicht der Realwelt entspricht und wobei die virtuellen Graphiken dem Video der Realwelt überlagert werden, wobei die erweiterte Realitätsdarstellung eines virtuellen Desktops gebildet wird. In einer dunklen Umgebung ist dies vorteilhaft, wenn Infrarotlicht verwendet wird und die Kamera angepasst ist Infrarot-Verfahren zu verwenden, wobei dadurch der Bediener in der Dunkelheit virtuell sehen kann.
Gemäß einer erfindungsgemäßen Ausführungsform ist die Anzeigeneinrichtung angepasst optisch transparent zu sein, wobei die durch Computer erzeugten Graphiken unmittelbar auf der Anzeigeneinrichtung verzeichnet werden und der Benutzersicht der Realwelt so folgen, dass die durch Computer erzeugten Graphiken der Realwelt überlagert werden, wodurch die erweiterte Realitätsdarstellung des virtuellen Desktops gebildet wird. Dies ist vorteilhaft, da dies eine einfache und Benutzer freundliche Lösung ist.
Gemäß einer erfindungsgemäßen Ausführungsform ist die tragbare Anzeigeneinrichtung ein beliebiges aus einer Liste von: beispielsweise einer Brille, einer an dem Kopf angebrachten Anzeige, einem Headup-Display, einem virtuellen Retina- beziehungsweise Netzhaut-Display. In einer anderen erfindungsgemäßen Ausführungsform liegt die interaktive Eingabeeinrichtung als ein beliebiges aus der Liste von vor: Tastatur, 2D-Maus, 3D-Maus, Joystick, Trackball beziehungsweise Rollkugel, auf Gestik basierender Dateneingabe, wie beispielsweise Datenhandschuh, oder Mittel, um mit einem/r Stift/Fingerspitze unmittelbar mit den funktionellen Interfaces zu interagieren, die als ein virtueller Berührungsbildschirm funktionieren. Dies führt ein kleines leichtes kompaktes Ausrüstungs- beziehungsweise Einrichtungsstück für Arbeitsplätze ein. Dies ist vorteilhaft, da dadurch Zugang zu schwierigen Orten ermöglicht wird, an die in einer Fabrik lediglich eine Person gehen kann. Dies ermöglicht die Verwendung neuer Wege einer Interaktion mit funktionellen Interfaces. Dies führt weiterhin ein flexibles und bequemes beziehungsweise komfortables Desktopsystem ein. Die Interaktion mit dem in den funktionellen Interfaces dargestellten Inhalt wird mit einem beliebigen von den vorstehen erwähnten Anzeigeeinrichtungen oder interaktiven Eingabeeinrichtungen ausgeführt. Der virtuelle Berührungsbildschirm ist für den Benutzer flexibler und bequemer. Eine stetige Entwicklung von HMD wird möglicherweise in ein paar Jahren zu mehr kostengünstigen HMD führen. In diesem Zusammenhang bedeuten Datenhandschuhe interaktive Eingabeeinrichtungen in der Form von Handschuhen, die mit Eingabemitteln, wie beispielsweise Sensoren, bereitgestellt werden, die vorgesehen sind mit einem virtuellen Realitätssystem zu interagieren.
In einer zweiten Ausführungsform der Erfindung wird die Aufgabe durch eine graphische Benutzeroberfläche gelöst, die in Anspruch 12 festgelegt ist.
In einer dritten Ausführungsform der Erfindung wird die Aufgabe durch ein Verfahren gelöst, das in Anspruch 13 festgelegt ist.
Ein Verfahren durch welches ein Benutzer mit einem System interagieren kann, das eine Logikeinheit zum Verwalten von Daten in mehreren Anwendung unter Verwendung einer tragbaren Anzeigeneinrichtung umfasst, um die von der Logikeinheit empfangenen Daten sichtbar anzuzeigen, einschließlich Mittel zum Anzeigen von Daten in einem Gesichtsfeld des Benutzers, und Mittel zum Empfangen von Daten von der tragbaren Anzeige, wobei das Verfahren umfasst:

– Anzeigen einer erweiterten Realitätsdarstellung von durch Computer erzeugter graphischer Information, die der Realwelt überlagert wird,
– Verwenden einer interaktiven Eingabeeinrichtung als ein Trackingsystem, um Daten einzufangen, die die Position der tragbaren Anzeigeeinrichtung relativ zu der interaktiven Eingabeeinrichtung darstellen,
– Anzeigen einer erweiterten Realitätsdarstellung von einem virtuellen Desktop auf der tragbaren Anzeigeneinrichtung, wobei das virtuelle Desktop Anwendungen umfasst, die durch mehrere funktionelle Interfaces dargestellt werden,
– Ausführen von Einwirkungen, dass die interaktive Eingabeeinrichtung die funktionellen Interfaces zugänglich macht,
– Ausführen von Einwirkungen, dass das Desktop in einem Raum erweitert wird, so dass das Desktop als eine virtuelle Sphäre geformt wird und bei einer optionalen Tiefe in der Kugel mit den funktionellen Interfaces angezeigt wird.

Das erfindungsgemäße Verfabren und System werden verwendet, um mehrere funktionelle Interfaces im 3D-Raum zu konfigurieren und mit diesen effizient zu arbeiten. Gewöhnlich betrifft ein Hauptteil von in Kontrollräumen, Büros und ähnlichem ausgeführter Arbeit eine Interaktion mit 2D-Desktopbildschirmen. Diese Erfindung verwendet erweiterte Realität (AR), um die gewöhnlichen 2D funktionellen Interfaces entweder als 2D oder 3D virtuelle funktionelle Interfaces in der Kugel sichtbar zu machen.
In einer vierten erfindungsgemäßen Ausführungsform wird diese Aufgabe durch ein Computerprogramm gelöst, das unmittelbar in den internen Speicher eines Computers geladen werden kann, umfassend Software zum Ausführen der Schritte von einem der Ansprüche 13-23 und ein computerlesbares Medium, das das darauf aufgezeichnete Programm aufweist.
Das Verfahren nach einem der Ansprüche 13-23 ist besonders geeignet zur Verwendung in einem Steuerungssystem eines industriellen Arbeitsvorgangs oder einer Einrichtung für Öl und Gas oder für eine Einrichtung für elektrische Energie-Erzeugung, -Weiterleitung und/oder -Verteilung.
Kurze Beschreibung der Zeichnungen
Die vorliegende Erfindung wird in Verbindung mit den beigefügten schematischen Zeichnungen ausführlicher beschrieben:
1 stellt eine erfindungsgemäße Ausführungsform eines Systems zum Konfigurieren und Betreiben eines virtuellen Desktops dar; und
2 stellt eine vereinfachte Darstellung einer erfindungsgemäßen Ausführungsform eines virtuellen Desktops dar.
Darstellung der bevorzugten Ausführungsformen
Das System und das Verfahren stellen ein virtuelles Desktop bereit, das unter Verwendung erweiterter Realität dessen Interface und Inhalt an eine Einrichtung und/oder ein System anpassen kann. Ein System zum Erzeugen einer erweiterten Realitätsdarstellung von durch Computer erzeugter graphischer Information, die der Realwelt überlagert wird, kann auf unterschiedlichen Wegen konfiguriert werden. Zwei Wege einer Sichtbarmachung erweiterter Realität sind Video-Durchsicht und optische-Durchsicht. Video-Durchsicht erfordert eine Kamera, um einen Live-Video-Datenstrom der Umgebung einzufangen, die der Benutzersicht der Welt entspricht. Das System kombiniert durch Computer erzeugte Graphiken mit dem Live-Video-Datenstrom und projiziert das kombinierte erweiterte Realitätsvideo auf die Anzeigeeinrichtung. Der Benutzer sieht das Video mit überlagerter virtueller Information als ob er auf die Realwelt blickte. Bei optischer Durchsicht werden die durch Computer erzeugten Graphiken unmittelbar auf der Anzeigeinrichtung verzeichnet beziehungsweise angezeigt und folgt der Benutzersicht der Realwelt/wobei sie der Benutzersicht der Realwelt folgt. Die virtuellen Graphiken werden der Realwelt ohne ein Video davon zu umfassen, überlagert. Die erstere Lösung ist hinsichtlich der Bildfrequenz weniger anspruchsvoll.
1 stellt ein System dar, das eine erweiterte Realitätsdarstellung von durch Computer erzeugter graphischer Information umfasst, die auf die Realwelt überlagert wurde, um ein virtuelles Desktop, das funktionelle Interfaces, beispielsweise in einem industriellen Systemprozess umfasst, zu konfigurieren, zu überwachen und/oder zu betreiben. Ein Benutzer 1a startet das System, um Schritte zum Überwachen und/oder Ausführen einer Instruktion beziehungsweise einer Anweisung für eine gegebene Eigenschaft auszuführen, die auf einem virtuellen Desktop dargestellt ist. Das erweiterte Realitäts-(AR) System umfasst eine tragbare Anzeigeeinrichtung 2a, wie beispielsweise eine an dem Kopf angebrachte Einrichtung (HMD), ein Trackingsystem, Software und einen tragbaren Computer 3, und eine in der Hand gehaltene interaktive Eingabeeinrichtung 4a. Das Trackingsystem umfasst eine Trackingeinheit 5a, um die Position und Orientierung des Kopfes des Bedieners in Relation zu der Position der in der Hand gehaltenen interaktiven Eingabeeinrichtung 4a zu bestimmen, beide in Relation zu einem Weltkoordinatensystem. Die Eingabe-/Ausgabeeinrichtung 4a definiert die Position und Orientierung unterschiedlicher auf dem virtuellen Desktop angezeigter Gegenstände. Die tragbare Anzeigeneinrichtung 2a macht die auf die Ansicht der Realwelt überlagerte erweiterte Realität sichtbar. Ein virtuelles Desktop ist eine erweiterte Realitätsansicht eines realen Desktops. Das virtuelle Desktop wird an der tragbaren Anzeigeeinrichtung 2a sichtbar gemacht. Die tragbare Anzeigeneinrichtung 2a liegt beispielsweise als Brille, eine am Kopf angebrachte Anzeige, ein Headup Display oder eine virtuelle Netzhaut-Anzeige vor, die angepasst ist die durch Computer erzeugte graphische Information unmittelbar auf der Retina des Bedieners anzuzeigen.
In einer ebenfalls in 1 gezeigten anderen Ausführungsform wird Video-Durchsicht verwendet, um das virtuelle Desktop in Relation zu der Information zu erzeugen und darzustellen und von der Eingabe-/Ausgabeeinrichtung 4a. Wie vorstehend beschrieben, wird die Trackingeinheit 5b auf dem Kopf des Bedieners 1b angeordnet, um die Position und Orientierung des Kopfes des Bedieners in Relation zu der Position der in der Hand gehaltenen interaktiven Eingabeeinrichtung 4b, beide in Relation zu einem Weltkoordinatensystem, zu bestimmen. Die Eingabe/Ausgabeeinrichtung 4b definiert die Position und Orientierung unterschiedlicher Gegenstände, die auf dem virtuellen Desktop angezeigt werden. In dieser Ausführungsform umfasst das System weiterhin eine Kamera 12, um einen Strom von Abbildungen der Umgebung, d.h. von der Realwelt einzufangen. Die Kamera 12 wird in einer festen Position relativ zu der tragbaren Anzeigeinrichtung 2b, beispielsweise an der tragbaren Anzeigeeinrichtung 2b angebracht oder damit integriert. Die tragbare Anzeigeneinrichtung 2b wird entlang der Blickachse/Sichtachse der Kamera 12 und an der Bildebene der Kamera angeordnet. Folglich wird die Kamera 12 in Relation zu der tragbaren Anzeigeneinrichtung 2b auf derartige Weise angeordnet, dass sie die gleiche Sicht bereitstellt, die der Benutzer durch unmittelbares Betrachten der Realwelt erhalten würde. Der Live-Videodatenstrom der Abbildungen wird mit durch Computer erzeugten Graphiken, die das Desktop darstellen, kombiniert, wobei die Kombination der Realwelt und der Graphiken auf der tragbaren Anzeigeineinrichtung 2b in Echtzeit dargestellt wird. Eine zusätzliche Funktionalität der Kamera 12 umfasst Zoomen, wobei die tatsächliche Kamerabrennweite ausgegeben wird. Dies ermöglicht dem System die durch Computer erzeugten Graphiken während eines Zoomens genau anzuzeigen. Die Kamera 12 kann durch die Trackingeinheit 5 ebenfalls zur auf Sicht basierenden Verfolgung verwendet werden.
Die in der Hand gehaltene Eingabeeinrichtung 4a, 4b kann ebenfalls ein Berührungsbildschirm sein. Vorteilhafter Weise kann die Benutzereingabe ebenfalls durch die Stimme erzeugt oder durch Handbewegung erzeugt werden.
1 stellt ebenfalls den tragbaren Computer 3 ausführlicher dar. Der tragbare Computer 3 umfasst eine Logikeinheit 13, erforderliche Software, um basierend auf der Ausgabe von der Trackingeinheit 5a, 5b und/oder einem Videodatenstrom von der Kamera 12, abhängig davon, ob eine Kamera 12 verwendet wird oder nicht, eine oder mehrere virtuelle Desktops zu erzeugen.
Der tragbare Computer 3 beinhaltet ebenfalls die erforderliche Software, um die gewünschte Aufgabe oder den Prozess, beispielsweise Zwei-Weg-Kommunikation mit Einrichtungen, Handhaben und Sichtbarmachen von Daten in Echtzeit, auszuführen. Weiterhin wird der tragbare Computer 3 die Graphiken erzeugen, die die erweiterte Realitäts-Interfaceansicht bereitstellt. Weiterhin kann der tragbare Computer 3 eine Speichereinheit 14 umfassen, um Information, beispielsweise bestimmte graphische Interfaces auf Einrichtungen zu sichern, und vorhergehend gespeicherte erneut zu speichern. Der tragbare Computer 3 umfasst ebenfalls ein Standardinterface 16, und ein konfigurierbares Hardware I/O-Interface (Eingabe/Ausgabe Interface) 18. Die Standard-Interfaces 16 umfassen, beispielsweise ein beliebiges Daten-Interface an der Logikeinheit 13, wie beispielsweise ein serielles Interface. Das konfigurierbare Hardware I/O-Interface 18 nimmt ein Eingabesignal in der tragbaren Anzeigeneinrichtung 2a, 2b entgegen und/oder sendet, wie durch die Pfeile 20a, 20b in der Figur angezeigt, ein Ausgabesignal von der tragbaren Anzeigeneinrichtung 2a, 2b aus. In einer anderen Ausführungsform kann ein stationärer Computer, oder ein/e Server/Mandanten-Lösung anstelle des tragbaren Computers verwendet werden.
Die Kommunikation von Information zwischen dem tragbaren Computer 3 und der Kamera 12, der Trackingeinheit 5a, 5b und der tragbaren Anzeigeeinrichtung 2a, 2b wird durch eine drahtgebundene oder drahtlose Verbindung ausgeführt. Abhängig von dem Typ der Trackingeinheit kann die Lage der interaktiven Eingabeeinrichtung 4a, 4b von der interaktiven Eingabeeinrichtung 4a, 4b selbst, oder von einer externen Trackingeinheit herrühren.
Der Benutzer 1a, 1b hält die interaktive Eingabeeinrichtung 4a, 4b in dessen Hand oder trägt sie an dessen Körper, beispielsweise um dessen Handgelenk. Der Benutzer trägt ebenfalls in der Ausführungsform mit dem tragbaren Computer 3 die tragbare Anzeigeneinrichtung 2a, 2b und den tragbaren Computer 3. Das virtuelle Desktop tragend, kann der Benutzer in der Umgebung umhergehen.
Die 2 stellt das Verfahren und das System zum Konfigurieren dar und arbeitet effizient mit mehreren funktionellen Interfaces im 3D-Raum.
Die 2 stellt einen Bediener 32 dar, der eine tragbare Anzeigeneinrichtung 2a, 2b, wie beispielsweise eine an dem Kopf angebrachte Anzeige (HMD) 34 trägt, umgeben von einem virtuellen Desktop 36, um beispielsweise in einem industriellen Systemprozess das virtuelle Desktop zu konfigurieren, zu überwachen und/oder zu betreiben. Das erweiterte Realitäts-(AR) System macht die gewöhnlichen 2D-funktionellen Interfaces als entweder 2D oder 3D virtuelle funktionelle Interfaces 38, 40, 42 in dem Raum sichtbar. Die funktionellen Interfaces 38, 40, 42 werden auf der tragbaren Anzeigeneinrichtung 2 sichtbar gemacht. Beispielsweise manipuliert der Benutzer 32 das virtuelle Desktop und bewegt unter Verwendung einer in der Hand gehaltenen interaktiven Eingabeeinrichtung 44 ein funktionelles Interface 38, 40, 42 mit dessen Händen im Raum umher, oder interagiert auf andere Weise unter Verwendung einer Tastatur, Maus und Joystick, oder einer anderen zukünftigen Eingabeeinrichtung mit den funktionellen Interfaces.
Der Benutzer 32 bewegt die funktionellen Interfaces 38, 40, 42 in dem Raum zu der Position, die für jedes funktionelle Interface, bezüglich einer spezifischen Aufgabe, am zweckdienlichsten ist. Der Benutzer bewegt ein funktionelles Interface zu einer gewünschten Position relativ zu dem 3D-Raum, der unter Verwendung von Polarkoordinaten, kartesischen Koordinaten oder dergleichen gekennzeichnet ist. Dreht der Benutzer dessen Kopf, dann sieht er funktionelle Interfaces an den verschiednen Positionen, die er vorher gewählt hat. Mehrere funktionelle Interfaces können lediglich als Icon 46, 48, 50 erscheinen, falls sie, beispielsweise selten verwendet werden. Diese Lösung stellt dem Benutzer 32 einen unbegrenzten Raum zum Arbeiten mit funktionellen Interfaces 38, 40, 42, 46, 48, 50 bereit und erhöht die Flexibilität.
Das erweiterte Realitätssystem projiziert virtuelle Information, funktionelle Interfaces darstellt, auf die Realwelt. Der Benutzer 32 wird anschließend die Realwelt sehen und während er sich umher bewegt virtuelle funktionelle Interfaces um ihn herum. Das Trackingsystem verfolgt dessen Bewegungen und Position relativ zu der Welt.
Der Bediener 32 hat nun die Möglichkeit funktionelle Interfaces 38, 40, 42, 46, 48 50 mit einem normalen Computer zu öffnen. Die funktionellen Interfaces können anschließend im 3D-Raum bewegt, gedreht und skaliert werden. Das bedeutet, das er ein virtuelles funktionelles Interface mit einem Überblick der Prozesse an seiner Linken aufweisen kann und beispielsweise ein Microsoft Word Windows an seiner Rechten. Virtuelle Desktops 36 und virtuelle funktionelle Interfaces 38, 40, 42, 46, 48, 50 sind zugänglich und schweben im 3D um den Benutzer 32 in der Realwelt. Der Benutzer 32 kann unter Verwendung von Polarkoordinaten, kartesischen Koordinaten oder dergleichen funktionelle Interfaces in dem 3D-Raum bewegen, drehen, skalieren und sperren. Ein gesperrtes funktionelles Interface weist dann Parameter beziehungsweise Konstanten als Koordinaten auf, so dass das funktionelle Interface in dem festen 3D-Raum angeordnet wird. Auf diese Weise kann der Benutzer 32 die Position und Größe beziehungsweise Format beziehungsweise Ausmaß der unterschiedlichen Information anordnen, wodurch ermöglicht wird Information zu filtern, hervorzuheben und zu individualisieren, funktionelle Interfaces 38, 40, 42, 46, 48, 50 heranzuzoomen und herauszuzoomen, durch ein virtuelles oder erweitertes Realitätsmodell zu fliegen, auf ein Video oder Echtzeit-Video-Abbildungen von einem Ort in einer Fabrik zu sehen, auf Prozesssteuerungsanzeigen für das Steuerungssystem zu sehen, die Anzeigen mit Augenbewegungen, etc. zu manipulieren. Der angezeigte Raum, der gemäß der Erfindung bereitgestellt wird, ist nahezu unbegrenzt, da der Benutzer funktionelle Interfaces in 360 Grad in drei Freiheitsgraden um sich anordnen kann. Die Arbeitsbedingungen werden verbessert, da der Benutzer 32 ein funktionelles Interface 38, 40, 42, 46, 48, 50 genau zu der Position bewegen kann, die zu dem gegenwärtigen Zeitpunkt am besten passt. Das funktionelle Interface kann ebenfalls horizontal zu beziehungsweise an einem Tisch angeordnet werden. Die interaktive Eingabeeinrichtung wird weiterhin dazu verwendet, um mit einer über ein funktionelles Interface zugänglichen Anwendung zu interagieren. Dies ist vorteilhaft, da die Bediener Information und Daten innerhalb der Anwendung selbst auswählen, eingeben, kopieren, einfügen, löschen, ändern, etc. können.
Die Interaktion mit dem in den funktionellen Interfaces 38, 40, 42, 46, 48, 50 dargestellten Inhalt wird unter Verwendung der interaktiven Eingabeeinrichtung, beispielsweise einer Tastatur, einer Maus, einem Joystick, einen Trackball oder einer 3D-Maus ausgeführt, oder der Benutzer kann, beispielsweise unter Verwendung einer auf Gestik basierenden Dateneingabe, wie beispielsweise Datenhandschuhen, mit einem/einer Stift/Fingerspitze unmittelbar mit den funktionellen Interfaces interagieren, die als ein virtueller Berührungsbildschirm funktionieren. Diese Lösung ermöglicht dem Benutzer Flexibilität und Bequemlichkeit.
In einer weiteren Ausführungsform werden die virtuelle Desktopanzeige oder Teile der virtuellen Desktopanzeige unter Verwendung eines Steuerpults, Augenbewegungen, oder Sprachbefehlen manipuliert.
Weiterhin stellt dies dem Benutzer einen/eine einzelnen/einzelne Computer-Bildschirm oder -Anzeige bereit, die ihm/ihr ermöglicht alle funktionellen Interfaces zu sehen. Eine einzelne Anzeige/Ein einzelner Computerbildschirm für jeden Benutzer ermöglicht allen Benutzern in einem weitaus größeren Raum zu arbeiten und funktionelle Interfaces miteinander zu teilen.
In einer anderen Ausführungsform des ebenfalls in 1 gezeigten Verfahrens und des Systems können als ein Ersatz für, oder zusätzlich zu einem externen Bildschirm, zwei oder mehrere Benutzer 1a, 1b deren An- beziehungsweise Aussichten miteinander teilen. Folglich wird dem Benutzer ermöglicht mit einem oder mehreren ausgewählten funktionellen Interfaces gleichzeitig zu interagieren. Zwei oder mehr Benutzer 1a, 1b arbeiten an einer Anwendung zusammen, sie können ein funktionelles Interface teilen, oder mehrere funktionelle Interfaces, wobei sie an dem gleichen virtuellen 2D/3D Desktop arbeiten.
Das beschriebene System bildet ein vollständiges System, dass sowohl autonom laufen kann und/oder mit einem übergeordneten Steuerungssystem verbunden ist, beispielsweise für ein technisches System, eine Fertigungszelle oder andere Herstellungsprozesse in einer Einrichtung. Das System kann mit einer großen Anzahl anderer Komponenten beziehungsweise Bauteilen/Systemen aufgrund der Konfiguration eines jeden Kanals des Hardware-Interfaces sowohl als Eingang als auch Ausgang zusammengeschaltet werden, die für eine Kompatibilität mit zahlreichen Bus- und/oder Feldbus-Standards digital oder analog sein können.
Das erweiterte Realitätssystem kann auf ein Steuerungssystem eines industriellen Prozesses oder einer Einrichtung angewendet werden, beispielsweise eines industriellen Prozesses oder einer Einrichtung für Öl oder Gas oder einer Einrichtung für elektrische Energie-Erzeugung, -Weiterleitung und/oder Verteilung. Dem Fachmann wird klar sein, dass verschiedene Modifikationen und Änderungen an der vorliegenden Erfindung ausgeführt werden können, ohne von dem Umfang davon abzuweichen, der durch die beigefügten Ansprüche festgelegt ist. Beispielsweise kann ein Benutzer von einer Anzahl von Datenquellen visuelle Information auswählen.
Insbesondere ist das erweiterte Realitätssystem auf automatisierte Verfahrens-Prozesse und in Kontrollräumen und Kontrollraumgestaltung anwendbar. Das erweiterte Realitätssystem wird ebenfalls im Kontrollraum zusätzlich zu "Helpdesk"-Situationen, zur Fern-Unterstützung, zur Büroarbeit, etc. vorteilhaft verwendet.
In einer anderen Ausführungsform kann das beschriebene System in einer Einrichtung oder einem Büro verwendet werden, in der/dem drei Bediener keinen fest angeordneten Arbeitsplatz aufweisen, sich jedoch umher bewegen.
In einer körperlichen Verwirklichung der Erfindung verwendet der Bediener beispielsweise ein Tablett-Personalcomputer (Tablett-PC), einen tragbaren Computer und beispielsweise drahtlosen Zugang zu Information über General Packet Radio Service (GPRS), WLAN, Bluetooth oder anderes.
In diesem Zusammenhang ist ein Tablett-Personalcomputer ein in der Hand gehal tener Personalcomputer, bei dem die/der Anzeige/Bildschirm ungefähr die gleiche Größe wie die gesamte Einrichtung aufweist. Der Bildschirm ist auf Berührung empfindlich, wobei folglich der Tablett-PC keine gewöhnliche Tastatur aufweist. Tablett-PCs werden beispielsweise in Krankenhäusern zum Registrieren von Information über Patienten verwendet, um Zugang zu medizinischen Datenbanken, etc zu erhalten. Weiterhin kann der Tablett-PC eine integrierte Kamera umfassen. In diesem Fall weist die Kamera die gleiche Ansicht auf, als ob der Bediener unmittelbar durch die Anzeige blickt. Dies ermöglicht ein Interface auf dem Bildschirm zu zeigen als ob der Bildschirm transparent ist, wenn der Tablett-PC umher bewegt wird. Wird die Video-Durchsicht-Technologie verwendet, dann kann erweiterte Realität auf dem Tablett-PC dargestellt werden. Die gleiche Lösung ist beispielsweise auf PDAs (persönliche digitale Assistenten) und Mobiltelefone anwendbar.
Die Logikeinheit oder Rechnereinheit umfasst einen Mikroprozessor, oder Prozessoren, die eine Zentraleinheit, CPU, oder ein Field-programmable Gate Array (FPGA) oder eine beliebige Halbleitereinrichtung umfasst, die programmierbare Logikbestandteile und programmierbare Verbindungen beinhaltet, die Schritte des Verfahren gemäß einer Ausführungsform der Erfindung ausführen. Dies wird mit Hilfe von einem oder mehreren Computerprogrammen ausgeführt, die zumindest teilweise im durch Prozessoren zugänglichen Speicher gespeichert werden. Es sollte ebenfalls klar sein, dass die Computerprogramme ebenfalls auf einem oder mehreren Industrie-Mikroprozessoren oder Computern anstelle eines speziell angepassten Computers, laufen können.
Das Computerprogramm umfasst Computerprogramm-Codeelemente oder Software-Codebereiche, die dem Computer ermöglichen das vorher beschriebene Verfahren unter Verwendung von Gleichungen, Algorithmen, Daten und Berechnungen auszuführen. Ein Teil des Programms kann, wie vorstehend, in einem Prozessor jedoch ebenfalls in/auf einem ROM, RAM, PREM, EPROM oder EEPROM Chip oder ähnlichem Speichermittel gespeichert werden. Das Programm kann teilweise oder gesamt auf oder in einem anderen geeigneten computerlesbaren Medium, wie beispielsweise einer magnetischen Diskette, CD-ROM oder DVD-Diskette, Festplatte, magnetooptischen Diskette, CD-ROM oder DVD-Diskette, Festplatte, magnetooptischem Speichermittel, in einem flüchtigem Speicher, einem Flash-Speicher, als Firmware, oder auf einem Datenserver gespeichert werden. Entfernbare Speichermedien, wie beispielsweise entfernbare Festplatten, Blasenspeicher-Einrichtungen, Flash-Speicher-Einrichtungen und gewerblichen erhältlichen anwendereigene entfernbare Medien, wie beispielsweise der Speicherstick von Sony und Speicherkarten für digitale Kameras, Videokameras und dergleichen, können ebenfalls verwendet werden. Die beschriebenen Computerprogramme können ebenfalls teilweise als eine verteilte Anwendung angeordnet werden, die auf mehreren Computer oder Computersystemen zu mehr oder weniger der gleichen Zeit laufen.
Drahtlose Kommunikationen beziehungsweise Verbindungen können unter Verwendung eines drahtlosen Protokolls ausgeführt werden, das zuverlässig Weiterleitungen in einer Industrieumgebung, einschließlich Standards oder einem beliebig geeigneten Protokoll, wie beispielsweise Ericsson's Bluetooth, drahtloses lokales Netzwerk (WLAN) bereitstellen kann. Eine Funkverbindung mit kurzer Reichweite ist das bevorzugte Verfahren, das ein Protokoll verwendet, das mit den durch die spezielle Interessengruppe für Bluetooth (SIG) herausgegebenen Standards verträglich ist, eine beliebige Variation von IEEE-802.11, WiFi, Ultrabreitband (UWB), Zigbee oder IEEE-802.15.4, IEEE-802.13 oder äquivalent oder ähnlich. Allgemein wird eine Funktechnik bevorzugt, die in dem ISM-Band mit signifikanten Entstörungsmitteln durch Spread-Spektrum Technologie arbeit. Eine drahtlose Kommunikation kann ebenfalls unter Verwendung von Infrarot (IR)-Mitteln und Protokollen, wie beispielsweise IrDA, IrCOMM oder ähnlichen ausgeführt werden. Drahtlose Kommunikation kann ebenfalls unter Verwendung von Schall- oder Ultraschallwandlern durch die Luft oder über eine Arbeit-Objekt-Konstruktion, reinen magnetischen oder elektrischen Feldern (kapazitative oder induktive Verbindung) oder anderen Typen von Licht, wie beispielsweise LED-Laser als Kommunikationsmedium mit Standard oder anwendereignen Protokollen ausgeführt werden. Für die Kommunikation können weitere Erfordernisse durch den Feldbus oder andere Teile des Steuerungssystems auferlegt sein. Beispielsweise kann ein Erfordernis bezüglich einer Definition der maximal erlaubten Latenzzeit bestehen, beispielsweise ändert sich die Zeit von einem I/O beispielsweise auf einem Busmittel, wie beispielsweise einem Profibus bis der tatsächliche I/O-Wert an der äußeren Komponente geändert wird. Die drahtlose mobile Informationsbearbeitungs-Einrichtung stellt die Information bereit, die vorzugsweise für eine abgespeckte beziehungsweise geringfügige Mandanten-Anwendung, wie beispielsweise einen Web-Mandanten oder andere Anwendung eines Web-Browser-Typs, angepasst ist.
Die beschriebenen Computerprogramme können ebenfalls teilweise als eine verteilte Anwendung angeordnet werden, die auf mehreren unterschiedlichen Computer oder Computersystemen mehr oder weniger gleichzeitig laufen können.
Ein computerlesbares Medium weist ein darauf aufgezeichnetes Programm auf, wobei das Programm so gestaltet ist, das ein Computer die Schritte eines Verfahrens gemäß einer Ausführungsform der Erfindung ausführen kann, wenn das Programm auf dem Computer läuft.
Eine Datenbank kann ebenfalls Information beinhalten, die zum Ausführen der Schritte eines Verfahrens gemäß einer Ausführungsform der Erfindung verwendet werden kann, um ein virtuelles Desktop, wie beispielsweise ein graphisches Benutzer-Interface (GUI), in zwei oder drei Dimensionen zu konfigurieren, zu überwachen und/oder zu betreiben.
Eine Webseite kann ebenfalls Mandanten/Server-Mittel umfassen, um ein Verfahren gemäß einer Ausführungsform der Erfindung in einer industriellen Einrichtung auszuführen, um ein virtuelles Desktop in zwei oder drei Dimensionen zu konfigurieren, zu überwachen und/oder zu betreiben.
Ein Datenkommunikationssignal kann ebenfalls zum Konfigurieren, Überwachen und/oder Betreiben eines virtuellen Desktops in zwei oder drei Dimensionen in einer industriellen Einrichtung für ein Industrieverfahren verwendet werden. Das Datenkommunikationssignal umfasst Information zum Konfigurieren, Überwachen und/oder Betreiben eines virtuellen Desktops in zwei oder drei Dimensionen.

Claims

System, das eine Logikeinheit (13) zum Verwalten von Daten in mehreren Anwendungen umfasst, eine tragbare Anzeigeneinrichtung (2a, 2b, 34), um die von der Logikeinheit aufgenommenen Daten anzuzeigen, einschließlich Mittel (2a, 2b, 34) zum Anzeigen der Daten in einem vorwärtsgerichteten Gesichtsfeld des Benutzers (1a, 1b, 32), wobei der Benutzer Daten von der tragbaren Anzeige empfangen kann, dadurch gekennzeichnet, dass das System weiterhin eine erweiterte Realitätsdarstellung von durch Computer erzeugter graphischer Information umfasst, die der Realwelt überlagert wird, eine interaktive Eingabeeinrichtung (4a, 4b, 44), ein Trackingsystem (5a, 5b), um Daten einzufangen, die die Position der tragbaren Anzeigeeinrichtung (2a, 2b, 34) relativ zu der interaktiven Eingabeeinrichtung (4a, 4b, 44) darstellen, und Mittel zum Anzeigen einer erweiterten Realitätsdarstellung eines virtuellen Desktops (36) auf der tragbaren Anzeigeeinrichtung (2a, 2b, 34), die mehrere funktionelle Interfaces (38, 40, 42, 46, 48, 50) umfasst, die die Anwendungen darstellen, die unter Verwendung der interaktiven Eingabeeinrichtung (4a, 4b, 44) zugänglich sind, und dass das Desktop (36) in einem 3D-Raum so erweitert wird, dass das Desktop als eine virtuelle Sphäre geformt ist, und wobei die funktionellen Interfaces bei einer optionalen Tiefe in der Sphäre angezeigt werden.
System nach Anspruch 1, worin die Erweiterung des virtuellen Desktops (36) 360 Grad in drei Freiheitsgraden ist.
System nach einem der Ansprüche 1-2, worin das System angepasst ist das Erscheinungsbild des virtuellen Desktops (36) in Antwort auf Interaktionen zwischen der interaktiven Eingabeeinrichtung (4a, 4b, 44) und dem virtuellen Desktop zu modifizieren.
System nach Anspruch 3, worin die interaktive Eingabeeinrichtung (4a, 4b, 44) verwendet wird, um die funktionellen Interfaces (38, 40, 42, 46, 48, 50) in dem 3D-Raum zu bewegen, zu drehen, zu skalieren und zu sperren.
System nach einem der Ansprüche 3-4, worin die interaktive Eingabeeinrichtung (4a, 4b, 44) verwendet wird, um mit einer über ein funktionelles Interface (38, 40, 42, 46, 48, 50) zugänglichen Anwendung zu interagieren.
System nach einem der Ansprüche 1-5, worin die Erweiterung des virtuellen Desktops (36) 360 Grad in drei Freiheitsgraden ist und wobei die funktionellen Interfaces (38, 40, 42, 46, 48, 50) unter Verwendung von Polar- oder kartesischen Koordinaten in dem 3D-Raum bewegt, gedreht, skaliert und gesperrt werden.
System nach einem der Ansprüche 1-6, worin das System an zwei oder mehrere Benutzer (1a, 1b, 32) angepasst ist, die an einer Anwendung gleichzeitig zusammen arbeiten.
System nach einem der Ansprüche 1-7, worin das System eine Kamera (12) umfasst, um einen Live-Video-Datenstrom der Umgebung einzufangen, der dem Blick des Benutzers auf die Realwelt entspricht, und die durch die virtuellen Graphiken auf dem Video der Realwelt überlagert werden, was die erweiterte Realitätsdarstellung eines virtuellen Desktops bildet.
System nach einem der Ansprüche 1-7, worin die Anzeigeeinrichtung angepasst ist optisch transparent zu sein, und wobei die durch Computer erzeugten Graphiken unmittelbar auf der Anzeigeneinrichtung (2a, 2b, 34) verzeichnet werden und dem Blick des Benutzers der Realwelt folgt, dass die durch Computer erzeugten Graphiken der Realwelt überlagert werden, was die erweiterte Realitätsdarstellung des virtuellen Desktops (36) bildet.
System nach einem der Ansprüche 1-9, worin die tragbare Anzeigeneinrichtung (2a, 2b, 34) ein beliebiges aus der Liste ist: beispielsweise Brille, eine am Kopf angebrachte Anzeige, ein Headup Display, virtuelle Retinaanzeige.
System nach einem der Ansprüche 1-10, worin die interaktive Eingabeeinrichtung (4a, 4b, 44) ein beliebiges aus einer Liste ist: Tastatur, 2D-Maus, 3D-Maus, Joystick, Trackball, Datenhandschuhe, oder Mittel, die mit einem/r Stift/Fingerspitze unmittelbar auf den funktionellen Interfaces interagieren, die als ein virtueller Berührungsbildschirm funktionieren.
Graphisches Benutzer Interface umfassend ein virtuelles Desktop nach einem der Ansprüche 1-11.
Verfahren, das einem Benutzer ermöglicht mit einem System zu interagieren, das eine Logikeinheit (13) zum Verwalten von Daten in mehreren Anwendungen umfasst, die unter Verwendung einer tragbare Anzeigeneinrichtung (2a, 2b, 34) die von der Logikeinheit aufgenommenen Daten anzeigt, einschließlich Mitteln (2a, 2b, 34) zum Anzeigen der Daten in einem vorwärts gewandten Gesichtsfeld des Benutzers (1a, 1b, 32), und Mittel zum Empfangen von Daten von der tragbaren Anzeigeneinrichtung, wobei das Verfahren umfasst: – Anzeigen einer erweiterten Realitätsdarstellung von durch Computer erzeugter graphischer Information, die der Realwelt überlagert wird, – Verwenden einer interaktiven Eingabeeinrichtung (4a, 4b, 44), eines Tracking-Systems (5a, 5b), um Daten einzufangen, die die Position der tragbaren Anzeigeneinrichtung (2a, 2b, 34) relativ zu der interaktiven Eingabeeinrichtung (4a, 4b, 44) darstellen, – Anzeigen einer erweiterten Realitätsdarstellung eines virtuellen Desktops (36) auf der tragbaren Anzeigeneinrichtung (2a, 2b, 34), wobei das virtuelle Desktop Anwendungen umfasst, die durch mehrere funktionelle Interfaces (38, 40, 42, 46, 48, 50) dargestellt werden, – Ausführen von Einwirkungen, dass die funktionellen Interfaces (38, 40, 42, 46, 48, 50) für die interaktive Eingabeeinrichtung (4a, 4b, 44) zugänglich sind, – Ausführen von Einwirkungen, dass das Desktop (36) in einen 3D-Raum erweitert wird, dass das Desktop als eine virtuelle Sphäre geformt ist und wobei die funktionellen Interfaces bei optionaler Tiefe in der Sphäre angezeigt werden.
Verfahren nach Anspruch 13, wobei das Verfahren weiterhin umfasst, dass das virtuelle Desktop (36) auf 360 Grad in drei Freiheitsgraden erweitert wird.
Verfahren nach einem der Ansprüche 13-14, wobei das Verfahren weiterhin umfasst, dass das Erscheinungsbild des virtuellen Desktops (36) als Antwort auf Interaktionen zwischen der durch den Benutzer gesteuerten interaktiven Eingabeeinrichtung (4a, 4b, 44) und dem virtuellen Desktop modifiziert wird.
Verfahren nach Anspruch 15, wobei das Verfahren weiterhin umfasst, dass die interaktive Eingabeeinrichtung (4a, 4b, 44) verwendet wird, um funktionelle Interfaces in dem 3D-Raum zu bewegen, zu drehen, zu skalieren und zu sperren.
Verfahren nach einem der Ansprüche 15-16, wobei die interaktive Eingabeeinrichtung (4a, 4b, 44) verwendet wird, um mit einer über ein funktionelles Interface (38, 40, 42, 46, 48, 50) zugänglichen Anwendung zu interagieren.
Verfahren nach einem der Ansprüche 13-17, wobei das Verfahren weiterhin umfasst, dass das virtuelle Desktop (36) auf 360 Grad in drei Freiheitsgraden erweitert wird, und wobei die funktionellen Interfaces (38, 40, 42, 46, 48, 50) unter Verwendung von Polar- oder kartesischen Koordinaten bewegt, gedreht, skaliert und gesperrt werden, um die Orte der funktionellen Interfaces im Raum zu bestimmen.
Verfahren nach einem der Ansprüche 13-18, wobei zwei oder mehrere Benutzer (1a, 1b, 32) an einer Anwendung gleichzeitig zusammen arbeiten.
Verfahren nach einem der Ansprüche 13-19, wobei das Verfahren weiterhin umfasst, dass eine Kamera (12) verwendet wird, um einen Live-Video-Datenstrom der Umgebung einzufangen, die dem Benutzerblick der Realwelt entspricht, und dass die virtuellen Graphiken dem Video der Realwelt überlagert werden.
Verfahren nach einem der Ansprüche 13-19, wobei das Verfahren weiterhin umfasst, dass eine Anzeigeneinrichtung verwendet wird, die angepasst ist optisch transparent zu sein und wobei die durch die Computer erzeugten Graphiken unmittelbar auf der Anzeigeneinrichtung (2a, 2b, 34) verzeichnet werden, die dem Benutzerblick der Realwelt so folgen, dass die durch die Computer erzeugten Graphiken der sich bildenden Realwelt überlagert werden.
Verfahren nach einem der Ansprüche 13-21, wobei die tragbare Anzeigeneinrichtung (2a, 2b, 34) eine beliebige aus einer Liste ist: beispielsweise Brille, eine auf dem Kopf angebrachte Anzeige, Headup-Display, virtuelles Retinaanzeige.
Verfahren nach einem der Ansprüche 12-22, wobei die interaktive Eingabeeinrichtung (4a, 4b, 44) ein beliebiges aus einer Liste von ist: Tastatur, 2D-Maus, 3D-Maus, Joystick, Trackball, Datenhandschuhe oder Mittel, um mit einem/r Stift/Fingerspitze unmittelbar auf den funktionellen Interfaces zu interagieren, die als ein virtueller Berührungsbildschirm funktionieren.
Computerprogramm, das unmittelbar in einen internen Speicher eines Computers geladen werden kann, umfassend Software zum Ausführen der Schritte nach einem der Ansprüche 13-23.
Computer-lesbares Medium, das ein darauf aufgezeichnetes Programm aufweist, wobei das Programm so gestaltet ist, dass ein Computer die Schritte nach einem der Ansprüche 13-23 auszuführen kann, wenn das Programm auf dem Computer läuft.
Verwendung eines Verfahrens nach einem der Ansprüche 13-23 für ein Steuerungssystem eines Industrieprozesses oder einer Einrichtung für Öl und Gas oder für eine Einrichtung zur Erzeugung, Weiterleitung und/oder Verteilung von elektrischer Energie.