DE102015100926A1

DE102015100926A1 - Präsentation von verbesserter Kommunikation zwischen entfernten Telnehmern /Teilnehmerinnen mittels erweiterter und virtueller Realität

Info

Publication number: DE102015100926A1
Application number: DE102015100926.9A
Authority: DE
Inventors: Tamar Baruza; Ori Modai; Yair Wiener
Original assignee: Avaya Inc
Current assignee: Avaya Inc
Priority date: 2014-01-24
Filing date: 2015-01-22
Publication date: 2015-08-13
Anticipated expiration: 2035-01-23
Also published as: KR101665229B1; US20150215581A1; US20150213650A1; DE102015100911A1; KR20150099403A; DE102015100911B4; DE102015100930A1; KR101656172B1; KR20150099402A; DE102015100926B4; DE102015100930B4; KR20150099401A; US10013805B2; KR101734635B1; US9959676B2; US9524588B2; US20150215351A1

Abstract

Hierin offenbarte Ausführungsformen sehen Verfahren, Systeme und computerlesbare Speichermedien zum Präsentieren einer Besprechung zwischen entfernten Teilnehmern/Teilnehmerinnen vor. In einer konkreten Ausführungsform sieht ein Verfahren vor, dass während einer Konferenzsitzung Ansichtsinformationen kompiliert werden, die zum Bestimmen einer von dem ersten Teilnehmer/der ersten Teilnehmerin gesehenen ersten Ansicht genutzt werden. Das Verfahren sieht weiter vor, dass ein Konferenzvideo empfangen wird, das mindestens ein Video umfasst, das von einem zweiten Teilnehmer/einer zweiten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde. Zudem sieht das Verfahren vor, dass das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video so präsentiert wird, dass der zweite Teilnehmer/die zweite Teilnehmerin an einer ersten Position eines Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung ist verwandt mit und beansprucht Priorität über die vorläufige US-Patentanmeldung Nr. 61/931,234, mit dem Titel „Visual communication in augmented reality“, eingereicht am 24. Januar 2014, die durch Bezugnahme hiermit vollumfänglich aufgenommen wird.
STAND DER TECHNIK
Konferenzschaltungssysteme ermöglichen seit langem Audiokommunikationen zwischen Teilnehmern/Teilnehmerinnen an unterschiedlichen Orten. Neuerdings erlauben einige Konferenzsysteme Echtzeitvideokommunikationen zwischen Teilnehmern/Teilnehmerinnen. Mithin kann ein Teilnehmer/eine Teilnehmerin an einem Ort Live-Videos und -Tonteile von anderen sprechenden Teilnehmern/Teilnehmerinnen ansehen, obgleich diese anderen Teilnehmer/Teilnehmerinnen möglicherweise sehr weit weg sind. Die Fähigkeit, die anderen Teilnehmer/Teilnehmerinnen anzusehen, gewährleistet eine produktivere Konferenz, denn die Teilnehmer/Teilnehmerinnen können gegenseitig ihre Gesichtsausdrücke, ihre Gesten oder andere visuelle Informationen ansehen, die während eines Audioanrufs nicht gesehen werden können.
Wenngleich Videokonferenzen die Erfahrung von einander entfernt befindlichen Teilnehmern/Teilnehmerinnen sicherlich verbessert haben, können Videokonferenzen entfernten Teilnehmern/Teilnehmerinnen bisher noch nicht das Gefühl vermitteln, sie befänden sich alle im selben Raum. Das heißt, wenn Teilnehmer/Teilnehmerinnen in einem Konferenzraum sitzen und andere Teilnehmer/Teilnehmerinnen auf einem Anzeigebildschirm beobachten, wird dadurch nicht hinlänglich simuliert, dass diese anderen Teilnehmer/Teilnehmerinnen innerhalb des Konferenzraums sind. Jedoch sind nun Virtual-Reality-Headsets erhältlich, die eine visuelle Immersion von Benutzern/Benutzerinnen in visuelle Erfahrungen, etwa Videospiele, bewirken. Ähnlich können Augmented-Reality-Headsets einem Benutzer/einer Benutzerin Informationen anzeigen, während dieser Benutzer/diese Benutzerin das Geschehen um sich herum weiter ansehen kann.
ÜBERBLICK
Hierin offenbarte Ausführungsformen sehen Verfahren, Systeme und computerlesbare Speichermedien zum Präsentieren einer Besprechung zwischen entfernten Teilnehmern/Teilnehmerinnen vor. In einer konkreten Ausführungsform sieht ein Verfahren vor, dass während einer Konferenzsitzung Ansichtsinformationen kompiliert werden, die zum Bestimmen einer von dem ersten Teilnehmer/der ersten Teilnehmerin gesehenen ersten Ansicht genutzt werden. Das Verfahren sieht weiter vor, dass ein Konferenzvideo empfangen wird, das mindestens ein Video umfasst, das von einem zweiten Teilnehmer/einer zweiten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde. Zudem sieht das Verfahren vor, dass das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video so präsentiert wird, dass der zweite Teilnehmer/die zweite Teilnehmerin an einer ersten Position eines Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.
In einigen Ausführungsformen umfasst das Konferenzvideo weiter ein Video vom Besprechungsort und das Verfahren sieht weiter vor, dass das Video vom Besprechungsort präsentiert wird.
In einigen Ausführungsformen sieht das Verfahren weiter vor, dass die Ansichtsinformationen an einen Konferenzserver übertragen werden. In diesen Ausführungsformen nutzt der Konferenzserver die Ansichtsinformationen, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video zu verarbeiten, um einen Ansichtswinkel der ersten Ansicht relativ zur ersten Position des Besprechungsorts zu berücksichtigen.
In einigen Ausführungsformen sieht das Verfahren weiter vor, dass die Ansichtsinformationen genutzt werden, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video zu verarbeiten, um einen Ansichtswinkel der ersten Ansicht relativ zur ersten Position des Besprechungsorts zu berücksichtigen.
In einigen Ausführungsformen umfasst der Besprechungsort den physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin.
In einigen Ausführungsformen sieht das Verfahren weiter vor, dass bestimmt wird, wo sich die erste Position innerhalb des physischen Orts befindet.
In einigen Ausführungsformen umfasst das Konferenzvideo weiter ein Video, das von einem dritten Teilnehmer/einer dritten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde, und das Verfahren sieht weiter vor, dass das von dem dritten Teilnehmer/der dritten Teilnehmerin aufgenommene Video so präsentiert wird, dass der dritte Teilnehmer/die dritte Teilnehmerin an einer zweiten Position des Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.
In einigen Ausführungsformen beinhaltet das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video einen von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommenen Tonteil und das Verfahren sieht weiter vor, dass der von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Tonteil präsentiert wird, sodass der von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Tonteil von der ersten Position des Besprechungsorts zu kommen scheint.
In einigen Ausführungsformen umfasst das Kompilieren der Ansichtsinformationen, dass ein Video von einem physischen Geschehen außerhalb vor der HMD aufgenommen wird.
In einigen Ausführungsformen sieht das Verfahren weiter vor, dass Informationen von einem Konferenzserver, welche die erste Position des Besprechungsorts angeben, empfangen werden.
In einer anderen Ausführungsform ist eine am Kopf angebrachte Anzeige (Head Mounted Display, HMD) zum Präsentieren einer Besprechung zwischen entfernten Teilnehmern/Teilnehmerinnen vorgesehen. Die HMD beinhaltet ein Verarbeitungssystem, das konfiguriert ist, um während einer Konferenzsitzung Ansichtsinformationen zu kompilieren, die zum Bestimmen einer ersten Ansicht genutzt werden, die von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die die HMD trägt, gesehen wird. Die HMD beinhaltet weiter eine Kommunikationsschnittstelle, die konfiguriert ist, um ein Konferenzvideo zu empfangen, das mindestens ein Video umfasst, das von einem zweiten Teilnehmer/einer zweiten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde. Zudem beinhaltet die HMD ein Anzeigesystem, das konfiguriert ist, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video so zu präsentieren, dass der zweite Teilnehmer/die zweite Teilnehmerin an einer ersten Position eines Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht eine Konferenzumgebung zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
2 veranschaulicht ein Verfahren zum Betreiben einer am Kopf angebrachten Anzeige zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
3 veranschaulicht ein Betriebsszenario einer Konferenzumgebung zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
4 veranschaulicht ein Betriebsszenario einer Konferenzumgebung zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
5 veranschaulicht eine Konferenzumgebung zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
6 veranschaulicht beispielhafte Raumausrichtungen, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen präsentiert wird.
7 veranschaulicht beispielhafte Raumausrichtungen, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen präsentiert wird.
8 veranschaulicht eine beispielhafte Teilnehmeransicht, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen präsentiert wird.
9 veranschaulicht eine beispielhafte Teilnehmeransicht, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen präsentiert wird.
10 veranschaulicht eine beispielhafte Teilnehmeransicht, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen präsentiert wird.
11 veranschaulicht ein am Kopf angebrachtes Gerät zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
12 veranschaulicht einen beispielhaften Formfaktor für ein am Kopf angebrachtes Gerät zum Präsentieren von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung und die assoziierten Figuren lehren die beste Ausführungsform der Erfindung. Zum Zweck des Lehrens der Erfindungsprinzipien werden einige herkömmliche Aspekte der besten Ausführungsform möglicherweise vereinfacht oder weggelassen. Die folgenden Ansprüche legen den Schutzbereich der Erfindung fest. Es ist zu beachten, dass einige Aspekte der besten Ausführungsform möglicherweise nicht in den Schutzbereich der Erfindung, wie von den Ansprüchen festgelegt, fallen. Mithin erkennt der Fachmann Varianten der besten Ausführungsform, die in den Schutzbereich der Erfindung fallen. Der Fachmann erkennt, dass die unten beschriebenen Merkmale auf verschiedene Weisen kombiniert werden können, um mehrere Varianten der Erfindung zu bilden. Folglich wird die Erfindung nicht auf die unten beschriebenen speziellen Beispiele, sondern nur von den Ansprüchen und ihren Äquivalenten begrenzt.
1 veranschaulicht eine Konferenzumgebung 100. Die Konferenzumgebung 100 beinhaltet ein Konferenzsystem 101, ein Teilnehmeraufnahmesystem 102 und eine am Kopf angebrachte Anzeige (Head Mounted Display, HMD) 103. Das Konferenzsystem 101 und das Teilnehmeraufnahmesystem 102 kommunizieren über eine Kommunikationsverbindung 112. Das Konferenzsystem 101 und die AR-HMD 103 kommunizieren über eine Kommunikationsverbindung 111. Der Teilnehmer/die Teilnehmerin 122 trägt die HMD 103 und beide sind an einem Ort 131.
Im Betrieb ist das Konferenzsystem 101 konfiguriert, um Konferenzteilnehmern/Konferenzteilnehmerinnen an unterschiedlichen Orten eine Konferenzerfahrung derart zu vermitteln, als seien die Teilnehmer/Teilnehmerinnen am selben Ort. Hierzu nutzt das Konferenzsystem 101 AR oder VR abhängig davon, ob die HMD 103 konfiguriert ist, um ein Augmented-Reality(AR)- oder ein Virtual-Reality(VR)-Video zu präsentieren. Dank AR kann der Teilnehmer/die Teilnehmerin 122 die Welt um sich herum sehen, während die HMD 103 zusätzliche Informationen einblendet. In einigen AR-Geräten, etwa einem Smartphone, nimmt das Gerät Videobilder auf und zeigt diese Bilder auf einem Bildschirm so ähnlich an, wie wenn der Bildschirm als Sucher für eine Kamera genutzt wird. AR-Informationen werden auf den angezeigten Bildschirmbildern im Verhältnis zu dem eingeblendet, was im Bild angezeigt wird. Die AR-Informationen können von der HMD 103 bestimmt oder lokal gespeichert werden, etwa ein Indikator, der die Aufmerksamkeit des Teilnehmers/der Teilnehmerin 122 auf einen konkreten Punkt lenkt, während andere Informationen vom Konferenzsystem 101 (oder einem anderen System außerhalb der HMD 103) bestimmt oder gespeichert werden können, etwa Nachrichten für eine Chatsitzung. Zum Beispiel werden Informationen zu einem Geschäft mit einer Schaufensterfront, die im Bild aufgenommen wurde, möglicherweise auf dem Bildschirm neben der Schaufensterfront angezeigt. Bei einem anderen Beispiel verfügt eine Person in der AR-Ansicht möglicherweise über Informationen, die in der Nähe der Person angezeigt werden, etwa visitenkartenartige Informationen, sodass sie einfacher referenziert werdenkönnen. Alternativ werden die AR-Informationen möglicherweise auf einem durchsichtigen Medium angezeigt, etwa transparenten Linsen, aufgrund deren sich das Anzeigen der Bilder erübrigt, die durch die Linsen gesehen werden können.
Im Gegensatz dazu erlaubt VR in der Regel nicht, dass der Teilnehmer/die Teilnehmerin 122 die Welt um sich herum sehen kann. Deshalb erfolgt eine Immersion des Teilnehmers/der Teilnehmerin 122 in visuelle Elemente, die von der HMD 103 bereitgestellt werden. VR kann ein für die VR-Präsentation aufgenommenes Geschehen der realen Welt anzeigen oder kann ein von einem Computersystem generiertes virtuelles Geschehen anzeigen. Ungeachtet dessen, ob das Geschehen real oder virtuell ist, kann das VR-Video ähnlich wie AR Informationen einblenden, die nicht zu diesem Geschehen gehören. In einigen Ausführungsformen ist die HMD 103 möglicherweise konfiguriert, um sowohl AR- als auch VR-Videos zu präsentieren. In solchen Fällen kann eine Konferenzsitzung von AR zu VR oder umgekehrt wechseln, wenn sie dem Teilnehmer/der Teilnehmerin 122 durch die HMD 103 präsentiert wird. Während zum Beispiel ein AR-Video präsentiert wird, können andere Teilnehmer/Teilnehmerinnen als der Teilnehmer/die Teilnehmerin 122, die sich physisch am Ort 131 befinden, den Ort 131 verlassen. Sobald dies passiert, kann die HMD 103 von der Präsentation des AR-Videos zur Präsentation des VR-Videos wechseln, da der Teilnehmer/die Teilnehmerin 122 die anderen Teilnehmer/Teilnehmerinnen am Ort 131 nicht mehr ansehen muss.
Für die Zwecke des Ermöglichens einer Konferenz nutzt die mit dem Konferenzsystem 101 zusammenarbeitende HMD 103 AR- oder VR-Videos, um aufgenommene Videos von Konferenzteilnehmern/Konferenzteilnehmerinnen, die sich nicht am selben Ort befinden wie der Teilnehmer/die Teilnehmerin 122, zu präsentieren. Zum Beispiel ist der Teilnehmer/die Teilnehmerin 122 am Ort 131, während der Teilnehmer/die Teilnehmerin 123 nicht dort ist. Der Teilnehmer/die Teilnehmerin 123 kann in einem Raum auf demselben Korridor wie der Ort 131 sein oder auf der anderen Seite der Welt. Ungeachtet dessen, wo sich der Teilnehmer/die Teilnehmerin 123 befindet, erlaubt die HMD 103, die von dem Teilnehmer/der Teilnehmerin 122 getragen wird, dem Teilnehmer/der Teilnehmerin 122 das Ansehen des Teilnehmers/der Teilnehmerin 123 an einer Position am Ort 131. Daher kann der Teilnehmer/die Teilnehmerin 122, statt dass er/sie lediglich ein von dem Teilnehmer/der Teilnehmerin 123 aufgenommenes Video auf einer Anzeige ansieht, den Teilnehmer/die Teilnehmerin 123 am Ort 131 „sehen“, wodurch die Erfahrung emuliert wird, dass sich der Teilnehmer/die Teilnehmerin 123 wirklich am selben Ort befindet wie der Teilnehmer/die Teilnehmerin 122.
2 veranschaulicht ein Verfahren zum Betreiben der HMD 103 anhand eines Beispiels für das Präsentieren verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen. Während einer vom Konferenzsystem 101 ermöglichten Konferenzsitzung kompiliert die HMD 103 Ansichtsinformationen, die zum Bestimmen einer von dem Teilnehmer/der Teilnehmerin 122 gesehenen Ansicht genutzt werden (Schritt 201). Die Ansichtsinformationen können aus diversen in der HMD 103 beinhalteten oder durch diese in anderer Weise zugänglichen Sensoren kompiliert werden, etwa 3D-Gyrosensoren, Beschleunigungsmessern, einem Kompass, einer Blickregistrierung, einer nach vorn gerichteten Kamera oder Sensoren von beliebigen anderen Typen, die Informationen liefern, die zum Bestimmen der von dem Teilnehmer/der Teilnehmerin 122 aus gesehenen Ansicht genutzt werden können. Bei einigen Beispielen verarbeitet die HMD 103 die Ansichtsinformationen zum Bestimmen der Ansicht des Teilnehmers/der Teilnehmerin 122, während bei anderen Beispielen mindestens ein Teil der Verarbeitung der Ansichtsinformationen auch vom Konferenzsystem 101 vorgenommen wird.
Die HMD 103 empfängt das Konferenzvideo, das mindestens ein Video umfasst, das von dem Teilnehmer/der Teilnehmerin 123, der/die vom Ort 131 entfernt ist, aufgenommen wurde (Schritt 202). Im Fall eines VR-Videos wird auch durch die HMD 103 ein Video von einem Besprechungsortsgeschehen empfangen. Wie oben angemerkt, kann es sich beim Besprechungsort um einen realen aufgenommenen Ort handeln (z. B. den Ort des Teilnehmers/der Teilnehmerin 123 oder eines anderen Teilnehmers/einer anderen Teilnehmerin) oder um einen virtuellen Ort, der vom Konferenzsystem 101, von der HMD 103 oder einem anderen System gerendert wird. Im Gegensatz dazu erweitert ein AR-Video visuell die Welt um den Teilnehmer/die Teilnehmerin 122 herum. Daher muss die HMD 122 keine Videos vom Besprechungsort empfangen, da der Besprechungsort der Ort 131 ist.
Die HMD 103 präsentiert dann das von dem Teilnehmer/der Teilnehmerin 123 aufgenommene Video so, dass der Teilnehmer/die Teilnehmerin 123 an einer Position des Besprechungsorts in der ersten Ansicht für den Teilnehmer/die Teilnehmerin 122 erscheint (Schritt 203). Vorzugsweise ist die Position des Besprechungsorts eine Position, an der sich ein Teilnehmer/eine Teilnehmerin befände, falls der Besprechungsort ein physischer Ort wäre. Bei einem AR-Video-Beispiel ist der Ort 131 ein Besprechungsraum mit einem Konferenztisch. Der Teilnehmer/die Teilnehmerin 123 wird deshalb durch die HMD 103 visuell an einer Position um den Konferenztisch platziert, die sonst von einem Teilnehmer/einer Teilnehmerin, der/die sich wie der Teilnehmer/die Teilnehmerin 122 am Ort 131 befindet, hätte eingenommen werden können. Alternativ wird bei einem VR-Beispiel ein Video von dem Teilnehmer/der Teilnehmerin 123 möglicherweise auf das Video vom Besprechungsraumgeschehen eingeblendet, oder es können, falls der Besprechungsraum der Ort des Teilnehmers/der Teilnehmerin 123 ist, das Besprechungsraumvideo und das Video von dem Teilnehmer/der Teilnehmerin 123 dasselbe Video sein.
3 veranschaulicht einen Betrieb 300 der Konferenzumgebung 100, um verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen zu präsentieren. Beim Betrieb 300 wird ein Video vom Konferenzsystem 101 verarbeitet, bevor es an die HMD 103 übertragen wird. Beim Betrieb 200 werden vom Aufnahmesystem 102 bei Schritt 1 Videobilder von dem Teilnehmer/der Teilnehmerin 123 aufgenommen. Die Videobilder können abhängig von den Fähigkeiten des Aufnahmesystems 102, der HMD 103, des Konferenzsystems 101 oder anderweitig in zwei oder drei Dimensionen aufgenommen werden. Zudem können Videos von dem Teilnehmer/der Teilnehmerin 123 aus unterschiedlichen Kamerawinkeln aufgenommen werden, sodass Videos von dem Teilnehmer/der Teilnehmerin 123 abhängig vom Ansichtspunkt des Teilnehmers/der Teilnehmerin 122 aus verschiedenen Winkeln präsentiert werden können. Nach der Aufnahme wird bei Schritt 2 ein Video von den aufgenommenen Videobildern in Echtzeit an das Konferenzsystem 101 übertragen. Das Video kann in einem beliebigen Format, das vom Aufnahmesystem 102 und vom Konferenzsystem 101 unterstützt wird, übertragen werden. Das Video kann abhängig davon, wie weit das Aufnahmesystem 102 vom Konferenzsystem 101 entfernt ist, über ein oder mehrere verschiedene Kabel- oder Drahtlosnetze (Local Area, Wide Area, das Internet, zellulares Datennetz und dergleichen) oder direkte Verbindungen übertragen werden.
Bei Schritt 3 werden durch die HMD 103 kompilierte Ansichtsinformationen an das Konferenzsystem 101 übertragen. Diese Ansichtsinformationen werden ebenfalls in Echtzeit übertragen, sodass das Konferenzsystem 101 die aktuellen Informationen zur Verarbeitung des im Rahmen von Schritt 2 empfangenen Echtzeitvideos von dem Teilnehmer/der Teilnehmerin 123 nutzen kann. Die Ansichtsinformationen beinhalten Informationen, die von Sensoren der HMD 103 erfasst werden, und werden vom Konferenzsystem 101 zum Bestimmen einer Ansicht vom Besprechungsraum genutzt. Falls die HMD 103 für AR konfiguriert ist, können die Ansichtsinformationen Videos beinhalten, die außerhalb vor der HMD 103 am Ort 131 aufgenommen wurden, da der Ort 131 der Besprechungsraum für die Zwecke des Präsentierens eines Videos von dem Teilnehmer/der Teilnehmerin 123 ist. Das Konferenzsystem 101 kann dann visuelle Markierungen (z. B. Gemälde, Fliesen, Pflanzen, LED-Markierungen, Infrarotmarkierungen etc.) nutzen, die möglicherweise bewusst innerhalb des Orts 131 zur Nutzung durch das Konferenzsystem 101 innerhalb des Videos von der HMD 103 platziert wurden oder auch nicht, um zu bestimmen, wo der Teilnehmer/die Teilnehmerin 122 innerhalb des Orts 131 positioniert ist und wohin der Teilnehmer/die Teilnehmerin 122 von dieser Position aus gerade blickt. Das Konferenzsystem 101 nutzt möglicherweise auch Informationen, die durch andere Kameras am Ort 131 aufgenommen wurden, um den relativen Ort der visuellen Markierungen zu identifizieren. Darüber hinaus beinhalten die Ansichtsinformationen sowohl in AR- als auch in VR-Konfigurationen Informationen, die durch Sensoren aufgenommen wurden, etwa ein 3D-Gyroskop, welches das Konferenzsystem 101 nutzt, um die Ausrichtung der HMD 103 zu bestimmen, die angäbe, ob der Teilnehmer/die Teilnehmerin 122 seinen/ihren Kopf oder Körper gerade neigt, dreht oder in anderer Weise bewegt.
Bei Schritt 4 bestimmt das Konferenzsystem 101 eine Position für die Darstellung des Teilnehmers/der Teilnehmerin 123 am Besprechungsort, der/die von dem Teilnehmer/der Teilnehmerin 122 angesehen wird. Schritt 4 lässt sich zu einer beliebigen Zeit durchführen, bevor die Darstellung des Teilnehmers/der Teilnehmerin 123 dem Teilnehmer/der Teilnehmerin 122 durch die HMD 103 präsentiert wird, und muss nicht zwingend nach den Schritten 1, 2 und 3 durchgeführt werden. Das Konferenzsystem 101 kann die Position basierend auf Informationen bestimmen, die von der HMD 103 her, insbesondere den Ansichtsinformationen von Schritt 3, von anderen Geräten oder Sensoren am Besprechungsort, von dem Teilnehmer/der Teilnehmerin 123, von einem Besprechungsadministrator/einer Besprechungsadministratorin oder einer beliebigen anderen Quelle potenzieller Positionsinformationen her empfangen werden. Mittels der ihm zur Verfügung stehenden Informationen bestimmt das Konferenzsystem 101 deshalb eine Position innerhalb des Besprechungsorts, an dem sich der Teilnehmer/die Teilnehmerin 123 befinden könnte, falls der Teilnehmer/die Teilnehmerin 123 am Besprechungsort wäre, wobei unerheblich ist, ob der Besprechungsort der Ort 131 oder ein virtueller Ort ist.
Falls der Besprechungsort zum Beispiel einen Konferenztisch beinhaltet, kann das Konferenzsystem 101 bestimmen, dass die Position des Teilnehmers/der Teilnehmerin 123 ein leerer Sitzplatz am Konferenztisch ist. Das Vorhandensein des leeren Sitzplatzes ist bestimmbar basierend auf einem von der HMD 103 her aufgenommenen Video (z. B. Analysieren des Videos, um die Anwesenheit einer Person an jeder Position zu bestimmen), basierend auf Informationen, die von einem Teilnehmer/einer Teilnehmerin oder einem Administrator/einer Administratorin manuell eingegeben wurden, wenn das System für eine Konferenzsitzung eingesetzt wird (z. B. manuelle Abbildung des Besprechungsraums für Orte von Teilnehmern/Teilnehmerinnen, Stühlen etc.), basierend auf Drucksensoren in Stühlen am Tisch oder durch beliebige andere Mittel.
Bei Schritt 5 verarbeitet das Konferenzsystem 101 das empfangene Video von dem Teilnehmer/der Teilnehmerin 123 basierend auf der mittels der Ansichtsinformationen bestimmten Ansicht des Teilnehmers/der Teilnehmerin 122 vom Besprechungsort und der für den Teilnehmer/die Teilnehmerin 123 bestimmten Position. Das heißt, der Teilnehmer/die Teilnehmerin 123 sollte den Teilnehmer/die Teilnehmerin 122 so anblicken, wie er/sie es täte, falls die zwei Teilnehmer/Teilnehmerinnen im selben Raum an ihren gegebenen Positionen wären. Daher kann der Teilnehmer/die Teilnehmerin 123 in der Normalsicht, im Profil oder in irgendeinem Winkel dazwischen betrachtet werden. Wie oben angemerkt, muss das Aufnahmesystem 102 den Teilnehmer/die Teilnehmerin 123 möglicherweise aus unterschiedlichen Winkeln aufnehmen, um die Ansichten aus der Position des Teilnehmers/der Teilnehmerin 122 oder anderer entfernter Teilnehmer/Teilnehmerinnen zu berücksichtigen. In einigen Fällen, wenn mehrere Winkel nicht verfügbar sind, kann das Konferenzsystem 101 schätzen, wie der Teilnehmer/die Teilnehmerin 123 aus einem nicht aufgenommenen Winkel aussieht. Alternativ, obwohl dies nicht ideal ist, kann der Teilnehmer/die Teilnehmerin 123 aus einem Winkel präsentiert werden, der aufgenommen wird, obgleich dieser Winkel nicht korrekt ist. Ähnlich ist der Teilnehmer/die Teilnehmerin 123 möglicherweise kleiner, falls bestimmt wird, dass die Position des Teilnehmers/der Teilnehmerin 123 von dem Teilnehmer/der Teilnehmerin 122 am Besprechungsort weiter entfernt ist. Darüber hinaus muss das Konferenzsystem 101 möglicherweise Okklusionen wie andere Personen, Pflanzen oder andere Objekte in der Ansicht von dem Teilnehmer/der Teilnehmerin 123 hin zu dem Teilnehmer/der Teilnehmerin 122 berücksichtigen.
Während des Verarbeitungsschritts 5 kann das Konferenzsystem 101 eine Bildsegmentierung am von dem Teilnehmer/der Teilnehmerin 123 aufgenommenen Video durchführen, um den Umriss des Teilnehmers/der Teilnehmerin 123 zu identifizieren (z. B. mittels 3D-Bilderzeugungstechniken, falls der Teilnehmer/die Teilnehmerin 123 in 3D aufgenommen wird). Indem das Konferenzsystem 101 den Umriss des Teilnehmers/der Teilnehmerin 123 identifiziert, kann es den Hintergrund entfernen, sodass nur das Video von dem Teilnehmer/der Teilnehmerin 123 übrig bleibt. Sobald der Hintergrund entfernt ist, kann das Konferenzsystem 101 das resultierende Bild von dem Teilnehmer/der Teilnehmerin 123 bearbeiten, um den relativen Ort des Teilnehmers/der Teilnehmerin 123 und den Abstand des Teilnehmers/der Teilnehmerin 123 von dem Teilnehmer/der Teilnehmerin 122 im Besprechungsraum aufrechtzuerhalten. Ferner werden in einigen Fällen andere Objekte möglicherweise ebenfalls vom Hintergrund getrennt. Falls der Teilnehmer/die Teilnehmerin 123 zum Beispiel gerade einen Stift oder ein Schriftstück hält, kann der Stift oder das Schriftstück im Video von dem Teilnehmer/der Teilnehmerin 123 bleiben.
Nachdem das Konferenzsystem 101 das Video verarbeitet hat, wird das Video bei Schritt 6 an die HMD 103 übertragen. Das Video kann abhängig davon, wie weit die HMD 103 vom Konferenzsystem 101 entfernt ist, über ein oder mehrere verschiedene Kabel- oder Drahtlosnetze (Local Area, Wide Area, das Internet, zellulares Datennetz und dergleichen) oder direkte Verbindungen übertragen werden. Bei einigen Beispielen befindet sich das Konferenzsystem 101 möglicherweise am Ort 131. Nach dem Empfangen des Videos zeigt die HMD 103 das Video bei Schritt 7 dem Teilnehmer/der Teilnehmerin 122 an. Falls die HMD 103 gerade ein AR-Video präsentiert, umfasst das präsentierte Video ein Video von dem Teilnehmer/der Teilnehmerin 123 am bestimmten Positionsort 131, wie auf den transparenten Linsen angezeigt. Falls die HMD 103 alternativ gerade ein VR-Video präsentiert, beinhaltet das präsentierte Video weiter ein Video vom Besprechungsort, wobei unerheblich ist, ob es sich um einen aufgenommenen Besprechungsort oder einen virtuell generierten Besprechungsort handelt. Das Video von dem Teilnehmer/der Teilnehmerin 123 wird auf dem Besprechungsortvideo eingeblendet.
Die Schritte 1–3 und 5–7 erfolgen fortlaufend während einer Besprechung, um den Teilnehmer/die Teilnehmerin 123 dem Teilnehmer/der Teilnehmerin 122 nach bestem Bemühen so zu präsentieren, dass emuliert wird, dass der Teilnehmer/die Teilnehmerin 123 am selben Besprechungsort anwesend ist wie der Teilnehmer/die Teilnehmerin 122. Schritt 3 erfolgt möglicherweise nur einmal, es sei denn, das Konferenzsystem 101 bestimmt, dass der Teilnehmer/die Teilnehmerin 123 während der Besprechung andere Positionen einnimmt. Wenn sich zum Beispiel ein aktiver Sprecher/eine aktive Sprecherin während eines Konferenzsystems ändert, kann der Teilnehmer/die Teilnehmerin 123 verschoben werden, falls der aktive Sprecher/die aktive Sprecherin nicht schon eine Position im Besprechungsraum hat. Falls desgleichen noch ein weiterer Teilnehmer/eine weitere Teilnehmerin in den Besprechungsraum gebracht wird, lässt sich die Position des Teilnehmers/der Teilnehmerin 123 so ändern, dass für den neuen Teilnehmer/die neue Teilnehmerin Raum geschaffen wird. Wenn der Teilnehmer/die Teilnehmerin 122 seine/ihre Ausrichtung zur HMD 103 ändert (z. B. seinen/ihren Kopf dreht, andere Positionen am Besprechungsort einnimmt etc.), werden diese Ausrichtungsänderungen bei Schritt 5 berücksichtigt, wenn das Video verarbeitet wird (d. h. die Ansicht des Teilnehmers/der Teilnehmerin 122 während der Verarbeitung bei Schritt 5 wäre aufgrund der Ausrichtungsänderung anders). Dies bedeutet in einigen Fällen auch, dass, falls der Teilnehmer/die Teilnehmerin 122 die Position des Teilnehmers/der Teilnehmerin 123 gerade nicht ansieht, der Teilnehmer/die Teilnehmerin 123 im AR-Video nicht gezeigt wird. Desgleichen zeigt, falls die Position des Teilnehmers/der Teilnehmerin 123 nur teilweise sichtbar ist, das AR-Video den Teilnehmer/die Teilnehmerin 123 demgemäß nur zum Teil.
In einigen Konfigurationen lassen sich Tonwiedergabegeräte am Ort 131 nutzen, um die Ausgangsposition eines zusammen mit dem Video von dem Teilnehmer/der Teilnehmerin 123 vom Aufnahmesystem 102 aufgenommenen Tonteils zu emulieren. Das heißt, das Konferenzsystem 101 wird ein Audiogerät auswählen, welches den aufgenommenen Tonteil abspielen und den Anschein erwecken kann, dass der Tonteil von der bestimmten Position des Teilnehmers/der Teilnehmerin 123 am Besprechungsort kommt. Daher lässt es die HMD 103 gegenüber dem Teilnehmer/der Teilnehmerin 122 nicht nur so aussehen, als ob sich der Teilnehmer/die Teilnehmerin 123 an einem konkreten Ort befindet, sondern das Audiogerät lässt es auch so klingen, als ob der Teilnehmer/die Teilnehmerin 123 von diesem Ort aus spricht. Bei einigen Beispielen befindet sich das Audiogerät nahe bei der bestimmten Position des Teilnehmers/der Teilnehmerin 123, während bei anderen Beispielen Audiogeräte, die nicht nahe bei den bestimmten Positionen sind, etwa in die HMD 103 eingebaute Geräte, genutzt werden, um den von der Position des Teilnehmers/der Teilnehmerin 123 kommenden Tonteil in der für sie bestmöglichen Weise zu simulieren.
In einigen Ausführungsformen nimmt ein anderes Aufnahmesystem den Teilnehmer/die Teilnehmerin 122 auf und der Teilnehmer/die Teilnehmerin 122 wird dem Teilnehmer/der Teilnehmerin 123 unter Widerspiegelung des Betriebs 300 durch eine von dem Teilnehmer/der Teilnehmerin 123 getragene HMD präsentiert. Des Weiteren können sich an jedem Ort 131 (oder zusätzlichen Orten, die nicht erwähnt werden) zusätzliche Teilnehmer/Teilnehmerinnen befinden und diese zusätzlichen Teilnehmer/Teilnehmerinnen werden weiter auf den HMDs anderer Teilnehmer/Teilnehmerinnen emuliert, die sich nicht am selben Ort befinden.
4 veranschaulicht einen Betrieb 400 der Konferenzumgebung 100, um verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen zu präsentieren. Beim Betrieb 400 erfordert ein durch das Konferenzsystem 101 übertragenes Video eine zusätzliche Verarbeitung vor der Präsentation durch die HMD 103. Die Schritte 1 und 2 erfolgen genauso wie oben beim Betrieb 300. Desgleichen wird bei Schritt 3 eine Position des Teilnehmers/der Teilnehmerin 123 genauso wie bei Schritt 4 des Betriebs 300 bestimmt.
Dagegen bestimmt das Konferenzsystem 101 bei Schritt 4 des Betriebs 400 Verarbeitungsinformationen für das Video von dem Teilnehmer/der Teilnehmerin 123, statt dass das Konferenzsystem 101 das Video selbst verarbeitet. Um die Verarbeitungsinformationen zu bestimmen, nutzt das Konferenzsystem 101 Informationen von demselben Typ, den es auch bei Schritt 5 des Betriebs 300 nutzt, um das Video zu verarbeiten. Das heißt, das Konferenzsystem 101 kann von der HMD 103 her empfangene Ansichtsparameter oder andere Informationen von der HMD 103 oder dem Ort 131 her nutzen, um zu bestimmen, wie der Teilnehmer/die Teilnehmerin 123 dem Teilnehmer/der Teilnehmerin 122 präsentiert werden soll. Dann werden Verarbeitungsparameter generiert, die mindestens genug Informationen beinhalten, damit die HMD 103 die vom Konferenzsystem 101 bei Schritt 5 des Betriebs 300 durchgeführte Verarbeitung durchführen kann.
Bei Schritt 5 beim Betrieb 400 werden die Verarbeitungsinformationen und mindestens das Video von dem Teilnehmer/der Teilnehmerin 123 an die HMD 103 übertragen. Das Video von dem Teilnehmer/der Teilnehmerin 123 kann mehrere Streams beinhalten, falls mehr als ein Winkel des Teilnehmers/der Teilnehmerin aufgenommen wird, um entweder unterschiedliche Ansichtswinkel des Teilnehmers/der Teilnehmerin 123 zu liefern oder um eine dreidimensionale Ansicht des Teilnehmers/der Teilnehmerin 123 zu generieren. Des Weiteren kann auch ein Video vom Besprechungsort, das entweder real oder virtuell ist, an die HMD 103 übertragen werden, falls die HMD 103 in einer VR-Konfiguration betrieben wird.
Nach dem Empfang der Verarbeitungsinformationen und des Videos verarbeitet die HMD 103 das Video und zeigt das verarbeitete Video bei Schritt 6 an. Wenngleich die Videoverarbeitungspflichten vom Konferenzsystem 101 beim Betrieb 300 auf die HMD 103 beim Betrieb 400 übergehen, ist die Erfahrung des Teilnehmers/der Teilnehmerin 122 während der Präsentation des Videos durch die HMD 103 zwischen den zwei Betriebsabläufen im Wesentlichen gleich. Zudem können beim Betrieb 400, wie beim Betrieb 300, weiter Tonteile, die von dem Teilnehmer/der Teilnehmerin 123 zusammen mit dem Video aufgenommen werden, verarbeitet und zur Präsentation an die HMD 103 übertragen so werden, als ob die Tonteile von der Position kommen, an welcher der Teilnehmer/die Teilnehmerin 123 im Video gezeigt würden.
Wenngleich die obigen Betriebsabläufe nur für einen entfernten Teilnehmer/eine entfernte Teilnehmerin gelten, können die Betriebsabläufe auch für mehrere entfernte Teilnehmer/Teilnehmerinnen durchgeführt und diese entfernten Teilnehmer/Teilnehmerinnen dabei so präsentiert werden, als ob sie im selben Besprechungsraum sind wie der Teilnehmer/die Teilnehmerin 122, der/die die HMD 103 trägt.
Unter erneuter Bezugnahme auf 1 umfasst das Konferenzsystem 101 ein Computerverarbeitungssystem und eine Kommunikationsschnittstelle. Das Konferenzsystem 101 kann auch noch andere Komponenten beinhalten, etwa einen Router, einen Server, ein Datenspeichersystem und eine Stromversorgung. Das Konferenzsystem 101 kann in einem einzelnen Gerät liegen oder kann über mehrere Geräte verteilt sein. Das Konferenzsystem 101 könnte ein Anwendungsserver, eine Personal Workstation oder ein Computersystem von einem beliebigen anderen Typ sein, das zum Ermöglichen einer Konferenz mit mehreren beteiligten Personen fähig ist – einschließlich Kombinationen davon.
Das Teilnehmeraufnahmesystem 102 umfasst eine oder mehrere Kameras zum Aufnehmen des Teilnehmers/der Teilnehmerin 123 und eine Kommunikationsschaltung zum Kommunizieren mit dem Konferenzsystem 101. Das Aufnahmesystem 102 kann auch ein oder mehrere Mikrofone zum Aufnehmen von Ton, eine Stromversorgung, eine Verarbeitungsschaltung oder andere Komponenten beinhalten. Das Aufnahmesystem 102 kann in einem einzelnen Gerät liegen oder kann über mehrere Geräte verteilt sein. Zum Beispiel umfasst das Aufnahmesystem 102 möglicherweise getrennte Kamera- und Mikrofonkomponenten zum Aufnehmen des Teilnehmers/der Teilnehmerin 123. Bei einigen Beispielen beinhaltet das Aufnahmesystem 102 möglicherweise Motoren, die ein Drehen, Schwenken oder Neigen des Systems 102 erlauben. Das Aufnahmesystem 102 kann auch 3D-Aufnahme- und -Registrierfähigkeiten wie Tiefen- oder Stereoabtastung beinhalten.
Die HMD 103 umfasst ein Gestell, damit der Teilnehmer/die Teilnehmerin 122 die HMD 103 an seinem/ihrem Kopf tragen kann. In der Regel hat die AR-HMD 103 allgemein die Form einer Brille. Die HMD 103 umfasst weiter eine persönliche Anzeige zum Anzeigen von Videobildern für den Teilnehmer/die Teilnehmerin 122. Die Anzeige kann einen Bildprojektor umfassen, der Bilder auf Linsen der HMD 103 projiziert, oder kann eine Anzeige wie eine LCD sein, die in die Linsen eingebaut oder an ihrer Stelle vorhanden ist. Die HMD 103 beinhaltet weiter eine Verarbeitungs- und Kommunikationsschaltung und kann Tonwiedergabekomponenten wie Lautsprecher oder Kopfhörer beinhalten. Darüber hinaus kann die HMD 103 Video- und Tonaufnahmekomponenten wie eine Kamera und ein Mikrofon beinhalten.
Die Kommunikationsverbindungen 111 und 112 nutzen Metall, Glas, Luft, den Raum oder irgendein anderes Material als Transportmedium. Die Kommunikationsverbindungen 111 und 112 könnten verschiedene Kommunikationsprotokolle nutzen, etwa Time Division Multiplex (TDM), Internet Protocol (IP), Ethernet, Kommunikationssignalisierung, Code Division Multiple Access (CDMA), Evolution Data Only (EVDO), Worldwide Interoperability for Microwave Access (WIMAX), Global System for Mobile Communication (GSM), Long Term Evolution (LTE), Wireless Fidelity (WIFI), High Speed Packet Access (HSPA) oder irgendein anderes Kommunikationsformat – einschließlich Kombinationen davon. Die Kommunikationsverbindungen 111 und 112 könnten direkte Verbindungen sein oder können dazwischenliegende Netze, Systeme oder Geräte beinhalten.
5 veranschaulicht eine Konferenzumgebung 500. Die Konferenzumgebung 500 beinhaltet ein Konferenzsystem 501, einen Besprechungsraum 502, einen Besprechungsraum 503, einen individuellen Raum 504 und ein Kommunikationsnetz 505. Der Besprechungsraum 502 beinhaltet AR-HMDs 521–523, Audio-Video-Aufnahmegeräte 524 und Raumsensoren 525. Der Besprechungsraum 503 beinhaltet AR-HMDs 531–532, Audio-Video-Aufnahmegeräte 534 und Raumsensoren 535. Der individuelle Raum 504 beinhaltet eine Virtual-Reality(VR)-HMD 541 und eine Tonaufnahme 544. Das Kommunikationsnetz 505 kommuniziert mit dem Konferenzsystem 501, dem Besprechungsraum 502, dem Besprechungsraum 503 und dem individuellen Raum 504 jeweils über Kommunikationsverbindungen 511–514.
Das Kommunikationsnetz 505 umfasst Netzelemente, die Kommunikationsdienste für die Räume 502–504 und das Konferenzsystem 501 bereitstellen. Das Kommunikationsnetz 505 umfasst möglicherweise Switches, Funkzugangsknoten, Internetrouter, Netzgateways, Anwendungsserver, Computersysteme, Kommunikationsverbindungen oder eine Kommunikationsausstattung von irgendeinem anderen Typ – einschließlich Kombinationen davon. Wenngleich das Kommunikationsnetz 505 als einzelnes Netz gezeigt ist, kann es auch eine Menge von Netzen umfassen, die Local Area Networks, Wide Area Networks, das Internet oder Computernetze von beliebigen anderen Typen beinhalten – einschließlich Kombinationen davon.
Die Audio-Video-Aufnahmegeräte 524 und 534 umfassen Komponenten wie 2D- oder 3D-Kameras und Mikrofone, die für Video- und Tonaufnahmen von den Besprechungsräumen 502 und 503 und den darin befindlichen Teilnehmern genutzt werden. Die A/V-Aufnahmegeräte 524 und 534 können weiter Schaltungselemente für Kabel- oder Drahtlosvernetzung beinhalten, etwa eine Ethernet-Schnittstelle, eine Wi-Fi-Schnittstelle, ein Bluetooth-Modul oder eine Kommunikationsschnittstelle von einem anderen Typ. Bei einigen Beispielen können manche Komponenten der A/V-Aufnahmegeräte 524 und 534 in den AR-HMDs 521–523 und 531–532 beinhaltet sein.
Die Raumsensoren 525 und 535 beinhalten Komponenten, die Informationen aufnehmen, welche zum Bestimmen der Position und der Ansicht eines Teilnehmers/einer Teilnehmerin genutzt werden. Die Sensoren 525 und 535 beinhalten möglicherweise Näherungssensoren, RFID-Tags, Infrarot-Tags, Kompasse, Schallsensoren, Beschleunigungsmesser, Gyrosensoren oder beliebige andere Komponenten, die maßgebliche Informationen liefern können. Mindestens einige der Komponenten der Sensoren 525 und 535 können in die HMDs 521–523 und 531–532 und die A/V-Aufnahmegeräte 524 und 534 integriert sein.
Bei einigen Beispielen beinhaltet jeder der Räume 502–504 möglicherweise weiter ein Zwischencomputersystem, das mit den HMDs, den A/V-Aufnahmegeräten und den Raumsensoren jedes Raums kommuniziert. Die Zwischencomputersysteme kommunizieren dann mit dem Konferenzsystem 501. In einigen Konfigurationen können einige der vom Konferenzsystem 501 durchgeführten Funktionen im Auftrag des Konferenzsystems 501 von diesen Zwischencomputersystemen erfüllt werden.
Mittels der oben beschriebenen Verfahren und Betriebsabläufe ermöglicht das Konferenzsystem 501 eine Besprechung zwischen Teilnehmern/Teilnehmerinnen, die die HMDs tragen, in der Umgebung 500. Insbesondere zeigen die AR-HMDs entfernte Teilnehmer/Teilnehmerinnen innerhalb des Besprechungsraums an, in dem sich die jeweiligen AR-HMDs befinden. Die VR-HMD präsentiert entweder einen virtuellen Besprechungsraum, in dem die AR-HMD-Teilnehmer/AR-HMD-Teilnehmerinnen platziert sind, oder der dem VR-Teilnehmer/der VR-Teilnehmerin präsentierte Besprechungsraum ist einer der Besprechungsräume 502 und 503, in dem der VR-Teilnehmer/die VR-Teilnehmerin „positioniert“ ist.
6 veranschaulicht eine beispielhafte Ausrichtung von Teilnehmern/Teilnehmerinnen innerhalb der Räume 502–504. Insbesondere beinhaltet der Besprechungsraum 502 Teilnehmer/Teilnehmerinnen 611–613, die gerade jeweils die AR-HMDs 521–523 tragen. Der Besprechungsraum 503 beinhaltet Teilnehmer/Teilnehmerinnen 614 und 615, die gerade jeweils die AR-HMDs 521–523 tragen. Der unabhängige Raum 504 beinhaltet einen Teilnehmer/eine Teilnehmerin 616, der/die eine VR-HMD 441 trägt. Bei diesem Beispiel beinhaltet der Besprechungsraum 502 einen Konferenztisch mit sechs Sitzpositionen mit einem Gerät 621–626 an jeder Position. Jedes Gerät 621–626 beinhaltet Komponenten von A/V-Aufnahmegeräten 524 und Raumsensoren 525. Der Besprechungsraum 503 beinhaltet einen Konferenztisch, ebenfalls mit sechs Sitzpositionen, mit einem Gerät 631–636 an jeder Position. Jedes Gerät 631–636 beinhaltet Komponenten von A/V-Aufnahmegeräten 534 und Raumsensoren 535. Des Weiteren ist das Tonaufnahmegerät 544 bei diesem Beispiel in die VR-HMD 541 integriert.
Im Betrieb haben alle der Geräte 621, 623, 624, 633 und 635 Teilnehmer/Teilnehmerinnen an ihren jeweiligen Orten. Demgemäß beginnen diese Geräte, sobald die Konferenzsitzung angefangen hat, mit Ton- und Videoaufnahmen von ihren jeweiligen Teilnehmern/Teilnehmerinnen und mit der Übertragung dieser Ton- und Videoaufnahmen an das Konferenzsystem 501. Die Geräte 622, 625, 626, 631, 632, 634 und 636 haben keine Teilnehmer/Teilnehmerinnen an ihren Positionen, nehmen aber trotzdem Ton und Videos auf, um zusätzliche Winkel von den Teilnehmern/Teilnehmerinnen zu liefern, die möglicherweise für die Präsentation gegenüber entfernten Teilnehmern/Teilnehmerinnen benötigt werden. Darüber hinaus beinhaltet jede der AR-HMDs 521–523 und 531–532 nach außen gerichtete Videokameras, die Videos aufnehmen und an das Konferenzsystem 501 übertragen, das die Videos zum Bestimmen einer Ansicht jedes Teilnehmers/jeder Teilnehmerin nutzt, und die auch genutzt werden könnten, um zusätzliche Winkel von anderen Teilnehmern/Teilnehmerinnen im Raum zu generieren. Ferner nimmt das Aufnahmegerät 627 ein Video vom Besprechungsraum 502 zur Nutzung im VR-Video auf und stellt die visuelle Perspektive der Konferenz für den Teilnehmer/die Teilnehmerin 616 durch die VR-HMD 541 bereit. Weiter versteht es sich, dass das Gerät 627 genutzt werden kann, um zusätzlich zum bei diesem Beispiel erörterten VR-Video ein AR-Video aufzunehmen.
Nach dem Empfangen der Audio-, Video- und anderen Sensorinformationen führt das Konferenzsystem 401 die für die Betriebsabläufe 300 oder 400 oben beschriebenen Schritte durch. Dank dieser Betriebsabläufe kann das Konferenzsystem 401 zusammen mit den AR- und den VR-HMDs AR- und VR-Videos bereitstellen, die nötig sind, damit die Teilnehmer/Teilnehmerinnen 611–616 alle die Konferenzsitzung so erfahren, als wenn sie alle im selben Raum seien.
7 veranschaulicht eine beispielhafte Ausrichtung von Teilnehmern/Teilnehmerinnen innerhalb der Räume 502–504, sobald die Teilnehmer/Teilnehmerinnen die Konferenzsitzung durch vom Konferenzsystem 501 bereitgestellte Videos ansehen. Insbesondere hat das Konferenzsystem 501 wie gezeigt Positionen innerhalb jedes Raums 502 und 503 für die von jedem Raum entfernten Teilnehmer/Teilnehmerinnen bestimmt. Keine Position wurde bei diesem Beispiel für den Teilnehmer/die Teilnehmerin 616 bestimmt, weil kein Video von dem Teilnehmer/der Teilnehmerin 616 aufgenommen wurde, obwohl Tonteile von dem Teilnehmer/der Teilnehmerin 616 von einer konkreten Position präsentiert werden können. Jedoch wird bei einigen Beispielen möglicherweise ein Video von dem Teilnehmer/der Teilnehmerin 616 aufgenommen und deshalb kann die freie Stelle in jedem der Räume 502 und 503 von dem Teilnehmer/der Teilnehmerin 616 eingenommen werden. Alternativ kann der Teilnehmer/die Teilnehmerin 616 statt durch ein Echtzeitvideo von dem Teilnehmer/der Teilnehmerin 616 durch einen Avatar oder eine andere grafische Darstellung dargestellt werden.
Wenn die Teilnehmer/Teilnehmerinnen 611–613 im Raum 502 durch ihre AR-HMDs angesehen werden, können sie ein Video von den Teilnehmern/Teilnehmerinnen 614–615 an Positionen im Raum 502 so sehen, als ob sich die Teilnehmer/Teilnehmerinnen 614–615 im Raum 502 befänden. Desgleichen können die Teilnehmer/Teilnehmerinnen 614–615 im Raum 503 ein Video von den Teilnehmern/Teilnehmerinnen 611–613 an Positionen im Raum 503 so sehen, als ob sich die Teilnehmer/Teilnehmerinnen 611–613 im Raum 503 befänden. Dank Bildsegmentierungstechniken, die oben erörtert wurden, lässt sich das Videobild jedes entfernten Teilnehmers/jeder entfernten Teilnehmerin vom Hintergrundbild trennen. Daher sehen lokale Teilnehmer/Teilnehmerinnen kein Video von dem Raum, in dem sich die entfernten Teilnehmer/Teilnehmerinnen physisch befinden. Bei einem konkreten Beispiel ist die Ansicht 701 das, was der Teilnehmer/die Teilnehmerin 611 durch seine/ihre AR-HMD 521 sieht. Obgleich die Position des Teilnehmers/der Teilnehmerin 615 physisch leer ist, erweckt das dem Teilnehmer/der Teilnehmerin 611 präsentierte AR-Video den Anschein, dass der Teilnehmer/die Teilnehmerin 615 an dieser Position ist. Ähnlich ist die Ansicht 702 das, was der Teilnehmer/die Teilnehmerin 615 durch seine/ihre AR-HMD 532 sieht. Obgleich die Positionen der Teilnehmer/Teilnehmerinnen 611 und 612 physisch leer sind, erweckt das dem Teilnehmer/der Teilnehmerin 615 präsentierte Video den Anschein, dass die Teilnehmer/Teilnehmerinnen 611 und 612 an diesen Positionen sind.
Wenn sich die Ansichten 701 und 702 ändern (z. B. wenn die Teilnehmer/Teilnehmerinnen 611 und 612 ihre Köpfe neigen oder schwenken), verfolgt das Konferenzsystem 501 diese Ansichtsänderungen und gleicht das Video oder die Verarbeitungsinformationen, die eine AR-HMD zum Ändern und Angleichen des Videos nutzen würde, für jeden Teilnehmer/jede Teilnehmerin entsprechend an, um sicherzustellen, dass die entfernten Teilnehmer/Teilnehmerinnen weiterhin in ihren korrekten Positionen präsentiert werden. Demzufolge präsentiert das AR-Video im Fall der Ansicht 701, wenn der Teilnehmer/die Teilnehmerin 611 seinen/ihren Kopf mehr nach links dreht, möglicherweise den Teilnehmer/die Teilnehmerin 612 nicht mehr, da sich der Teilnehmer/die Teilnehmerin 612 aus der Ansicht wegbewegt, und präsentiert, wie der Teilnehmer/die Teilnehmerin 614 neben dem Teilnehmer/der Teilnehmerin 611 „sitzt“, wenn sich der Teilnehmer/die Teilnehmerin 614 in die Ansicht hineinbewegt.
Was den Teilnehmer/die Teilnehmerin 616 angeht, so umfasst das dem Teilnehmer/der Teilnehmerin 616 präsentierte VR-Video eine vom Gerät 627 aufgenommene Ansicht 703. Die VR-HMD 541 präsentiert ein Video sowohl vom Besprechungsraum 502 als auch von dem Teilnehmer/der Teilnehmerin 614, wobei das Video von dem Teilnehmer/der Teilnehmerin 614 auf dem Video vom Besprechungsraum 502 in der Sitzposition zwischen den Teilnehmern/Teilnehmerinnen 611 und 612 eingeblendet wird. Da das Besprechungsraumgeschehen die Teilnehmer/Teilnehmerinnen 611 und 612, die sich physisch im Besprechungsraum 502 befinden, beinhaltet, ist kein getrenntes Video von den Teilnehmern/Teilnehmerinnen 611 und 612 nötig. Wenn der Teilnehmer/die Teilnehmerin 616 seinen/ihren Kopf nach rechts bewegt, ändert sich die Ansicht 703 und der Teilnehmer/die Teilnehmerin 613 rückt in die Ansicht, wie vom Gerät 627 aufgenommen. Darüber hinaus wird weiter rechts ein Video von dem Teilnehmer/der Teilnehmerin 615 weiter in das VR-Video eingeblendet, sodass der Teilnehmer/die Teilnehmerin 616 in der Lage ist, den Teilnehmer/die Teilnehmerin 615 so zu sehen, als ob der Teilnehmer/die Teilnehmerin 615 im Raum 502 sei. Das Gerät 627 muss sich möglicherweise selbst bewegen, um die Ansicht 703 in Übereinstimmung mit den Kopfbewegungen des Teilnehmers/der Teilnehmerin 616 aufzunehmen, oder das Gerät 627 nimmt möglicherweise ein Video auf, das breit genug ist, sodass sich nur der Teil dieser durch die VR-HMD 441 angezeigten Weitwinkelansicht ändert.
Um die Wirksamkeit des AR-Videos zu erhöhen, wird darüber hinaus ein Tonteil von jedem entfernten Teilnehmer/jeder entfernten Teilnehmerin an der Position dieses Teilnehmers/dieser Teilnehmerin vom Gerät abgespielt. Falls zum Beispiel der Teilnehmer/die Teilnehmerin 614 gerade spricht, präsentiert das Gerät 622 den Tonteil von dem Teilnehmer/der Teilnehmerin 614, sodass die Teilnehmer/Teilnehmerinnen 611–613 den Teilnehmer/die Teilnehmerin 614 so hören, als ob der Teilnehmer/die Teilnehmerin 614 wirklich an der Position in dem im AR-Video präsentierten Raum 502sei. Alternativ kann jede der AR-HMDs 521–523 Audiolautsprecher beinhalten, die derart angeordnet sind, dass sie den von der Position des Teilnehmers/der Teilnehmerin 614 im Raum 502 kommenden Tonteil simulieren. Des Weiteren kann jedes Gerät in den Räumen 502 und 503 den für den Teilnehmer/die Teilnehmerin 616 aufgenommenen Tonteil präsentieren. Falls dagegen für den Teilnehmer/die Teilnehmerin 616 eine Position in einem oder beiden der Räume 502 und 503 bestimmt wird, lässt sich der Tonteil so präsentieren, als ob er von dieser bestimmten Position käme.
8 veranschaulicht eine Ansicht 702 aus der Perspektive des Teilnehmers/der Teilnehmerin 615 im Besprechungsraum 503. Insbesondere stellt die Ansicht 702 in 8 die Ansicht dar, bevor die AR-HMD 532 das Video präsentiert. Daher sieht der Teilnehmer/die Teilnehmerin 615 den Besprechungsraum 503 im Grunde so an, als ob dies durch eine normale transparente Brille geschieht, und er/sie kann nur den Teilnehmer/die Teilnehmerin 613, die Geräte 631–633 und den Konferenztisch sehen, die sich alle physisch im Besprechungsraum 403 befinden. Ferner stellt die Ansicht 702 ein Video dar, das als Ansichtsinformation genutzt werden kann, um die Ansicht und die Position des Teilnehmers/der Teilnehmerin 615 innerhalb des Besprechungsraums 503 zu bestimmen.
9 veranschaulicht dann eine Ansicht 702 aus derselben Perspektive des Teilnehmers/der Teilnehmerin 615, sobald eine Besprechung angefangen hat. Wie bereits in 7 gezeigt, sind die entfernten Teilnehmer/Teilnehmerinnen 611 und 612 an den zwei Positionen neben dem lokalen Teilnehmer/der lokalen Teilnehmerin 614 positioniert. Deshalb zeigt die AR-HMD 532 ein Video von den Teilnehmern/Teilnehmerinnen 611 und 612 an ihren bestimmten Positionen an. Wenn das Video von den Teilnehmern/Teilnehmerinnen 611 und 612 angezeigt wird, werden des Weiteren Objekte, die sich zwischen den Positionen der Teilnehmer/Teilnehmerinnen 611 und 612 befinden (d. h. die Geräte 631 und 632), insofern berücksichtigt, als die Teilnehmer/Teilnehmerinnen 611 und 612 im Video als von den Geräten 631 und 632 verdeckt angezeigt werden. Falls zudem der Teilnehmer/die Teilnehmerin 615 seinen/ihren Kopf drehen sollte, bei diesem Beispiel nach rechts, bewegt sich das Video von dem Teilnehmer/der Teilnehmerin 611 möglicherweise aus der Ansicht heraus und wird nicht mehr angezeigt, während das Video von dem Teilnehmer/der Teilnehmerin 613 in die Ansicht rückt. Bei diesem Beispiel wird der Teilnehmer/die Teilnehmerin 613 möglicherweise in einer Profilansicht gezeigt, es sei denn, der Teilnehmer/die Teilnehmerin 615 wird von dem Teilnehmer/der Teilnehmerin 613 gerade „angeblickt“, um den Teilnehmer/die Teilnehmerin 613 bestmöglich so anzuzeigen, als ob er/sie physisch neben dem Teilnehmer/der Teilnehmerin 615 säße. Indem entfernte Teilnehmer/Teilnehmerinnen aus dem richtigen Winkel angezeigt werden, Objekte berücksichtigt werden, welche die Ansicht von Teilnehmern/Teilnehmerinnen an ihren ausgewiesenen Positionen möglicherweise verdecken, und Bewegungen des Teilnehmers/der Teilnehmerin 615 angeglichen werden, wie von der AR-HMD 532 in dieser Ausführungsform vorgenommen, ist der Teilnehmer/die Teilnehmerin 615 demgemäß in der Lage, die entfernten Besprechungsteilnehmer/Besprechungsteilnehmerinnen so anzusehen, als ob diese sich mit dem Teilnehmer/der Teilnehmerin 615 im Raum 503 befänden.
Bei einigen Beispielen fügt die AR-HMD 532 Präsentationsinformationen in die von dem Teilnehmer/der Teilnehmerin 615 angesehenen Videos ein. Zum Beispiel beinhalten die Informationen möglicherweise Präsentationsfolien, die auf eine Wand hinter den Teilnehmern/Teilnehmerinnen 611–613 oder auf den Tisch des Besprechungsraums 503 projiziert scheinen. Alternativ könnten die Informationen in einer von jeglichen physischen Merkmalen im Raum 503 unabhängigen Weise präsentiert werden. Desgleichen können noch andere Informationen präsentiert werden, etwa Chatfenster, auf die Konferenzsitzung bezogene Kontextinformationen oder beliebige andere visuelle Informationen, die ein Teilnehmer/eine Teilnehmerin nützlich finden könnte. Des Weiteren können die Präsentationsinformationen Objekte beinhalten, die so ähnlich wie entfernte Teilnehmer/Teilnehmerinnen präsentiert werden. Zum Beispiel wird ein Objekt möglicherweise auf dem Tisch im Raum 503 platziert. Das Objekt kann durch die Geräte 631–636 aus mehreren Winkeln aufgenommen und den Teilnehmern/Teilnehmerinnen 611–613 durch ihre jeweiligen HMDs 521–523 präsentiert werden. Insbesondere kann das Objekt in der Mitte des Tisches im Raum 502 präsentiert werden, wobei die Vorderseite des Objekts dem Gerät 625 zugewandt ist. Demgemäß sind die Teilnehmer/Teilnehmerinnen 611 und 612 in der Lage, die Rückseite des Objekts aus einem Winkel anzusehen, und der Teilnehmer/die Teilnehmerin 613 ist in der Lage, die Vorderseite des Objekts aus einem Winkel anzusehen.
10 veranschaulicht dann eine Ansicht 703 aus derselben Perspektive des Teilnehmers/der Teilnehmerin 616, sobald eine Besprechung angefangen hat. Da der Teilnehmer/die Teilnehmerin 616 ein Teilnehmer/eine Teilnehmerin der virtuellen Realität ist, ist die Ansicht des Raums 504 irrelevant und ist nicht in das durch die VR-HMD 541 angezeigte Video integriert. Der dem Teilnehmer/der Teilnehmerin 616 präsentierte Besprechungsraum ist eine Videoaufnahme vom Besprechungsraum 502, statt dass ein virtueller Besprechungsraum für die Präsentation gerendert würde. Da das Video ein wirkliches Video vom Besprechungsraum 502 ist, sind Teilnehmer/Teilnehmerinnen, die sich physisch innerhalb des Raums 502 befinden, bereits in diesem Video beinhaltet. Dagegen ist der Teilnehmer/die Teilnehmerin 614 vom Raum 502 entfernt und deshalb wird ein Video von dem Teilnehmer/der Teilnehmerin 614 auf das Video vom Raum 502 eingeblendet. Ferner wird der Teilnehmer/die Teilnehmerin 614 in einer Profilansicht gezeigt, um die Position des Teilnehmers/der Teilnehmerin 614 relativ zur Ansicht 703 zu berücksichtigen. Falls der Teilnehmer/die Teilnehmerin 614 sich zu dem Teilnehmer/der Teilnehmerin 616 hin wenden sollte, würde sich natürlich die Ausrichtung des Videos von dem Teilnehmer/der Teilnehmerin 614 so ändern, dass der Teilnehmer/die Teilnehmerin 614 als dem Teilnehmer/der Teilnehmerin 616 zugewandt gezeigt würde.
Da die Position des Teilnehmers/der Teilnehmerin 614 von dem Teilnehmer/der Teilnehmerin 611 etwas verdeckt wird, wird darüber hinaus das Video von dem Teilnehmer/der Teilnehmerin 614 so präsentiert, dass der Teilnehmer/die Teilnehmerin 614 so aussieht, als ob er/sie teilweise hinter dem Teilnehmer/der Teilnehmerin 611 ist, wie es der Fall wäre, falls der Teilnehmer/die Teilnehmerin 614 physisch im Raum 502 wäre. Falls der Teilnehmer/die Teilnehmerin 616 seinen/ihren Kopf nach rechts bewegen sollte, kann das Video vom Besprechungsraum 502 nach rechts schwenken und die Einblendung des Teilnehmers/der Teilnehmerin 614 kann sich aus der Ansicht herausbewegen, während eine Einblendung des Teilnehmers/der Teilnehmerin 615 sich in die Ansicht hineinbewegt. Des Weiteren können wie beim AR-Beispiel oben zusätzliche visuelle Informationen wie Konferenzfolien, Chatfenster etc. dem Teilnehmer/der Teilnehmerin 616 ebenfalls im VR-Video präsentiert werden.
11 veranschaulicht eine am Kopf angebrachte Anzeige 1100. Die am Kopf angebrachte Anzeige 1100 ist ein Beispiel für eine am Kopf angebrachte Anzeige 103, wenngleich die am Kopf angebrachte Anzeige 103 alternative Konfigurationen nutzen könnte. Die am Kopf angebrachte Anzeige 1100 umfasst eine Kommunikationsschnittstelle 1101, eine Benutzerschnittstelle 1102, ein Verarbeitungssystem 1103 und Sensoren 1104. Das Verarbeitungssystem 1103 ist mit der Kommunikationsschnittstelle 1101 und der Benutzerschnittstelle 1102 verbunden. Das Verarbeitungssystem 1103 beinhaltet eine Verarbeitungsschaltung 1105 und ein Speichergerät 1106, das eine Betriebssoftware 1107 speichert. Die am Kopf angebrachte Anzeige 1100 kann weitere wohl bekannte Komponenten wie eine Batterie und ein Gehäuse beinhalten, die der Klarheit halber nicht gezeigt werden. Die am Kopf angebrachte Anzeige 1100 ist möglicherweise ein Personal Computer, ein Server oder irgendeine andere Computereinrichtung – einschließlich Kombinationen davon. Bei einigen Beispielen ist die am Kopf angebrachte Anzeige 1100 möglicherweise über mehrere Orte repliziert, um die Verarbeitungslast zu verteilen, die zum Funktionieren, wie hierin beschrieben, erforderlich ist.
Die Kommunikationsschnittstelle 1101 umfasst Komponenten, die über Kommunikationsverbindungen wie Netzkarten, Ports, HF-Transceiver, Verarbeitungsschaltungen und -software oder beliebige andere Kommunikationsgeräte kommunizieren. Die Kommunikationsschnittstelle 1101 kann konfiguriert sein, um über metallische, drahtlose oder optische Verbindungen zu kommunizieren. Die Kommunikationsschnittstelle 1101 kann konfiguriert sein, um TDM, IP, Ethernet, optische Vernetzung, Drahtlosprotokolle, Kommunikationssignalisierung oder irgendein anderes Kommunikationsformat zu nutzen – einschließlich Kombinationen davon.
Die Benutzerschnittstelle 1102 umfasst Komponenten, die mit einem Benutzer/einer Benutzerin interagieren, um Benutzereingaben zu empfangen und Medien und/oder Informationen zu präsentieren. Speziell beinhaltet die Benutzerschnittstelle 1102 eine Anzeige zum Präsentieren von Videos in der oben beschriebenen Weise. Die Benutzerschnittstelle 1102 beinhaltet möglicherweise einen Lautsprecher, ein Mikrofon, Schaltflächen, eine Beleuchtung, einen Anzeigebildschirm, einen Berührungsbildschirm, ein Berührungspad, ein Mausrad, einen Kommunikationsport oder irgendeine andere Benutzereingabe-/-ausgabeeinrichtung – einschließlich Kombinationen davon.
Die Sensoren 1104 umfassen Komponenten, die Informationen aufnehmen, welche für die Bestimmung der Ansicht aus oder der Ausrichtung der am Kopf angebrachten Anzeige 1100 relevant sind. Die Sensoren 1104 beinhalten möglicherweise eine nach vorn gerichtete Kamera, ein 3D-Gyroskop, einen Beschleunigungsmesser, einen Blickregistrierungssensor oder einen Sensor von einem beliebigen anderen Typ – einschließlich Kombinationen davon.
Die Verarbeitungsschaltung 1105 umfasst einen Mikroprozessor und andere Schaltungen, welche die Betriebssoftware 1107 aus dem Speichergerät 1106 abrufen und ausführen. Das Speichergerät 1106 umfasst ein nicht transientes Speichermedium wie ein Plattenlaufwerk, ein Flashlaufwerk, eine Datenspeicherschaltung oder irgendeine andere Speichereinrichtung. Die Verarbeitungsschaltung 1105 ist in der Regel auf einer Leiterplatte montiert, die auch mit dem Speichergerät 1106 und Teilen der Kommunikationsschnittstelle 1101 und der Benutzerschnittstelle 1102 bestückt sein kann. Die Betriebssoftware 1107 umfasst Computerprogramme, Firmware oder beliebige andere Formen maschinenlesbarer Verarbeitungsbefehle. Die Betriebssoftware 1107 beinhaltet ein Ansichtsinformationsmodul 1108 und ein Videopräsentationsmodul 1109. Die Betriebssoftware 1107 beinhaltet möglicherweise weiter ein Betriebssystem, Dienstprogramme, Treiber, Netzschnittstellen, Anwendungen oder Software von beliebigen anderen Typen. Wenn die Betriebssoftware 1107 von der Verarbeitungsschaltung 1105 ausgeführt wird, weist sie das Verarbeitungssystem 1103 dazu an, die am Kopf angebrachte Anzeige 1100, wie hierin beschrieben, zu betreiben.
Insbesondere weist das Ansichtsinformationsmodul 1108 das Verarbeitungssystem 1103 dazu an, während einer Konferenzsitzung Ansichtsinformationen von den Sensoren 1104 zu kompilieren, die zum Bestimmen einer ersten Ansicht genutzt werden, die von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die die am Kopf angebrachte Anzeige 1100 trägt, gesehen wird. Das Videopräsentationsmodul 1109 weist das Verarbeitungssystem 1103 dazu an, über die Kommunikationsschnittstelle 1101 ein Konferenzvideo zu empfangen, das mindestens ein Video umfasst, das von einem zweiten Teilnehmer/einer zweiten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde. Das Videopräsentationsmodul 1109 weist das Verarbeitungssystem 1103 weiter dazu an, über die Benutzerschnittstelle 1102 das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video so zu präsentieren, dass der zweite Teilnehmer/die zweite Teilnehmerin an einer ersten Position eines Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.
12 veranschaulicht einen beispielhaften Formfaktor der am Kopf angebrachten Anzeige 1100. Speziell sieht 12 eine Brille 1200 vor, die ein Gestell 1201 und Linsen 1211–1212 beinhaltet. Ohne dass im Wesentlichen vom Formfaktor der Brille 1200 (z. B. Korbbrille, Visier etc.) abgewichen wird, kann die Verarbeitungsschaltung in das Gestell 1201 integriert oder in anderer Weise am Gestell 1201 befestigt sein. Ferner kann in die Linsen 1211–1212 ein transparentes oder undurchsichtiges Anzeigesystem integriert sein, abhängig davon, ob die Brille 1200 jeweils für AR- oder VR-Videos konfiguriert ist. Alternativ kann das Gestell 1201 eine Anzeige in Projektorart zum Projizieren von Videobildern auf die Linsen 1211–1212 beinhalten. Für VR-Videos kann die Brille mehr Umrissanpassungselemente beinhalten, um äußeres Licht, das die Augen des Teilnehmers/der Teilnehmerin beim Ansehen des VR-Videos erreicht, auszublenden. Desgleichen können die Linsen 1211–1212 bei einigen VR-Beispielen weggelassen und durch einen oder mehrere Anzeigebildschirme ersetzt werden.
Bei einigen Beispielen ist mindestens ein Teil der Verarbeitungs- und Kommunikationsschaltung von der Brille 1200 getrennt, wird jedoch trotzdem als Bestandteil der am Kopf angebrachten Anzeige 1100 betrachtet. Beispielsweise kommuniziert möglicherweise eine Wearable-Computereinheit (oder eine Computereinheit, die sich sonst nahe bei der Brille 1200 befindet) über eine drahtgebundene oder drahtlose (z. B. Bluetooth-, Wi-Fi- etc.) Verbindung mit der Brille 1200. Die Wearable-Computereinheit kann den Großteil der Verarbeitungs- und Netzkommunikationen durchführen, die für die Arbeitsweise der Brille 1200, wie hierin beschrieben, nötig sind.
Die obige Beschreibung und die assoziierten Figuren lehren die beste Ausführungsform der Erfindung. Die folgenden Ansprüche legen den Schutzbereich der Erfindung fest. Es ist zu beachten, dass einige Aspekte der besten Ausführungsform möglicherweise nicht in den Schutzbereich der Erfindung, wie von den Ansprüchen festgelegt, fallen. Der Fachmann erkennt, dass die oben beschriebenen Merkmale auf verschiedene Weisen kombiniert werden können, um mehrere Varianten der Erfindung zu bilden. Folglich wird die Erfindung nicht auf die speziellen Ausführungsformen, die oben beschrieben werden, sondern nur durch die folgenden Ansprüche und ihre Äquivalente begrenzt.

Claims

Nicht transientes computerlesbares Speichermedium mit darauf gespeicherten Befehlen, die, wenn sie von einer am Kopf angebrachten Anzeige (HMD), die von einem ersten Teilnehmer/einer ersten Teilnehmerin getragen wird, ausgeführtwerden, die HMD dazu anweisen, ein Verfahren zum Präsentieren einer Besprechung zwischen entfernten Augmented-Reality(AR)- und Virtual-Reality(VR)-Teilnehmern/-Teilnehmerinnen durchzuführen, wobei das Verfahren Folgendes umfasst: Kompilieren, während einer Konferenzsitzung, von Ansichtsinformationen, die zum Bestimmen einer von dem ersten Teilnehmer/der ersten Teilnehmerin gesehenen ersten Ansicht genutzt werden; Empfangen eines Konferenzvideos, das mindestens ein Video umfasst, das von einem zweiten Teilnehmer/einer zweiten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde; und Präsentieren des von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommenen Videos so, dass der zweite Teilnehmer/die zweite Teilnehmerin an einer ersten Position eines Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Konferenzvideo weiter ein Video vom Besprechungsort umfasst und das Verfahren weiter Folgendes umfasst: Präsentieren des Videos vom Besprechungsort.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Verfahren weiter Folgendes umfasst: Übertragen der Ansichtsinformationen an einen Konferenzserver; und wobei der Konferenzserver die Ansichtsinformationen nutzt, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video zu verarbeiten, um einen Ansichtswinkel der ersten Ansicht relativ zur ersten Position des Besprechungsorts zu berücksichtigen.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Verfahren weiter Folgendes umfasst: Nutzen der Ansichtsinformationen, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video zu verarbeiten, um einen Ansichtswinkel der ersten Ansicht relativ zur ersten Position des Besprechungsorts zu berücksichtigen.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei der Besprechungsort den physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin umfasst.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video einen von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommenen Tonteil beinhaltet und das Verfahren weiter Folgendes umfasst: Präsentieren des von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommenen Tonteils, sodass der von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Tonteil von der ersten Position des Besprechungsorts zu kommen scheint.
Am Kopf angebrachte Anzeige (HMD) zum Präsentieren einer Besprechung zwischen entfernten Augmented-Reality(AR)- und Virtual-Reality(VR)-Teilnehmern/-Teilnehmerinnen, wobei die HMD Folgendes umfasst: ein Verarbeitungssystem, das konfiguriert ist, um während einer Konferenzsitzung Ansichtsinformationen zu kompilieren, die zum Bestimmen einer ersten Ansicht genutzt werden, die von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die die HMD trägt, gesehen wird; eine Kommunikationsschnittstelle, die konfiguriert ist, um ein Konferenzvideo zu empfangen, das mindestens ein Video umfasst, das von einem zweiten Teilnehmer/einer zweiten Teilnehmerin, der/die vom physischen Ort des ersten Teilnehmers/der ersten Teilnehmerin entfernt ist, aufgenommen wurde; und ein Anzeigesystem, das konfiguriert ist, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video so zu präsentieren, dass der zweite Teilnehmer/die zweite Teilnehmerin an einer ersten Position eines Besprechungsorts in der ersten Ansicht für den ersten Teilnehmer/die erste Teilnehmerin erscheint.
HMD nach Anspruch 7, wobei das Konferenzvideo weiter ein Video vom Besprechungsort umfasst, und wobei die HMD weiter Folgendes umfasst: dass das Anzeigesystem konfiguriert ist, um das Video vom Besprechungsort zu präsentieren.
HMD nach Anspruch 7, die weiter Folgendes umfasst: dass die Kommunikationsschnittstelle konfiguriert ist, um die Ansichtsinformationen an einen Konferenzserver zu übertragen; und wobei der Konferenzserver die Ansichtsinformationen nutzt, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video zu verarbeiten, um einen Ansichtswinkel der ersten Ansicht relativ zur ersten Position des Besprechungsorts zu berücksichtigen.
HMD nach Anspruch 7, die weiter Folgendes umfasst: dass das Verarbeitungssystem konfiguriert ist, um die Ansichtsinformationen zu nutzen, um das von dem zweiten Teilnehmer/der zweiten Teilnehmerin aufgenommene Video zu verarbeiten, um einen Ansichtswinkel der ersten Ansicht relativ zur ersten Position des Besprechungsorts zu berücksichtigen.