DE19848765C2

DE19848765C2 - Positionsverifizierung in Kamerabildern

Info

Publication number: DE19848765C2
Application number: DE19848765A
Authority: DE
Inventors: Stefan Vilsmeier
Original assignee: Brainlab Medizinische Computersysteme GmbH
Current assignee: Brainlab AG
Priority date: 1998-10-22
Filing date: 1998-10-22
Publication date: 2000-12-21
Anticipated expiration: 2018-10-23
Also published as: DE19848765A1; US6724922B1

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Positionierung einblendbarer Positions marken oder Strukturen in einem Videokamerabild von Objekten. In Anwendung davon be trifft sie auch ein Verfahren zur visuellen Verifizierung der korrekten Lage eines Objektes und speziell ein Verfahren zur visuellen Verifizierung der korrekten Lage eines Patienten. Ferner betrifft die Erfindung eine Vorrichtung zur Durchführung solcher Verfahren.

Besonders auf dem medizinischen Gebiet ist man seit einiger Zeit dazu übergegangen, opti sche Hilfssysteme zur Verfügung zu stellen, um Patienten, zu behandelnde Körperstellen oder Instrumente innerhalb eines Behandlungsraumes computerunterstützt zu lokalisieren bzw. zu positionieren.

Herkömmlicherweise hat man z. B. in der Strahlentherapie die Position eines Tumors, wie sie auf einem Röntgenbild oder Bildern eines anderen bildgebenden Verfahrens zu erkennen war, mittels einer Farbmarkierung auf der Haut des Patienten gekennzeichnet, um dann den Be handlungsstrahl auf diese Stellen auszurichten und die Bestrahlung vorzunehmen.

Da diese Methode mit sehr großen Ungenauigkeiten behaftet ist, welche die Genauigkeit, mit der heutzutage Bestrahlungen vorgenommen werden können, von Anfang an relativiert, sind Systeme entwickelt worden, welche die genaue Positionierung computergestützt vornehmen.

Beispielsweise werden einem Patienten Referenzierungsmarker um die zu behandelnde Steile aufgesetzt, wonach die Position des Zielvolumens gegenüber den Referenzierungsmarkern mittels einer Computertomographie exakt festgestellt und in einem Datensatz gespeichert wird. Wenn nunmehr dieser Patient zu einem Bestrahlungsgerät verbracht wird, kann ein Navigati onssystem, beispielsweise bestehend aus zwei Infrarotkameras, die mit einem Computer ver bunden sind, die Lage der Referenzierungsmarker dreidimensional erfassen und mit Hilfe des Datensatzes aus der Computertomographie die Lage der Läsion im Behandlunsraum bestim men. Wenn nun dem Computer noch die räumliche Lage des Fokuspunktes des Bestrahlungs gerätes bekannt gemacht wird, kann mit Hilfe dieser Informationen dann das Zielvolumen ex akt an diesen Fokuspunkt verbracht werden, um eine zielgenaue Bestrahlung vorzunehmen.

Natürlich ist diese Art der genauen Positionierung auch bei andern technischen Aufgabenstel lungen anwendbar, bei denen die exakte Anordnung eines Objektes vonnöten ist.

Probleme ergeben sich hierbei deshalb, weil keinerlei Verifizierungsmechanismus bereitsteht. So muß beispielsweise der Strahlentherapeut, nachdem die Patientenpositionierung wie oben erläutert erfolgt ist, der Technik absolutes Vertrauen schenken, wenn er das Bestrahlungsgerät einschaltet. Er hat keine ausreichend genaue visuelle Kontrolle mehr und kann nicht feststel len, ob durch einen Systemfehler möglicherweise eine Fehlpositionierung aufgetreten ist.

Aus der US-A 5,446,548 ist es grundsätzlich bekannt, Raumlagedaten von Objekten mittels zweier IR-Kameras computergestützt zu errechnen. Die WO 97/14932 erwähnt die 3D- Präsentation errechneter Raumlagedaten auf einem Bildschirm. Die DE 40 21 102 betrifft eine gegenseitige Einblendung von Bildern aus unterschiedlichen Quellen (Ultraschall, Röntgen).

Es ist die Aufgabe der vorliegenden Erfindung ein Verfahren und eine Vorrichtung bereitzu stellen, die eine Verifizierung von solchen oben erläuterten, computergestützten Positionie rungsmethoden gestatten.

Gelöst wird diese Aufgabe einerseits erfindungsgemäß durch ein Verfahren zur Positionierung einblendbarer Positionsmarken oder Strukturen in einem Videokamerabild von Objekten, bei dem

- der Raumabschnitt mit den Objekten von mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen, und von mindestens einer Videokamera auf genommen wird,
- aus den Bildinformationen der Kameras, die unsichtbares Licht erfassen, computerge stützt die dreidimensionale Raumlage der Objekte errechnet wird, und
- den Objekten zugeordnete Positionsmarken entsprechend dieser jeweils errechneten Raumlage ins Videokamerabild der Objekte eingeblendet und zusammen mit diesem Videokamerabild auf einem Bildschirm ausgegeben werden.

Der Vorteil des erfindungsgemäßen Verfahrens liegt grundsätzlich darin, daß es eine visuelle Verifizierung erst möglich macht. Wenn die Objekte in den von den Kameras überwachten Raumabschnitt eingebracht wird, werden sie einerseits durch die Videokamera und anderer seits durch die beiden anderen Kameras für das unsichtbare Licht erfasst, und nach der Aus wertung und Zuordnung der Daten ist auf der Bildschirmausgabe sichtbar, ob die Positions marken sich mit den Videobildpunkten der Objekte decken. Wenn dies der Fall ist, kann man davon ausgehen, dass die copmputergestützte Positionierung erfolgreich war. Ergibt sich eine Diskrepanz, ist es notwendig diese Positionierung nachzubessern oder zu wiederholen.

Der spezielle Vorteil der Verwendung von Kameras für unsichtbares Licht, also insbesondere Infrarotkameras liegt darin, daß die dreidimensionale Lagebestimmung ungestört von sichtba ren Lichteinstrahlungen oder -reflexen erfolgen kann und deshalb genauer und mit geringerem Rechenaufwand durchgeführt wird.

Bei einer speziellen Ausführungsform weist das erfindungsgemäße Verfahren die folgenden Schritte auf:

- ein Kalibrierungswerkzeug, welches Markierungen aufweist, deren Anordnung im Com puter gespeichert ist und die sowohl von den Kameras für das unsichtbare Licht als auch von der Videokamera erfassbar sind, wird in den Raumabschnitt eingebracht,
- aus den Bildinformationen der Kameras, die unsichtbares Licht erfassen, wird compu tergestützt die dreidimensionale Raumlage der Markierungen auf dem Kalibrierungs werkzeug errechnet, und
- dieser jeweils errechneten Raumlage der Markierungen auf dem Kalibrierungswerkzeug wird die Bildposition der Markierungen im Videokamerabild zugeordnet.

Durch die Kalibrierung wird dem System mitgeteilt, wie sich die von der Videokamera einer seits und von den Kameras für unsichtbares Licht andererseits überwachten Raumabschnitte positionell zueinander verhalten. Auch erfährt der Computer, welche Positionsänderungen erfolgen, wenn sich bekannte dreidimensionale Gegenstände im überwachten Raumabschnitt bewegen und kann damit auch danach auf dem Videobild räumliche Strukturen positionsmäßig zuordnen.

Das Kalibrierungswerkzeug wird gemäß einer bevorzugten Ausführungsform der Erfindung so lange im überwachten Raumabschnitt bewegt, bis nach der Zuordnung der Bildposition eine Ausgabe erfolgt (z. B. eine Tonausgabe), die diesen Abschluss anzeigt. Der Bediener weiss nun, dass das Videobild kalibriert ist und kann die durch das System unterstützten Tä tigkeiten ausführen.

Wie schon vorher erwähnt werden bevorzugt zwei Infrarotkameras und eine Videokamera verwendet. Diese Kameras sind vorzugsweise so angeordnet, daß die beiden Infrarotkameras den Raumabschnitt von zwei äußeren Punkten aus überwachen, während die Position der Vi deokamera im wesentlichen unkritisch ist. Sie ist bei einer Ausführungsform an einem Punkt angeordnet, der etwa auf der Mittelachse zwischen den beiden anderen Kameras liegt. Auch die Verwendung von Kameras für ultraviolettes Licht ist grundsätzlich denkbar.

Der überwachte Raumabschnitt kann ein Patientenbehandlungsraum, insbesondere ein Be handlungsraum für strahlentherapeutische bzw. strahlenchirurgische Patientenbehandlung. Die Objekte, für die Positionsmarken auf dem Videobild ausgegeben werden, können im speziellen Anwendungsfall Patienten-Referenzierungsmarker sein. Hier kommt die Anwendung des er findungsgemäßen Verfahrens für medizinische Zwecke, insbesondere in der Bestrahlungschi rurgie zum Tragen, wo es sehr wichtig ist, zu verifizieren, dass der Bestrahlungsfokus auf dem zu bestrahlenden Körperteil, also der Gewebsläsion liegt. Der Strahlentherapeut kann auf dem Videobild die Übereinstimmung der Positionsmarken mit den Patienten-Referen zierungsmarkern prüfen, bevor er die Bestrahlung vornimmt.

Es besteht die Möglichkeit, zusätzlich zu den Positionsmarken auf dem Videobild ausgegeben werden, noch weitere Anzeigen, die weitere Objekte betreffen, auf dem Videobild auszugeben. Insbesondere können Patientenkörperteile oder deren Umrisse sichtbar gemacht werden, deren Anordnung gegenüber den Objekten, für die Positionsmarken ausgegeben werden, bekannt ist. Im Falle der Anwendung bei Bestrahlungen kann damit, wenn beispielsweise aus einer Com putertomographie Daten über Organpositionen gegenüber den Patienten- Referenzierungsmarkern vorliegen, auf dem Videobild eine Art "gläserner Patient" überlagert werden, wobei die Organe und insbesondere die zu behandelnden Organteile in richtiger Raumlage und mit nach hinten verkleinerten Umrissen gezeigt werden, als könnte man tat sächlich in den Patienten hineinsehen. Wenn der Patient beispielsweise an einer Stelle im lin ken Lungenflügel bestrahlt werden soll, kann dann der Arzt auch vergleichen, ob die mittels Laserlinien angezeigten Ziellinien eines Bestrahlungsgerätes auch tatsächlich den Fokuspunkt auf die erkrankte Gewebsstelle legen.

Bei einer allgemeinen Ausführungsform der Erfindung stellt diese ein Verfahren zur visuellen Verifizierung der korrekten Lage eines Gegenstandes zur Verfügung, bei dem

- Referenzierungsmarker an dem Gegenstand angebracht werden und die Lage eines Ge genstandsteils gegenüber diesen Referenzierungsmarkern festgestellt und computerge stützt ausgewertet und/oder gespeichert wird;
- mittels eines Verfahrens wie es oben erörtert wurde mit den Referenzierungsmarkern als Objekte die korrekte Lage des Gegenstands oder Gegenstandsteils daran festgestellt wird, dass alle oder eine aussagekräftige Anzahl der Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Positionsmarken eingeblendet wer den.

In spezieller Ausgestaltung kann das oben zuletzt angesprochene Verfahren zur visuellen Veri fizierung der korrekten Lage eines Patienten dienen, wobei

- Patienten-Referenzierungsmarker an einen Patienten angebracht werden und die Lage eines zu behandelnden Körperteils gegenüber diesen Patienten Referenzierungsmarkern festgestellt und computergestützt ausgewertet bzw. gespeichert wird;
- mittels eines Verfahrens, wie es oben erörtert wurde mit den Referenzierungsmarkern als Objekte, die korrekte Lage des Patienten oder des zu behandelnden Körperteils daran festgestellt wird, dass alle oder eine aussagekräftige Anzahl der Patienten- Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Posi tionsmarken eingeblendet werden.

Auch hier besteht natürlich die Möglichkeit, zusätzlich zu den Positionsmarken Organstruktu ren oder Zielvolumen auf dem Videobild auszugeben.

Wie schon eingangs bemerkt, stellt die Erfindung auch eine Vorrichtung zur visuellen Verifi zierung der korrekten Lage eines Gegenstands zur Verfügung mit:

- Referenzierungsmarkern, die an dem Gegenstand angebracht werden;
- mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können und einen Raumabschnitt mit dem Gegenstand aufnehmen, und mit
- einem Computer, welcher die Raumlage der Referenzierungsmarkern mittels der Bildin formationen der Kameras für das unsichtbare Licht errechnet;
- mindestens einer Videokamera, die im wesentlichen denselben Raumabschnitt auf nimmt; sowie mit
- durch den Computer unterstützten Bildschirmausgabemitteln, welche den Referenzie rungsmarkern zugeordnete Positionsmarken entsprechend der für diese jeweils errechne ten Raumlage ins Videokamerabild der Referenzierungsmarken eingeblenden und zu sammen mit diesem Videokamerabild ausgeben.

Mit dieser Vorrichtung kann das erfindungsgemäße Verfahren in vorteilhafter Weise ausge führt und die schon oben erwähnten Vorteile können erzielt werden. Natürlich können auch alle im Zusammenhang mit medizinischen, insbesondere bestrahlungstechnischen Anwendun gen oben erwähnten Merkmale bei der erfindungsgemäßen Vorrichtung als vorteilhafte Aus führungsformen realisiert werden.

In bevorzugter Ausgestaltung der erfindungsgemäßen Vorrichtung sind die Referenzierungs marker Reflektoren für unsichtbares Licht, insbesondere Infrarotlicht, und es wird eine Licht quelle für das unsichtbare Licht vorgesehen, welche den Raumabschnitt ausleuchtet. Dies trägt zum unkomplizierteren Handling der Vorrichtung bei.

Claims

1. Verfahren zur Positionierung einblendbarer Positionsmarken oder Strukturen in einem Videokamerabild von Objekten, bei dem

- der Raumabschnitt mit den Objekten von mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen, und von mindestens einer Videokamera aufgenommen wird,
- aus den Bildinformationen der Kameras, die unsichtbares Licht erfassen, computergestützt die dreidimensionale Raumlage der Objekte errechnet wird, und
- den Objekten zugeordnete Positionsmarken entsprechend dieser jeweils errechneten Raumlage ins Videokamerabild der Objekte eingeblendet und zusammen mit diesem Videokame rabild auf einem Bildschirm ausgegeben werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zu seiner Kalibrierung

- ein Kalibrierungswerkzeug, welches Markierungen aufweist, deren Anordnung im Com puter gespeichert ist und die sowohl von den Kameras für das unsichtbare Licht als auch von der Videokamera erfassbar sind, in den Raumabschnitt eingebracht wird,
- aus den Bildinformationen der Kameras, die unsichtbares Licht erfassen, computergestützt die dreidimensionale Raumlage der Markierungen auf dem Kalibrierungswerkzeug errechnet wird, und
- dieser jeweils errechneten Raumlage der Markierungen auf dem Kalibrierungswerkzeug die Bildposition der Markierungen im Videokamerabild zugeordnet wird.

3. Verfahren nach Anspruch 2, bei dem das Kalibrierungswerkzeug so lange im überwachten Raumabschnitt bewegt wird, bis nach der Zuordnung der Bildposition eine Ausgabe erfolgt, die den Abschluss der Kalibrierung anzeigt.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem zwei Infrarotkameras und eine Vi deokamera verwendet werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die Objekte, für die Positionsmar ken auf dem Videobild ausgegeben werden, Patienten-Referenzierungsmarker sind.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem zusätzlich zu den Positionsmarken auf dem Videobild noch weitere Anzeigen ausgegeben werden, die weitere Objekte betreffen, deren Anordnung gegenüber den Objekten, für die Positionsmarken ausgegeben werden, bekannt ist, insbesondere Patientenkörperteile und/oder deren Umrisse und/oder Zielvolumen für eine Bestrahlung.

7. Verfahren zur visuellen Verifizierung der korrekten Lage eines Gegenstandes, bei dem

- Referenzierungsmarker an dem Gegenstand angebracht werden und die Lage eines Ge genstandsteils gegenüber diesen Referenzierungsmarkern festgestellt und computergestützt aus gewertet und/oder gespeichert wird; und bei dem
- mittels eines Verfahrens nach einem der vorhergehenden Ansprüche mit den Referenzie rungsmarkern als Objekte die korrekte Lage des Gegenstands oder Gegenstandsteils daran fest gestellt wird, dass alle oder eine aussagekräftige Anzahl der Referenzierungsmarker auf dem Vi deobild an den Stellen erscheinen, an denen die Positionsmarken eingeblendet werden.

8. Verfahren zur visuellen Verifizierung der korrekten Lage eines Patienten, bei dem

- Patienten-Referenzierungsmarker an einen Patienten angebracht werden und die Lage ei nes zu behandelnden Körperteils gegenüber diesen Patienten-Referenzierungsmarkern festgestellt und computergestützt ausgewertet und/oder gespeichert wird; und bei dem
- mittels eines Verfahrens nach einem der Ansprüche 1 bis 6 mit den Referenzierungsmar kern als Objekte die korrekte Lage des Patienten bzw. des zu behandelnden Körperteils daran festgestellt wird, dass alle oder eine aussagekräftige Anzahl der Patienten-Referenzierungsmarker auf dem Videobild an den Stellen erscheinen, an denen die Positionsmarken eingeblendet werden.

9. Vorrichtung zur visuellen Verifizierung der korrekten Lage eines Gegenstands, mit

- Referenzierungsmarkern, die an dem Gegenstand angebracht werden;
- mindestens zwei Kameras, die unsichtbares Licht, insbesondere Infrarotlicht, erfassen können und einen Raumabschnitt mit dem Gegenstand aufnehmen, und mit
- einem Computer, welcher die Raumlage der Referenzierungsmarker mittels der Bildin formationen der Kameras für das unsichtbare Licht errechnet;
- mindestens einer Videokamera, die im wesentlichen denselben Raumabschnitt aufnimmt; sowie mit
- durch den Computer unterstützten Bildschirmausgabemitteln, welche den Referenzie rungsmarkern zugeordnete Positionsmarken entsprechend der für diese jeweils errechneten Raum lage ins Videokamerabild der Referenzierungsmarker einblenden und zusammen mit diesem Vi deokamerabild ausgeben.

10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Referenzierungsmarker Reflektoren für unsichtbares Licht, insbesondere Infrarotlicht, sind und eine Lichtquelle für das unsichtbare Licht den Raumabschnitt ausleuchtet.