DE102006057552A1

DE102006057552A1 - System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs

Info

Publication number: DE102006057552A1
Application number: DE102006057552A
Authority: DE
Inventors: Shunji Yokohama Miyahara
Original assignee: Visteon Global Technologies Inc
Current assignee: Visteon Global Technologies Inc
Priority date: 2005-12-07
Filing date: 2006-11-28
Publication date: 2007-06-28
Anticipated expiration: 2026-11-29
Also published as: DE102006057552B4; GB0623737D0; US7623681B2; US20070127779A1; GB2433169A; GB2433169B

Abstract

Es wird ein System zur Bestimmung des Abstands und der Lateralposition eines Fahrzeugs bereitgestellt. Das System umfasst eine Kamera und einen Prozessor. Die Kamera ist für das Betrachten eines Bereichs von Interesse konfiguriert, in dem sich ein Fahrzeug befindet, und erzeugt ein elektronisches Abbild des Bereichs. Der Prozessor steht mit der Kamera zum Empfangen des elektronischen Abbilds in elektrischer Kommunikation und analysiert das Abbild durch Ausführung eines auf einem Musterbild basierenden Mustervergleichsalgorithmus auf dem elektronischen Abbild. Es wird eine auf dem Algorithmus basierende Wertigkeit bestimmt, die auf die Wahrscheinlichkeit hinweist, dass bestimmte Merkmale des elektronischen Abbilds tatsächlich dem Fahrzeug entsprechen.

Description

Hintergrund
1. Fachgebiet der Erfindung
Die Erfindung bezieht sich allgemein auf ein in einem Fahrzeug befindliches System und ein Verfahren zur Messung des Abstands und der Lateralposition eines vorausfahrenden Fahrzeugs auf einer Straße.

2. Beschreibung des Standes der Technik

Radar- und Stereokamerasysteme für adaptive automatische Geschwindigkeitsregelung sind auf dem Markt bereits eingeführt. Seit kurzem wird für Pre-Crash-Sicherheitssysteme, zur Kollisionsvermeidung und für Niedriggeschwindigkeitsverfolgungssysteme Radar eingesetzt. Normalerweise erfolgt die Messung des Abstands und der Lateralposition mithilfe von Radar- und/oder Stereokamerasystemen. Radarsysteme können einen sehr genauen Abstand bereitstellen. Millimeterwellenradarsysteme, wie z. B. 77-GHz-Systeme, sind jedoch normalerweise ziemlich kostenintensiv. Laserradar ist zwar preisgünstig, erfordert jedoch mechanisches Abtasten. Außerdem ist Radar trotz guter Eignung für die Abstandsbestimmung zur Identifizierung des Objekts und zur Bereitstellung einer genauen Lateralposition allgemein nicht gut geeignet.

Stereokamerasysteme können den Abstand bestimmen und die Lateralposition des Objekts erkennen. Wegen der zwischen den beiden Kameras erforderlichen genauen Ausrichtung ist es jedoch normalerweise bei diesen Systemen schwierig, die Genauigkeit aufrechtzuerhalten. Zudem sind sie kostenintensiv, da zwei Bildbearbeitungssysteme erforderlich sind, d. h. doppelt so viele Bildbearbeitungssysteme wie bei einem Ein-Kamera-System.

Außerdem können sowohl in Kamera- als auch in Radarsystemen leicht unklare Situationen infolge mehrerer Objekte in einem Abbild auftreten. Zum Beispiel können mehrere Fahrzeuge in benachbarten Fahrspuren und Straßenrandobjekte leicht als ein in derselben Fahrspur wie das mit dem System ausgestattete Fahrzeug vorausfahrendes Fahrzeug interpretiert werden. Zusätzlich können Helligkeitsschwankungen im Hintergrund des Abbilds wie die Schatten der Fahrzeuge und Straßenrandobjekte die Schwierigkeit der Identifizierung des Fahrzeugs bei diesen Systemen erhöhen.

Mit Blick auf die voranstehende Darlegung ist zu erkennen, dass bei herkömmlichen adaptiven automatischen Geschwindigkeitsregelsysteme oder Niedriggeschwindigkeitsverfolgungssystemen aufgrund einer komplexen Hintergrundumgebung Schwierigkeiten bei der Identifizierung von Fahrzeugen auftreten können. Außerdem ist offensichtlich, dass ein Bedarf für ein verbessertes System und ein verbessertes Verfahren zur Messung des Abstands und der Erkennung der Lateralposition des vorausfahrenden Fahrzeugs bei niedrigen Kosten besteht.

Zusammenfassung

Zur Befriedigung des voranstehend genannten Bedarfs sowie zur Überwindung der aufgezählten Nachteile und anderen Beschränkungen des Standes der Technik stellt die Erfindung ein System zur Bestimmung des Abstands und der Lateralposition eines vorausfahrenden Fahrzeugs bereit. Die primären Komponenten des Systems umfassen eine Kamera und einen Prozessor. Die Kamera ist für das Betrachten eines Bereichs von Interesse, in dem sich ein vorausfahrendes Fahrzeug befindet, und das Erzeugen eines elektronischen Abbilds des Bereichs konfiguriert. Der Prozessor steht mit der Kamera zum Empfangen des elektronischen Abbilds in elektrischer Kommunikation.

Wie voranstehend erwähnt, weist das elektronische Abbild zahlreiche Merkmale auf, die es erschweren, ein vorausfahrendes Fahrzeug zu identifizieren. Deshalb ist der Prozessor dafür konfiguriert, ein Musterbild zu speichern, z. B. ein kantenverstärktes Abbild als Musterbild des vorausfahrenden Fahrzeugs in einem vorherigen Abbild. Das Musterbild kann vorzugsweise mithilfe des in diesem Dokument beschriebenen Abstandsfensteralgorithmus eingerichtet werden, obwohl auch andere Verfahren angewendet werden können. Anschließend wird das Musterbild zur Ausführung einer Mustervergleichsanalyse, wie z. B. einer Kreuzkorrelation, auf dem elektronischen Abbild benutzt, um den Abstand und die Lateralposition des vorausfahrenden Fahrzeugs zu bestimmen. Entsprechend analysiert der Prozessor einen Teilbereich des dem letzten bekannten Standort des vorausfahrenden Fahrzeugs entsprechenden elektronischen Abbilds und berechnet eine Beziehung zur Beschreibung des Abstands und der Lateralposition des vorausfahrenden Fahrzeugs.

Zwecks Erstidentifizierung von Objekten im elektronischen Abbild untersucht der Prozessor eine Folge von Fenstern innerhalb des Abbilds, wobei jedes Fenster einer festgelegten physischen Größe bei einem anderen Zielabstand entspricht. Die Fenster dieser Folge werden als Abstandsfenster bezeichnet. Die Größe jedes der Fenster im Abbild ist entsprechend dem zuvor Gesagten umgekehrt proportional dem Abstand des Fensters. Um das Fahrzeug zu identifizieren, bewertet der Prozessor Merkmale des elektronischen Abbilds innerhalb jedes Fensters. Zum Beispiel wird die Größe des Fahrzeugs mit der Größe jedes Fensters verglichen und ein Größenverhältnis erzeugt. Die vom Prozessor bewerteten Merkmale des elektronischen Abbilds umfassen die Breite und die Höhe von Kantenabschnitten im Abbild sowie die Höhe, die Breite und den Standort von aus einem Paar von Kantenabschnitten zusammengesetzten Objekten. Zur Analyse der Objekte wird die Breite des Objekts bestimmt und für das Objekt ein Fahrzeugmodell aus verschiedenen Fahrzeugtypen wie z. B. einem Motorrad, einer Limousine, einem Bus usw. entsprechenden Modellen ausgewählt. Das Modelle verleiht dem Objekt eine Wertigkeit auf der Basis der Merkmale des entsprechender Fahrzeugs. Die Bewertung der Objektmerkmale wird entsprechend dem ausgewählten Fahrzeugmodell vorgenommen. Manchmal wird auch die auf der berechneten Beziehung basierende Abweichung des Pixelwerts in der Objektfläche vom erwarteten Straßenpixelwert für die Bewertung verwendet. Die resultierende Wertigkeit zeigt die Wahrscheinlichkeit dafür an, dass das Fahrzeug ein Zielfahrzeug auf der Straße ist. Das Objekt mit der höchsten Wertigkeit wird als ein Ziel erklärt, und der Abstand des diesem Objekt entsprechenden Fensters ist der veranschlagte Abstand zum vorausfahrenden Fahrzeug. Die voranstehend beschriebene Analyse wird als Abstandsfensteranalyse bezeichnet.

Zur Ergänzung der Abstandsfensteranalyse wird ferner eine Mustervergleichsanalyse durchgeführt. Es ist ein auf dem Abstandsfensteralgorithmus basierendes Musterbild gespeichert. Das Musterbild kann in nachfolgenden Abbildern zur Ausführung eines Mustervergleichs, wie z. B. einer Kreuzkorrelation, verwendet werden. Das Ergebnis der Kreuzkorrelation kann mit den Ergebnissen des Abstandsfensteralgorithmus kombiniert werden oder diese ersetzen, um robustere Messwerte des Abstands und der Lateralposition des vorausfahrenden Fahrzeugs bereitzustellen. Die eben beschriebene Analyse wird in diesem Dokument als Mustervergleichsanalyse bezeichnet. Die Kombination von Mustervergleichanalyse und Abstandsfensteranalyse liefert ein System mit verbessertem Objekterkennungsvermögen.

Weitere Ziele, Merkmale und Vorteile der Erfindung sind nach Prüfung der nachfolgenden Beschreibung unter Berücksichtigung der Zeichnungen und beigefügten und einen Teil dieser Spezifikation bildenden Patentansprüche für Fachleute leicht erkennbar.

Kurzbeschreibung der Zeichnungen
1 ist eine schematische Darstellung eines die Prinzipien der Erfindung verkörpernden Systems zur Messung des Abstands und der Lateralposition eines vorausfahrenden Fahrzeugs.
2 ist eine schematische Darstellung eines elektronischen Abbilds aus der Perspektive der Kamera in 1.
3 ist eine schematische Darstellung des Systems, die die Berechnung der oberen und der unteren Kante des Fensters entsprechend der Erfindung zeigt.
4 ist eine schematische Darstellung des Systems, die die Berechnung der linken und der rechten Kante des Fensters entsprechend der Erfindung zeigt.
5A ist eine Ansicht des elektronischen Abbilds, wobei lediglich ein Auszug der Abbildinformationen im ersten Fenster dargestellt ist.
5B ist eine Ansicht des elektronischen Abbilds, wobei lediglich ein Auszug der Abbildinformationen im zweiten Fenster dargestellt ist.
5C ist eine Ansicht des elektronischen Abbilds, wobei lediglich ein Auszug der Abbildinformationen im dritten Fenster dargestellt ist.
6 ist ein Flussdiagramm, das den Algorithmus darstellt, der vom System zur Bestimmung des Abstands des vorausfahrenden Fahrzeugs ausgeführt wird.
7 ist eine Ansicht des von der Kamera vor der Verarbeitung erzeugten elektronischen Abbilds.
8 ist eine Ansicht des elektronischen Abbilds nach der Anwendung eines vertikalkantenverstärkenden Algorithmus auf das elektronische Abbild.
9 ist eine Ansicht des elektronischen Abbilds, das Linienabschnitte als Auszug aus dem kantenverstärkten Abbild enthält.
10 ist eine Ansicht des elektronischen Abbilds, das aus den in 8 dargestellten Linienabschnitten erstellte Objekte enthält.
11 ist eine Ansicht eines vorausfahrenden Fahrzeugs zum Zeitpunkt T1.
12 ist eine Ansicht des vorausfahrenden Fahrzeugs zum Zeitpunkt T2.
13 ist eine Ansicht des vorausfahrenden Fahrzeugs zum Zeitpunkt T3.
14 ist ein Diagramm, das die höchste Wertigkeit eines mit verschiedenen Abständen gefundenen Objekts bei Anwendung des Abstandsfensteralgorithmus zum Zeitpunkt T1 darstellt.
15 ist ein Diagramm, das die höchste Wertigkeit eines mit verschiedenen Abständen gefundenen Objekts bei Anwendung des Abstandsfensteralgorithmus zum Zeitpunkt T2 gefundenen Objekts darstellt.
16 ist ein Diagramm, das die höchste Wertigkeit eines mit verschiedenen Abständen gefundenen Objekts bei Anwendung des Abstandsfensteralgorithmus zum Zeitpunkt T3 gefundenen Objekts darstellt.
17 ist eine Ansicht des in 11 eingerahmten Bereichs zum Zeitpunkt T1.
18 ist ein trinarisiertes kantenverstärktes Abbild von 17 zum Zeitpunkt T1.
19 ist ein Abbild der mithilfe des Abstandsfensteralgorithmus zum Zeitpunkt T1 gefundenen Objekte.
20 ist das aus dem trinarisierten kantenverstärkten Abbild in 18 unter Heranziehung des in 19 dargestellten, zum Zeitpunkt T1 höchstbewerteten Objekts abgeleitete Musterbild.
21 ist eine eingerahmte Ansicht des vorausfahrenden Fahrzeugs von 13 zum Zeitpunkt T3.
22 ist ein aus der in 21 eingerahmten Ansicht abgeleitetes trinarisiertes kantenverstärktes Abbild.
23 stellt die vom Abstandsfensteralgorithmus aus dem trinarisierten kantenverstärkten Abbild von 22 konstruierten Objekte dar.
24A ist eine Darstellung des Musterbilds.
24B ist eine Darstellung des Eingangsabbilds und der Kreuzkorrelationsfunktion.
25 ist ein dreidimensionales Diagramm, das die Kreuzkorrelation des Musterbilds aus 20 mit dem trinarisierten Abbild von 22 darstellt.
Die 26A bis 26C sind eine Folge von Abbildern zur Darstellung des Hinzufügens und des Löschens von Spalten zwecks Durchführung von Musterbildverzerrung.
27 ist ein Diagramm der Ergebnisse der Kreuzkorrelationsfunktion einschließlich Musterbildverzerrung.
Ausführliche Beschreibung
In 1 ist mit dem Bezugszeichen 10 ein die Prinzipien der Erfindung verkörperndes System dargestellt und bezeichnet. Als seine primären Komponenten umfasst das System 10 eine einzige Kamera 12 und einen Prozessor 14. Die Kamera 12 ist an einer Stelle angeordnet, von der aus sie ein optisches Abbild eines ein Fahrzeug 18 enthaltenden Bereichs von Interesse 16 erfassen kann. Eine solche Stelle befindet sich im Gehäuse des Rückspiegels. Das durch die Kamera 12 aufgenommene optische Abbild wird in ein elektronisches Abbild umgewandelt, das dem Prozessor 14 bereitgestellt wird.
Das elektronische Abbild enthält zahlreiche Merkmale, die die Identifizierung eines vorausfahrenden Fahrzeugs erschweren. Zur Identifizierung des vorausfahrenden Fahrzeugs können mehrere Techniken angewendet werden. Bei dem System und dem Verfahren der Erfindung ist der Prozessor 14 für die Speicherung eines Musterbilds, wie z. B ein Bereich eines kantenverstärkten Abbilds, des vorausfahrenden Fahrzeugs in einem vorherigen Abbild konfiguriert. Das Musterbild kann vorzugsweise mithilfe eines hier beschriebenen Abstandsfensteralgorithmus bestimmt werden, obwohl andere Verfahren verwendet werden können. Anschließend wird das Musterbild zur Ausführung einer Mustervergleichsanalyse, wie z. B. einer Kreuzkorrelation, auf dem elektronischen Abbild herangezogen, um den Abstand und die Lateralposition des vorausfahrenden Fahrzeugs zu ermitteln. Dementsprechend analysiert der Prozessor einen Teilbereich des elektronischen Abbilds, der einer vorherigen Position des vorausfahrenden Fahrzeugs entspricht, und berechnet mithilfe der Mustervergleichsanalyse die Position und dem Abstand des vorausfahrenden Fahrzeugs. Der Wert wird zur Berechnung einer Gesamtwertigkeit verwendet, die die Wahrscheinlichkeit angibt, dass sich ein Fahrzeug an der ermittelten Stelle befindet, die nahe der vorherigen Position erwartet wird.
Zur Herausfilterung unerwünschter Störungen im elektronischen Abbild und zur Unterstützung bei der Bestimmung des Abstands des Fahrzeugs 18 berechnet der Prozessor 14 die Position von mehreren Fenstern 20, 22, 24 innerhalb des Bereichs von Interesse 16. Die Fenster 20, 22, 24 sind in verschiedenen Zielabständen zur Kamera 12 definiert. Die Größe der Fenster 20, 22, 24 ist eine vorher festgelegte physische Größe (etwa 4 m × 2 m wie dargestellt) und könnte einer typischen Fahrspurbreite und Fahrzeughöhe entsprechen. Zwecks höherer Auflösung werden die Fenster 20, 22, 24 in kleineren Abständen zueinander angeordnet, und/oder es wird die Anzahl der Fenster erhöht. Das dargestellte System 10 ist zwar für die Verfolgung eines dem System 10 vorausfahrenden Fahrzeugs 18 konfiguriert, zur Gänze einbezogen ist jedoch, dass die Kamera 12 zur Seite oder nach hinten gerichtet sein kann, um ein Fahrzeug 18 zu verfolgen, das sich aus anderen Richtungen nähern könnte.
In 2 ist ein elektronisches Abbild des Bereichs von Interesse 16 dargestellt, wie es durch die Kamera 12 gesehen wird. Die Fenster 20, 22, 24 werden auf ihre entsprechende Größe und Position entsprechend der Perspektive der Kamera 12 projiziert. Das Fahrzeug 18 befindet sich zwischen den Fenstern 22 und 24, sodass dementsprechend die Größe des Fahrzeugs 18 viel genauer der Höhe und der Breite der Fenster 22 und 24 als der Höhe und der Breite des Fensters 20 entspricht. Wie in 1 zu erkennen, sind die Höhe und die Breite der Fenster zwar bei jedem Zielabstand physikalisch konstant, jedoch scheinen die Fenster aus der Perspektive der Kamera 12 zu variieren. Analog scheinen sich die Höhe und die Breite des vorausfahrenden Fahrzeugs 18 bei jedem Zielabstand zu verändern. Außerdem beeinflusst die Perspektive der Kamera 12 in Abhängigkeit von ihrem Höhen- und Azimutwinkel die scheinbare Größe und die Position des vorausfahrenden Fahrzeugs 18 innerhalb des elektronischen Abbilds. Der Prozessor 14 verwendet die Position und die Größe jedes der Fenster 20, 22, 24 zur Bewertung von Merkmalen des elektronischen Abbilds und zur Bestimmung einer Wertigkeit, die die Wahrscheinlichkeit dafür angibt, dass sich das Fahrzeug 18 in einem mit einem bestimmten Fenster verbundenen Zielabstand befindet.
3 ist eine Seitenansicht des Systems 10, die die Verwendung des Höhenwinkels bei der Berechnung der Höhe und der Position des Fensters 20 innerhalb des elektronischen Abbilds illustriert. Der Höhenwinkel ist der Winkel zwischen der optischen Achse der Kamera 12 und der Oberfläche der Straße. Die untere Kante des Fensters 20 wird nach Gleichung (1) berechnet: θ1 = arctan (–r1/hc), (1)wobei hc die Höhe der Kamera 12 über der Straßenoberfläche und r1 der horizontale Abstand des Fensters 20 von der Kamera 12 sind und der Modul von arctan gleich [0, π] ist.
Analog wird die obere Kante des ersten Fensters (20) nach Gleichung (2) berechnet: θ1h = arctan (r1/(hw – hc)), (2)wobei hw die Höhe des Fensters, hc die Höhe der Kamera 12 über der Straßenoberfläche und r1 der Abstand des Fensters 20 von der Kamera 12 sind. Die Differenz Δθ₁ = θ₁ – θ_1h entspricht der Höhe des Fensters im elektronischen Abbild.
Bezug nehmend auf 4 entspricht die horizontale Position des Fensters im elektronischen Abbild dem Azimutwinkel. Der Azimutwinkel ist der Winkel über der Breite des vorausfahrenden Fahrzeugs aus der Perspektive der Kamera 12. Die rechte Kante des Auswahlfensters 20 wird nach Gleichung (3) berechnet: Φ1 = arctan (–Breitew/(2·r1)) + (π/2), (3)
Analog wird die linke Kante des Auswahlfensters 20 nach Gleichung (4) berechnet: Φ1h, = arctan (Breitew/(2·r1)) + (π/2), (4)wobei Breite_w der Abstand vom Zentrum des Fensters 20 zu den vertikalen Kanten und r1 der horizontale Abstand des Fensters 20 von der Kamera 12 sind und der Modul von arctan gleich [–π/2, π/2] ist. Die Fensterpositionen für die zusätzlichen Fenster 22, 24 werden mithilfe der Gleichungen (1) bis (4) berechnet, wobei r1 durch die entsprechenden Zielabstände ersetzt wird.
In 5A ist das auf das Fenster 20 bezogene elektronische Abbild dargestellt. Es ist zu beachten, dass die Breite des Objekts 26 etwa 30 % der Breite des Fensters 20 beträgt. Wenn für die Fensterbreite eine Breite von 4 m angesetzt ist, also etwa das Zweifache der erwarteten Breite des Fahrzeugs 18, würde die ermittelte Breite des Objekts 26 bei einem Abstand von r1 gleich 4 m × 0,3 = 1,2 m betragen. Deshalb ist die Wahrscheinlichkeit gering, dass es sich bei dem Objekt 26 um das Fahrzeug 18 im Abstand r1 handelt. Außerdem bewertet der Prozessor 14 den vertikalen Versatz und die Objekthöhenkriterien. Zum Beispiel wird der Abstand des Objekts 26 von der Unterkante des verarbeitenden Fensters 20 zur Bestimmung der Wahrscheinlichkeit verwendet, dass sich das Objekt 26 im Zielabstand befindet. Unter der Annahme, dass die Straße eben ist, würde, wenn sich das Objekt 26 im Abstand r1 befände, die unterste Position des Objekts 26 an der Unterkante des Fensters 20 erscheinen, was dem Kontakt des Objekts mit der Straße im Zielabstand entspräche. Das Objekt 26 in 5A scheint jedoch über der Straße zu schweben, wodurch die Wahrscheinlichkeit, dass sich das Objekt 26 im Zielabstand befindet, sinkt. Außerdem sollte das extrahierte Objekt 26 eine Höhe von 0,5 m oder 1,2 m überdecken. Der Prozessor 14 erkennt ein Objekt bis zur Höhe von einschließlich 0,5 m, falls das Objekt eine Limousine ist, oder bis zur Höhe von einschließlich 1,2 m, falls es sich bei dem Objekt um einen Bus oder einen LKW handelt. Je genauer die Höhe des Objekts 26 mit der erwarteten Höhe übereinstimmt, desto wahrscheinlicher ist das Objekt 26 das Fahrzeug 18 und desto wahrscheinlicher befindet es sich im Zielabstand r1. Der voranstehend beschriebene vertikale Versatz kann außerdem die Höhe des Objekts 26 beeinflussen, da der obere Teil des Objekts 26 in 5A durch die Kante des Fensters 20 abgeschnitten ist. Deshalb erscheint das Objekt 26 kleiner als erwartet, was wiederum die Wahrscheinlichkeit verringert, dass das Objekt 26 das Fahrzeug 18 im Abstand r1 ist.
In 5B ist das auf das Fenster 22 bezogene elektronische Abbild dargestellt. Die Breite des Objekts 27 beträgt etwa 45 % der Breite des Fensters 22. Es liegt deshalb die ermittelte Breite des Objekts 27 im Abstand r2 mit 4 m × 0,45 = 1,8 m viel näher an der erwarteten Größe des Fahrzeugs 18. In diesem Abbild ist das Objekt 27 nur leicht zur Unterkante des Fensters 22 versetzt, und die gesamte Höhe des Objekts 27 befindet sich noch im Fenster 22. In 5C ist das auf das Fenster 24 bezogene elektronische Abbild dargestellt. Die Breite des Objekts 28 beträgt etwa 80 % der Breite des Fensters 24. Dementsprechend beträgt die ermittelte Breite des Objekts 28 im Abstand r3 gleich 4 m × 0,8 = 3,2 m. Es ist also die Objektbreite wesentlich größer als die erwartete Breite des Fahrzeugs 18, die gewöhnlich etwa 1,75 m beträgt. Auf der Basis der Objektbreite kann der Prozessor 14 die Festlegung treffen, dass das Objekt 27 am wahrscheinlichsten dem Fahrzeug 18 entspricht und r2 der wahrscheinlichste Abstand ist. Durch Anwendung einer feineren Abstufung des Zielabstands für jedes Fenster kann die Abstandsgenauigkeit des Systems 10 erhöht werden. Wegen des höheren Kollisionsrisikos ist die Anwendung einer feineren Abstufung zwischen den Fenstern besonders nützlich, wenn sich das Fahrzeug 18 näher zur Kamera 12 befindet. Alternativ wird zur Bestimmung des wahrscheinlichsten Abstands das Verhältnis zwischen der ermittelten Breite und der erwarteten Breite verwendet.
Zur Verbesserung der Abstandsfensteranalyse wird eine Straßenoberflächenanalyse hinzugefügt. Das elektronische Abbild enthält zahlreiche Merkmale, die es erschweren, ein vorausfahrendes Fahrzeug zu identifizieren. Deshalb ist der Prozessor 14 so konfiguriert, dass er einen der Straßenoberfläche entsprechenden Anteil des elektronischen Abbilds analysiert und eine Gleichung zur Beschreibung der Änderung des Pixelwerts der Straße in Längsrichtung innerhalb des Abbilds berechnet. Die Gleichung kann zum Beispiel unter Verwendung eines Regressionsalgorithmus, wie z. B. einer quadratischen Regression, berechnet werden. Außerdem ist der Prozessor 14 dafür konfiguriert, die Pixelwerte an einer Stelle im Abbild, an der ein Fahrzeug vorhanden sein kann, mit dem erwarteten Pixelwert der Straße zu vergleichen, wobei der erwartete Pixelwert der Straße nach der Gleichung berechnet wird. Ist die Ähnlichkeit zwischen den Pixelwerten und den erwarteten Pixelwerten hoch, so ist die Wahrscheinlichkeit für das Vorhandensein eines Fahrzeugs an der betreffenden Stelle gering. Folglich ist die resultierende Wertigkeit gering. Ist die Ähnlichkeit gering, so ist die Wertigkeit hoch. Die Ergebnisse des Vergleichs werden mit den Ergebnissen des Abstandsfensteralgorithmus kombiniert, um eine Wertigkeit zu erzeugen, die die Wahrscheinlichkeit für das Vorhandensein eines Fahrzeugs an der identifizierten Stelle kennzeichnet.
In 6 ist ein Verfahren zur Verarbeitung eines Abbilds entsprechend der Erfindung unter dem Bezugszeichen 30 dargestellt. Block 32 bezeichnet den Start des Verfahrens. In Block 34 wird durch die Kamera 12 ein Abbild erfasst und an den Prozessor 14 übertragen. In Block 36 wendet der Prozessor 14 eine Vertikalkantenverstärkung zur Erzeugung eines kantenverstärkten Abbilds an. In Block 38 richtet der Prozessor 14 ein Abstandsfenster zur Begrenzung des für den speziellen Abstand analysierten Bereichs ein, wodurch mögliche unklare Kanteninformationen ausgeschlossen werden. In Block 40 wird innerhalb des Abstandsfensters aus dem kantenverstärkten Abbild ein trinäres Abbild erzeugt, in dem der negativen Kante, der positiven Kante und den anderen Kanten "–1", "+1" bzw. "0" zugeordnet wird. In Block 44 wird das trinäre Abbild zur Sortierung der Bildpunkte desselben Werts und einer ähnlichen Position in Linienabschnitte genannte Gruppen segmentiert. In Block 46 werden zwei Abschnitte mit unterschiedlicher Polarität miteinander gruppiert, sodass Objekte gebildet werden, die einem möglichen Fahrzeug entsprechen.
Zur Auswahl des Modells wird in Block 48 die Breite eines Objekts mit einem Breitenschwellenwert verglichen. Wenn die Breite des Objekts kleiner als der Breitenschwellenwert ist, folgt der Algorithmus der Linie 50 zu Block 52, in dem ein einem Motorrad entsprechendes Fahrzeugmodell ausgewählt wird. Ist die Breite des Objekts nicht kleiner als der erste Breitenschwellenwert, folgt der Algorithmus der Linie 54 zu Block 56. In Block 56 wird die Breite eines Objekts mit einem zweiten Breitenschwellenwert verglichen. Wenn die Breite des Objekts kleiner als der zweite Breitenschwellenwert ist, folgt der Algorithmus der Linie 58, und in Block 60 wird ein einer Limousine entsprechendes Fahrzeugmodell ausgewählt. Ist jedoch die Breite des Objekts größer als der zweite Breitenschwellenwert, folgt der Algorithmus der Linie 62 zu Block 64, in dem ein einem Lastkraftwagen entsprechendes Fahrzeugmodell ausgewählt wird.
In Block 68 bewertet der Prozessor 14 anschließend die Objekte auf der Basis der aus dem Pixelwertvergleich gewonnenen Wertigkeit des ausgewählten Modells. In Block 70 stellt der Prozessor 14 fest, ob für dieses Abstandsfenster jedes Objekt bewertet worden ist. Ist nicht jedes Objekt bewertet worden, folgt der Algorithmus der Linie 72, und die Breite des nächsten Objekts wird analysiert, um beginnend bei Block 48 ein Fahrzeugmodell auszuwählen. Wenn jedes Objekt bewertet worden ist, wird auf der Basis der Wertigkeit das beste Objekt im Fenster bestimmt. Anschließend stellt der Prozessor 14 in Block 76 fest, ob jedes Fenster vollständig untersucht worden ist. Ist nicht jedes Fenster vollständig untersucht worden, folgt der Algorithmus der Linie 78, und das Fenster wird gewechselt. Nachdem das Fenster gewechselt ist, folgt der Algorithmus der Linie 78, und in Block 38 wird das nächste Abstandsfenster eingerichtet. Wenn jedes Fenster vollständig untersucht worden ist, wird auf der Basis der Wertigkeit das beste Objekt aus den Fensterobjekten ausgewählt. Für den Fall, dass die beste Wertigkeit unter einem ersten Wertigkeitsschwellenwert liegt, ist der Prozessor 14 so konfiguriert, dass er unter Anwendung eines vorher gespeicherten Musterbilds, wie z. B. eines trinarisierten kantenverstärkten Musterbilds, einen Mustervergleichsalgorithmus auf dem trinarisierten kantenverstärkten Abbild ausführt. Das kantenverstärkte Musterbild kann einer Kreuzkorrelation mit dem trinarisierten kantenverstärkten Abbild unterzogen werden, um einen Abstand und eine Position des vorausfahrenden Fahrzeugs zu bestimmen. Die Ergebnisse des Mustervergleichsalgorithmus können mit den Ergebnissen der Abstandsfensteranalyse kombiniert oder anstelle der Ergebnisse der Abstandsfensteranalyse verwendet werden, um den Abstand und die Position des vorausfahrenden Fahrzeugs in Abhängigkeit von der Korrelationswertigkeit und der besten Objektwertigkeit zu bestimmen, wie in Block 80 angegeben. Für den Fall, dass die beste Objektwertigkeit über einem zweiten Schwellenwert liegt, ist der Prozessor 14 so konfiguriert, dass ein auf der Abstandsfensteranalyse basierendes Musterbild gespeichert wird. Das Musterbild ist vorzugsweise ein aus einem Teilbereich des trinarisierten kantenverstärkten Abbilds gewonnenes kantenverstärktes Musterbild, das dem mithilfe der Abstandsfensteranalyse identifizierten Objekt mit der besten Wertigkeit entspricht, wie in Block 80 angegeben.
In 7 ist ein typisches elektronisches Abbild dargestellt, wie es von der Kamera 12 gesehen wird; es wird zur weiteren Beschreibung des durch den Prozessor 14 implementierten Verfahrens zur Bestimmung des Abstands und der Lateralposition des Fahrzeugs 18 verwendet. Das elektronische Abbild enthält zusätzliche Merkmale, die für den Prozessor 14 störend wirken könnten, wie z. B. die Fahrbahnmarkierungen 90, ein zusätzliches Fahrzeug 92 und ein Motorrad 94.
8 zeigt ein vertikalkantenverstärktes Abbild. Das elektronische Abbild besteht aus horizontalen Zeilen und vertikalen Spalten von Bildelementen (Pixel). Jedes Pixel hat einen der Helligkeit des Abbilds an dieser Zeilen- und Spaltenstelle entsprechenden Wert. Ein im Fachgebiet bekannter typischer kantenverstärkender Algorithmus umfasst die Berechnung des Differentialquotienten der Helligkeit über den horizontalen Zeilen oder den vertikalen Spalten des Abbilds. Es sind jedoch viele andere kantenverstärkende Verfahren in Betracht gezogen worden, und sie können auf einfache Weise verwendet werden. Außerdem werden die Position und die Größe des Fensters 96 für einen vorgegebenen Zielabstand berechnet. Außerhalb des Fensters 96 angeordnete Kanteninformationen werden ignoriert. In diesem Fall können viele Kanteninformationen vom Auto 98 und vom Motorrad 100 eliminiert werden. Bezug nehmend auf 9 wird das kantenverstärkte Abbild trinarisiert, das heißt, jedes Pixel wird auf einen Wert „–1", „+1" oder „0" gesetzt. Ein im Fachgebiet bekanntes typisches Verfahren zur Trinarisierung des Abbilds verläuft so, dass von jedem Pixel der Wert mit einem oberen und einem unteren Schwellenwert verglichen wird, wobei der Pixelwert auf „+1" gesetzt wird, wenn die Helligkeit des Pixelwerts über dem oberen Schwellenwert liegt. Liegt die Helligkeit des Pixelwerts unter dem unteren Schwellenwert, wird der Pixelwert auf „–1" gesetzt. Andernfalls wird der Pixelwert auf „0" gesetzt. Damit werden die Pixel effektiv in Kantenpixel mit einem Hell-zu-Dunkel-Übergang (negativer Übergang), Kantenpixel mit einem Dunkel-zu-Hell-Übergang (positiver Übergang) und Nicht-Kantenpixel eingeteilt. Obwohl das eben beschriebene Verfahren schnell und einfach ist, können andere kompliziertere Schwellenwertverfahren einschließlich lokaler Flächenschwellenwert- oder anderer gewöhnlich benutzter Näherungsverfahren verwendet werden. Anschließend werden die Pixel nach ihrer relativen Position zu anderen Pixeln mit demselben Wert gruppiert. Das Gruppieren dieser Pixel wird Segmentierung genannt, und jede dieser Gruppen wird als Linienabschnitt bezeichnet. Für jeden Linienabschnitt werden Höhen-, Breiten- und Positionsinformationen gespeichert.
Wenn diese Abschnitte auf das ursprüngliche Abbild rückbezogen werden, so repräsentiert Abschnitt 102 die Fahrbahnmarkierung auf der Straße. Abschnitt 104 repräsentiert den oberen Teil der linken Seite des Fahrzeugs. Abschnitt 106 repräsentiert die untere linke Seite des Fahrzeugs. Abschnitt 108 repräsentiert den linken Reifen des Fahrzeugs. Abschnitt 110 repräsentiert die obere rechte Seite des Fahrzeugs. Abschnitt 112 repräsentiert die untere rechte Seite des Fahrzeugs, während Abschnitt 114 den rechten Reifen repräsentiert.
Bezug nehmend auf 10 können Objekte aus zwei Abschnitten erstellt werden. Typischerweise würde ein positiver Abschnitt mit einem negativen Abschnitt gepaart. Der Abschnitt 102 und der Abschnitt 104 werden zum Erstellen des Objekts 116 kombiniert. Der Abschnitt 102 und der Abschnitt 106 werden zum Erstellen des Objekts 118 kombiniert. Der Abschnitt 106 und der Abschnitt 112 werden zum Erstellen des Objekts 120 kombiniert.
Die Merkmale jedes Objekts werden dann mithilfe der Merkmale eines Modellfahrzeugs bewertet. Für jedes Objekt wird ein Modell auf der Basis der Breite des Objekts ausgewählt. Wenn zum Beispiel die Objektbreite kleiner als ein erster Breitenschwellenwert ist, wird ein einem Motorrad entsprechendes Modell zur Bewertung des Objekts verwendet. Wenn die Objektbreite größer als der erste Breitenschwellenwert, jedoch kleiner als ein zweiter Breitenschwellenwert ist, wird ein einer Limousine entsprechendes Modell verwendet. Wenn alternativ die Objektbreite größer als der zweite Breitenschwellenwert ist, wird das Objekt anhand eines einem großen Lastkraftwagen entsprechenden Modells bewertet. Zwar sind nur drei Modelle beschrieben worden, jedoch kann eine größere oder kleinere Anzahl von Modellen verwendet werden.
Jedes Modell hat Merkmale, die sich von denen eines anderen Fahrzeugtyps unterscheiden, und zwar entsprechend den Merkmalen des jeweils vorliegenden Fahrzeugtyps. Zum Beispiel ist das Höhen-Seiten-Verhältnis beim Motorradmodell groß, beim Limousinenmodell jedoch klein. Diese Merkmale entsprechen dem tatsächlichen Fahrzeug: das Motorrad hat eine geringe Breite und eine große Höhe, bei der Limousine ist das umgekehrt. Die Höhe des Objekts ist beim Lastkraftwagenmodell ziemlich groß, beim Limousinenmodell aber gering. Die drei Modelle ermöglichen dem Algorithmus das genaue Zuweisen einer Wertigkeit zu jedem der Objekte.
Die Merkmale der Objekte werden mit den Merkmalen des Modells verglichen. Je genauer die Objektmerkmale mit den Modellmerkmalen übereinstimmen, desto höher ist die Wertigkeit, und desto wahrscheinlicher ist das Objekt ein Fahrzeug des ausgewählten Modelltyps. Für die Bestimmung, ob das Objekt ein Fahrzeug ist, können bestimmte Merkmale als wichtiger bewertet oder betrachtet werden als andere Merkmale. Mit drei Modellen ist eine genauere Beurteilung möglich als mit nur einem Modell, da die drei Fahrzeugtypen hinsichtlich der Breite, der Höhe, der Form und anderer zur Identifizierung notwendiger Kriterien ziemlich verschieden sind. Diese drei Modelle tragen außerdem zu einer Erhöhung der Abstandsgenauigkeit des Algorithmus bei.
Jedes Objekt wird anschließend auf der Basis von Merkmalen des Objekts bewertet, die die Objektbreite, die Objekthöhe, die Position des Objekts relativ zur Fensterunterkante, die Abschnittsbreite, die Abschnittshöhe und den Vergleich der Objektbereichspixelwerte mit den erwarteten Straßenpixelwerten einschließen. Der zuvor genannte Prozess wird für mehrere Fenster mit unterschiedlichen Zielabständen wiederholt.
Als Ergänzung der Abstandsfensteranalyse wird ferner die Musterabgleichsanalyse ausgeführt. Obwohl der zuvor beschriebene Abstandsfensteralgorithmus für bestimmte Situationen ausgezeichnete Ergebnisse liefern kann, kann er durch andere Abbildkonfigurationen verunsichert werden. Ein solches Szenario ist in den 11 bis 13 dargestellt. In 11 ist das vorausfahrende Fahrzeug durch das Bezugszeichen 140 gekennzeichnet. Das vorausfahrende Fahrzeug 140 befindet sich in einem gewissen Abstand zur Kamera 12 und ist deshalb in die Hintergrundszenerie des Abbilds allgemein integriert. Im Besonderen hat ein geparktes Fahrzeug 142 eine sich sehr nahe an der rechten Kante des vorausfahrenden Fahrzeugs 140 befindliche linke Kante. Das Abbild in 11 wurde zu einem Zeitpunkt T1 aufgenommen. Das in 12 dargestellte Abbild wurde eine halbe Sekunde später zu einem Zeitpunkt T2 aufgenommen. Das vorausfahrende Fahrzeug 140 hat sich zwar dem geparkten Fahrzeug 142 genähert, jedoch kann der Abstandsfensteralgorithmus in diesem Fall das vorausfahrende Fahrzeug 140 noch erfassen. In 13 ist das Abbild zu einem Zeitpunkt T3 aufgenommen worden, der eine Sekunde nach Aufnehmen des ursprünglichen Abbilds zum Zeitpunkt T1 liegt. Das vorausfahrende Fahrzeug 140 hat sich dem geparkten Fahrzeug 142 noch mehr genähert, was zu einem Vermischen der Kanten der zwei Fahrzeuge führt. Außerdem wird ein Schatten auf die linke Seite des vorausfahrenden Fahrzeugs 140 geworfen, was eine Unterbrechung in der linken Kante bewirkt. Diese Situationen setzen die Objektwertigkeit innerhalb des Abstandsfensteralgorithmus herab.
Die Wirkung auf die Objektwertigkeit ist außerdem durch die in den 14 bis 16 bereitgestellten Diagramme dargestellt. Diese Diagramme bieten die Abstandsfensteralgorithmuswertigkeit für das höchstbewertete Objekt innerhalb jedes Abstandsfensters. Folglich entspricht die Linie 150 den Abstandsfensterwertigkeiten für das zum Zeitpunkt T1 aufgenommene Abbild in 11. Die Linie 152 in 15 entspricht der höchsten Objektwertigkeit für jedes Abstandsfenster für das zum Zeitpunkt T2 aufgenommene Abbild in 12. Analog entspricht die Linie 154 in 16 den Objektwertigkeiten für jedes Abstandsfenster für das zum Zeitpunkt T3 aufgenommene Abbild in 13. Mithilfe eines passenden Musterbilds kann jedoch ein Mustervergleichsalgorithmus angewendet werden, um das vorausfahrende Fahrzeug 140 in 13 abzugrenzen. Im Allgemeinen kann sich ein Mustervergleich aufgrund der Notwendigkeit für signifikante Variationen der Musterbilder bezüglich Fahrzeugbreite, Fahrzeugform und Beleuchtungsbedingungen als schwierig erweisen. Deshalb kann zur Beschreibung der breiten Vielfalt von möglichen Fahrzeugen ein einziges Musterbild nicht genügen. Wenn jedoch ein Fahrzeug erst kürzlich zum Beispiel durch denn Abstandsfensteralgorithmus identifiziert worden ist, kann aus dem kürzlich gewonnenen Abbild ein passendes Musterbild des Fahrzeugs erstellt werden. Das kann anschließend zum Erkennen des Fahrzeugs in einer komplexen Hintergrundszenerie verwendet werden. Der Abstandsfensteralgorithmus kann also das Musterbild des vorausfahrenden Fahrzeugs 140 zur Verwendung in nachfolgenden Abbildern fortlaufend aktualisieren, wenn die Ergebnisse des Abstandsfensteralgorithmus infolge der Hintergrundinformationen unter ein akzeptables Niveau fallen.
In 17 ist eine Fensteransicht des vorausfahrenden Fahrzeugs 140 zum Zeitpunkt T1 dargestellt. Durch die stärkere Vergrößerung der Fensteransicht ist es leichter, das vorausfahrende Fahrzeug 140 und das geparkte Fahrzeug 142 zu unterscheiden. Aus dem Graustufenabbild in 17 ist ein entsprechendes kantenverstärktes Abbild gewonnen worden und in 18 dargestellt. Das kantenverstärkte Abbild von 18 ist ein trinarisiertes kantenverstärktes Abbild, das zum Hervorheben der Vertikalkanten innerhalb des Graustufenabbilds verwendet wird. Die rechte Kante des vorausfahrenden Fahrzeugs 140 ist mit dem Bezugszeichen 160 gekennzeichnet. Obwohl nahe der Kante 160 angeordnet, kann die linke Kante 162 des geparkten Fahrzeugs 142 dennoch unterschieden und von der Kante 160 getrennt segmentiert werden. Folglich können Objekte aus der rechten Kante 160 des vorausfahrenden Fahrzeugs 140 und der linken Kante 164 des vorausfahrenden Fahrzeugs 140 so zusammengesetzt werden, dass ein in 19 dargestelltes Objekt 165 erzeugt wird. Außerdem kann auch die linke Kante 162 des geparkten Fahrzeugs 142 verwendet werden, um zusammen mit der linken Kante 164 des vorausfahrenden Fahrzeugs 140 ein Objekt 166 zu erstellen. Für dieses spezielle Abstandsfenster erzielen die Parameter des Objekts 165 jedoch eine insgesamt höhere Wertigkeit als die des Objekts 166. Folglich erkennt der Abstandsfensteralgorithmus das Objekt 165 richtig als das vorausfahrende Fahrzeug 140. Zusätzlich kann der Bereich des Objekts 165 in Verbindung mit dem trinarisierten kantenverstärkten Abbild von 18 dazu verwendet werden, ein in 20 gezeigtes Musterbild 168 zu erstellen, die eine mithilfe der im Überlappungsbereich des Objekts 165 enthaltenen Kanteninformationen des trinarisierten Abbilds erstelltes trinarisiertes kantenverstärktes Musterbild ist.
In 21 ist eine Fensteransicht des vorausfahrenden Fahrzeugs 140 zum Zeitpunkt T3 dargestellt. Im Zeitpunkt T3 hat sich das vorausfahrende Fahrzeug 140 der Brücke und dem geparkten Fahrzeug 142 noch weiter genähert. Das aus dem Graustufenabbild von 21 gewonnene kantenverstärkte Abbild ist in 22 dargestellt. Die rechte Kante 160 des vorausfahrenden Fahrzeugs 140 ist noch ungestört. Auf der linken Seite des Fahrzeugs beeinträchtigt jedoch der Schatten der Brücke die linke Kante 164. Es wird deshalb durch den Abstandsfensteralgorithmus das dem vorausfahrenden Fahrzeug 140 entsprechende und durch das Bezugszeichen 172 gekennzeichnete echte Objekt und außerdem ein durch das Bezugszeichen 170 gekennzeichnetes Phantomobjekt erstellt, wie in 23 dargestellt. Das Phantomobjekt 170 hat eine höhere Wertigkeit als das echte Objekt 172.
Es kann jedoch zur Identifizierung des vorausfahrenden Fahrzeugs 140 in dem trinarisierten Abbild von 22 ein Musterbild 168 in einem Mustervergleichsalgorithmus verwendet werden. Der Mustervergleichsalgorithmus führt hierbei eine Kreuzkorrelationsfunktion zwischen dem Musterbild 168 und dem trinarisierten kantenverstärkten Abbild in 22 aus. Mithilfe der in den 24A und 24B dargestellten Zellenpositionen wird die Kreuzkorrelationsfunktion nach Gleichung (1) berechnet:
wobei C, F, I, M, N, x0, y0, x1 und y1 die Kreuzkorrelationsfunktion, das Musterbild 180, das Eingangsabbild 190, die Horizontal- bzw. Vertikalabmessungen des Musterbilds 180, die x- und y-Positionen 182 bzw. 184 des Fahrzeugs im ursprünglichen Abbild bzw. die horizontale und die vertikale Verschiebung sind. Die Fahrzeugverschiebung im Eingangsabbild 190 gegenüber dem ursprünglichen Abbild ist durch die Geschwindigkeit des Fahrzeugs begrenzt. Dementsprechend kann zwecks Verringerung des Verarbeitungsaufwands der Kreuzkorrelationsfunktion eine Maximalverschiebung in die vertikale oder die horizontale Richtung berechnet werden. Außerdem hilft die Begrenzung der horizontalen Verschiebung x1 als Differenz zwischen 192 und 182 und der vertikalen Verschiebung als Differenz zwischen 194 und 184, belanglose Kanteninformationen 191 in den nachfolgenden Abbildern zu vermeiden. Durch Anwendung der Gleichungen (2) und (3) ist mit Gleichung (4) die normierte Kreuzkorrelationsfunktion vorgegeben.
wobei P_F, P_I, C_N, x0 und y0 die Potenz des Musterbilds, die Potenz der Teilmenge des Eingangsabbilds, die normierte Kreuzkorrelationsfunktion bzw. die linke und untere Position in einem ursprünglichen Abbild sind.
Die resultierende Kreuzkorrelationsfunktion ist in 25 dargestellt und durch die Fläche 200 gekennzeichnet. Ein scharf ausgeprägter Spitzenwert wird in horizontaler Richtung der Fläche 200, jedoch nicht in vertikaler Richtung erzielt. Die höchste Position liegt bei (x1 = 1; y1 = 0). Die berechnete Objektposition (die linke untere Ecke als Basis) hat sich zum Zeitpunkt T3 von der Position zum Zeitpunkt TI um (x1 = 1 und y1 = 0) bewegt: Die Position hat sich um eine Zelle horizontal bzw. 0 Zellen vertikal verschoben. Diese Verschiebung kann die Lateralposition des Objekts zum Zeitpunkt T3 bereitstellen. Wenn der Kreuzkorrelationswert bei (x1 = 1; y1 = 0) größer als ein Korrelationsschwellenwert ist, wird das Objekt als das vorausfahrende Fahrzeug 140 identifiziert.
In der Zeitspanne, in der der Mustervergleichsalgorithmus verwendet wird, kann sich das Fahrzeug der Kamera 12 weiter nähern oder sich von ihr entfernen. Dementsprechend kann sich die Größe des Kantenmusters ändern. Zum Beispiel können die Vertikalkanten einander näher oder voneinander weiter entfernt sein, je nachdem wie nahe das vorausfahrende Fahrzeug 140 der Kamera 12 ist. Entsprechend können das Musterbild verzerrt und die Kreuzkorrelation mit einem kleineren Musterbild, dem Musterbild in ursprünglicher Größe und einem größeren Musterbild durchgeführt werden, um das vorausfahrende Fahrzeug 140 zu identifizieren.
Die Kreuzkorrelationsfunktion von Gleichung (4) kann die Größenänderung des Objekts nicht wiedergeben. Das Größenänderungsverhältnis kann zur Bestimmung des neuen Abstands des vorausfahrenden Fahrzeugs 140 verwendet werden. Des Weiteren kann eine Änderung des Abstands basierend auf der Änderung der Größe des Musterbilds mit dem höchsten Korrelationswert berechnet werden. Da das trinarisierte Abbild ein kantenverstärktes Abbild ist, kann das Musterbild 180 in 26A durch Einfügen von Spalten 210 in die Mitte des Musterbilds 180 leicht verzerrt werden, sodass ein wie in 26B dargestelltes gestrecktes Musterbild 212 gebildet wird, wodurch es auf ein Fahrzeug eingestellt ist, das sich näher zur Kamera 12 befindet. Außerdem können Spalten 214 aus der Mitte des Musterbilds 180 entfernt werden, sodass ein wie in 26C dargestelltes gestauchtes Musterbild 218 gebildet wird, das auf Fahrzeuge eingestellt ist, die sich von der Kamera 12 weiter entfernt haben. Das verzerrte Musterbild, die Potenz des Musterbilds und die Potenz der Teilmenge des Eingangsabbilds werden durch die Gleichungen (5) bis (8) bestimmt. In einer Kreuzkorrelation, die bei jeder Musterbildgröße ausgeführt wird, können also mehrere Spalten aus dem Musterbild entfernt oder in das Musterbild eingefügt werden.
F horizontal verzerrtes Musterbild, k Spalten, die in die/aus der Mitte von F(m, n) eingefügt/entfernt werden (5) F ≡ {F(m, n; k);0 ≤ m < M + k = M,0 ≤ n < N} (6)
wobei
M und P ₁, die Potenz des verformten Musterbilds, die horizontale Größe des verzerrten Musterbilds bzw. die Potenz der Teilmenge des Eingangsabbilds sind.
Deshalb werden zwischen dem verzerrten Musterbild und dem Eingangsmuster die nicht normierte und die normierte Kreuzkorrelationsfunktion nach den Gleichungen (9) und (10) eingeführt:
wobei F(m, n; k) das horizontal verzerrte Musterbild und k die Anzahl der eingefügten oder gelöschten Spalten sind. k = –1, 0 und 1 entspricht den Musterbildmodifikationen: Ein-Spalten-Löschung, keine Änderung bzw. Ein-Spalten-Einfügung. Die Abhängigkeit der Kreuzkorrelationsfunktion von der Verformungszahl k ist in 27 dargestellt. Die Linien 220, 222, 224, 226, 228 und 230 repräsentieren die Ergebnisse für die Kreuzkorrelationsfunktion unter Verwendung eines verformten Musterbilds mit zwei eingefügten Spalten, einer eingefügten Spalte, des ursprünglichen Musterbilds, eines Musterbilds mit einer gelöschten Spalte, zwei gelöschten Spalten bzw. drei gelöschten Spalten. Der beste Wert von C_n(x1, y1; k) wird durch Änderung von x1, y1 und k gesucht. Unter der Annahme, dass der beste Wertesatz (x1 = x10, y = y10 und k = k0) ist, ergeben grundsätzlich k0 die Abstandsänderung und x10 die Änderung der Lateralposition. Der neue Abstand wird mit den Gleichungen (11) und (12) berechnet. Entfernung_neu = Entfernung_Vorlage·Verhältniszahl (11)
wobei N_c die Anzahl der Spalten im ursprünglichen Musterbild ist. Die Lateralposition wird aus x1 = x10 berechnet, da jede Zelle der speziellen Lateralposition in jedem Abstandsfenster entspricht. Da dieser Abgleich nicht von der Fahrzeugverschiebung abhängt, ist |y1| auf kleiner oder gleich 1 begrenzt. Weil sich das Fahrzeug nicht schnell bewegen kann, können |x1| und |k| auf kleiner oder gleich 2 begrenzt werden. Die Berechnung der Kreuzkorrelationsfunktion kann nämlich auf eine der Objektfläche im Musterbild äquivalente Fläche begrenzt werden. Durch diese Gegebenheiten können unnötige Berechnungen vermieden werden.
Damit können die Ergebnisse des Mustervergleichsalgorithmus mit der mittels Abstandsfensteralgorithmus berechneten besten Objektwertigkeit kombiniert werden oder kann alternativ die beste Korrelationswertigkeit anstelle der Objektwertigkeit verwendet werden, um das Objekt als das vorausfahrende Fahrzeug 140 zu identifizieren. Da zahlreiche normierende oder wichtende Schemas für die Kombination des Korrelationswerts und des Objektwerts in Betracht gezogen werden können, sollte der Prozessor so konfiguriert werden, dass das vorausfahrende Fahrzeug auf Grundlage einer Kombination der Objektwertigkeit und der Korrelationswertigkeit bestimmt wird. Im einfachsten Szenario könnten diese Wertigkeiten normiert und addiert werden. Anschließend kann die resultierende Wertigkeit mit einem kombinierten Wertigkeitsschwellenwert verglichen werden.
Eine mit dem Fachgebiet vertraute Person wird leicht erkennen, dass die voranstehende Beschreibung als eine Darstellung der Implementierung der Erfindung aufzufassen ist. Diese Beschreibung ist nicht als Einschränkung des Geltungsbereichs oder der Anwendung der Erfindung gedacht, insofern als die Erfindung einer Modifikation, Variation oder Änderung unterworfen werden kann, ohne dass vom Sinn der durch die nachfolgenden Patentansprüche definierten Erfindung abgewichen wird.

10: System
12: Kamera
14: Prozessor
16: Bereich von Interesse
18: Fahrzeug
20, 22, 24: Fenster
26, 27, 28: Objekt
30: Verfahren
32 bis 40: Block
44 bis 48: Block
50: Linie
52: Block
54: Linie
56: Block
58: Linie
60: Block
62: Linie
64 bis 70: Block
72: Linie
74 und 76: Block
78: Linie
80 bis 84: Block
90: Fahrbahnmarkierungen
92: zusätzliches Fahrzeug
94: Motorrad
96: Fenster
98: Auto
100: Motorrad
102 bis 114: Abschnitt
116, 118, 120: Objekt
140: vorausfahrendes Fahrzeug
142: geparktes Fahrzeug
150: Linie der Abstandsfensterwertigkeiten
152: Linie der höchsten Objektwertigkeit
154: Linie der Objektwertigkeiten
160: rechte Kante des vorausfahrenden Fahrzeugs 140
162: linke Kante des geparkten Fahrzeugs 142
164: linke Kante des vorausfahrenden Fahrzeugs 140
165, 166: Objekt
168: Musterbild
170: Phantomobjekt
172: echtes Objekt
180: Musterbild
182: x-Positionen
184: y-Positionen
190: Eingangsabbild
191: belanglose Kanteninformationen
192: x-Position
194: y-Position
200: Fläche
210: eingefügte Spalten
212: gestrecktes Musterbild
214: Spalten
216: entfernte Spalten
218: gestauchtes Musterbild
220 bis 230: Linien der Ergebnisse der Kreuzkorrelation

Claims

Ein System (10) zur Bestimmung eines Abstands eines Fahrzeugs (18, 140), umfassend: – eine Kamera (12), die für das Betrachten eines Bereichs von Interesse (16), in dem sich das Fahrzeug (18, 140) befindet, konfiguriert ist und ein elektronisches Abbild des Bereichs erzeugt; – einen mit der Kamera zum Empfangen des elektronischen Abbilds in elektronischer Kommunikation stehenden Prozessor (14), der für das Ausführen eines Mustervergleichsalgorithmus zur Identifizierung des Fahrzeugs (18, 140) und zum Erstellen des Musterbilds für den Mustervergleichsalgorithmus basierend auf dem Fahrzeugidentifizierungsalgorithmus konfiguriert ist.
System (10) nach Anspruch 1, wobei der Mustervergleichsalgorithmus eine Kreuzkorrelationsfunktion zwischen dem elektronischen Abbild und dem Musterbild (168, 180, 212, 218) umfasst.
System (10) nach Anspruch 2, wobei das elektronische Abbild ein kantenverstärktes trinarisiertes Abbild ist.
System (10) nach Anspruch 2, wobei das elektronische Abbild ein vertikalkantenverstärktes Abbild ist.
System (10) nach Anspruch 2, wobei zwecks Ausführung des Mustervergleichsalgorithmus der Prozessor (14) für das Skalieren des Musterbilds (168, 180, 212, 218) relativ zum elektronischen Abbild konfiguriert ist.
System (10) nach Anspruch 5, wobei der Prozessor (14) für das Skalieren des Musterbilds (168, 180, 212, 218) durch Löschen von Spalten aus dem Musterbild (168, 180, 212, 218) konfiguriert ist.
System (10) nach Anspruch 5, wobei der Prozessor (14) für das Skalieren des Musterbilds (168, 180, 212, 218) durch Einfügen von Spalten in das Musterbild (168, 180, 212, 218) konfiguriert ist.
System (10) nach einem der Ansprüche 1 bis 7, wobei der Prozessor (14) so konfiguriert ist, dass das Fahrzeug (18, 140) auf dem Fahrzeugidentifizierungsalgorithmus und dem Mustervergleichsalgorithmus basierend selektiv identifiziert wird, nachdem das Musterbild (168, 180, 212, 218) gespeichert ist.
System (10) nach einem der Ansprüche 1 bis 8, wobei der Prozessor (14) für die auf dem ersten Algorithmus basierende Speicherung des Musterbilds (168, 180, 212, 218) zur Verwendung bei nachfolgenden Abbildern konfiguriert ist.
System (10) nach einem der Ansprüche 1 bis 9, wobei der Prozessor (14) für die Anwendung des Mustervergleichsalgorithmus konfiguriert ist, wenn der erste Algorithmus eine unter einem Wertigkeitsschwellenwert liegende Fahrzeugidentifizierungswertigkeit erzeugt.
System (10) nach einem der Ansprüche 1 bis 10, wobei der Fahrzeugidentifizierungsalgorithmus konfiguriert ist, eine Vielzahl von Objekten (26, 27, 28, 165, 166, 170, 172) auf der Grundlage von auf mögliche Fahrzeugstandorte hinweisenden Merkmalen des elektronischen Abbilds zu erstellen und eine Wertigkeit für jedes Objekt der Vielzahl von Objekten (26, 27, 28, 165, 166, 170, 172) zu berechnen.
System (10) nach Anspruch 11, wobei der Prozessor (14) für die Identifizierung einer Vielzahl von Fenstern (20, 22, 24) innerhalb des elektronischen Abbilds konfguriert ist und jedes Fenster der Vielzahl von Fenstern (20, 22, 24) einer festgelegten Größe bei einem Zielabstand zur Kamera (12) entspricht, wobei der Prozessor (14) außerdem für die Bewertung der Vielzahl von Objekten (26, 27, 28, 165, 166, 170, 172) bezüglich jedes Fensters (20, 22, 24) zwecks Identifizierung des Fahrzeugs (18, 140) konfiguriert ist.
System (10) nach Anspruch 11 oder 12, wobei die Objekte (26, 27, 28, 165, 166, 170, 172) aus auf der Basis des elektronischen Abbilds erzeugten Kantenabschnitten zusammengesetzt sind.
System (10) nach Anspruch 13, wobei die Kantenabschnitte Vertikalkantenabschnitte sind.
System (10) nach Anspruch 13, wobei die Wertigkeit auf einer Höhe der Kantenabschnitte basiert.
System (10) nach Anspruch 13, wobei die Wertigkeit auf einer Breite der Kantenabschnitte basiert.
System (10) nach Anspruch 11, wobei die Wertigkeit auf einer Höhe der Objekte (26, 27, 28, 165, 166, 170, 172) basiert.
System (10) nach Anspruch 11, wobei die Wertigkeit auf einer Breite der Objekte (26, 27, 28, 165, 166, 170, 172) basiert.
Verfahren zur Bestimmung eines Abstands eines Fahrzeugs, umfassend: – Ausführen eines ersten Algorithmus zur Identifizierung des Fahrzeugs (18, 140); – Erstellen eines auf dem ersten Algorithmus basierenden Musterbilds (168, 180, 212, 218) für einen Mustervergleichsalgorithmus; – Speichern des Musterbilds (168, 180, 212, 218) zur Verwendung für nachfolgende Abbilder; – Erzeugen eines elektronischen Abbilds eines Bereichs, in dem das Fahrzeug (18, 140) enthalten ist; und – Ausführen des Mustervergleichsalgorithmus zur Identifizierung des Fahrzeugs (18, 140).
Verfahren nach Anspruch 19, außerdem umfassend: – Erstellen einer Vielzahl von Objekten (26, 27, 28, 165, 166, 170, 172) basierend auf Merkmalen des elektronischen Abbilds, die auf mögliche Fahrzeugstandorte hinweisen; – Berechnen einer Wertigkeit für jedes Objekt der Vielzahl von Objekten (26, 27, 28, 165, 166, 170, 172); – wobei der Schritt Ausführen des Mustervergleichsalgorithmus ausgeführt wird, wenn die Wertigkeit jedes Objekts der Vielzahl von Objekten (26, 27, 28, 165, 166, 170, 172) kleiner als ein Wertigkeitsschwellenwert ist.