DE102006005512A1

DE102006005512A1 - System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs

Info

Publication number: DE102006005512A1
Application number: DE102006005512A
Authority: DE
Inventors: Shunji Yokohama Miyahara
Original assignee: Visteon Global Technologies Inc
Current assignee: Visteon Global Technologies Inc
Priority date: 2005-02-02
Filing date: 2006-02-02
Publication date: 2006-08-10
Anticipated expiration: 2026-02-03
Also published as: US20060182313A1; DE102006005512B4; US7561721B2

Abstract

Ein System zur Bestimmung der Entfernung und der Lateralposition eines Fahrzeugs wird bereitgestellt. Das System umfasst eine Kamera und einen Prozessor. Die Kamera ist für das Betrachten eines Bereichs von Interesse konfiguriert, in dem sich ein Fahrzeug befindet, und erzeugt ein elektronisches Abbild des Bereichs. Der Prozessor steht mit der Kamera zum Empfangen des elektronischen Abbilds in elektrischer Kommunikation. Der Prozessor analysiert das elektronische Abbild durch Identifizierung einer Reihe von Fenstern innerhalb des Abbilds, wobei jedes Fenster Merkmalen des Fahrzeugs bei einer anderen Zielentfernung entspricht. Zum Beispiel erscheint aus der Perspektive der Kamera das Fahrzeug größer, wenn es sich näher zur Kamera befindet, als wenn es weiter von der Kamera entfernt ist. Dementsprechend ist jedes Fenster proportional zum Fahrzeug bemessen, wie es bei jeder Zielentfernung erscheinen würde. Der Prozessor bewertet die Merkmale im elektronischen Abbild innerhalb jedes Fensters, um das Fahrzeug zu identifizieren. Es wird eine Wertigkeit bestimmt, die auf die Wahrscheinlichkeit hinweist, dass bestimmte Merkmale des elektronischen Abbilds tatsächlich dem Fahrzeug entsprechen und dass sich das Fahrzeug in der Zielentfernung für diese Fenster befindet.

Description

Hintergrund
Fachgebiet de Erfindung
Die Erfindung bezieht sich allgemein auf ein System und ein Verfahren zur Messung der Entfernung und der Lateralposition eines vorausfahrenden Fahrzeugs auf einer Straße.

Radar- und Stereokamerasysteme für eine adaptive automatische Geschwindigkeitsregelung sind auf dem Markt bereits eingeführt. Seit kurzem wird Radar für Pre-Crash-Sicherheitssysteme und zur Kollisionsvermeidung eingesetzt. Typischerweise erfolgt die Messung der Entfernung und der Lateralposition mithilfe von Radar- und/oder Stereokamerasystemen. Radarsysteme können eine sehr genaue Entfernung bereitstellen. Millimeterwellenradarsysteme, wie z. B. 77-GHz-Systeme, sind jedoch normalerweise ziemlich kostenintensiv. Laserradar ist zwar preisgünstig, erfordert jedoch mechanisches Abtasten. Außerdem ist Radar zur Identifizierung des Objekts und zur Bereitstellung einer genauen Lateralposition im Allgemeinen nicht gut geeignet.

Stereokameras können die Entfernung bestimmen und ein Objekt identifizieren. Diese Systeme sind jedoch kostenintensiv und aufgrund der zwischen den zwei Stereokameras erforderlichen genauen Ausrichtung typischerweise schwierig zu fertigen und erfordern zwei Bildbearbeitungssysteme.

Mit Blick auf die voranstehende Darlegung ist zu erkennen, dass herkömmliche adaptive automatische Geschwindigkeitsregelungen typischerweise kein gutes Kosten-Leistungs-Verhältnis haben, selbst wenn sie die gewünschten funktionellen Erfordernisse zu erfüllen vermögen. Außerdem ist offensichtlich, dass ein Bedarf für ein verbessertes System und Verfahren zur Messung der Entfernung und der Lateralposition des vorausfahrenden Fahrzeugs besteht.

Zusammenfassung

Zur Befriedigung des voranstehend genannten Bedarfs sowie zur Überwindung der aufgezählten Nachteile und anderen Beschränkungen des Stands der Technik stellt die Erfindung ein System zur Bestimmung der Entfernung und der Lateralposition eines vorausfahrenden Fahrzeugs bereit. Die primären Komponenten des Systems umfassen eine Kamera und einen Prozessor. Die Kamera ist für das Betrachten eines Bereichs von Interesse konfiguriert, in dem sich ein vorausfahrendes Fahrzeug befindet, und erzeugt ein elektronisches Abbild des Bereichs. Der Prozessor steht mit der Kamera zum Empfangen des elektronischen Abbilds in elektrischer Kommunikation. Zwecks Analysierung des elektronischen Abbilds identifiziert der Prozessor eine Reihe von Fenstern innerhalb des Abbilds, wobei jedes Fenster einer konstanten physikalischen Größe bei einer unterschiedlichen Zielentfernung entspricht. Dementsprechend ist jede Fenstergröße im Abbild umgekehrt proportional zur Entfernung des Fensters. Der Prozessor bewertet Merkmale des elektronischen Abbilds innerhalb jedes Fensters zur Identifizierung des Fahrzeugs. Zum Beispiel wird die Größe des Fahrzeugs mit der Größe jedes Fensters verglichen, um ein Größenverhältnis zu erstellen. Die durch den Prozessor bewerteten Merkmale des elektronischen Abbilds umfassen die Breite und die Höhe der Kantensegmente im Abbild sowie die Höhe, die Breite und die Anordnung der aus mehreren Kantensegmenten erstellten Objekte. Zwecks Analysierung der Objekte wird die Breite des Objekts bestimmt und für das Objekt ein Fahrzeugmodell aus mehreren einem Fahrzeugtyp, wie z. B. ein Motorrad, eine Limousine, ein Bus usw., entsprechenden Modellen ausgewählt. Das Modell weist dem Objekt eine Wertigkeit auf der Basis der Merkmale zu. Die Bewertung der Objektmerkmale erfolgt entsprechend dem ausgewählten Fahrzeugmodell. Die Wertigkeit kennzeichnet die Wahrscheinlichkeit, dass das Objekt ein Zielfahrzeug auf der Straße ist. Das Objekt mit der höchsten Wertigkeit wird ein Ziel, und die dem Objekt entsprechende Entfernung des Fensters ist die veranschlagte Entfernung des vorausfahrenden Fahrzeugs.

In einer weiteren Ausgestaltung der Erfindung wird ein Verfahren zur Identifizierung des Fahrzeugs innerhalb des elektronischen Abbilds und zur Bestimmung der Fahrzeugentfernung bereitgestellt. Zur Vereinfachung des Abbilds wird ein kantenverstärkender Algorithmus auf das Abbild angewendet. Es werden nur die Merkmale des elektronischen Abbilds innerhalb eines bestimmten Fensters bewertet. Das kantenverstärkte Abbild wird zwecks Erzeugung eines trinären Abbilds verarbeitet, wobei die Bildelemente des Abbilds als positive Kanten-, negative Kanten- oder Nichtkantenelemente gekennzeichnet werden. Die positiven und die negativen Kantenelemente werden in positive Kantenabschnitte und negative Kantenabschnitte gruppiert. Die Abschnitte werden bewertet und die Objekte aus Paaren positiver und negativer Kantenabschnitte erstellt. Für jedes Objekt wird eine Wertigkeit auf der Basis von Kriterien, wie z. B. die Objektbreite, die Objekthöhenposition, die Objekthöhe und die Abschnittsbreite, ermittelt. Basierend auf der Wertigkeit des Objekts wird die Entfernung des Objekts auf der Basis der Zielentfernung des Fensters bewertet.

In einer noch anderen Ausgestaltung der Erfindung wird das ursprüngliche Abbild binarisiert, und die im Objektbereich und in einem Fahrbahnoberflächenbereich angeordneten binären Elemente werden zur Berechnung der Gleichmäßigkeit des Objektbereichs und des Fahrbahnoberflächenbereichs verwendet. Der Grad der Gleichmäßigkeit des Objektbereichs und des Fahrbahnoberflächenbereichs wird zur Beurteilung, ob es sich um ein reales oder ein fiktives Objekt handelt, verwendet.

Weitere Ziele, Merkmale und Vorteile der Erfindung sind nach Prüfung der nachfolgenden Beschreibung unter Berücksichtigung der Zeichnungen und beigefügten und ein Teil dieser Spezifikation bildenden Patentansprüche für Fachleute leicht erkennbar.

Kurzbeschreibung der Zeichnungen
1 ist eine Seitenansicht eines die Prinzipien der Erfindung verkörpernden Systems zur Messung der Entfernung und der Lateralposition eines vorausfahrenden Fahrzeugs.
2 ist eine Ansicht eines elektronischen Abbilds aus der Perspektive der Kamera in 1.
3 ist eine Seitenansicht des Systems, die die Berechnung der oberen und der unteren Kante des Fensters entsprechend der Erfindung darstellt.
4 ist eine Draufsicht des Systems, die die Berechnung der linken und der rechten Kante des Fensters entsprechend der Erfindung darstellt.
5A ist eine Ansicht des elektronischen Abbilds, das den Auszug lediglich der Abbildinformationen im ersten Fenster darstellt.
5B ist eine Ansicht des elektronischen Abbilds, das den Auszug lediglich der Abbildinformationen im zweiten Fenster darstellt.
5C ist eine Ansicht des elektronischen Abbilds, das den Auszug lediglich der Abbildinformationen im dritten Fenster darstellt.
6 ist ein Flussdiagramm, das den Algorithmus darstellt, der vom System zur Bestimmung der Entfernung des vorausfahrenden Fahrzeugs ausgeführt wird.
7 ist eine Ansicht des von der Kamera vor der Verarbeitung erzeugten elektronischen Abbilds.
8 ist eine Ansicht des elektronischen Abbilds nach der Anwendung eines vertikalkantenverstärkenden Algorithmus auf das elektronische Abbild.
9 ist eine Ansicht des elektronischen Abbilds, das Abschnitte als Auszug aus dem kantenverstärkten Abbild enthält.
10 ist eine Ansicht des elektronischen Abbilds, das aus den in 8 dargestellten Abschnitten erstellte Objekte enthält.
11 ist eine Ansicht des elektronischen Abbilds, das die Bereiche darstellt, die auf Gleichmäßigkeit geprüft werden.
Ausführliche Beschreibung
In 1 ist ein die Prinzipien der Erfindung verkörperndes System dargestellt und mit dem Bezugszeichen 10 gekennzeichnet. Als seine primären Komponenten umfasst das System 10 eine Kamera 12 und einen Prozessor 14. Die Kamera 12 ist zum Erfassen eines optischen Abbilds eines ein Fahrzeugs 18 enthaltenden Bereichs von Interesse 16 im Rückspiegel angeordnet. Das durch die Kamera 12 aufgenommene optische Abbild wird in ein elektronisches Abbild umgewandelt, das dem Prozessor 14 bereitgestellt wird. Zur Herausfilterung unerwünschter Störungen im elektronischen Abbild und zur Unterstützung bei der Bestimmung der Entfernung des Fahrzeugs 18 berechnet der Prozessor 14 die Position von mehreren Fenstern 20, 22, 24 innerhalb des Bereichs von Interesse 16. Die Fenster 20, 22, 24 sind in verschiedenen Zielentfernungen zur Kamera 12 angeordnet. Die Größe der Fenster 20, 22, 24 ist eine festgelegte physikalische Größe (etwa 4 m × 2 m wie dargestellt) und kann der Größe einer normalen Fahrspurbreite und einer typischen Höhe eines Fahrzeugs entsprechen. Zur Bereitstellung einer höheren Auflösung werden die Fenster 20, 22, 24 in kleineren Abständen zueinander angeordnet, und es wird die Anzahl der Fenster erhöht. Das dargestellte System 10 ist zwar für die Verfolgung eines dem System 10 vorausfahrenden Fahrzeugs 18 konfiguriert, es ist jedoch ebenfalls einbezogen, dass die Kamera 12 zur Seite oder nach hinten gerichtet werden kann, um ein Fahrzeug 18 zu verfolgen, das sich aus anderen Richtungen nähern könnte.
In 2 ist ein elektronisches Abbild des Bereichs von Interesse 16 dargestellt, wie es durch die Kamera 12 gesehen wird. Die Fenster 20, 22, 24 werden in ihrer entsprechenden Größe und Anordnung entsprechend der Perspektive der Kamera 12 projiziert. Das Fahrzeug 18 ist zwischen den Fenstern 22 und 24 angeordnet, sodass dementsprechend die Größe des Fahrzeugs 18 viel genauer der Höhe und der Breite der Fenster 22 und 24 als der Höhe und der Breite des Fensters 20 entspricht. Wie in 1 zu erkennen, ist die Höhe und die Breite der Fenster zwar bei jeder Zielentfernung physikalisch konstant, jedoch scheinen die Fenster aus der Perspektive der Kamera 12 zu variieren. Analog scheint sich die Höhe und die Breite des vorausfahrenden Fahrzeugs 18 bei jeder Zielentfernung zu verändern. Die Perspektive der Kamera 12 beeinflusst basierend auf dem Höhenwinkel und dem Azimutwinkel der Kamera 12 die scheinbare Größe und Anordnung des vorausfahrenden Fahrzeugs 18 innerhalb des elektronischen Abbilds. Der Prozessor 14 kann die Anordnung und die Größe jedes der Fenster 20, 22, 24 zur Bewertung der Merkmale des elektronischen Abbilds verwenden und eine Wertigkeit bestimmen, die die Wahrscheinlichkeit anzeigt, dass sich das Fahrzeug 18 in einer mit dem entsprechenden Fenster verbundenen Zielentfernung befindet.
3 ist eine Seitenansicht des Systems 10, die die Verwendung des Höhenwinkels bei der Berechnung der Höhe und der Position des Fensters 20 innerhalb des elektronischen Abbilds darstellt. Der Höhenwinkel ist der Winkel zwischen der optischen Achse der Kamera 12 und der Oberfläche der Straße. Die untere Kante des Fensters 20 wird auf der Basis der folgenden Gleichung (1) berechnet: Θ1 = arctan(–r1/hc), (1)wobei hc die Höhe der Kamera 12 über der Straßenoberfläche, r1 die horizontale Entfernung des Fensters 20 von der Kamera 12 und der Modul arctan [0, π] sind.
Analog wird die obere Kante des ersten Fensters (20) auf der Basis der folgenden Gleichung (2) berechnet: Θ1h = arctan (r1/(hw – hc)), (2)wobei hw die Höhe des Fensters, hc die Höhe der Kamera 12 über der Straßenoberfläche und r1 die Entfernung des Fensters 20 von der Kamera 12 sind. Die Differenz ΔΘ₁ = Θ₁ – Θ_1h entspricht der Höhe des Fensters im elektronischen Abbild.
Bezug nehmend auf 4 entspricht die horizontale Position des Fensters im elektronischen Abbild dem Azimutwinkel. Der Azimutwinkel ist der Winkel über die Breite des vorausfahrenden Fahrzeugs aus der Perspektive der Kamera 12. Die rechte Kante des Auswahlfensters 20 wird nach Gleichung (3) berechnet: Φ1 = arctan (–Breitew/(2·r1)) + (π/2). (3)
Analog wird die linke Kante des Auswahlfensters 20 nach folgender Gleichung (4) berechnet: Φ1h = arctan (Breitew/(2·r1)) + (π/2), (4)wobei Breite_w der Abstand vom Zentrum des Fensters 20 zu den vertikalen Kanten, r1 die horizontale Entfernung des Fensters 20 von der Kamera 12 und der Modul arctan [–π/2, π/2] sind.
Die Fensterpositionen für die zusätzlichen Fenster 22, 24 werden mithilfe der Gleichungen (1) bis (4) berechnet, wobei r1 durch die entsprechenden Zielentfernungen ersetzt wird.
In 5A ist das auf Fenster 20 bezogene elektronische Abbild dargestellt. Es ist zu beachten, dass die Breite des Objekts 26 etwa 30 % der Breite des Fensters 20 beträgt. Wenn für die Fensterbreite eine Breite von 4 m angesetzt ist, also etwa das Zweifache der erwarteten Breite des Fahrzeugs 18, würde die ermittelte Breite des Objekts 26 bei einer Entfernung von r1 gleich 4 m × 0,3 = 1,2 m betragen. Deshalb ist die Wahrscheinlichkeit gering, dass es sich bei dem Objekt 26 um das Fahrzeug 18 in der Entfernung r1 handelt. Außerdem bewertet der Prozessor 14 den vertikalen Versatz und Objekthöhenkriterien. Zum Beispiel wird der Abstand des Objekts 26 von der Unterkante des verarbeitenden Fensters 20 zur Bestimmung der Wahrscheinlichkeit, dass sich das Objekt 26 in der Zielentfernung befindet, verwendet. Unter der Annahme, dass die Straße eben ist, würde, wenn sich das Objekt 26 in der Entfernung r1 befände, die unterste Position des Objekts 26 an der Unterkante des Fensters 20 erscheinen, was dem Kontakt des Objekts mit der Straße in der Zielentfernung entspräche. Das Objekt 26 in 5A scheint jedoch über der Straße zu schweben, wodurch die Wahrscheinlichkeit, dass sich das Objekt 26 in der Zielentfernung befindet, sinkt. Außerdem sollte das extrahierte Objekt 26 eine Höhe von 0,5 m oder 1,2 m überdecken. Der Prozessor 14 erfasst eine Objekthöhe von 0,5 m, wenn nur der untere Abschnitt des Fahrzeugs 18 erfasst wird, oder 1,2 m, wenn die gesamte Höhe des Fahrzeugs 18 erfasst wird. Je genauer die Höhe des Objekts 26 mit der erwarteten Höhe übereinstimmt, desto wahrscheinlicher ist das Objekt 26 das Fahrzeug 18 und desto wahrscheinlicher ist, dass es sich in der Zielentfernung r1 befindet. Der voranstehend beschriebene vertikale Versatz kann außerdem die Höhe des Objekts 26 beeinflussen, da der obere Teil des Objekts 26 in 5A durch die Kante des Fensters 20 abgeschnitten ist. Deshalb erscheint das Objekt 26 kleiner als erwartet, was wiederum die Wahrscheinlichkeit verringert, das das Objekt 26 das Fahrzeug 18 in der Entfernung r1 ist.
In 5B ist das auf Fenster 22 bezogene elektronische Abbild dargestellt. Die Breite des Objekts 27 beträgt etwa 45 % der Breite des Fensters 22. Deshalb liegt die ermittelte Breite des Objekts 27 in der Entfernung r2 mit 4 m × 0,45 = 1,8 m viel näher an der erwarteten Größe des Fahrzeugs 18. In diesem Abbild ist das Objekt 27 nur leicht zur Unterkante des Fensters 22 versetzt, und die gesamte Höhe des Objekts 27 befindet sich noch im Fenster 22.
In 5C ist das auf Fenster 24 bezogene elektronische Abbild dargestellt. Die Breite des Objekts 28 beträgt etwa 80 % der Breite des Fensters 24. Dementsprechend beträgt die ermittelte Breite des Objekts 28 in der Entfernung r3 gleich 4 m × 0,8 = 3,2 m. Deshalb ist die Objektbreite wesentlich größer als die erwartete Breite des Fahrzeugs 18, die gewöhnlich etwa 1,75 m beträgt. Auf der Basis der Objektbreite kann der Prozessor 14 eine Festlegung treffen, dass das Objekt 27 am wahrscheinlichsten dem Fahrzeug 18 und r2 der wahrscheinlichsten Entfernung entspricht. Die Entfernungsgenauigkeit des Systems 10 kann durch Anwendung einer feineren Abstufung der Zielentfernung für jedes Fenster erhöht werden. Sowie sich das Fahrzeug 18 näher zur Kamera 12 befindet, ist die Anwendung einer feineren Abstufung zwischen den Fenstern aufgrund des höheren Risikos einer Kollision besonders nützlich. Alternativ kann ebenso eine Interpolation zur Berechnung einer Position zwischen den Fenstern durch Identifizierung der zwei wahrscheinlichsten Objekte in aufeinanderfolgenden Fenstern, Verwendung der voranstehend erwähnten Kriterien und Berechnung einer Entfernung auf der Basis einer Wichtung jeder Wertigkeit und der entsprechenden Zielentfernungen verwendet werden.
In 6 ist ein Verfahren zur Verarbeitung eines Abbilds entsprechend der Erfindung dargestellt und mit dem Bezugszeichen 30 gekennzeichnet. Block 32 bezeichnet den Start des Verfahrens. In Block 34 wird ein Abbild durch die Kamera 12 erfasst und an den Prozessor 14 übertragen. In Block 36 wendet der Prozessor 14 eine Vertikalkantenverstärkung zur Erzeugung eines kantenverstärkten Abbilds an. In Block 38 richtet der Prozessor 14 ein Entfernungsfenster zur Begrenzung des für eine spezielle Entfernung analysierten Bereichs ein, wodurch mögliche unklare Kanteninformationen ausgeschlossen werden. In Block 40 wird ein trinäres Abbild innerhalb des Entfernungsfensters aus dem kantenverstärkten Abbild erzeugt. In Block 42 wird ein binäres Abbild aus dem ursprünglich erfassten elektronischen Abbild erzeugt. In Block 44 wird das trinäre Abbild zur Sortierung der Bildpunkte desselben Werts und einer ähnlichen Anordnung in Linienabschnitte genannte Gruppen segmentiert. In Block 46 werden zwei Abschnitte mit unterschiedlicher Polarität miteinander gruppiert, sodass Objekte gebildet werden, die einem möglichen Fahrzeug entsprechen.
In Block 48 wird die Breite eines Objekts mit einem Breitenschwellenwert zwecks Auswahl des Modells verglichen. Wenn die Breite des Objekts kleiner als der Breitenschwellenwert ist, folgt der Algorithmus der Linie 50 zu Block 52, in dem ein einem Motorrad entsprechendes Fahrzeugmodell ausgewählt wird. Ist die Breite des Objekts nicht kleiner als der erste Breitenschwellenwert, folgt der Algorithmus der Linie 54 zu Block 56. In Block 56 wird die Breite eines Objekts mit einem zweiten Breitenschwellenwert verglichen. Wenn die Breite des Objekts kleiner als der zweite Breitenschwellenwert ist, folgt der Algorithmus der Linie 58, und in Block 60 wird ein einer Limousine entsprechendes Fahrzeugmodell ausgewählt. Ist jedoch die Breite des Objekts größer als der zweite Breitenschwellenwert, folgt der Algorithmus der Linie 62 zu Block 64, in dem ein einem Lastkraftwagen entsprechendes Fahrzeugmodell ausgewählt wird.
In Block 66 bestimmt der Prozessor 14 die Gleichmäßigkeit im Objektbereich und im fiktiven Bereich (unterhalb des Objektbereichs) auf der Basis des binären Abbilds. Sind die Ähnlichkeiten in beiden Bereichen sehr hoch, wird dieses Objekt als ein Nicht-Objekt oder fiktives Objekt eingeschätzt. Der Prozessor 14 bewertet anschließend in Block 68 die Objekte auf der Basis der Wertigkeit des ausgewählten Modells und der Gleichmäßigkeit. In Block 70 stellt der Prozessor 14 fest, ob jedes der Objekte für dieses Entfernungsfenster bewertet worden ist. Ist nicht jedes der Objekte bewertet worden, folgt der Algorithmus der Linie 72, und die Breite des nächsten Objekts wird analysiert, um, beginnend bei Block 48, ein Fahrzeugmodell auszuwählen. Wenn jedes der Objekte bewertet worden ist, wird in Block 74 das beste Objekt im Fenster (Fensterobjekt) auf der Basis der Wertigkeit bestimmt. Anschließend stellt der Prozessor 14 in Block 76 fest, ob jedes der Fenster vervollständigt worden ist. Ist nicht jedes der Fenster vervollständigt worden, folgt der Algorithmus der Linie 78, und das Fenster wird gewechselt. Nachdem das Fenster gewechselt ist, folgt der Algorithmus der Linie 78, und in Block 38 wird das nächste Entfernungsfenster eingerichtet. Wenn jedes der Fenster vervollständigt worden ist, wird in Block 82 auf der Basis der Wertigkeit das beste Objekt aus den Fensterobjekten ausgewählt, und die Entfernung des dem Objekt entsprechenden Fensters wird die veranschlagte Entfernung des vorausfahrenden Fahrzeugs. Der Algorithmus endet in Block 84, bis das nächste Abbild erfasst wird.
In 7 ist ein typisches elektronisches Abbild dargestellt, wie es durch die Kamera 12 zu sehen ist, und es wird zur weiteren Beschreibung des durch den Prozessor 14 implementierten Verfahrens zur Bestimmung der Entfernung und der Lateralposition des Fahrzeugs 18 verwendet. Das elektronische Abbild umfasst zusätzliche Merkmale, die für den Prozessor 14 störend sein könnten, wie z. B. die Fahrbahnmarkierungen 90, ein zusätzliches Fahrzeug 92 und ein Motorrad 94.
8 zeigt ein vertikalkantenverstärktes Abbild. Das elektronische Abbild besteht aus horizontalen Zeilen und vertikalen Spalten von Bildelementen (Pixel). Jedes Pixel umfasst einen der Helligkeit des Abbilds entsprechenden Wert an dieser Zeilen- und Spaltenstelle. Ein typischer kantenverstärkender Algorithmus umfasst die Berechnung des Differentialquotienten der Helligkeit über die horizontalen Zeilen oder die vertikalen Spalten des Abbilds. Jedoch sind viele andere kantenverstärkenden Verfahren in Betracht gezogen, und sie können auf einfache Weise verwendet werden. Außerdem werden die Position und die Größe des Fensters 96 für eine vorgegebene Zielentfernung berechnet. Außerhalb des Fensters 96 angeordnete Kanteninformationen werden ignoriert. In diesem Beispiel können viele der Kanteninformationen vom Auto 98 und vom Motorrad 100 eliminiert werden.
Bezug nehmend auf 9 wird das kantenverstärkte Abbild trinarisiert, das heißt, jedes der Pixel wird auf einen Wert 0, 1 oder 2 gesetzt. Ein typisches Verfahren zur Trinarisierung des Abbilds umfasst das Nehmen des Werts jedes Pixelwerts und das Vergleichen mit einem oberen und einem unteren Schwellenwert, wobei der Pixelwert auf 1 gesetzt wird, wenn die Helligkeit des Pixelwerts über dem oberen Schwellenwert liegt. Liegt die Helligkeit des Pixelwerts unter dem unteren Schwellenwert, wird der Pixelwert auf 2 gesetzt. Andernfalls wird der Pixelwert auf 0 gesetzt. Damit werden die Pixel effektiv in Kantenpixel mit einem Hell-zu-Dunkel-Übergang (negativer Übergang), Kantenpixel mit einem Dunkel-zu-Hell-Übergang (positiver Übergang) und Nicht-Kantenpixel eingeteilt. Obwohl das zuvor beschriebene Verfahren schnell und einfach ist, können andere kompliziertere Schwellenwertverfahren einschließlich lokaler Flächenschwellenwert- oder anderer gewöhnlich verwendeter Näherungsverfahren verwendet werden. Anschließend werden die Pixel basierend auf ihrer relativen Position zu anderen Pixeln mit demselben Wert gruppiert. Das Gruppieren dieser Pixel wird Segmentierung genannt, und jede dieser Gruppen wird als Linienabschnitt bezeichnet. Höhen-, Breiten- und Positionsinformationen werden für jeden Linienabschnitt gespeichert.
Wenn diese Abschnitte auf das ursprüngliche Abbild rückbezogen werden, so repräsentiert Abschnitt 102 die Fahrbahnmarkierung auf der Straße. Abschnitt 104 repräsentiert den oberen Teil der linken Seite des Fahrzeugs. Abschnitt 106 repräsentiert die untere linke Seite des Fahrzeugs. Abschnitt 108 repräsentiert den linken Reifen des Fahrzeugs. Abschnitt 110 repräsentiert die obere rechte Seite des Fahrzeugs. Abschnitt 112 repräsentiert die untere rechte Seite des Fahrzeugs, während Abschnitt 114 den rechten Reifen repräsentiert.
Bezug nehmend auf 10 können Objekte aus zwei Abschnitten erstellt werden. Typischerweise würde ein positiver Abschnitt mit einem negativen Abschnitt gepaart werden. Der Abschnitt 102 und der Abschnitt 104 werden zum Erstellen des Objekts 116 kombiniert. Der Abschnitt 102 und der Abschnitt 106 werden zum Erstellen des Objekts 118 kombiniert. Der Abschnitt 106 und der Abschnitt 112 werden zum Erstellen des Objekts 120 kombiniert.
Die Merkmale jedes Objekts werden dann durch die Merkmale eines Modellfahrzeugs bewertet. Für jedes Objekt wird ein Modell auf der Basis der Breite des Objekts ausgewählt. Wenn zum Beispiel die Objektbreite kleiner als ein erster Breitenschwellenwert ist, wird ein einem Motorrad entsprechendes Modell zur Bewertung des Objekts verwendet. Wenn die Objektbreite größer als der erste Breitenschwellenwert, jedoch kleiner als ein zweiter Breitenschwellenwert ist, wird ein einer Limousine entsprechendes Modell verwendet. Wenn alternativ die Objektbreite größer als der zweite Breitenschwellenwert ist, wird das Objekt durch ein einem großen Lastkraftwagen entsprechendes Modell bewertet. Zwar sind nur drei Modelle beschrieben worden, jedoch kann eine größere oder kleinere Anzahl von Modellen verwendet werden.
Jedes Modell hat Merkmale, die sich von denen eines anderen Fahrzeugtyps unterscheiden, und zwar entsprechend den Merkmalen des jeweils vorliegenden Fahrzeugtyps. Zum Beispiel ist das Höhen-Seiten-Verhältnis beim Motorrad hoch, beim Limousinenmodell jedoch gering. Diese Merkmale entsprechen dem tatsächlichen Fahrzeug, da das Motorrad eine geringe Breite und eine große Höhe aufweist, bei der Limousine jedoch umgekehrt ist. Die Höhe des Objekts ist beim Lastkraftwagenmodell ziemlich groß, beim Limousinenmodell aber gering. Die drei Modelle ermöglichen dem Algorithmus das genaue Zuweisen von Punkten zu jedem der Objekte.
Die Merkmale der Objekte werden mit den Merkmalen der Modelle verglichen. Je genauer die Objektmerkmale mit den Modellmerkmalen übereinstimmen, desto höher ist die Bewertung, und desto wahrscheinlicher ist das Objekt ein Fahrzeug des ausgewählten Modelltyps. Für die Bestimmung, ob das Objekt ein Fahrzeug ist, können bestimmte Merkmale als wichtiger bewertet oder betrachtet werden als andere Merkmale. Durch die Verwendung von drei Modellen ist eine genauere Beurteilung möglich als mit einem einzigen Modell, da die drei Fahrzeugtypen hinsichtlich der Breite, der Höhe, der Form und anderer zur Identifizierung notwendiger Kriterien ziemlich verschieden sind. Diese drei Modelle tragen außerdem zu einer Erhöhung der Entfernungsgenauigkeit des Algorithmus bei.
Zusätzlich zum kantenverstärkten Abbild wird ein binäres Abbild des ursprünglich erfassten Abbilds verwendet, um die Beurteilung, ob ein Objekt ein Fahrzeug ist oder nicht, zu verbessern. Wenn, wie in 11 zu erkennen ist, ein leerer Raum zwischen zwei Fahrzeugen 140, 142 existiert und die Breite des Raums beinahe die Breite eines Fahrzeugs aufweist, kann der Algorithmus ermitteln, dass die linke Kante des rechten Fahrzeugs 142 und die rechte Kante des linken Fahrzeugs 140 die Kanten eines Fahrzeugs (fiktives Fahrzeug) sind. Jedoch wird die Gleichmäßigkeit im Objektbereich 146 zwischen den Fahrzeugen 140, 142 und im Fahrbahnoberflächenbereich 148 direkt vor dem Objektbereich 146 bei Präsenz eines Fahrzeugs wahrscheinlich anders sein als in einer Situation mit einem fiktiven Fahrzeug. Das binäre Abbild ermöglicht dem Algorithmus eine schnelle Quantifizierung der Gleichmäßigkeit im Objektbereich 146 und im Fahrbahnoberflächenbereich 148. Eine Analyse der Gleichmäßigkeit in den zwei Bereichen 146, 148 ermöglicht eine bessere Unterscheidung zwischen wirklichen und fiktiven Objekten.
Analog zum kantenverstärkten Abbild wird das erfasste Abbild binarisiert, das heißt, dass jedes der Pixel auf einen 0- oder 1-Wert gesetzt wird. Ein typisches Verfahren zur Binarisierung des Abbilds umfasst das Nehmen des absoluten Werts jedes Pixelwerts und das Vergleichen mit einem Schwellenwert, wobei der Pixelwert auf 1 gesetzt wird, wenn die Helligkeit des Pixelwerts über dem oberen Schwellenwert liegt. Andernfalls wird der Pixelwert auf 0 gesetzt. Es können auch andere kompliziertere Schwellenwertverfahren einschließlich lokaler Flächenschwellenwert- oder anderer gewöhnlich verwendeter Näherungsverfahren verwendet werden.
Anschließend wird die Gleichmäßigkeit im Objektbereich 146 und im Fahrbahnoberflächenbereich 148 berechnet. Die Gleichmäßigkeit wird entsprechend der in Gleichung (5) definierten Beziehung berechnet. Gleichmäßigkeit = (|Prozent der schwarzen Pixel im Bereich – 50|)/50 (5) 0 < Gleichmäßigkeit < 1 (6)
Die Gleichmäßigkeit des binären Abbilds in einem durch ein fiktives Fahrzeug erzeugten Objektbereich ist gewöhnlich sehr hoch. Zum Beispiel ist die einem Lastkraftwagen entsprechende Objektfläche groß und gleichmäßig. Die Wertigkeit der für das Gleichmäßigkeitsmerkmal im Lastkraftwagenmodell vorgegebenen Punkte sollte sehr hoch sein, jedoch sollte die Wertigkeit der für das Gleichmäßigkeitsmerkmal im Motorradmodell gering sein, da es klein ist und viele Bereiche variierender Helligkeit einschließlich lackierter und verchromter Teile enthalten kann. Das Gleichmäßigkeitsmerkmal ist besonders hilfreich bei starkem Verkehrsaufkommen.
Die Gleichmäßigkeit im unteren Teil des Fahrbahnoberflächenbereichs ist außerdem zur Beurteilung des Vorhandenseins eines Fahrzeugs nützlich. Die Separierung der Fahrzeuge ist normalerweise weiter als die Breite eines Fahrzeugs. Diese große Separierung bedeutet, dass das fiktive Fahrzeug oder der Objektbereich 146 wie im Bild dargestellt von der Unterkante des Fensters entfernt angeordnet ist. Die Anordnung des Objektbereichs 146 erzeugt eine mit dem Fahrbahnoberflächenbereich 148 überlappende breite und gleichmäßige Fläche vor einem fiktiven Fahrzeug.
Jedes der Objekte wird anschließend auf der Basis der Merkmale des Objekts einschließlich der Breite des Objekts, der Höhe des Objekts, der Position des Objekts relativ zur Unterkante des Fensters, der Abschnittsbreite, der Abschnittshöhe, der Gleichmäßigkeit des Objektbereichs und der Gleichmäßigkeit des Fahrbahnoberflächenbereichs bewertet. Der zuvor beschriebene Prozess wird für mehrere Fenster mit unterschiedlichen Zielentfernungen wiederholt.
Das Objekt mit der besten Wertigkeit wird mit einem kleinsten Wertigkeitsschwellenwert verglichen. Ist die beste Wertigkeit höher als der kleinste Wertigkeitsschwellenwert, werden die Merkmale des Objekts zur Bestimmung der Entfernung und der Lateralposition des Objekts verwendet.

10: System
12: Kamera
14: Prozessor
16: Bereich von Interesse
18: Fahrzeug
20, 22, 24: Fenster
26, 27, 28: Objekt
30: Verfahren
32 bis 48: Block
50: Linie
52: Block
54: Linie
56: Block
58: Linie
60: Block
62: Linie
64 bis 70: Block
72: Linie
74 und 76: Block
78 und 80: Linie
82 und 84: Block
90: Fahrbahnmarkierungen
92: zusätzliches Fahrzeug
94: Motorrad
96: Fenster
98: Auto
100: Motorrad
102 bis 114: Abschnitt
140 und 142: Fahrzeug
146: Objektbereich
148: Fahrbahnoberflächenbereich

Claims

System (10) zur Bestimmung der Entfernung eines Fahrzeugs (18), umfassend: – eine Kamera (12), die für das Betrachten eines Bereichs von Interesse (16), in dem sich das Fahrzeug (18) befindet, konfiguriert ist und ein elektronisches Abbild des Bereichs erzeugt; – ein mit der Kamera zum Empfangen des elektronischen Abbilds in elektrischer Kommunikation stehender Prozessor (14), der für die Erzeugung eines kantenverstärkten Abbilds und zur Erstellung einer Vielzahl von auf mögliche Fahrzeugstandorte hindeutenden Objekten (26, 27, 28) aus dem kantenverstärkten Abbild konfiguriert ist, wobei jedes Objekt der Vielzahl von Objekten (26, 27, 28) auf der Basis eines Modells aus einer Vielzahl von Modellen zur Bestimmung einer Wertigkeit für jedes Objekt analysiert wird, sodass die Entfernung des Fahrzeugs (18) auf der Basis des Objekts mit der besten Wertigkeit ermittelt wird.
System (10) nach Anspruch 1, wobei der Prozessor (14) für die Identifizierung einer Vielzahl von Fenstern (20, 22, 24) innerhalb des elektronischen Abbilds konfiguriert ist, wobei jedes Fenster der Vielzahl von Fenstern (20, 22, 24) einer festgelegten physikalischen Größe bei einer Zielentfernung zur Kamera (12) entspricht, wobei der Prozessor (14) außerdem für die Bewertung von Merkmalen des elektronischen Abbilds in Bezug auf jedes Fenster zwecks Identifizierung des Fahrzeugs konfiguriert ist.
System (10) nach Anspruch 1 oder 2, wobei die Objekte (26, 27, 28) aus auf der Basis des kantenverstärkten Abbilds erzeugten Kantenabschnitten erstellt sind.
System (10) nach einem der Ansprüche 1 bis 3, wobei die Kantenabschnitte vertikale Kantenabschnitte sind.
System (10) nach einem der Ansprüche 1 bis 4, wobei die Wertigkeit auf einer Höhe der Kantenabschnitte basiert.
System (10) nach einem der Ansprüche 1 bis 5, wobei die Wertigkeit auf einer Breite der Kantenabschnitte basiert.
System (10) nach einem der Ansprüche 1 bis 6, wobei die Wertigkeit auf einer Höhe der Objekte basiert.
System (10) nach einem der Ansprüche 1 bis 7, wobei die Wertigkeit auf einer Breite der Objekte basiert.
System (10) nach einem der Ansprüche 1 bis 8, wobei der Prozessor (14) für die Erzeugung eines trinären Abbilds auf der Basis des kantenverstärkten Abbilds konfiguriert ist.
System (10) nach einem der Ansprüche 1 bis 9, wobei positive Kantenelemente durch Anwendung eines festgelegten oberen Schwellenwerts auf das kantenverstärkte Abbild identifiziert werden.
System (10) nach einem der Ansprüche 1 bis 10, wobei negative Kantenelemente durch Anwendung eines festgelegten unteren Schwellenwerts auf das kantenverstärkte Abbild identifiziert werden.
System (10) nach einem der Ansprüche 1 bis 11, wobei die Objekte (26, 27, 28) aus mindestens einem positiven und mindestens einem negativen Kantenelement, die aus dem trinären Abbild erzeugt werden, erstellt werden.
System (10) nach einem der Ansprüche 1 bis 12, wobei die Wertigkeit auf der Gleichmäßigkeit des elektronischen Abbilds basiert.
System (10) nach einem der Ansprüche 1 bis 13, wobei der Prozessor (14) für die Erzeugung eines binären Abbilds auf der Basis des elektronischen Abbilds konfiguriert ist.
System (10) nach einem der Ansprüche 1 bis 14, wobei der Prozessor (14) für die Berechnung einer Gleichmäßigkeit des binären Abbilds konfiguriert ist.
System (10) nach einem der Ansprüche 1 bis 15, wobei der Prozessor (14) für die Berechnung der Gleichmäßigkeit nach der Beziehung Gleichmäßigkeit = (|Prozent der schwarzen Zellen in einem Fenster – 50|)/50 konfiguriert ist.
System (10) nach einem der Ansprüche 1 bis 16, wobei die Gleichmäßigkeit über einen Objektbereich (146) berechnet wird.
System (10) nach einem der Ansprüche 1 bis 17, wobei die Gleichmäßigkeit über einen Fahrbahnoberflächenbereich (148) berechnet wird.
System (10) nach einem der Ansprüche 1 bis 18, wobei eines der Vielzahl von Modellen einem Motorrad (94, 100) entspricht.
System (10) nach einem der Ansprüche 1 bis 19, wobei eines der Vielzahl von Modellen einer Limousine entspricht.
System (10) nach einem der Ansprüche 1 bis 20, wobei eines der Vielzahl von Modellen einem großen Lastkraftwagen entspricht.
System (10) nach einem der Ansprüche 1 bis 21, wobei eines der Vielzahl von Modellen einem Bus entspricht.