DE4235619C2 - Entfernungsbestimmungseinrichtung für Automobile - Google Patents

Entfernungsbestimmungseinrichtung für Automobile

Info

Publication number
DE4235619C2
DE4235619C2 DE4235619A DE4235619A DE4235619C2 DE 4235619 C2 DE4235619 C2 DE 4235619C2 DE 4235619 A DE4235619 A DE 4235619A DE 4235619 A DE4235619 A DE 4235619A DE 4235619 C2 DE4235619 C2 DE 4235619C2
Authority
DE
Germany
Prior art keywords
image
distance
register
value
minimum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE4235619A
Other languages
English (en)
Other versions
DE4235619A1 (de
Inventor
Keiji Saneyoshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK, Fuji Heavy Industries Ltd filed Critical Fuji Jukogyo KK
Publication of DE4235619A1 publication Critical patent/DE4235619A1/de
Application granted granted Critical
Publication of DE4235619C2 publication Critical patent/DE4235619C2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

Die vorliegende Erfindung betrifft eine Entfernungsbestimmungs­ einrichtung für Automobile und geht aus von einer Einrichtung mit den Merkmalen im Oberbegriff des Patentanspruchs 1, die aus der US 49 16 302 entnehmbar sind.
Fahrzeuge, wie Automobile, sind für den Transport von Perso­ nen oder Lasten gut geeignet und finden deshalb in unserer modernen Gesellschaft Verwendung. Dementsprechend sind in letzter Zeit viele automatische Unfallverhütungssysteme ent­ wickelt worden.
Um den Zusammenstoß zwischen Fahrzeugen und Gegenständen au­ tomatisch zu verhindern, ist es sehr wichtig, einen Gegen­ stand auf der Fahrbahn des Fahrzeugs zu erfassen. Solche Sy­ steme sind schon entwickelt worden, die den Gegenstand mit Hilfe von Radar (radiation detecting and ranging), Ultra­ schallwellen oder Laserlicht (light amplification by stimula­ ted emission of radiation) erfassen.
Jedoch ist es eine sehr komplizierte und schwierige Aufgabe, eine befahrene Straße in Echtzeit zu erkennen, einen Gegen­ stand auf der Straße zu erfassen, und die Entfernung zu dem und die Geschwindigkeit bezüglich des Gegenstandes zu messen. Insbesondere kann das oben erwähnte System den Gegenstand nur in einer festen Richtung unter Verwendung von Radar, Ultra­ schallwellen und Laserlicht erfassen.
Auf der anderen Seite ist es notwendig, den Ort eines Gegen­ standes auf der Straße zu erfassen. Jedoch kann die oben er­ wähnte Vorrichtung nicht die notwendige Information bekommen. Des weiteren ist es notwendig, den Gegenstand in einem großen Bereich entlang einer gekurvten Straße zu erfassen, und es ist ungenügend, den Gegenstand nur in einer festgelegten Richtung nach Art der oben erwähnten Vorrichtung zu erfassen.
Dementsprechend wird seit kurzem ein Entfernungsmeßsystem mit einem effektiven Verfahren verwendet. Das System bildet einen Gegenstand mit Hilfe einer an dem Fahrzeug befestigten Kamera ab und wertet die Bilder derart aus, daß die Entfernung zwi­ schen dem Fahrzeug und dem Gegenstand erhalten wird.
Die bilderverwertenden Entfernungsmeßsysteme sind in zwei Ar­ ten unterteilt, die unterschiedliche Techniken verwenden. Bei dem einen wird die Entfernung zu dem Gegenstand durch Messen der relativen Entfernung zwischen der Kameraposition und einem Bild von einer einzigen Kamera abgeschätzt. Bei dem anderen wird die Entfernung zu dem Gegenstand nach dem Dreiecksprinzip (Triangulation) ermittelt, nachdem eine Mehrzahl von Aufnahmen von einer Mehrzahl von Kameras oder von einer Kamera, die hintereinander mehrere Positionen einnimmt, gemacht wurden.
Die Abbildungstechnik mit einer einzigen Kamera ist vorteil­ haft, weil wenige Daten verarbeitet werden müssen. Die Her­ stellungskosten sind gering, weil der verschiedene Charakte­ ristiken aufweisende Gegenstand aus zweidimensionalen Bildern erhalten wird, und die Charakteristiken sind in solch einer Art dargestellt, daß eine weiße Linie eine Ebene darstellt.
Zum Beispiel offenbart JP-OS 1-242916 (1989) eine Technik, bei der eine Fernsehkamera im Fahrzeuginneren im mittleren oberen Bereich der Frontscheibe angebracht ist, wobei die Ge­ genstände und die weiße Linie auf der Straße in Abhängigkeit eines Luminanzverteilungsmusters auf einer bestimmten Prüflinie in dem Bild und dem zweidimensionalen Luminanzverteilungsmuster erfaßt werden, und die dreidimensionale Position der weißen Linie und des Gegenstandes wird in Abhängigkeit von Parame­ tern eines Richtungs- und eines Sichtfeldes abgeschätzt.
Jedoch hat ein tatsächliches Bild einer Straße auch verschie­ dene Gegenstände wie Gebäude und Bäume der Umgebung, so daß es schwierig ist, die verschiedenen Gegenstände, wie etwa ein weiter vorne fahrendes Fahrzeug, ein entgegenkommendes Fahr­ zeug, ein Fußgänger, ein Telefonmasten oder elektrischen Ma­ sten, eine weiße Linie auf der Straße oder dgl. aus einem solchen zweidimensionalen Bild zu erkennen. Des weiteren gibt es das Problem, daß die Abschätzung der dreidimensionalen Po­ sition einem großen Fehler unterworfen ist, wenn die dreidi­ mensionale Position einer weißen Linie und des Gegenstandes von einem Parameter der Fernsehkamera abgeschätzt wird, die Oberfläche der Straße uneben ist oder das Fahrzeug Nickbe­ wegungen ausführt.
Ein Verfahren mit Bildern einer einzigen Kamera kann nämlich nicht immer präzise einen Gegenstand aus dem zweidimensiona­ len Hintergrund erkennen, weil eine Mehrzahl verschiedener Gegenstände in der Vorwärtsrichtung eines fahrenden Fahrzeugs vorhanden ist. Des weiteren ist es möglich, daß das erhaltene Ergebnis nicht eindeutig ist, weil die Abschätzung der Posi­ tion der Fernsehkamera nicht immer genau ist, wie etwa bei einer geneigten Fahrbahn an einem Hang.
Auf der anderen Seite kann die Technik, die Triangulation und eine Mehrzahl von Bildern verwendet, eine genaue Entfernung bestimmen, weil aus einer relativen Abweichung der Position des gleichen Gegenstandes in dem rechten und linken Bild die Entfernung gewonnen wird.
Zum Beispiel offenbart die JP-OS 59-197816 (1984) ein Verfah­ ren zum Berechnen der dreidimensionalen Position eines Gegen­ standes durch Verwendung des Triangulationsprinzips, wobei zwei Fernsehkameras an dem vorderen Teil eines Fahrzeugs be­ festigt sind, wobei ein Gegenstand mit Hilfe eines zweidimen­ sionalen Luminanzverteilungsmusters in Abhängigkeit der jewei­ ligen Bilder jeder Fernsehkamera erfaßt wird, und so die Po­ sitionsabweichung in beiden Bildern erhalten wird.
Des weiteren ist ein Verfahren bekannt, das in Unterlagen des von dem mechanischen Ingenieurinstitut am 22. Oktober 1979 abgehaltenen 22. Forschungs- und Vorlesungstreffen offenbart ist, in dem zwei Fernsehkameras am rechten und linken Vorderteil des Fahrzeugs befestigt wurden, um zwei Aufnahmen zu machen, wobei jede Aufnahme örtlich differenziert wird, um nur Hell/Dunkel-Übergänge zu erhalten, wobei eine Bildabtastung einer Kamera eine vorherbestimmte Zeit verzögert wird, um einem anderen Bild überlagert zu werden, wobei nur eine weiße Linie aus der Überlagerung der beiden Bilder in Abhängigkeit der Charakteristik des in der weißen Linie enthaltenen Leuchtverteilungsmusters und der Breite des Musters herausge­ zogen wird, und die Entfernung zwischen dem Fahrzeug und der herausgezogenen weißen Linie in Abhängigkeit der verzögerten Zeit und dem Triangulationsprinzip berechnet wird. Die Unter­ lagen offenbaren die Technik zum Berechnen der dreidimensio­ nalen Position der weißen Linie von kurzer bis weiter Entfer­ nung derart, daß dieses Berechnen durch fortlaufende Änderung der Verzögerungszeit durchgeführt wird.
Des weiteren wird in Automobil Technology Magazine, Band 44, Nr. 4, Seiten 54 bis 59 (1990) eine Technik zum Berechnen der dreidimensionalen Position der weißen Linie mittels Triangu­ lation derart beschrieben, daß zwei Fernsehkameras an der rechten und linken Vorderseite eines Fahrzeugs befestigt sind, wobei die weiße Linie mittels Leuchtverteilungsmustern in dem zweidimensionalen Fenster bezüglich jeder Aufnahme der Fernsehkameras und der Abweichung der weißen Linie in den beiden Aufnahmen der rechten und linken Kameras festgestellt wird.
Der oben beschriebene Stand der Technik kann die Erzeugung großer Fehler verhindern, weil zwei Fernsehkameras verwendet werden und die dreidimensionale Position mit Hilfe der Trian­ gulation berechnet wird. Jedoch ist es für das Verfahren ge­ mäß dem oben beschriebenen Stand der Technik schwierig, die weiße Linie und das Hindernis als den Gegenstand aus der zweidimensionalen Abbildung, die verschiedene Objekte und Hintergrund­ objekte aufweist, nur unter Verwendung des Luminanzverteilungs­ musters zu erfassen. Dennoch ist trotz der vorteilhaften Ver­ wendung der dreidimensionalen Bilder die Menge der zu verar­ beitenden Daten enorm, weil die Anpassung zwischen den rech­ ten und linken Aufnahmen wiederholt werden muß, wodurch die Verarbeitungsgeschwindigkeit verschlechtert wird.
Um die oben erwähnte Verschlechterung zu vermeiden, müssen, da die Menge der zu verarbeitenden Daten reduziert werden muß und eine Vorverarbeitung durchgeführt werden muß, binäre Daten erzeugt werden, Kanten erfaßt werden, wobei ein charakteristischer Punkt exakt ermittelt werden muß und ein Fenster derart festgelegt werden muß, daß weniger Information aufgenommen wird. Auf diese Weise muß die Entfernung nur in dem Fenster oder nur für den Gegenstand gemessen werden, der die binären Daten und den Teil des charakteristischen Punktes, wie etwa einer Kante oder dergleichen erzeugen kann.
Demgemäß hat der Stand der Technik den Nachteil, daß die not­ wendigen Gegenstandsdaten bezüglich eines Fußgängers, eines Licht- oder Telefonmastens, einer weißen Linie und Straßen­ kanten wegen der hohen Verarbeitungsgeschwindigkeit elimi­ niert werden. Deshalb wird eine Verschlechterung der Infor­ mationsdaten herbeigeführt, derart, daß nur ein bestimmter Ausschnitt aus der Abbildung vorher herausgezogen wird, und die Entfernung nur eines bestimmten Ausschnitts gewonnen wird.
Die US 49 16 302, die im Oberbegriff des neuen Anspruchs 1 gewürdigt ist, zeichnet sich dadurch aus, daß für jede Rich­ tung, in der Objekte auszumachen sind, auf jeder zweier CCD- Bildaufnahmeflächen von zwei Kameras je ein Block aus einer kurzen Reihe von Aufzeichnungselementen reserviert ist und daß jeweils für jede Richtung nur der Block der einen CCD- Fläche mit dem entsprechenden Block der anderen CCD-Fläche verglichen und ausgewertet wird. Dabei wird ebenfalls das bekannte Stereoverfahren ausgenutzt und der kleinste Korre­ lationswert bzw. Übereinstimmungswert der beiden Blöcke in einer mit den Blöcken fest verdrahteten Auswerteeinrichtung ermittelt und unter Berücksichtigung des zu diesem Blockpaar gehörenden Richtungswinkelsatzes der Abstand eines Objekts in dieser Richtung berechnet. Derselbe Vorgang wird für die ver­ bleibenden Richtungen mit den übrigen ebenfalls fest mit den jeweiligen Auswerteeinrichtungen verbundenen Blockpaaren aus­ geführt.
Mit anderen Worten wird für jede Richtung des Sichtfeldes eine reduzierte CCD-Elementmenge vorgegeben und ausschließlich unter Ausnutzung der Leuchtdichteverteilung der reduzierten Datenmen­ ge die Entfernung für ein Objekt durch Triangulation in einer bestimmten Richtung dreidimensional ermittelt. Wie bereits weiter oben dargelegt, wird jedoch bei Vorliegen von mehreren Objekten sowie Hintergrundobjekten diese Art der Ermittlung schwierig und ist gegebenenfalls unvollständig.
DE 40 06 989 A1 entspricht im wesentlichen diesem Stand der Technik. Auch sie setzt vorab ein bestimmtes Fenster in einem stimmten Ausschnitt entweder des Signals vom ersten oder zwei­ ten Bildsensor und ermittelt den Entfernungsbetrag durch Tri­ angulation nach Korrelation der Signale eines Fensterpaares. Um das Fenster festzulegen, wird vorab ein Bezugsbildelementsignal in einem Speicher aufgesucht und das entsprechende Fenster im zweiten Bild bestimmt. Für sich bewegende Objekte werden dann die Fensterpaare nachführend verschoben, um wie in der US 49 16 302 eine Drehung der Kameras zu vermeiden, solange das sich bewegende Objekt noch im Sichtfeld liegt.
In der US 46 95 959 wird eine topografische Karte dadurch er­ zeugt, daß mit einer einzelnen Kamera an einem Flugzeug (mit entsprechender einzelner Linse) Bilder aufgenommen und digita­ lisiert werden und sukzessive aneinandergereiht werden. Ein di­ gitaler Prozessor verarbeitet diesen Bildstrom mit von Sensoren im Flugzeug gelieferten Bewegungssignalen, um die Lage einer Medianebene durch die aufgenommene Szene zu ermitteln. Als Al­ ternative wird auch in Betracht gezogen, die Szene mit zwei Ka­ meras gleichzeitig aus verschiedenen Richtungen aufzunehmen. Die sukzessive aufgenommenen digitalisierten Bilder werden vor ihrer Auswertung durch den Prozessor zwischengespeichert.
Ausgehend vom eingangs erwähnten Stand der Technik liegt der Erfindung die Aufgabe zugrunde, eine Entfernungsbestimmungsein­ richtung zu schaffen, welche in der Lage ist, eine Verteilung der Entfernungen der gesamten Abbildung bei hoher Geschwindig­ keit und ohne Informationsverlust zu erhalten.
Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprü­ chen gekennzeichnet.
Es wird jeweils die Gesamtfläche der CCD- Elemente in kleine Bereiche (von vorzugsweise 4×4 Elementen) aufgeteilt, und es wird jeder Bereich des einen (linken) Bildes mit den Bereichen des anderen (rechten) Bildes sukzessive ver­ glichen, indem hierzu eine pixel- oder bildelementweise Ver­ schiebung des kleinen Bereiches bezüglich des anderen Bildes z. B. über 100 Bildelemente vorgenommen wird und die Berechnung des Werts H für einen kleinen Bereich des einen (linken oder rechten) Bildes 100× durchgeführt wird.
Damit wird eine Übereinstimmung eines kleinen Bereichs des lin­ ken Bildes durch Absuchen der kleinen Bereiche des anderen Bil­ des ohne Informationsverlust und sehr genau ermittelt.
Hierzu wird nicht nur der minimale Übereinstimmungsgrad heran­ gezogen, sondern auch der maximale, wodurch die Genauigkeit weiter erhöht ist.
Auch diese Maßnahme ist aus dem Stand der Technik nicht ableit­ bar. Dort wird zwar auch eine Unterteilung der CCD-Elementflä­ che vorgenommen, jedoch zum Zwecke der Vorab-Reservierung be­ stimmter Elementblöcke für bestimmte Richtungen, und es wird stets nur der Block einer bestimmten Richtung des einen Bildes mit dem zugehörigen Block des anderen Bildes, der für diese Richtung reserviert ist, verarbeitet und verglichen und an­ schließend für die vorbestimmte Winkeltrigonometrie die Objekt­ entfernung ermittelt.
Obgleich demgegenüber in der Erfindung ohne Informationsein­ grenzung gearbeitet wird, ist eine schnelle Verarbeitung mög­ lich, da trotz der Zusatzfunktion der Berücksichtigung des Ma­ ximalwerts sowie auch der vorzugsweisen weiteren Bedingung mit einem dritten Schwellwert nach Anspruch 2 lediglich Differenz- bzw. Summenbildungen oder Vergleiche durchzuführen sind, bis der endgültige Wert bzw. Abweichungsbetrag ausgegeben wird. Die oben erläuterte Fensterbildung ist nicht erforderlich.
Eine weitere Verbesserung erfolgt ebenfalls nach Anspruch 2, wobei stets sehr schnell die Auswertung gegenüber Rauschein­ flüssen und anderen Fehlereinflüssen verbesserbar ist.
Durch das bevorzugte Arbeiten mit vier Kameras wird die Be­ stimmung über einen weiten Entfernungsbereich noch verbessert.
Vorzugsweise verwendete LUT′s (Nachschlagetabellen eines ROM′s) dienen zum vorteilhaften Korrigieren des Bildkontrastes und der Kompensation unterschiedlicher Charakteristiken der beiden Kameras.
Wie oben beschrieben, kann die erfindungsgemäße Einrichtung eine Entfernungsverteilung über die gesamte Abbildung in Abhängigkeit der Abbildung ohne Verringerung der Datenmenge bei hoher Ge­ schwindigkeit erzielen, wobei gleichzeitig die dreidimensio­ nalen Positionen bezüglich der Straßenkanten und einer weißen Linie und einem Gegenstand außerhalb des Fahrzeugs mit Hilfe der Entfernungsverteilung festgestellt werden, wodurch wiederum erreicht wird, daß mehr Hindernissen ausgewichen werden kann und der Ort und die Bewegung von Hindernissen festgestellt werden können.
Die Erfindung wird im folgenden anhand der Figuren der Zeich­ nung erläutert, worin
Fig. 1 ein Schaltungsdiagramm darstellt, welches ein Ausführungs­ beispiel der erfindungsgemäßen Entfernungsbestimmungseinrichtung zeigt;
Fig. 2 die Seitenansicht eines Fahrzeugs ist und die gesamte Entfernungsbestimmungseinrichtung zeigt;
Fig. 3 eine Frontalansicht des Fahrzeugs ist;
Fig. 4 ein Flußdiagramm ist und den Betrieb der Entfer­ nungsbestimmungseinrichtung zeigt;
Fig. 5 eine Darstellung der Beziehung zwischen Kamera und Gegenstand ist;
Fig. 6 eine Darstellung eines Winkels eines Gesichtsfeldes ist,
Fig. 7 eine Darstellung des oberen und unteren Winkels des Gesichtsfeldes für weite Entfernungen ist;
Fig. 8 eine Darstellung des oberen und unteren Winkels des Gesichtsfeldes für eine kurze Entfernung ist;
Fig. 9 eine prinzipielle Darstellung einer Speicheranord­ nung in einem Schieberegister ist;
Fig. 10 eine prinzipielle Darstellung einer Cityblock-Ent­ fernungsberechnungsschaltung ist;
Fig. 11 ein Blockdiagramm ist und einen Minimumwert-Bestim­ mungsschaltkreis zeigt;
Fig. 12 ein Zeitdiagramm ist und einen Betrieb der City­ block-Entfernungsberechnungsschaltung zeigt;
Fig. 13 ein Zeitdiagramm ist und einen Betrieb der Abwei­ chungsbetrag-Bestimmungsschaltung zeigt; und
Fig. 14 ein Zeitdiagramm ist und einen Betrieb der gesamten Einrichtung zeigt.
In Fig. 2 bezeichnet die Bezugszahl 1 ein Fahrzeug, wie ein Automobil, und ein Entfernungsbestimmungssystem 2 ist an dem Fahrzeug 1 angebracht, um eine Entfernung zu bestimmen, in dem eine optische Abbildung eines vorherbestimmten Gebiets außerhalb des Fahrzeugs gemacht wird. Das Entfernungsbestim­ mungssystem ist mit einer Vorrichtung zum Erkennen eines Hin­ dernisses auf der Straße (nicht gezeigt) verbunden, um ein Hindernisüberwachungssystem zu bilden, welches einen Vorgang, wie etwa Warnung des Fahrers und automatische Kollisionsver­ hinderung des Fahrzeugs, durchführt.
Das Entfernungsbestimmungssystem 2 ist mit einem stereoskopi­ schen optischen System 10 versehen, welches als Abbildungssy­ stem zum Aufnehmen optischer Bilder innerhalb eines vorherbe­ stimmten Gebiets außerhalb des Fahrzeuges vorgesehen ist, und enthält eine stereoskopische Bildverarbeitungsvorrichtung 20 zum Bearbeiten der von dem optischen System 10 gemachten Ab­ bildungen, um dreidimensionale Entfernungsdaten zu berechnen. Eine Vorrichtung zum Erkennen des Hindernisses auf der Straße gibt die von der stereoskopischen Bildverarbeitungsanlage 20 berechneten dreidimensionalen Entfernungsdaten ein, wobei ein Hindernis für das Fahrzeug 1, und die Form der Straße erkannt wird.
Das stereoskopische optische System 10 enthält eine Kamera, in der bildgebende Festkörperelemente, wie CCD (charge coupled device), Verwendung finden. Wie in Fig. 3 gezeigt, hat das System 10 zwei CCD-Kameras 11a und 11b (falls notwendig durch die Bezugszahl 11 bezeichnet) für rechte und linke Winkel einer großen Entfernung, und zwei CCD-Kameras 12a und 12b (falls notwendig durch die Bezugszahl 12 dargestellt) für rechte und linke Winkel einer kurzen Distanz. Die Kameras 12a und 12b sind innerhalb der CCD-Kameras 11a und 11b für große Entfernungen angeordnet.
Wenn, in dem Fall, daß die Entfernungsmessung von unmittelbar vor dem Fahrzeug bis zu einer Entfernung von 100 m durchge­ führt wird, die Position der CCD-Kameras 11 und 12 in der Fahrgastzelle des Fahrzeugs 1 2 m hinter dem oberen Ende der Haube gelegen ist, ist es ausreichend, wenn das stereoskopi­ sche System 10 den Bereich von 2 bis 100 m vor dem Fahrzeug 1 mißt.
Wie in Fig. 5 gezeigt, wird nämlich ein Bildpunkt des Punktes P auf einer Projektionsebene abgebildet, die von der Lage der Brennpunkte der Kameras um einen Abstand f entfernt ist, wenn die eingerichtete Entfernung zwischen den CCD-Kameras 11a und 11b gleich r für große Abstände ist, wobei der Punkt P von der entsprechenden Ebene der CCD-Kameras 11a und 11b einen Abstand D entfernt ist, und wobei f die Brennweite der CCD- Kameras 11a und 11b bezeichnet.
Dabei ist die Entfernung von dem Punkt der Abbildung der rechten CCD-Kamera 11b zu dem Punkt der Abbildung der linken Kamera 11a gleich "r + x", und die Entfernung D zu dem Punkt P kann in Abhängigkeit eines Abweichungsbetrags x mit Hilfe der folgenden Gleichung (1) erhalten werden:
D = r·f/x (1)
Zum Beispiel können Entfernungsverteilungen einer Mehrzahl von Bildelementen für einen Gegenstand erhalten werden, wenn das Fahrzeug 1 mit 100 km/h fährt und ein statischer Gegen­ stand 100 m entfernt ist. Demgemäß kann eine Entfernung hoher Genauigkeit bestimmt werden, in dem die Entfernungsverteilun­ gen gemittelt werden, wobei der Abweichungsbetrag x für we­ nigstens ein Bildelement geändert werden muß, wenn in dem schlimmsten Fall die Entfernung von 9 m in 0,3 Sek. zurückge­ legt wird.
Demgemäß kann eine Entfernungsänderung ΔD durch die folgende Gleichung (2) angegeben werden, die aus Gleichung (1) herge­ leitet ist, wenn der Abweichungsbetrag x bei einer Entfernung D0 um Δx geändert ist:
ΔD = -D0²/(r·f) · Δx (2)
Hierbei ist eine Anzahl horizontaler Bildelemente 727, wenn das effektive Gebiet der CCD-Kameras 11 und 12 beispielsweise 8 mm (H) × 6 mm (W) mit Ausnahme eines schwarzen Gebietes ist und die Größe eines Bildelementes aus CCD gleich 11 µm × 13 µm ist. Ist jedoch eine geteilte Anzahl von Bildelementen in der horizontalen Richtung gleich 512, weil diese Anzahl von Bildelementen einfach zu bearbeiten sein soll, so ist die Länge eines Bildelementes gleich "8 mm/512×1000 = 15,6" µm und "r·f = 173" cm², wenn ein "r·f"-Wert durch Einsetzen dieser Zahlen in Gleichung (2) erhalten wird.
Die Brennweite kann in Abhängigkeit eines notwendigen Sicht­ winkels θ und einer gegebenen Entfernungsmeßweite der CCD er­ halten werden. Der Sichtwinkel θ ist gleich "θ=25" Grad von "θ=sin-1 (1/r)" wegen "r=230" und "1=100", wie in Fig. 6 gezeigt, wenn das Fahrzeug das optische Bildfeld 100 m vor dem Fahrzeug erhalten kann, wenn das Fahrzeug auf einer Straße von 230 m Krümmungsradius fährt, welches der spezifi­ sche Wert der "80 km/h" beispielsweise einer Schnellstraße ist.
Obwohl die effektive Weite des CCD, wie oben beschrieben, gleich 8 mm ist, ist eine tatsächliche Weite, die zur Berechnung der Entfernung herangezogen wird, gleich der effektiven Weite abzüglich einer Weite einer Suchregion. Deshalb ist die tatsächliche Weite gleich 6,3 mm, um eine Entfernung zu mes­ sen, wenn die Suchweite beispielsweise gleich 100 Bildelemente ist, unter der allgemeinen Berücksichtigung des Sichtwin­ kels, der kürzesten Bestimmungsentfernung und der Verarbei­ tungszeit.
Dementsprechend ist die Brennweite f gleich "f = 6,3 mm/(2·tan(25/2)) = 14,2" mm, und eine Linse der Brennweite f = 16 mm wird verwendet, weil es leicht passiert, daß beide Werte nahe beieinander liegen, wobei eine Entfernung r zwi­ schen den Kameras zu r = 173 cm²/1,6 cm = 108 cm ist.
Daraus folgt, daß die minimale Meßentfernung aus Gleichung (1) erhalten wird und D = 173 cm²/(100×15,6 µm) = 11,1 ist, und obwohl 2 m gemessen werden, ist x = 173 cm²/2m = 8650 µm = 554 Bildelemente, die deshalb über der Weite der Abbil­ dungsebene sind.
Wenn der r·f-Wert auf die Weise aus Gleichung (1) berechnet wird, daß die von den beiden CCD-Kameras 12a und 12b gemach­ ten Abbildungen bei kleinen Entfernungen einen Abweichungsbe­ trag x von 100 Bildelementen bei 2 m haben, so ist r·f = 100 ×15,6 µm = 31,2 cm². Wenn die CCD-Kameras 12a und 12b bei der längsten meßbaren Entfernung eine Abweichung von 10 Bildelementen haben, so ist D = 31,2 cm²/(10×15,6 µm) = 20 m.
Dementsprechend ist das Meßgebiet der CCD-Kameras 11a und 11b bei großen Entfernungen und der CCD-Kameras 12a und 12b von 11,1 m bis 20 m überlappt, wobei dann die Entfernung von 2 bis 100 m von zwei Paaren von Kameras für kleine und große Entfernungen gemessen wird.
Als nächstes wird ein Sichtwinkel in vertikaler Richtung be­ schrieben. Der Sichtwinkel vertikaler Richtung der Kamera für große Entfernungen ist zwischen einem Erhebungswinkel α = tan-1 (hup - h₀/1min) = 1,5 Grad und einem Senkwinkel β = tan-1 (h₀/1min) = 6,2 Grad bezüglich der horizontalen Straße einge­ stellt, wie in Fig. 7 erläutert, wenn die Sichthöhe bei einem Punkt 11,1 m als der kürzesten Meßentfernung der CCD-Kameras 11a und 11b ist, und wenn eine entsprechende Position h₀ der CCD-Kameras 11a und 11b ist, und wenn eine entsprechende Po­ sition ho der CCD-Kamera 11a und 11b gleich 1,2 m über dem Boden ist, um eine Sichthöhe hup 1,5 m über dem Boden zu haben.
Die Anzahl von Bildelementen in der vertikalen Richtung der Bildebene ist gleich 184, weil die Brennweite f der CCD-Kame­ ras 11a und 11b gleich 16 mm ist und die Distanz der Bildele­ mente in der vertikalen Richtung der Bildebene 13 µm gege­ ben ist und unter der Berücksichtigung von Nickbewegungen auf 200 Bildelemente korrigiert wird.
Auf die gleiche Weise ist die vertikale Sicht der Kamera für kleine Entfernungen gleich einem Erhebungswinkel α = 8,5 Grad und einem Senkwinkel β = 31 Grad bezüglich der horizontalen Straße, wie in Fig. 8 dargestellt, wenn die Sichthöhe bei einem Punkt von 2 m als der kürzesten Meßentfernung der CCD- Kameras 12a und 12b für kleine Entfernungen ist, und wenn die entsprechende Position h₀ der CCD-Kameras 12a und 12b gleich 1,2 m über dem Boden ist, um eine Sichthöhe hup gleich 1,5 m über dem Boden zu erhalten.
In diesem Fall enthält die vertikale Richtung der Abbildungs­ fläche 200 Bildelemente, was dem der Kameras für große Ent­ fernungen entspricht, um die Verarbeitung zu vereinfachen, wobei die CCD-Kameras 12a und 12b für kleine Entfernungen je­ weils eine Linse der Brennweite f = 5,5 mm verwenden. Wird in den Kameras jedoch eine Linse der Brennweite f = 6 mm verwen­ det, weil sie leicht erhältlich sind und eine geringe Ver­ zeichnung aufweisen, so ist die gesichtete Höhe eines Objekts gleich 1,42 m bei einer Entfernung von 2 m von der Linse. Der Sichtwinkel θ ist in horizontaler Richtung gleich 67 Grad, und die Entfernung r zwischen zwei CCD-Kameras 12a und 12b ist gleich r = 31,2 cm²/a 6 cm = 52 cm.
Wird jedoch ein Abweichungsbetrag x zwischen den rechten und linken Abbildungen festgestellt, so ist es notwendig, eine Abbildung des gleichen Gegenstandes in den rechten und linken Abbildungen zu finden, und erfindungsgemäß wird die Abbildung in der weiter unten beschriebenen stereoskopischen Bildverarbeitungsvorrichtung 20 in kleine Bereiche geteilt, und das Helligkeitsmuster oder Farbmuster innerhalb jeder dieser kleinen Bereiche wird zwischen den rechten und linken Abbildungen verglichen, und es wird ein Bereich ermittelt, in dem Übereinstimmung besteht, und es wird die Entfernungsver­ teilung über die gesamte Abbildungsebene bestimmt. Dement­ sprechend ist es möglich, eine Verminderung der Informations­ menge zu vermeiden, aufgrund des Auffindens von Abschnitten, bei denen diese Charakteristiken übereinstimmen.
Die Übereinstimmung der linken und rechten Bilder kann durch die Cityblock-Distanz H ausgewertet werden, die durch die weiter unten angegebene Gleichung (3) gegeben ist. In dieser Gleichung ist die Helligkeit (oder Farbe) des i′ten Bildele­ mentes der linken und rechten Abbildungen gleich Ai bzw. Bi. Die Verarbeitungsgeschwindigkeit kann so erhöht werden, da es keine Multiplikationen gibt, und ohne Informationsverlust, der bei Mittelwertbildungen eintritt.
H = Σ | Ai - Bi | (3)
Wird die Größe der Kleingebiete zu groß gewählt, so entsteht eine höhere Wahrscheinlichkeit dafür, daß ferne Gegenstände mit nahen Gegenständen innerhalb dieses Bereichs vermischt werden und die bestimmte Entfernung wird ungenau. Der Bereich kann kleiner gemacht werden, um so eine Entfernungsverteilung für die Abbildung zu erhalten, aber wenn sie als zu klein ge­ wählt ist, so ist die Informationsmenge zum Bestimmen der Übereinstimmung ungenügend.
Damit beispielsweise ein Fahrzeug mit einer Breite von 1,7 m, das sich in einer Entfernung von 100 m befindet, nicht mit einem gleichen Fahrzeug auf einer benachbarten Fahrspur in ein gleiches Gebiet gelangt, wird die Breite eines Gebiets auf einen maximalen Wert bezüglich des stereoskopischen opti­ schen Systems 10 gesetzt und enthält vier Bildelemente. Da sich dieser Wert beim Testen der Anzahl von Bildelementen für eine gegebene Abbildung als optimaler Wert erwies, wurde sowohl die laterale als auch die longitudinale Breite auf vier Bildelemente gesetzt.
Im folgenden wird die Übereinstimmung der linken und rechten Bilder erläutert, wenn eine Abbildung in kleine Bereich von 4 mal 4 Bildelementen eingeteilt wird, wobei das stereoskopi­ sche optische System 10 von den CCD-Kameras 11a und 11b für große Entfernungen dargestellt ist.
Wie in Fig. 1 gezeigt, ist die stereoskopische Bildverarbei­ tungsvorrichtung 20 mit einem Bildwandlerabschnitt 30 verse­ hen, der von dem stereoskopischen optischen System 10 gelie­ ferte Analogbilder in digitalisierte Bilder umwandelt, und enthält einen Cityblock-Entfernungsberechnungsabschnitt 40 als Übereinstimmungsberechnungsabschnitt, der die Cityblock­ entfernung oder -distanz H berechnet, indem jeweils zu einer Zeit ein Bild­ element weitergeschoben wird und sukzessive die Stadtblock­ entfernung H berechnet wird, einen Minimal/Maximal-Wert-Er­ kennungsabschnitt 50, der die Minimalwerte HMIN und Maximalwerte HMAX der Stadtblockentfernung H erkennt, und einen Abwei­ chungsbestimmungsabschnitt 60, der den Abweichungsbetrag x bestimmt, indem überprüft wird, ob der von dem Minimum/Maxi­ mum-Wert-Erkennungsabschnitt 50 erhaltene Wert für die linken und rechten kleinen Bereiche übereinstimmt oder nicht.
In dem oben beschriebenen Bildumwandlungsabschnitt 30 sind A/D-Wandler 31a und 31b vorgesehen, die den CCD-Kameras 11a und 11b für die linken und rechten optischen Abbildungen zu­ geordnet sind, und jeder der A/D-Wandler 31a und 31b ist je­ weils mit den linken und rechten Bildspeichern 33a und 33b verbunden, die Daten speichern, die den optischen Abbildungen entsprechen, die von den CCD-Kameras 11a und 11b aufgenommen worden sind, über Nachschlagetabellen (LUT) 32a und 32b, welche Datentabellen sind.
Die A/D-Wandler 31a und 31b haben beispielsweise eine Hellig­ keitsauflösung von 8 Bits, und die analogen Abbildungsdaten von der linken und rechten CCD-Kamera 11a und 11b werden in digitalisierte Bilder umgewandelt, die eine erforderliche Helligkeitsabstufung aufweisen. Wird eine Digitalisierung der Helligkeit eines Bildes durchgeführt, so kann dies die Verar­ beitungsgeschwindigkeit erhöhen, jedoch bedingt dies hohe Verluste von Information zum Berechnen der Übereinstimmung der linken und rechten Abbildungen, und deshalb wird die Hel­ ligkeit jedes Bildelements in eine mit beispielsweise 256 Ab­ stufungen versehene Grauskala umgewandelt.
Die LUT′s 32a und 32b sind auf einem ROM (read only memory) angeordnet. Sie erzeugen Daten zum Kor­ rigieren des Kontrastes eines Bildes, das von einem A/D-Wand­ ler 31a und 31b digitalisiert worden ist und geringe Hellig­ keit aufweist, und um die Unterschiede in den Charakteristi­ ken der linken und rechten CCD-Kamera 11a und 11b auszuglei­ chen. Anschließend werden die von den LUT′s 32a und 32b korrigierten Daten in den Bildspeichern 33a und 33b ge­ speichert.
Wie weiter unten beschrieben wird, führen die Bildspeicher 33a und 33b das sukzessive Übernehmen eines Abschnittes von Bilddaten in den Cityblock-Entfernungsberechnungsabschnitt 40 durch, und auf diese Weise ist es möglich, daß sie mit einem relativ langsamen Speicher versehen sind, wodurch die Kosten reduziert werden.
In dem Cityblock-Berechnungsabschnitt 40 werden das Paar Eingangspufferspeicher 41a und 41b über einen gemeinsamen Bus 80 mit dem linken Bildspeicher 33a verbunden, und das Paar Eingangspufferspeicher 42a und 42b ist über den gemeinsamen Bus 80 mit dem rechten Bildspeicher 33b verbunden.
Jeder der Eingangspufferspeicher 41a und 41b für die linken Bilddaten ist mit den zwei Paaren Schieberegistern 43a und 43b verbunden, die eine achtstufige Konfiguration aufweisen, und auf die gleiche Weise sind beispielsweise die zwei Paare achtstufiger Schieberegister 44a und 44b mit jedem der Input- Pufferspeicher 42a und 42b für die Daten des linken Bildes verbunden, und des weiteren ist die Cityblock-Entfernungs­ berechnungsschaltung 45, die die Cityblockentfernung berechnet, mit den vier Paaren von Schieberegistern 43a, 43b, 44a und 44b verbunden. Des weiteren sind die zwei Paare zehnstu­ figer Schieberegister 64a und 64b des Abweichungsbestimmungs­ abschnitts 60 mit den Schieberegistern 44a und 44b des rech­ ten Bildes verbunden. Wenn die Datenübermittlung für den nächstfolgenden kleinen Bereich anfängt, so werden die alten Daten, für die die Berechnung der Cityblockentfernung H beendet worden ist, in die Schieberegister 64a und 64b ge­ bracht und verwendet, wenn der Abweichungsbetrag x berechnet wird.
Des weiteren enthält die Cityblock-Entfernungsberechnungs­ schaltung 45 einen Einzelblock- und Hochgeschwindigkeits-CMOS- Rechner 46, der einen Eingangs/Ausgangsspeicher mit einem Addierer/ Subtrahierer verbindet, wie im einzelnen in Fig. 10 dar­ gestellt. Der Rechner 46 hat eine Pipelinestruktur mit 16 in Pyramidenform untereinander verbundenen und gleichzeitig be­ rechneten Daten von acht Bildelementen. Die erste Stufe die­ ser Pyramidenstruktur ist ein Absolutwertaddierer und die zweite bis vierte Stufe sind ein erster Addierer, ein zweiter Addierer und ein dritter Addierer, während die Endstufe ein Totalsummenaddierer ist.
Fig. 10 zeigt nur ein halbes Paar des Absolutwertaddierers und des Addierers der ersten und zweiten Stufe.
Jeder der Eingangspufferspeicher 41a und 41b, 42a und 42b ist ein Hochgeschwindigkeitstyp mit relativ geringer Kapazität in Übereinstimmung mit der Geschwindigkeit der Cityblock-Ent­ fernungsberechnung, und der Eingang und der Ausgang sind ge­ trennt, während eine von einem ersten Adressensteuerer 86 er­ zeugte Adresse jedem der Pufferspeicher zugeführt wird, in Übereinstimmung mit der von der Zeitgeberschaltung 85 gelie­ ferten Zeit. Die Übertragung zu und von den vier Paaren Schieberegistern 43a, 43b, 44a und 44b wird von einem zweiten Adressensteuerer 87 gesteuert.
Wird die Berechnung der Cityblockentfernung H von der Soft­ ware eines Computers ausgeführt, so ist eine sukzessive Suche des kleinen Bereichs in der linken Bildebene bezüglich eines kleinen Bereichs in der rechten Bildebene notwendig, ist eine Berechnungsleistung von 500 MIPS (Megainstruktionen pro Se­ kunde) notwendig, wenn ein Programm von fünf Schritten für jedes Bildelement verwendet wird, wenn der gesamte kleine Be­ reich der rechten Bildebene berücksichtigt werden soll. Diese Leistung kann nicht mit einem Mikroprozessor der gängigen Art des CISC-Typs bewerkstelligt werden, und deshalb muß ein RISC-Prozessor, ein digitaler Signalprozessor (DSP) oder ein Parallelprozessor verwendet werden.
Der Minimum- und Maximumwerte-Feststellungsabschnitt 50 ist mit einem Minimumwert-Feststellschaltkreis 51 versehen, der den Minimalwert HMIN für die Cityblockentfernung H fest­ stellt, und einen Maximumwert-Feststellschaltkreis 52, der den Maximumwert HMAX der Cityblockentfernung H feststellt, und der Rechner 46, der von der Cityblock-Entfernungsberech­ nungsschaltung 45 verwendet wird, ist derart ausgelegt, daß er zwei Werte für die Minimum- und Maximumwertfeststellung verwendet.
Wie in Fig. 11 gezeigt, enthält der Minimumwert-Feststel­ lungsschaltkreis 51 einen Rechner 46 mit einem A-Register 46a, einem B-Register 46b und einer arithmetischen Logik­ berechnungsschaltung (ALU) 46c, die mit einem C-Speicher 53 ver­ bunden ist, einen Speicher 54 und einen D-Speicher 55, und der Ausgang der Cityblock-Entfernungsberechnungsschaltung 45 ist der Eingang zu dem A-Register 46a und zu dem B-Register 46b über den C-Speicher 53, und das höchste Bit (MSB) des Aus­ gangs des ALU 46 ist an den Eingang des Speichers 54 gelegt. Der Ausgang dieses Speichers 54 ist an den Eingang des B-Registers 46b und an den D-Speicher 55 gelegt, und der Zwischenwert bei der Minimumwertberechnung ist in dem B-Register 46 von dem ALU 46 gespeichert, und der Abweichungsbetrag x wird im D- Speicher 55 gespeichert.
Der Maximumwert-Feststellschaltkreis 52 hat die gleiche Zu­ sammenstellung wie der Minimumwert-Feststellschaltkreis 51 mit dem Unterschied, daß die Logik invertiert wird und daß der Abweichungsbetrag x nicht gespeichert wird.
Die oben beschriebene Cityblockentfernung H wird sukzessive berechnet, während der kleine Bereich des linken Bildes bildelementweise bezüglich der Bildelemente eines kleinen Be­ reichs des rechten Bildes verschoben wird. Jedes Mal, wenn ein Wert für die Cityblockentfernung H ausgegeben wird, be­ stimmen der Vergleich und die Erneuerung des Maximalwerts und des Minimalwerts HMIN, die bis dahin berechnet wurden, den Maximalwert HMAX und den Minimalwert HMIN für die City­ blockentfernung H in diesem kleinen Bereich zum im wesent­ lichen gleichen Zeitpunkt wie die Ausgabe der End-Cityblockent­ fernung H.
Der Abweichungsbetrag-Feststellungsabschnitt 60 ist als RISC kleiner Abmessung ausgelegt, und ist mit einem Rechner 61 als Kern versehen, und hat zwei 16 Bit breite Datenbusse 62a und 62b, einen Speicher 63a, welcher den Abweichungsbetrag x fest­ hält, einen Speicher 63b, welcher den Schwellenwert Ha als ersten ermittelten Wert festhält, einen Speicher 63c, der einen Schwel­ lenwert Hb als zweiten ermittelten Wert festhält, einen Speicher 63d, der einen Schwellenwert Hc als dritten ermittelten Wert festhält, zwei Paare Schieberegister 64a und 64b, die Hellig­ keitsdaten eines rechten Bildes beinhalten, ein Schalter 65, der den Ausgang des Rechners 61 erhält und den Abweichungsbe­ trag x oder "0" ausgibt, Ausgangspufferspeicher 66a und 66b, die die Ausgangswerte zeitweise enthalten, und einem ROM 67, in den das Steuerprogramm für die Wirkungen des Rechners 61 und die Betriebstaktung des Schaltkreises eingeschrieben sind.
Der Rechner 61 enthält die ALU 70 als zentrale Einheit und weist ein A-Register 71, ein B-Register 72, ein F-Register 73 und einen Auswähler 74 auf. Das A-Register 71 ist mit dem Da­ tenbus 62a (im weiteren A-Bus 62a genannt) verbunden. Das B- Register 72 ist mit dem Datenbus 62b (im weiteren B-Bus 62b genannt) verbunden. Der Schalter 65 wird von den berechneten Werten der ALU 70 betrieben und entweder der Abweichungsbe­ trag x oder "0" ist in den Ausgangspufferspeichern 66a und 66b gespeichert.
Der A-Bus 62a ist mit den Speichern 63b, 63c und 63d verbunden, die jeden der Schwellenwerte Ha, Hb und Hc gespeichert haben, und ist mit dem Maximalwert-Feststellungsschaltkreis 52 ver­ bunden. Der B-Bus 62b ist mit dem Minimumwert-Feststellungs­ schaltkreis 51 verbunden. Des weiteren sind der A-Bus 62a und der B-Bus 62b mit jedem der Schieberegistern 64a und 64b ver­ bunden.
Die Vermittlungsschaltung 65 ist mit dem Rechner 61 verbunden und ebenfalls mit dem Minimumwert-Feststellschaltkreis 51 über die Klinke 63a verbunden, und die drei weiter unten be­ schriebenen Prüfbedingungen werden von dem Rechner 61 beur­ teilt und der Ausgang zu den Ausgangspufferspeichern 66a und 66b wird in Abhängigkeit dieser Beurteilung geschaltet.
Der Abweichungsbetrag-Feststellabschnitt 60 überprüft, ob der Minimumwert HMIN, der für die Cityblockentfernung H erhalten ist, in tatsächlicher Übereinstimmung mit den linken und rechten kleinen Bereichen ist, und nur wenn dies der Fall ist, wird der Abweichungsbetrag x zu den Ausgangspufferspei­ chern 66a und 66b entsprechend der Position des Bildelements angelegt.
Wird die Cityblockentfernung H minimal, so ist der Abwei­ chungsbetrag ein benötigter Abweichungsbetrag x. Der Abwei­ chungsbetrag x wird ausgegeben, wenn die folgenden drei Prüf­ bedingungen vorliegen, während keine Daten verwendet werden und "0" ausgegeben wird, wenn die Bedingungen nicht vorlie­ gen:
  • 1. HMIN H₂ (die Entfernung wird nicht festgestellt, wenn HMIN < H₂ ist).
  • 2. HMAX - HMIN Hb (Dies ist eine Bedingung, um zu prüfen, ob der erhaltene Minimumwert HMIN aufgrund von Schwin­ gungen, die von Rauschen erzeugt werden, wirklich nied­ rig ist, und diese Bedingung prüft nicht den Unterschied mit der Nachbarschaft des Minimumwertes HMIN, sondern prüft vielmehr den Unterschied mit dem Maximumwert HMAX, so daß die Entfernungsfeststellung bezüglich eines Ge­ genstandes durchgeführt wird, wie gekrümmte Oberflächen, bei welchen sich die Helligkeit kontinuierlich ändert.)
  • 3. Helligkeitsunterschiede zwischen benachbarten Bildele­ menten in lateraler Richtung innerhalb eines kleinen Ge­ biets der rechten Abbildung < Hc (Eine Kantenfeststel­ lung liegt vor, wenn der Schwellenwert Hc größer wird, aber es ist auch möglich, das Verfahren durchzuführen, wenn sich die Helligkeit kontinuierlich ändert, indem der Schwellenwert Hc niedriger als das normale Schwel­ lenfeststellungsniveau eingestellt wird. Diese Bedingung beruht auf dem fundamentalen Prinzip, daß eine Entfernungsbe­ stimmung innerhalb des kleinen Gebiets, das keine Hel­ ligkeitsänderung aufweist, nicht durchgeführt werden kann und wird für jedes Bildelement innerhalb eines kleinen Gebiets durchgeführt und wird so nur für Bild­ elemente verwendet, für welche die Entfernung innerhalb des kleinen Gebiets festgestellt worden ist, und ein richtiges Ergebnis vorliegt.)
Wenn die Abweichungsbetrag-Bestimmungsberechnung von Software in einem normalen Mikroprozessor durchgeführt wird, ist es notwendig, eine Geschwindigkeit von 27 MIPS zu verwenden.
Die Entfernungsverteilungsinformation, die das Endresultat von dem Abweichungsbetrag-Bestimmungsabschnitt 60 ist, wird über einen gemeinsamen Bus 80 in einen Dualanschlußspeicher 90 eingeschrieben, der das Interface zu einer externen Vorrichtung wie einer Straßen- oder Hinderniserkennungsvor­ richtung wird.
Im folgenden wird der Betrieb einer Ausführungsform der vor­ liegenden Erfindung und der stereoskopischen Bildverarbei­ tungsvorrichtung 20 entsprechend dem in Fig. 4 gezeigten Dia­ gramm beschrieben.
Zuerst wird das von den CCD-Kameras 11a und 11b in Schritt ST1 aufgenommene Bild in Schritt ST2 einer A/D-Umwandlung un­ terworfen, und wird dann von der LUT 32a und 32b korrigiert, und wird dann in den Bildspeichern 33a und 33b gespeichert.
Die in den Bildspeichern 33a und 33b gespeicherten Bilder entsprechen nur den Abtastzeilen der von den CCD-Kameras 11a und 11b gewonnenen Abtastzeilen, die zur späteren Verarbei­ tung notwendig sind und beispielsweise in einer Rate von einem pro 0,1 Sekunden gespeichert werden.
Anschließend, mit Übergang zu Schritt ST3, werden die Bildda­ ten des rechten und linken Bildes mit einer Rate von vier Zeilen gleichzeitig von den linken und rechten Bildspeichern 33a und 33b über den gemeinsamen Bus 80 in die Eingangspuf­ ferspeicher 41a, 41b, 42a und 42b eingeschrieben, wobei das Prüfen der linken und rechten Bilder als Auswertung der Über­ einstimmung durchgeführt wird.
Anschließend wird der Vorgang des Auslesens aus den Bildspei­ chern 33a und 33b in die Eingangspufferspeicher 41a, 41b, 42a und 42b für jedes der linken und rechten Bilder durchge­ führt, und der Vorgang des Einschreibens der Schieberegister 43a, 43b, 44a und 44b wird alternierend durchgeführt.
Beispielsweise wird für ein linkes Bild das Einschreiben der Bilddaten, die von dem anderen Eingangspufferspeicher 41b eingeschrieben worden sind, in das Schieberegister 43 durch­ geführt, während die Bilddaten von dem Bildspeicher 33a in den Eingangspufferspeicher 41a eingelesen werden. Anderer­ seits wird für ein rechtes Bild das Einschreiben der Bildda­ ten, die von dem anderen Eingangspufferspeicher 42b einge­ schrieben worden sind, in das Schieberegister 44b durchge­ führt, während Bilddaten von dem linken Bildspeicher 33b in den Eingangspufferspeicher 42a eingeschrieben werden.
Anschließend halten, wie in Fig. 9 dargestellt die Schiebere­ gister 43a, 43b, 44a und 44b die Bilddaten (1,1) . . . (4,4) des kleinen Bereichs von 4 × 4 Bildelementen für rechts und links, und ein Schieberegister 43a (44a) hält Daten für erste und zweite Zeile, während das andere Schieberegister 43b (44b) Daten der dritten und vierten Zeile enthält, und es gibt sukzessive entsprechenden Eingang von ungeradzahligen Zeilen und geradzahligen Zeilen.
Jedes der Schieberegister 43a, 43b, 44a und 44b enthält unab­ hängige Übertragungszeilen, und Daten von 4 × 4 Bildelementen werden beispielsweise mit acht Takten übertragen. An­ schließend geben diese Schieberegister 43a, 43b, 44a und 44b den Inhalt der geradzahligen Schritte von acht Schritten in den Cityblock-Entfernungsberechnungsschaltkreis 45, und wenn die Berechnung der Cityblockentfernung H anfängt, sind die Daten des rechten Bildes in den Schieberegistern 44a und 44b festgehalten, und Daten der ungeradzahligen und geradzahligen Zeilen werden für jeden Takt alternierend ausgegeben, und Daten, die in der Richtung eines Bildelements nach rechts verschoben werden, werden für jede zweite Zeitgebung überschrieben. Dieser Vorgang wird so oft wiederholt, bis ein Abschnitt von 100 Bildelementen verschoben worden ist (d. h. 200 Takte).
Wenn die Übertragung bezüglich eines kleinen Bereich beendigt worden ist, wird der Inhalt des rechten Bildadreßzählers (Kopfadresse eines kleinen Bereichs der nächsten 4 × 4 Bild­ elemente) in den linken Bildadreßzähler innerhalb des zwei­ ten Adressensteuerers 87 gesetzt, und die Verarbeitung für den nächsten kleinen Bereich beginnt.
In der Cityblock-Entfernungsberechnungsschaltung 45 wer­ den, wie in dem Flußdiagramm in Fig. 12 dargestellt ist, die Daten des Acht-Bildelementenabschnitts zuerst dem Absolut­ wertberechner der ersten Stufe der Pyramidenstruktur eingege­ ben, und der Absolutwert der Helligkeitsunterschiede der lin­ ken und rechten Bilder wird berechnet. Wenn der Helligkeits­ wert eines rechten Bildelementes von dem Helligkeitswert des entsprechenden linken Bildelementes abgezogen wird und das Ergebnis negativ ist, wird durch Vertauschen der Berechnungs­ vorschrift und wiederholter Subtraktion die Berechnung des Absolutwertes vorgenommen. Dementsprechend wird in der An­ fangsstufe die Subtraktion zweimal durchgeführt.
Ist die Anfangsstufe durchlaufen, werden anschließend von dem ersten bis zu dem dritten Addierer aus der zweiten bis vier­ ten Stufe die zwei Eingangsdaten, die gleichzeitig eingelesen worden sind, addiert und das Ergebnis ausgegeben. Anschlie­ ßend wird die Gesamtsumme der zwei kontinuierlichen Daten in dem Gesamtsummenaddierer der Endstufe addiert, und die notwen­ dige Stadtblockentfernung H für einen Abschnitt aus 16 Bild­ elementeabschnitten wird an dem Minimum- und Maximumwert- Feststellabschnitt für jeden zweiten Takt ausgegeben.
Anschließend wird zu Schritt ST4 übergegangen, und der Ma­ ximumwert HMAX und der Minimumwert HMIN, der in Schritt ST3 berechneten Cityblockentfernung H wird bestimmt. Die Fest­ stellung des Maximumwerts HMAX und des Minimumwerts HMIN er­ folgen in der oben beschriebenen Weise mit dem Unterschied, daß gegenseitig invertierte Logik verwendet wird, und daß der Abweichungsbetrag x nicht beibehalten wird. Im folgenden wird die Feststellung nur des Minimumwertes HMIN beschrieben.
Zuerst wird die Cityblockentfernung H ausgegeben, für die der Abweichungsbetrag x gleich "0" ist, und dem B-Register 46b der ALU 46 über den C-Speicher 53 des Minimumwert- Feststellschaltkreises 51 eingegeben, wie in Fig. 1 gezeigt. Die Stadtblockentfernung H (für die der Abweichungsbetrag x gleich 1 ist) und die bei der nächsten Zeitgebung ausgegeben wird, wird dem A-Register 46a der ALU 46 und des C-Speichers 53 eingegeben, und die ALU 46 beginnt gleichzeitig eine Ver­ gleichsrechnung mit dem B-Register 46b.
Wenn das Ergebnis der Vergleichsberechnung in der ALU 46 zeigt, daß der Inhalt des A-Registers 46a kleiner als der Inhalt des B-Registers 46b ist, so wird der Inhalt des C-Speichers 53 (d. h. der Inhalt des A-Registers 46a) zu dem B-Register 46b geschickt, und der dann vorliegende Abweichungsbetrag x wird im D-Speicher 55 zurückbehalten. Zu dieser Zeit wird die Cityblockentfernung H (für die der Abweichungsbetrag x=2 ist) in das A-Register 46a und den C-Speicher 53 eingegeben, und die Vergleichsberechnung wird von neuem begonnen.
Auf diese Weise wird der Minimumwert bei dieser Rechnung immer in dem B-Register 46b gespeichert und der dann vorliegende Abweichungsbetrag x wird immer im D-Speicher 55 zurück­ behalten, wobei die Berechnung fortgesetzt wird, bis der Abweichungsbetrag x=100 wird. Wenn die Berechnung beendet ist (d. h. eine Zeitgebung nach dem Ausgang der End-Cityblock­ entfernung H) werden der Inhalt des B-Registers 46b und des D-Speichers 55 in den Abweichungsbetrag-Bestimmungsabschnitt 60 eingelesen.
Während dieser Zeit wird der nächste Anfangswert eines kleinen Bereichs in die Cityblock-Entfernungsberechnungsschaltung 45 eingelesen, so daß keine Zeit verlorengeht, da vier Takte benötigt werden, um eine einzige Cityblockentfernung H zu berechnen, und es liegt eine Pipeline-Struktur vor, und ein neues Berechnungsergebnis liegt bei jedem zweiten Takt vor.
Wenn in Schritt ST5 der Minimumwert HMIN und der Maximumwert HMAX für die Cityblockentfernung H bestimmt werden, über­ prüft der Abweichungsbetrag-Bestimmungsabschnitt 60 die drei oben angeführten Bedingungen, und der Abweichungsbetrag x wird bestimmt.
Wie in dem in Fig. 13 dargestellten Flußdiagramm gezeigt, wird der Minimumwert HMIN dem B-Register 72 des Rechners 61 über den B-Bus 62b zugeführt, und der Schwellenwert Ha, der mit dem Wert in dem B-Register 72 verglichen wird, wird über den A-Bus 62a dem A-Register 71 eingegeben. Der Minimumwert HMIN und der Schwellenwert Ha werden in der ALU 70 verglichen, und wenn der Minimumwert HMIN größer als der Schwellenwert Ha ist, wird die Vermittlungsschaltung 65 neu eingestellt, und "0" ist die Ausgabe, unabhängig von dem Ergebnis der späteren Überprüfung.
Der Maximumwert HMAX wird dann dem A-Register 71 zugeführt, und der Unterschied zwischen dem Maximumwert HMAX und dem Mi­ nimumwert HMIN, der in dem B-Register 72 vorliegt, wird be­ rechnet, und das Ergebnis wird in das F-Register 73 eingege­ ben. Beim nächsten Takt wird die Vermittlungsschal­ tung 65 neu eingestellt, wenn der Inhalt des F-Registers 73 kleiner als der in das A-Register 71 eingelesene Schwellenwert Hb ist.
Die Berechnung des Helligkeitsunterschiedes zwischen benach­ barten Bildelementen beginnt beim nächsten Takt. Die zwei Paare Schieberegister 64a und 64b, die die Hellig­ keitsdaten beinhalten, haben einen zehnstufigen Aufbau und sind mit den späteren Stufen des Schieberegisters 44a für die erste und zweite Linie des Stadtblock-Entfer­ nungsberechnungsabschnitts 40 und dem Schieberegister 44b für die zweite und dritte Linie des Cityblock-Entfernungs­ berechnungsabschnitts 40 verbunden. Der Ausgang dieser Schiebe­ register wird aus der Endstufe und den zwei vorhergehenden Stufen genommen und jeweils dem A-Bus 62a und dem B-Bus 62b zugeführt.
Wenn die Berechnung des Helligkeitsunterschiedes anfängt, werden Helligkeitsdaten eines jeden Bildelementes des kleinen Bereichs in jeder der Stufen der Schieberegister 64a und 64b zurückgehalten, und es werden zuerst die Helligkeitsdaten der ersten Zeile der vierten Reihe des vorherigen kleinen Be­ reichs und die Helligkeitsdaten der ersten Zeile und der vierten Reihe des gegenwärtigen kleinen Bereichs an das A-Re­ gister 71 und das B-Register 72 des Rechners 61 gegeben.
Anschließend wird der Absolutwert des Unterschiedes zwischen dem Inhalt des A-Registers 71 und dem Inhalt des B-Registers 72 berechnet und die Ergebnisse werden in dem F-Register 73 gespeichert. Anschließend wird der Schwellenwert Hc dem A-Re­ gister 71 beim nächsten Takt zugeführt und mit dem Wert des F-Registers verglichen.
Wenn die Vergleichsresultate des Rechners 61 zeigen, daß der Inhalt des F-Registers 73 (Absolutwert des Helligkeitsunter­ schiedes) größer als der des A-Registers (Schwellen­ wert Hc) ist, so gibt der Schalter 65 entweder den Abwei­ chungsbetrag x oder "0" aus, oder er gibt "0" aus, wenn der Inhalt des F-Registers 73 kleiner als der Inhalt des A-Regi­ sters ist, und werden in einer Adresse eingeschrieben, die die erste Spalte der ersten Reihe des kleinen Bereichs der Aus­ gangspufferspeicher 66a und 66b darstellt.
Während der Vergleich zwischen dem Schwellenwert Hc und dem Helligkeitsunterschied zwischen benachbarten Bildelementen in dem Rechner 61 durchgeführt wird, werden die Schieberegister 64a und 64b eine Stufe durchgeschoben. Anschließend fängt die Berechnung bezüglich der Helligkeitsdaten der zweiten Zeile der vierten Reihe des vorherigen kleinen Bereichs und der zweiten Zeile der vierten Reihe des gegenwärtigen kleinen Be­ reichs an. Auf diese Weise wird die Berechnung bezüglich der dritten Zeile und der vierten Zeile in gleicher Weise nach der alternierten Berechnung der ersten Zeile und der zweiten Zeile des kleinen Bereichs angefangen und durchgeführt.
Während der Berechnung werden die Endstufe und die Anfangs­ stufe der Schieberegister 64a und 64b miteinander verbunden, um eine Art Ringschieberegister zu ergeben und nach Berech­ nung des gesamten kleinen Gebiets und nachdem der Zeitgeber zwei Takte dazu addiert hat, wird der Inhalt des Regi­ sters in den Status vor der Berechnung zurückversetzt, und wenn das Senden der Helligkeitsdaten des nächsten kleinen Be­ reichs beendet ist, werden die Daten der vier Zeilen des ge­ genwärtigen kleinen Bereichs in der Endstufe und der Stufe davor gespeichert.
Auf diese Weise werden während der Berechnung des Abweichungs­ betrages die nächsten Daten in dem A-Bus 62a und dem B-Bus 62b vorbereitet und das Einschreiben des Ergebnisses wird durchgeführt, so daß die Daten mit nur zwei für die Berech­ nung notwendigen Takten verarbeitet werden können. Dar­ aus ergibt sich, daß alle Berechnungen in beispielsweise 43 Takten beendet sind, selbst wenn die Prüfung des Mi­ nimumwerts HMIN und des Maximumwerts HMAX die eingangs durch­ geführt wurden, durchgeführt wird, und es gibt genug Spielraum für die Zeit, die notwendig ist, um den Minimumwert HMIN und den Maximumwert HMAX der Cityblockentfernung H bezüglich eines einzigen kleinen Bereichs zu bestimmen, und es ist ebenfalls möglich, einige zusätzliche Funktionen durchzu­ führen.
Nach Ermittlung des Abweichungsbetrages x wird anschließend in Schritt ST6 der Abweichungsbetrag als Entfernungsvertei­ lungsinformation von den Ausgangspufferspeichern 66a und 66b an den dualen Speichern 90 ausgegeben, und die Datenverarbei­ tung in der stereoskopischen Bildverarbeitungsanlage 20 wird beendet.
Die Ausgangspufferspeicher 66a und 66b sind mit den oben be­ schriebenen Eingangspufferspeichern 41a, 41b, 42a und 42b insofern identisch, daß sie die Kapazität für einen Vier-Zei­ len-Abschnitt aufweisen, und die Entfernungsverteilungsin­ formation wird von einem zu dem Dualeingangsspeicher 90 ge­ sandt, während der andere eingelesen wird.
Die dem Dualanschlußspeicher 90 eingeschriebene Entfernungs­ verteilungsinformation ermöglicht die Berechnung der dreidi­ mensionalen Position im XYZ-Raum des jedem der Bildelemente entsprechenden Gegenstandes, wobei die Parameter des opti­ schen Systems, wie Brennweite und Anbringungsstellung der CCD-Kameras 11 und 12, Verwendung finden, und ermöglicht die genaue Bestimmung der Entfernung zu einem Gegenstand, der kein Automobil ist, ohne die Informationsmenge zu verringern.
Des weiteren kann die Berechnung der dreidimensionalen Posi­ tion im XYZ-Raum aus der Entfernungsverteilungsinformation berechnet werden, und die Verwendung des Abweichungsbetrages x kann mit Hilfe von Informationsverarbeitung in der stereo­ skopischen Bildverarbeitungsanlage 20 durchgeführt werden, und das Datenformat zur Ausgabe aus der stereoskopischen Bildverarbeitungsanlage 20 kann in Übereinstimmung mit der daran angeschlossenen externen Vorrichtung bestimmt werden.
Schließlich wird die Zeitgebung oder Taktsteuerung des gesamten Systems der ste­ reoskopischen Bildverarbeitungsanlage 20 bezüglich des in Fig. 14 gezeigten Flußdiagramms erläutert.
Die Signale aus der linken und rechten CCD-Kamera 11a und 11b, die miteinander synchronisiert sind, werden in die Bild­ speicher 33a und 33b für 0,1 Sek. (bei einer Rate von einem Bild pro dreien) eingeschrieben.
Anschließend werden die aufgenommenen Signale eingelesen und die Blockübertragung beginnt jeweils für alle vier Zeilen. Die Blockübertragung überträgt die drei Blöcke des rechten Bil­ des, linken Bildes und des Entfernungsverteilungsbildes des Ergebnisses in Reihenfolge.
Während dieser Zeit wird die Berechnung des Abweichungsbe­ trags x bezüglich eines der Eingangs/Ausgangspufferspeicher durchgeführt. Anschließend wird unter Berücksichtigung der Berechnungszeit für den Abweichungsbetrag x die Übertragung bezüglich des anderen Eingangs /Ausgangspufferspeichers begon­ nen, der für die notwendige Zeit in Bereitschaft stand.
Die Berechnung der Cityblockentfernung H bezüglich eines kleinen Bereiches von 4 × 4 Bildelementen eines der rechten Bilder wird durchgeführt, während 100 Bildelemente für das linke Bild verschoben werden, und wird daher 100 Mal durchge­ führt. Während die Berechnung der Cityblockentfernung H für einen Bereich durchgeführt wird, wird der Abweichungsbetrag x des vorherigen Bereichs, dessen Überprüfung beendet ist, als eine Entfernungsverteilung ausgegeben.
Wenn die Anzahl von zu verarbeitenden Zeilen gleich 200 ist, so muß die Verarbeitung für vier Zeilen 50mal wiederholt werden, wie auch die Verarbeitungszeit für einen Vier-Zeilen- Abschnitt, um die ersten Daten zu übertragen, wenn die Be­ rechnung anfängt, und die Verarbeitungszeit für einen Vier- Zeilen-Abschnitt für die Übertragung der Endergebnisse nach Beendigung der Berechnung, und des Bilderkennungsabschnitt, das eine Bearbeitungszeit für einen Abschnitt aus insgesamt acht Zeilen notwendig ist.
Die Zeit vom Beginn der Übertragung der ersten Eingangsbild­ linie bis zum Ende der Übertragung der letzten Entfernungs­ verteilung ist gleich 0,076 Sek. von dem Ergebnis der Inbe­ triebnahme der Schaltung.

Claims (10)

1. Entfernungsbestimmungseinrichtung für Automobile, mit einer Abbildungs- und Bildaufnahmevorrichtung zum Abbilden von Gegenständen in einem vorgegebenen Bereich außerhalb des Automobils aus einer Mehrzahl verschiedener Richtungen und zur Aufnahme einer Mehrzahl von Bildern gemäß den verschiedenen Richtungen und einer Bildverarbeitungseinheit zum Verarbeiten der aufgenommenen Bilder und zum Ausgeben einer Entfernungsverteilung für eine gesamte Abbildung des vorgegebenen Bereichs, wobei die Bildverarbeitungseinheit eine Übereinstimmungsberechnungs­ richtung zum Ausführen einer Hochgeschwindigkeitsberechnung eines Übereinstimmungsgrades der aufgenommenen Bilder und eine Abweichungsbetragsbestimmungseinrichtung zum Ermitteln von Abweichungsbeträgen von Bildelementpositionen in Abhängigkeit eines Minimumwerts des Übereinstimmungsgrades aufweist, dadurch gekennzeichnet, daß die Übereinstimmungsberechnungseinrichtung (40) die aufgenommenen Bilder des vorgegebenen Bereichs in mehrere kleine Regionen aufteilt und die Hochgeschwindigkeitsberechnung des Übereinstimmungsgrades zwischen jedem der mehreren kleinen Regionen eines der Bilder und den kleinen Regionen zumindest eines der anderen Bilder durchführt und daß die Abweichungs­ betragsbestimmungseinrichtung (60) Abweichungsbeträge von entsprechenden kleinen Regionen über die gesamte Abbildung in Abhängigkeit vom Minimumwert und von einem Maximumwert des Übereinstimmungsgrades entsprechender Regionen ermittelt.
2. Entfernungsbestimmungseinrichtung nach Anspruch 1, dadurch gekennzeichnet, daß sie
  • - eine Bildwandlereinrichtung (30) zum Umwandeln der Mehrzahl von der Abbildungs- und Bildaufnahmevorrichtung (10) aufgenommener analoger Bilder in digitale Bilder mit Helligkeitsabstufungen und
  • - eine Maximum- und Minimum-Feststelleinrichtung (50) zum Feststellen des Minimumwertes und des Maximumwertes des Übereinstimmungsgrades, der von der Übereinstimmungsberech­ nungseinrichtung (40) berechnet worden ist, aufweist, und daß
  • - die Abweichungsbetragsbestimmungseinrichtung (60) den Minimumwert des Übereinstimmungsgrades als Grundlage zum Bestimmen des Abweichungsbetrages einer Bildelementposition verwendet, wenn der Minimumwert gleich oder kleiner als ein erster Schwellwert (Ha) ist, wenn ein Unterschied zwischen dem Maximumwert und dem Minimumwert gleich oder größer als ein zweiter Schwellwert (Hb) ist und wenn die Helligkeitsunter­ schiede zwischen benachbarten Bildelementen innerhalb einer kleinen Region gleich oder größer als ein dritter Schwellwert (Hc) sind.
3. Entfernungsbestimmungseinrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Bildwandlereinrichtung (30) einen Hochgeschwindigkeits­ bildspeicher (33a, 33b) zum Speichern eines gesamten, von der Abbildungs- und Bildaufnahmevorrichtung (10) aufgenommenen Bildes aufweist, und die Übereinstimmungsberechnungseinrichtung (40) einen Hochgeschwindigkeitspufferspeicher (41, 42) zum Aufnehmen und Speichern eines Abschnitts des Bildes aufweist.
4. Entfernungsbestimmungseinrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Bildwandlereinrichtung (30) mit einer Datentabelle (32a, 32b) zum Korrigieren der Ausgangssignale der Abbildungs- und Bildaufnahmevorrichtung (10) versehen ist, wobei eine Kontrast­ verbesserung vorgenommen wird, und nachgeschaltete Bildspeicher (33a, 33b) vorgesehen sind, die die korrigierten Daten speichern.
5. Entfernungsbestimmungseinrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Abbildungs- und Bildaufnahmevorrichtung (10) mit zwei CCD-Kameras (11a, 11b) für kurze Entfernungen und zwei CCD-Kameras (12a, 12b) für große Entfernungen versehen ist.
6. Entfernungsbestimmungseinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Übereinstimmungsberechnungseinrichtung (40) eine City-Block-Distanzberechnungseinrichtung (45) aufweist, die für jede der kleinen Regionen eines Bildes durch Vergleich mit den kleinen Regionen des anderen Bildes eine City-Block-Distanz (H) berechnet auf der Grundlage eines Absolutwerts der Differenz der Helligkeit der Bildelemente zwischen der kleinen Region in dem einen Bild und der kleinen Region in dem anderen Bild.
7. Entfernungsbestimmungseinrichtung nach Anspruch 6, dadurch gekennzeichnet, daß eine Minimumwertermittlungseinrichtung (51) zur Ermittlung des Minimumwerts (HMIN) der City-Block-Distanzen (H) für jede der kleinen Regionen, auf dessen Grundlage die Abweichungsbetrags­ bestimmungseinrichtung (60) die Abweichungsbeträge bestimmt, und eine Maximumwertermittlungseinrichtung (52) zur Ermittlung des Maximumwerts (HMAX) der City-Block-Distanzen (H) für jede der kleinen Regionen vorgesehen sind.
8. Entfernungsbestimmungseinrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Abweichungsbetragsbestimmungseinrichtung (60) eine Ermittlungseinrichtung (61) für einen Helligkeitsunterschied zwischen aneinandergrenzenden Bildelementen in jeder der kleinen Regionen einer der Abbildungen aufweist und den ermittelten Helligkeitsunterschied berücksichtigt.
9. Entfernungsbestimmungseinrichtung nach einem vorhergehenden Anspruch, dadurch gekennzeichnet, daß die Abweichungsbetragsbestimmungseinrichtung (60) aufweist:
einen ersten Speicher (63b) zum Halten eines ersten Schwellwerts (Ha ),
einen zweiten Speicher (63c) zum Halten eines zweiten Schwellwerts (Hb),
einen dritten Speicher (63d) zum Halten eines dritten Schwellwerts (Hc),
einen vierten Speicher (63a) zum Speichern des Abweichungsbetrags (x),
ein erstes Register (71) zur Entgegennahme des Maximumwerts (HMAX) und des ersten, zweiten und dritten Schwellwerts (Ha, Hb, Hc) zur Speicherung,
ein zweites Register (72) zur Entgegennahme des Minimumwerts (HMIN) zur Speicherung,
eine logische Berechnungseinrichtung (ALU 70) zur Berechnung der Differenz zwischen dem im ersten Register (71) gespeicherten Maximumwert (HMAX) und dem im zweiten Register (72) gespeicherten Minimumwert (HMIN),
ein drittes Register (73) zum Empfang der Differenz von der logischen Berechnungseinrichtung (ALU 70), und
eine Auswähleinrichtung (74) zur selektiven Verbindung des zweiten (72) oder dritten Registers (73) mit der logischen Berechnungseinrichtung (ALU 70), die
den ersten Schwellwert (Ha) des ersten Speichers (63b) und den Minimumwert (HMIN) des zweiten Registers (72) vergleicht und, wenn der Minimumwert größer als der erste Schwellwert ist (Hmin < Ha) ein Signal ("0") ausgibt, das das Fehlen von Abweichungsbetragsdaten anzeigt, und die ferner den zweiten Schwellwert (Hb) des zweiten Speichers (63c) und die im dritten Register (73) gespeicherte Differenz (HMAX - HMIN) vergleicht, und wenn die Differenz kleiner als der zweite Schwellwert ist, das das Fehlen von Abweichungsbetragsdaten anzeigende Signal ("0") erzeugt.
10. Entfernungsbestimmungseinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die kleinen Regionen 4 × 4 Bildelemente umfassen.
DE4235619A 1991-10-22 1992-10-22 Entfernungsbestimmungseinrichtung für Automobile Expired - Lifetime DE4235619C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27431591A JP3167752B2 (ja) 1991-10-22 1991-10-22 車輌用距離検出装置

Publications (2)

Publication Number Publication Date
DE4235619A1 DE4235619A1 (de) 1993-04-29
DE4235619C2 true DE4235619C2 (de) 1997-05-15

Family

ID=17539940

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4235619A Expired - Lifetime DE4235619C2 (de) 1991-10-22 1992-10-22 Entfernungsbestimmungseinrichtung für Automobile

Country Status (4)

Country Link
US (1) US5307136A (de)
JP (1) JP3167752B2 (de)
DE (1) DE4235619C2 (de)
GB (1) GB2261339B (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19934670A1 (de) * 1999-05-26 2000-12-21 Bosch Gmbh Robert Objektdetektionssystem

Families Citing this family (238)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3110095B2 (ja) * 1991-09-20 2000-11-20 富士通株式会社 測距方法及び測距装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5515448A (en) * 1992-07-28 1996-05-07 Yazaki Corporation Distance measuring apparatus of a target tracking type
JP3365799B2 (ja) * 1992-11-24 2003-01-14 オリンパス光学工業株式会社 距離・速度測定装置
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US6498620B2 (en) 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JPH06300581A (ja) * 1993-04-15 1994-10-28 Fuji Heavy Ind Ltd 車輛の軌道追従制御装置
US6553130B1 (en) 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
US5983161A (en) 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US5586063A (en) * 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
JP3452075B2 (ja) * 1993-10-27 2003-09-29 富士重工業株式会社 車輌用距離検出装置
JPH07120256A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JP3452076B2 (ja) * 1993-10-27 2003-09-29 富士重工業株式会社 車輌用距離検出装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JPH07189795A (ja) * 1993-12-28 1995-07-28 Hitachi Ltd 自動車の制御装置及び制御方法
JP3205477B2 (ja) * 1994-02-17 2001-09-04 富士フイルムマイクロデバイス株式会社 車間距離検出装置
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6623033B2 (en) 1994-05-23 2003-09-23 Automotive Technologies International, Inc. Airbag inflation control system and method
US6918459B2 (en) * 1994-05-23 2005-07-19 Automotive Technologies International, Inc. Method and apparatus for deploying airbags
US6749218B2 (en) 1994-05-23 2004-06-15 Automotive Technologies International, Inc. Externally deployed airbag system
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
GB2289786B (en) 1994-05-23 1998-09-16 Automotive Tech Int Side impact airbag system with anticipatory sensor
US6343810B1 (en) 1994-05-23 2002-02-05 Automotive Technologies International Inc. Side impact airbag system with anticipatory sensor
US6755273B2 (en) 1994-05-23 2004-06-29 Automotive Technologies International, Inc. Combined airbag inflation and occupant displacement enabling method and apparatus
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
AU690230B2 (en) * 1995-01-18 1998-04-23 Larry C. Hardin Optical range and speed detection system
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US5777563A (en) * 1995-10-10 1998-07-07 Chrysler Corporation Method and assembly for object detection by a vehicle
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
US6550949B1 (en) 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
EP0898245B1 (de) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Bildverarbeitungsverfahren und -gerät
US6647146B1 (en) 1997-08-05 2003-11-11 Canon Kabushiki Kaisha Image processing apparatus
EP0901105A1 (de) 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
JP3880702B2 (ja) * 1997-09-11 2007-02-14 富士重工業株式会社 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
CA2320153A1 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6690268B2 (en) 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
JP3452794B2 (ja) * 1998-05-12 2003-09-29 三菱電機株式会社 視程測定装置
JP3284190B2 (ja) 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
JP3444192B2 (ja) * 1998-05-21 2003-09-08 日産自動車株式会社 撮像環境推定装置
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP3307335B2 (ja) * 1998-07-22 2002-07-24 日本電気株式会社 車両領域検出装置及び車両領域検定方法
WO2000073818A1 (de) 1999-05-26 2000-12-07 Robert Bosch Gmbh Objektdetektionssystem
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
JP3280001B2 (ja) 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
JP3263931B2 (ja) 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
JP3352655B2 (ja) 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP3255360B2 (ja) 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
JP3287465B2 (ja) * 1999-09-22 2002-06-04 富士重工業株式会社 ステレオ画像処理装置
US6483429B1 (en) 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7004593B2 (en) 2002-06-06 2006-02-28 Donnelly Corporation Interior rearview mirror system with compass
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
US6566004B1 (en) 2000-08-31 2003-05-20 General Motors Corporation Fuel cell with variable porosity gas distribution layers
JP2002216113A (ja) * 2001-01-16 2002-08-02 Fujitsu Ten Ltd 物体認識装置
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
ES2287266T3 (es) 2001-01-23 2007-12-16 Donnelly Corporation Sistema de iluminacion de vehiculos mejorado.
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
US6424273B1 (en) 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
DE10141220A1 (de) * 2001-08-23 2003-04-10 Valeo Schalter & Sensoren Gmbh Umfelderkennungssystem
US20030076981A1 (en) * 2001-10-18 2003-04-24 Smith Gregory Hugh Method for operating a pre-crash sensing system in a vehicle having a counter-measure system
US6819991B2 (en) * 2001-11-29 2004-11-16 Ford Global Technologies, Llc Vehicle sensing based pre-crash threat assessment system
US6775605B2 (en) 2001-11-29 2004-08-10 Ford Global Technologies, Llc Remote sensing based pre-crash threat assessment system
US7158870B2 (en) * 2002-01-24 2007-01-02 Ford Global Technologies, Llc Post collision restraints control module
US6831572B2 (en) 2002-01-29 2004-12-14 Ford Global Technologies, Llc Rear collision warning system
US6721659B2 (en) 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
US6519519B1 (en) 2002-02-01 2003-02-11 Ford Global Technologies, Inc. Passive countermeasure methods
US7009500B2 (en) 2002-02-13 2006-03-07 Ford Global Technologies, Llc Method for operating a pre-crash sensing system in a vehicle having a countermeasure system using stereo cameras
US6498972B1 (en) 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
JP2004037239A (ja) 2002-07-03 2004-02-05 Fuji Heavy Ind Ltd 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
EP1543358A2 (de) 2002-09-20 2005-06-22 Donnelly Corporation Spiegelreflexionselementbaugruppe
JP4364566B2 (ja) 2003-07-04 2009-11-18 富士重工業株式会社 車両制動装置
JP4402400B2 (ja) 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US7356408B2 (en) 2003-10-17 2008-04-08 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and information display method
JP4638143B2 (ja) * 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP2765533A1 (de) * 2004-07-26 2014-08-13 Automotive Systems Laboratory, Inc. Schutzsystem für gefährdete Straßenbenutzer
US7697749B2 (en) 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4480083B2 (ja) 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
US7656432B2 (en) * 2005-03-30 2010-02-02 Hoya Corporation Method and apparatus for photographing moving object
EP1883855B1 (de) 2005-05-16 2011-07-20 Donnelly Corporation Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
JP4600760B2 (ja) 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
US7488083B2 (en) * 2005-08-22 2009-02-10 Gentex Corporation Vehicular rearview components and assemblies
EP1949666B1 (de) 2005-11-01 2013-07-17 Magna Mirrors of America, Inc. Innen-rückspiegel mit display
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP4725391B2 (ja) * 2006-03-29 2011-07-13 株式会社デンソー 車両用視程測定装置、及び運転支援装置
JP4638370B2 (ja) 2006-03-29 2011-02-23 富士重工業株式会社 車線逸脱防止装置
JP2007334760A (ja) * 2006-06-16 2007-12-27 Auto Network Gijutsu Kenkyusho:Kk ドライブレコーダ
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
WO2008127752A2 (en) 2007-01-25 2008-10-23 Magna Electronics Radar sensing system for vehicle
JP4914233B2 (ja) 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
JP4914234B2 (ja) 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
ITPR20070006A1 (it) * 2007-02-08 2008-08-09 Techimp S P A Procedimento per elaborare dati relativi a un'attivita di scariche elettriche parziali
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
JP5221886B2 (ja) 2007-03-07 2013-06-26 富士重工業株式会社 物体検出装置
JP4987573B2 (ja) 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP4933962B2 (ja) 2007-06-22 2012-05-16 富士重工業株式会社 分岐路進入判定装置
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
WO2009036176A1 (en) 2007-09-11 2009-03-19 Magna Electronics Imaging system for vehicle
FR2921027B1 (fr) * 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
JP4856612B2 (ja) 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP4856611B2 (ja) 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
CN101451835B (zh) * 2007-12-07 2010-09-01 聂劲松 一种较差能见度天气条件下汽车防撞方法
JP4856656B2 (ja) 2008-01-22 2012-01-18 富士重工業株式会社 車両検出装置
JP4956452B2 (ja) 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP4876080B2 (ja) 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP5137617B2 (ja) 2008-02-27 2013-02-06 富士重工業株式会社 操舵支援装置
JP5073548B2 (ja) 2008-03-27 2012-11-14 富士重工業株式会社 車両用環境認識装置および先行車追従制御システム
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US8280621B2 (en) 2008-04-15 2012-10-02 Caterpillar Inc. Vehicle collision avoidance system
US20090259399A1 (en) * 2008-04-15 2009-10-15 Caterpillar Inc. Obstacle detection method and system
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
US8466960B2 (en) * 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
EP2401176B1 (de) 2009-02-27 2019-05-08 Magna Electronics Fahrzeugalarmsystem
US8376595B2 (en) 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
WO2011014497A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
US8874317B2 (en) 2009-07-27 2014-10-28 Magna Electronics Inc. Parking assist system
ES2538827T3 (es) 2009-09-01 2015-06-24 Magna Mirrors Of America, Inc. Sistema de formación de imágenes y de exhibición para un vehículo
US8890955B2 (en) 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
US9117123B2 (en) 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
KR101207903B1 (ko) * 2010-10-11 2012-12-04 국방과학연구소 자율 이동 차량용 장애물 정보 제공장치 및 그 방법
DE112011103834T8 (de) 2010-11-19 2013-09-12 Magna Electronics, Inc. Spurhalteassistent und Spurzentrierung
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
JP5693994B2 (ja) 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
US9194943B2 (en) 2011-04-12 2015-11-24 Magna Electronics Inc. Step filter for estimating distance in a time-of-flight ranging system
WO2012145819A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9491450B2 (en) 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
WO2013048994A1 (en) 2011-09-26 2013-04-04 Magna Electronics, Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
WO2013074604A2 (en) 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
US10071687B2 (en) 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
US8694224B2 (en) 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US9751465B2 (en) 2012-04-16 2017-09-05 Magna Electronics Inc. Vehicle vision system with reduced image color data processing by use of dithering
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9340227B2 (en) 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
DE102013217430A1 (de) 2012-09-04 2014-03-06 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
EP2911028B1 (de) * 2012-10-22 2018-07-25 Yamaha Hatsudoki Kabushiki Kaisha Abstandsmessvorrichtung und fahrzeug damit
US9349058B2 (en) 2012-10-31 2016-05-24 Tk Holdings, Inc. Vehicular path sensing system and method
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US10025994B2 (en) 2012-12-04 2018-07-17 Magna Electronics Inc. Vehicle vision system utilizing corner detection
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
US9092986B2 (en) 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US20140218529A1 (en) 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
JP5982298B2 (ja) 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
US10027930B2 (en) 2013-03-29 2018-07-17 Magna Electronics Inc. Spectral filtering for vehicular driver assistance systems
US9327693B2 (en) 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
US10232797B2 (en) 2013-04-29 2019-03-19 Magna Electronics Inc. Rear vision system for vehicle with dual purpose signal lines
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US20140375476A1 (en) 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US9619716B2 (en) 2013-08-12 2017-04-11 Magna Electronics Inc. Vehicle vision system with image classification
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
US9623878B2 (en) 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US10286855B2 (en) 2015-03-23 2019-05-14 Magna Electronics Inc. Vehicle vision system with video compression
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US10819943B2 (en) 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
FR3038733B1 (fr) * 2015-07-10 2019-07-26 Renault S.A.S Systeme de detection par sources d'impulsions lumineuses de la distance entre un vehicule automobile et une cible
US10078789B2 (en) 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
US10055651B2 (en) 2016-03-08 2018-08-21 Magna Electronics Inc. Vehicle vision system with enhanced lane tracking
JP2017220051A (ja) 2016-06-08 2017-12-14 ソニー株式会社 画像処理装置、画像処理方法、および車両
JP6819680B2 (ja) 2016-06-08 2021-01-27 ソニー株式会社 撮像制御装置および方法、並びに車両
JP6922169B2 (ja) 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム
US10311314B2 (en) * 2016-11-23 2019-06-04 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
JP6789888B2 (ja) * 2017-06-15 2020-11-25 日立オートモティブシステムズ株式会社 ステレオカメラ装置
DE112018003270T5 (de) 2017-06-27 2020-03-05 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
US10534253B2 (en) 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10232800B1 (en) 2017-11-10 2019-03-19 Denson Corporation Camera module
US10661725B2 (en) 2017-11-10 2020-05-26 Denso Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
US10406995B2 (en) * 2017-11-10 2019-09-10 Denso Corporation Camera module
US11364992B2 (en) * 2018-10-23 2022-06-21 The Boeing Company Aligning aircraft with runway centerline during takeoff
US11172219B2 (en) * 2019-12-30 2021-11-09 Texas Instruments Incorporated Alternating frame processing operation with predicted frame comparisons for high safety level use

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3684374A (en) * 1970-07-29 1972-08-15 Humphrey Res Ass Focus detector
US3901595A (en) * 1974-02-13 1975-08-26 Bendix Corp Parallel line scanning system for stereomapping
US4206365A (en) * 1976-01-17 1980-06-03 Ernst Leitz Wetzlar Gmbh Optical correlator
USRE32886E (en) * 1976-06-14 1989-03-14 Honeywell, Inc. Digital auto focus
JPS54126023A (en) * 1978-03-23 1979-09-29 Canon Inc Optical device
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
JPS59197816A (ja) * 1983-04-25 1984-11-09 Nippon Denso Co Ltd 車間距離検出装置
GB2148648A (en) * 1983-10-25 1985-05-30 Audim Sa Time disparity discriminator; correlation
US4695959A (en) * 1984-04-06 1987-09-22 Honeywell Inc. Passive range measurement apparatus and method
US4916302A (en) * 1985-02-09 1990-04-10 Canon Kabushiki Kaisha Apparatus for and method of measuring distances to objects present in a plurality of directions
US4695156A (en) * 1986-07-03 1987-09-22 Westinghouse Electric Corp. Range finding method and apparatus
JPH01229211A (ja) * 1988-03-10 1989-09-12 Fuji Photo Film Co Ltd 位相差検出装置
JP2662583B2 (ja) * 1988-03-24 1997-10-15 アイシン精機株式会社 車上距離検出装置
NL8900056A (nl) * 1989-01-11 1990-08-01 Philips Nv Werkwijze voor het visueel weergeven van een deel van een topografische kaart, alsmede inrichting geschikt voor een dergelijke werkwijze.
KR930004880B1 (ko) * 1989-03-07 1993-06-09 미쓰비시 덴끼 가부시기가이샤 추미식 차간거리 측정장치
US5146228A (en) * 1990-01-24 1992-09-08 The Johns Hopkins University Coherent correlation addition for increasing match information in scene matching navigation systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19934670A1 (de) * 1999-05-26 2000-12-21 Bosch Gmbh Robert Objektdetektionssystem
DE19934670B4 (de) * 1999-05-26 2004-07-08 Robert Bosch Gmbh Objektdetektionssystem

Also Published As

Publication number Publication date
GB9221783D0 (en) 1992-12-02
JPH05114099A (ja) 1993-05-07
GB2261339B (en) 1996-04-03
DE4235619A1 (de) 1993-04-29
GB2261339A (en) 1993-05-12
US5307136A (en) 1994-04-26
JP3167752B2 (ja) 2001-05-21

Similar Documents

Publication Publication Date Title
DE4235619C2 (de) Entfernungsbestimmungseinrichtung für Automobile
DE4308776C2 (de) Einrichtung zum Überwachen des Außenraums eines Fahrzeugs
DE4410064C2 (de) Verfahren und Vorrichtung zur Abstandserkennung
DE102010020867B4 (de) Strassenform-Erkennungsvorrichtung
DE60308782T2 (de) Vorrichtung und Methode zur Hinderniserkennung
DE10080012B4 (de) Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
EP1589484B1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102009005861B4 (de) Fahrzeugumgebungs-Erkennungssystem
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE10251880B4 (de) Bilderkennungsvorrichtung
DE4446452B4 (de) Fahrleitvorrichtung und Fahrleitverfahren für ein Fahrzeug
DE102008053460B4 (de) Objekterfassungssystem
DE69734855T2 (de) Vorrichtung und Verfahren zur Extraktion eines Objektes in einem Bild
DE10296593B4 (de) Fahrunterstützungsvorrichtung
DE102008030555A1 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE19525561C2 (de) 3D-Meßvorrichtung
DE102016208056A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
DE60217616T2 (de) Verfahren zum Abgleichen stereoskopischer Farbbilder
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
EP3518180B1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
DE3446009C2 (de)
DE10310849B4 (de) Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung
DE10148063A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8328 Change in the person/name/address of the agent

Free format text: PATENTANWAELTE REICHEL UND REICHEL, 60322 FRANKFURT

8328 Change in the person/name/address of the agent

Representative=s name: 2K PATENTANWAELTE BLASBERG KEWITZ & REICHEL, PARTN

R071 Expiry of right
R071 Expiry of right