DE4235619C2 - Entfernungsbestimmungseinrichtung für Automobile - Google Patents
Entfernungsbestimmungseinrichtung für AutomobileInfo
- Publication number
- DE4235619C2 DE4235619C2 DE4235619A DE4235619A DE4235619C2 DE 4235619 C2 DE4235619 C2 DE 4235619C2 DE 4235619 A DE4235619 A DE 4235619A DE 4235619 A DE4235619 A DE 4235619A DE 4235619 C2 DE4235619 C2 DE 4235619C2
- Authority
- DE
- Germany
- Prior art keywords
- image
- distance
- register
- value
- minimum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000015654 memory Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 28
- 239000000872 buffer Substances 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 101150105382 MET gene Proteins 0.000 description 1
- 241001611093 Stimula Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
Die vorliegende Erfindung betrifft eine Entfernungsbestimmungs
einrichtung für Automobile und geht aus von einer Einrichtung
mit den Merkmalen im Oberbegriff des Patentanspruchs 1, die aus
der US 49 16 302 entnehmbar sind.
Fahrzeuge, wie Automobile, sind für den Transport von Perso
nen oder Lasten gut geeignet und finden deshalb in unserer
modernen Gesellschaft Verwendung. Dementsprechend sind in
letzter Zeit viele automatische Unfallverhütungssysteme ent
wickelt worden.
Um den Zusammenstoß zwischen Fahrzeugen und Gegenständen au
tomatisch zu verhindern, ist es sehr wichtig, einen Gegen
stand auf der Fahrbahn des Fahrzeugs zu erfassen. Solche Sy
steme sind schon entwickelt worden, die den Gegenstand mit
Hilfe von Radar (radiation detecting and ranging), Ultra
schallwellen oder Laserlicht (light amplification by stimula
ted emission of radiation) erfassen.
Jedoch ist es eine sehr komplizierte und schwierige Aufgabe,
eine befahrene Straße in Echtzeit zu erkennen, einen Gegen
stand auf der Straße zu erfassen, und die Entfernung zu dem
und die Geschwindigkeit bezüglich des Gegenstandes zu messen.
Insbesondere kann das oben erwähnte System den Gegenstand nur
in einer festen Richtung unter Verwendung von Radar, Ultra
schallwellen und Laserlicht erfassen.
Auf der anderen Seite ist es notwendig, den Ort eines Gegen
standes auf der Straße zu erfassen. Jedoch kann die oben er
wähnte Vorrichtung nicht die notwendige Information bekommen.
Des weiteren ist es notwendig, den Gegenstand in einem großen
Bereich entlang einer gekurvten Straße zu erfassen, und es
ist ungenügend, den Gegenstand nur in einer festgelegten
Richtung nach Art der oben erwähnten Vorrichtung zu erfassen.
Dementsprechend wird seit kurzem ein Entfernungsmeßsystem mit
einem effektiven Verfahren verwendet. Das System bildet einen
Gegenstand mit Hilfe einer an dem Fahrzeug befestigten Kamera
ab und wertet die Bilder derart aus, daß die Entfernung zwi
schen dem Fahrzeug und dem Gegenstand erhalten wird.
Die bilderverwertenden Entfernungsmeßsysteme sind in zwei Ar
ten unterteilt, die unterschiedliche Techniken verwenden. Bei
dem einen wird die Entfernung zu dem Gegenstand durch Messen
der relativen Entfernung zwischen der Kameraposition und
einem Bild von einer einzigen Kamera abgeschätzt. Bei dem
anderen wird die Entfernung zu dem Gegenstand nach dem
Dreiecksprinzip (Triangulation) ermittelt, nachdem eine
Mehrzahl von Aufnahmen von einer Mehrzahl von Kameras oder
von einer Kamera, die hintereinander mehrere Positionen
einnimmt, gemacht wurden.
Die Abbildungstechnik mit einer einzigen Kamera ist vorteil
haft, weil wenige Daten verarbeitet werden müssen. Die Her
stellungskosten sind gering, weil der verschiedene Charakte
ristiken aufweisende Gegenstand aus zweidimensionalen Bildern
erhalten wird, und die Charakteristiken sind in solch einer
Art dargestellt, daß eine weiße Linie eine Ebene darstellt.
Zum Beispiel offenbart JP-OS 1-242916 (1989) eine Technik,
bei der eine Fernsehkamera im Fahrzeuginneren im mittleren
oberen Bereich der Frontscheibe angebracht ist, wobei die Ge
genstände und die weiße Linie auf der Straße in Abhängigkeit
eines Luminanzverteilungsmusters auf einer bestimmten Prüflinie
in dem Bild und dem zweidimensionalen Luminanzverteilungsmuster
erfaßt werden, und die dreidimensionale Position der weißen
Linie und des Gegenstandes wird in Abhängigkeit von Parame
tern eines Richtungs- und eines Sichtfeldes abgeschätzt.
Jedoch hat ein tatsächliches Bild einer Straße auch verschie
dene Gegenstände wie Gebäude und Bäume der Umgebung, so daß
es schwierig ist, die verschiedenen Gegenstände, wie etwa ein
weiter vorne fahrendes Fahrzeug, ein entgegenkommendes Fahr
zeug, ein Fußgänger, ein Telefonmasten oder elektrischen Ma
sten, eine weiße Linie auf der Straße oder dgl. aus einem
solchen zweidimensionalen Bild zu erkennen. Des weiteren gibt
es das Problem, daß die Abschätzung der dreidimensionalen Po
sition einem großen Fehler unterworfen ist, wenn die dreidi
mensionale Position einer weißen Linie und des Gegenstandes
von einem Parameter der Fernsehkamera abgeschätzt wird,
die Oberfläche der Straße uneben ist oder das Fahrzeug Nickbe
wegungen ausführt.
Ein Verfahren mit Bildern einer einzigen Kamera kann nämlich
nicht immer präzise einen Gegenstand aus dem zweidimensiona
len Hintergrund erkennen, weil eine Mehrzahl verschiedener
Gegenstände in der Vorwärtsrichtung eines fahrenden Fahrzeugs
vorhanden ist. Des weiteren ist es möglich, daß das erhaltene
Ergebnis nicht eindeutig ist, weil die Abschätzung der Posi
tion der Fernsehkamera nicht immer genau ist, wie etwa bei
einer geneigten Fahrbahn an einem Hang.
Auf der anderen Seite kann die Technik, die Triangulation und
eine Mehrzahl von Bildern verwendet, eine genaue Entfernung
bestimmen, weil aus einer relativen Abweichung der Position
des gleichen Gegenstandes in dem rechten und linken Bild die
Entfernung gewonnen wird.
Zum Beispiel offenbart die JP-OS 59-197816 (1984) ein Verfah
ren zum Berechnen der dreidimensionalen Position eines Gegen
standes durch Verwendung des Triangulationsprinzips, wobei
zwei Fernsehkameras an dem vorderen Teil eines Fahrzeugs be
festigt sind, wobei ein Gegenstand mit Hilfe eines zweidimen
sionalen Luminanzverteilungsmusters in Abhängigkeit der jewei
ligen Bilder jeder Fernsehkamera erfaßt wird, und so die Po
sitionsabweichung in beiden Bildern erhalten wird.
Des weiteren ist ein Verfahren bekannt, das in Unterlagen des
von dem mechanischen Ingenieurinstitut am 22. Oktober 1979
abgehaltenen 22. Forschungs- und Vorlesungstreffen offenbart ist,
in dem zwei Fernsehkameras am rechten und linken Vorderteil
des Fahrzeugs befestigt wurden, um zwei Aufnahmen zu machen,
wobei jede Aufnahme örtlich differenziert wird, um nur
Hell/Dunkel-Übergänge zu erhalten, wobei eine Bildabtastung
einer Kamera eine vorherbestimmte Zeit verzögert wird, um
einem anderen Bild überlagert zu werden, wobei nur eine weiße
Linie aus der Überlagerung der beiden Bilder in Abhängigkeit
der Charakteristik des in der weißen Linie enthaltenen
Leuchtverteilungsmusters und der Breite des Musters herausge
zogen wird, und die Entfernung zwischen dem Fahrzeug und der
herausgezogenen weißen Linie in Abhängigkeit der verzögerten
Zeit und dem Triangulationsprinzip berechnet wird. Die Unter
lagen offenbaren die Technik zum Berechnen der dreidimensio
nalen Position der weißen Linie von kurzer bis weiter Entfer
nung derart, daß dieses Berechnen durch fortlaufende Änderung
der Verzögerungszeit durchgeführt wird.
Des weiteren wird in Automobil Technology Magazine, Band 44,
Nr. 4, Seiten 54 bis 59 (1990) eine Technik zum Berechnen der
dreidimensionalen Position der weißen Linie mittels Triangu
lation derart beschrieben, daß zwei Fernsehkameras an der
rechten und linken Vorderseite eines Fahrzeugs befestigt
sind, wobei die weiße Linie mittels Leuchtverteilungsmustern
in dem zweidimensionalen Fenster bezüglich jeder Aufnahme der
Fernsehkameras und der Abweichung der weißen Linie in den
beiden Aufnahmen der rechten und linken Kameras festgestellt
wird.
Der oben beschriebene Stand der Technik kann die Erzeugung
großer Fehler verhindern, weil zwei Fernsehkameras verwendet
werden und die dreidimensionale Position mit Hilfe der Trian
gulation berechnet wird. Jedoch ist es für das Verfahren ge
mäß dem oben beschriebenen Stand der Technik schwierig, die
weiße Linie und das Hindernis als den Gegenstand aus der
zweidimensionalen Abbildung, die verschiedene Objekte und Hintergrund
objekte aufweist, nur unter Verwendung des Luminanzverteilungs
musters zu erfassen. Dennoch ist trotz der vorteilhaften Ver
wendung der dreidimensionalen Bilder die Menge der zu verar
beitenden Daten enorm, weil die Anpassung zwischen den rech
ten und linken Aufnahmen wiederholt werden muß, wodurch die
Verarbeitungsgeschwindigkeit verschlechtert wird.
Um die oben erwähnte Verschlechterung zu vermeiden, müssen,
da die Menge der zu verarbeitenden Daten reduziert werden muß
und eine Vorverarbeitung durchgeführt werden muß, binäre Daten
erzeugt werden, Kanten erfaßt werden, wobei ein charakteristischer
Punkt exakt ermittelt werden muß und ein Fenster derart
festgelegt werden muß, daß weniger Information aufgenommen wird.
Auf diese Weise muß die Entfernung nur in dem Fenster oder
nur für den Gegenstand gemessen werden, der die binären Daten
und den Teil des charakteristischen Punktes, wie etwa einer
Kante oder dergleichen erzeugen kann.
Demgemäß hat der Stand der Technik den Nachteil, daß die not
wendigen Gegenstandsdaten bezüglich eines Fußgängers, eines
Licht- oder Telefonmastens, einer weißen Linie und Straßen
kanten wegen der hohen Verarbeitungsgeschwindigkeit elimi
niert werden. Deshalb wird eine Verschlechterung der Infor
mationsdaten herbeigeführt, derart, daß nur ein bestimmter
Ausschnitt aus der Abbildung vorher herausgezogen wird, und
die Entfernung nur eines bestimmten Ausschnitts gewonnen
wird.
Die US 49 16 302, die im Oberbegriff des neuen Anspruchs 1
gewürdigt ist, zeichnet sich dadurch aus, daß für jede Rich
tung, in der Objekte auszumachen sind, auf jeder zweier CCD-
Bildaufnahmeflächen von zwei Kameras je ein Block aus einer
kurzen Reihe von Aufzeichnungselementen reserviert ist und
daß jeweils für jede Richtung nur der Block der einen CCD-
Fläche mit dem entsprechenden Block der anderen CCD-Fläche
verglichen und ausgewertet wird. Dabei wird ebenfalls das
bekannte Stereoverfahren ausgenutzt und der kleinste Korre
lationswert bzw. Übereinstimmungswert der beiden Blöcke in
einer mit den Blöcken fest verdrahteten Auswerteeinrichtung
ermittelt und unter Berücksichtigung des zu diesem Blockpaar
gehörenden Richtungswinkelsatzes der Abstand eines Objekts in
dieser Richtung berechnet. Derselbe Vorgang wird für die ver
bleibenden Richtungen mit den übrigen ebenfalls fest mit den
jeweiligen Auswerteeinrichtungen verbundenen Blockpaaren aus
geführt.
Mit anderen Worten wird für jede Richtung des Sichtfeldes eine
reduzierte CCD-Elementmenge vorgegeben und ausschließlich unter
Ausnutzung der Leuchtdichteverteilung der reduzierten Datenmen
ge die Entfernung für ein Objekt durch Triangulation in einer
bestimmten Richtung dreidimensional ermittelt. Wie bereits weiter
oben dargelegt, wird jedoch bei Vorliegen von mehreren Objekten
sowie Hintergrundobjekten diese Art der Ermittlung schwierig
und ist gegebenenfalls unvollständig.
DE 40 06 989 A1 entspricht im wesentlichen diesem Stand der
Technik. Auch sie setzt vorab ein bestimmtes Fenster in einem
stimmten Ausschnitt entweder des Signals vom ersten oder zwei
ten Bildsensor und ermittelt den Entfernungsbetrag durch Tri
angulation nach Korrelation der Signale eines Fensterpaares. Um
das Fenster festzulegen, wird vorab ein Bezugsbildelementsignal
in einem Speicher aufgesucht und das entsprechende Fenster im
zweiten Bild bestimmt. Für sich bewegende Objekte werden dann
die Fensterpaare nachführend verschoben, um wie in der
US 49 16 302 eine Drehung der Kameras zu vermeiden, solange das
sich bewegende Objekt noch im Sichtfeld liegt.
In der US 46 95 959 wird eine topografische Karte dadurch er
zeugt, daß mit einer einzelnen Kamera an einem Flugzeug (mit
entsprechender einzelner Linse) Bilder aufgenommen und digita
lisiert werden und sukzessive aneinandergereiht werden. Ein di
gitaler Prozessor verarbeitet diesen Bildstrom mit von Sensoren
im Flugzeug gelieferten Bewegungssignalen, um die Lage einer
Medianebene durch die aufgenommene Szene zu ermitteln. Als Al
ternative wird auch in Betracht gezogen, die Szene mit zwei Ka
meras gleichzeitig aus verschiedenen Richtungen aufzunehmen.
Die sukzessive aufgenommenen digitalisierten Bilder werden vor
ihrer Auswertung durch den Prozessor zwischengespeichert.
Ausgehend vom eingangs erwähnten Stand der Technik liegt der
Erfindung die Aufgabe zugrunde, eine Entfernungsbestimmungsein
richtung zu schaffen, welche in der Lage ist, eine Verteilung
der Entfernungen der gesamten Abbildung bei hoher Geschwindig
keit und ohne Informationsverlust zu erhalten.
Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1
gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprü
chen gekennzeichnet.
Es wird jeweils die Gesamtfläche der CCD-
Elemente in kleine Bereiche (von vorzugsweise 4×4 Elementen)
aufgeteilt, und es wird jeder Bereich des einen (linken) Bildes
mit den Bereichen des anderen (rechten) Bildes sukzessive ver
glichen, indem hierzu eine pixel- oder bildelementweise Ver
schiebung des kleinen Bereiches bezüglich des anderen Bildes
z. B. über 100 Bildelemente vorgenommen wird und die Berechnung
des Werts H für einen kleinen Bereich des einen (linken oder
rechten) Bildes 100× durchgeführt wird.
Damit wird eine Übereinstimmung eines kleinen Bereichs des lin
ken Bildes durch Absuchen der kleinen Bereiche des anderen Bil
des ohne Informationsverlust und sehr genau ermittelt.
Hierzu wird nicht nur der minimale Übereinstimmungsgrad heran
gezogen, sondern auch der maximale, wodurch die Genauigkeit
weiter erhöht ist.
Auch diese Maßnahme ist aus dem Stand der Technik nicht ableit
bar. Dort wird zwar auch eine Unterteilung der CCD-Elementflä
che vorgenommen, jedoch zum Zwecke der Vorab-Reservierung be
stimmter Elementblöcke für bestimmte Richtungen, und es wird
stets nur der Block einer bestimmten Richtung des einen Bildes
mit dem zugehörigen Block des anderen Bildes, der für diese
Richtung reserviert ist, verarbeitet und verglichen und an
schließend für die vorbestimmte Winkeltrigonometrie die Objekt
entfernung ermittelt.
Obgleich demgegenüber in der Erfindung ohne Informationsein
grenzung gearbeitet wird, ist eine schnelle Verarbeitung mög
lich, da trotz der Zusatzfunktion der Berücksichtigung des Ma
ximalwerts sowie auch der vorzugsweisen weiteren Bedingung mit
einem dritten Schwellwert nach Anspruch 2 lediglich Differenz- bzw.
Summenbildungen oder Vergleiche durchzuführen sind, bis
der endgültige Wert bzw. Abweichungsbetrag ausgegeben wird. Die
oben erläuterte Fensterbildung ist nicht erforderlich.
Eine weitere Verbesserung erfolgt ebenfalls nach Anspruch 2,
wobei stets sehr schnell die Auswertung gegenüber Rauschein
flüssen und anderen Fehlereinflüssen verbesserbar ist.
Durch das bevorzugte Arbeiten mit vier Kameras wird die Be
stimmung über einen weiten Entfernungsbereich noch verbessert.
Vorzugsweise verwendete LUT′s (Nachschlagetabellen eines ROM′s)
dienen zum vorteilhaften Korrigieren des Bildkontrastes und der
Kompensation unterschiedlicher Charakteristiken der beiden
Kameras.
Wie oben beschrieben, kann die erfindungsgemäße Einrichtung eine
Entfernungsverteilung über die gesamte Abbildung in Abhängigkeit
der Abbildung ohne Verringerung der Datenmenge bei hoher Ge
schwindigkeit erzielen, wobei gleichzeitig die dreidimensio
nalen Positionen bezüglich der Straßenkanten und einer weißen
Linie und einem Gegenstand außerhalb des Fahrzeugs mit
Hilfe der Entfernungsverteilung festgestellt werden, wodurch
wiederum erreicht wird, daß mehr Hindernissen ausgewichen werden kann
und der Ort und die Bewegung von Hindernissen festgestellt
werden können.
Die Erfindung wird im folgenden anhand der Figuren der Zeich
nung erläutert, worin
Fig. 1 ein Schaltungsdiagramm darstellt, welches ein Ausführungs
beispiel der erfindungsgemäßen Entfernungsbestimmungseinrichtung zeigt;
Fig. 2 die Seitenansicht eines Fahrzeugs ist und die gesamte
Entfernungsbestimmungseinrichtung zeigt;
Fig. 3 eine Frontalansicht des Fahrzeugs ist;
Fig. 4 ein Flußdiagramm ist und den Betrieb der Entfer
nungsbestimmungseinrichtung zeigt;
Fig. 5 eine Darstellung der Beziehung zwischen Kamera und
Gegenstand ist;
Fig. 6 eine Darstellung eines Winkels eines Gesichtsfeldes
ist,
Fig. 7 eine Darstellung des oberen und unteren Winkels des
Gesichtsfeldes für weite Entfernungen ist;
Fig. 8 eine Darstellung des oberen und unteren Winkels des
Gesichtsfeldes für eine kurze Entfernung ist;
Fig. 9 eine prinzipielle Darstellung einer Speicheranord
nung in einem Schieberegister ist;
Fig. 10 eine prinzipielle Darstellung einer Cityblock-Ent
fernungsberechnungsschaltung ist;
Fig. 11 ein Blockdiagramm ist und einen Minimumwert-Bestim
mungsschaltkreis zeigt;
Fig. 12 ein Zeitdiagramm ist und einen Betrieb der City
block-Entfernungsberechnungsschaltung zeigt;
Fig. 13 ein Zeitdiagramm ist und einen Betrieb der Abwei
chungsbetrag-Bestimmungsschaltung zeigt; und
Fig. 14 ein Zeitdiagramm ist und einen Betrieb der gesamten
Einrichtung zeigt.
In Fig. 2 bezeichnet die Bezugszahl 1 ein Fahrzeug, wie ein
Automobil, und ein Entfernungsbestimmungssystem 2 ist an dem
Fahrzeug 1 angebracht, um eine Entfernung zu bestimmen, in
dem eine optische Abbildung eines vorherbestimmten Gebiets
außerhalb des Fahrzeugs gemacht wird. Das Entfernungsbestim
mungssystem ist mit einer Vorrichtung zum Erkennen eines Hin
dernisses auf der Straße (nicht gezeigt) verbunden, um ein
Hindernisüberwachungssystem zu bilden, welches einen Vorgang,
wie etwa Warnung des Fahrers und automatische Kollisionsver
hinderung des Fahrzeugs, durchführt.
Das Entfernungsbestimmungssystem 2 ist mit einem stereoskopi
schen optischen System 10 versehen, welches als Abbildungssy
stem zum Aufnehmen optischer Bilder innerhalb eines vorherbe
stimmten Gebiets außerhalb des Fahrzeuges vorgesehen ist, und
enthält eine stereoskopische Bildverarbeitungsvorrichtung 20
zum Bearbeiten der von dem optischen System 10 gemachten Ab
bildungen, um dreidimensionale Entfernungsdaten zu berechnen.
Eine Vorrichtung zum Erkennen des Hindernisses auf der Straße
gibt die von der stereoskopischen Bildverarbeitungsanlage 20
berechneten dreidimensionalen Entfernungsdaten ein, wobei ein
Hindernis für das Fahrzeug 1, und die Form der Straße erkannt
wird.
Das stereoskopische optische System 10 enthält eine Kamera,
in der bildgebende Festkörperelemente, wie CCD (charge coupled
device), Verwendung finden. Wie in Fig. 3 gezeigt, hat das
System 10 zwei CCD-Kameras 11a und 11b (falls notwendig durch
die Bezugszahl 11 bezeichnet) für rechte und linke Winkel
einer großen Entfernung, und zwei CCD-Kameras 12a und 12b
(falls notwendig durch die Bezugszahl 12 dargestellt) für
rechte und linke Winkel einer kurzen Distanz. Die Kameras 12a
und 12b sind innerhalb der CCD-Kameras 11a und 11b für große
Entfernungen angeordnet.
Wenn, in dem Fall, daß die Entfernungsmessung von unmittelbar
vor dem Fahrzeug bis zu einer Entfernung von 100 m durchge
führt wird, die Position der CCD-Kameras 11 und 12 in der
Fahrgastzelle des Fahrzeugs 1 2 m hinter dem oberen Ende der
Haube gelegen ist, ist es ausreichend, wenn das stereoskopi
sche System 10 den Bereich von 2 bis 100 m vor dem Fahrzeug 1
mißt.
Wie in Fig. 5 gezeigt, wird nämlich ein Bildpunkt des Punktes
P auf einer Projektionsebene abgebildet, die von der Lage der
Brennpunkte der Kameras um einen Abstand f entfernt ist, wenn
die eingerichtete Entfernung zwischen den CCD-Kameras 11a und
11b gleich r für große Abstände ist, wobei der Punkt P von
der entsprechenden Ebene der CCD-Kameras 11a und 11b einen
Abstand D entfernt ist, und wobei f die Brennweite der CCD-
Kameras 11a und 11b bezeichnet.
Dabei ist die Entfernung von dem Punkt der Abbildung der
rechten CCD-Kamera 11b zu dem Punkt der Abbildung der linken
Kamera 11a gleich "r + x", und die Entfernung D zu dem Punkt
P kann in Abhängigkeit eines Abweichungsbetrags x mit Hilfe
der folgenden Gleichung (1) erhalten werden:
D = r·f/x (1)
Zum Beispiel können Entfernungsverteilungen einer Mehrzahl
von Bildelementen für einen Gegenstand erhalten werden, wenn
das Fahrzeug 1 mit 100 km/h fährt und ein statischer Gegen
stand 100 m entfernt ist. Demgemäß kann eine Entfernung hoher
Genauigkeit bestimmt werden, in dem die Entfernungsverteilun
gen gemittelt werden, wobei der Abweichungsbetrag x für we
nigstens ein Bildelement geändert werden muß, wenn in dem
schlimmsten Fall die Entfernung von 9 m in 0,3 Sek. zurückge
legt wird.
Demgemäß kann eine Entfernungsänderung ΔD durch die folgende
Gleichung (2) angegeben werden, die aus Gleichung (1) herge
leitet ist, wenn der Abweichungsbetrag x bei einer Entfernung
D0 um Δx geändert ist:
ΔD = -D0²/(r·f) · Δx (2)
Hierbei ist eine Anzahl horizontaler Bildelemente 727, wenn
das effektive Gebiet der CCD-Kameras 11 und 12 beispielsweise
8 mm (H) × 6 mm (W) mit Ausnahme eines schwarzen Gebietes ist
und die Größe eines Bildelementes aus CCD gleich 11 µm × 13
µm ist. Ist jedoch eine geteilte Anzahl von Bildelementen in
der horizontalen Richtung gleich 512, weil diese Anzahl von
Bildelementen einfach zu bearbeiten sein soll, so ist die Länge eines
Bildelementes gleich "8 mm/512×1000 = 15,6" µm und "r·f
= 173" cm², wenn ein "r·f"-Wert durch Einsetzen dieser Zahlen
in Gleichung (2) erhalten wird.
Die Brennweite kann in Abhängigkeit eines notwendigen Sicht
winkels θ und einer gegebenen Entfernungsmeßweite der CCD er
halten werden. Der Sichtwinkel θ ist gleich "θ=25" Grad von
"θ=sin-1 (1/r)" wegen "r=230" und "1=100", wie in Fig.
6 gezeigt, wenn das Fahrzeug das optische Bildfeld 100 m vor
dem Fahrzeug erhalten kann, wenn das Fahrzeug auf einer
Straße von 230 m Krümmungsradius fährt, welches der spezifi
sche Wert der "80 km/h" beispielsweise einer Schnellstraße
ist.
Obwohl die effektive Weite des CCD, wie oben beschrieben,
gleich 8 mm ist, ist eine tatsächliche Weite, die zur Berechnung
der Entfernung herangezogen wird, gleich der effektiven Weite
abzüglich einer Weite einer Suchregion. Deshalb ist
die tatsächliche Weite gleich 6,3 mm, um eine Entfernung zu mes
sen, wenn die Suchweite beispielsweise gleich 100 Bildelemente
ist, unter der allgemeinen Berücksichtigung des Sichtwin
kels, der kürzesten Bestimmungsentfernung und der Verarbei
tungszeit.
Dementsprechend ist die Brennweite f gleich "f = 6,3
mm/(2·tan(25/2)) = 14,2" mm, und eine Linse der Brennweite f
= 16 mm wird verwendet, weil es leicht passiert, daß beide
Werte nahe beieinander liegen, wobei eine Entfernung r zwi
schen den Kameras zu r = 173 cm²/1,6 cm = 108 cm ist.
Daraus folgt, daß die minimale Meßentfernung aus Gleichung
(1) erhalten wird und D = 173 cm²/(100×15,6 µm) = 11,1 ist,
und obwohl 2 m gemessen werden, ist x = 173 cm²/2m = 8650 µm
= 554 Bildelemente, die deshalb über der Weite der Abbil
dungsebene sind.
Wenn der r·f-Wert auf die Weise aus Gleichung (1) berechnet
wird, daß die von den beiden CCD-Kameras 12a und 12b gemach
ten Abbildungen bei kleinen Entfernungen einen Abweichungsbe
trag x von 100 Bildelementen bei 2 m haben, so ist r·f = 100
×15,6 µm = 31,2 cm². Wenn die CCD-Kameras 12a und 12b bei
der längsten meßbaren Entfernung eine Abweichung von 10
Bildelementen haben, so ist D = 31,2 cm²/(10×15,6 µm) = 20 m.
Dementsprechend ist das Meßgebiet der CCD-Kameras 11a und 11b
bei großen Entfernungen und der CCD-Kameras 12a und 12b von
11,1 m bis 20 m überlappt, wobei dann die Entfernung von 2
bis 100 m von zwei Paaren von Kameras für kleine und große
Entfernungen gemessen wird.
Als nächstes wird ein Sichtwinkel in vertikaler Richtung be
schrieben. Der Sichtwinkel vertikaler Richtung der Kamera für
große Entfernungen ist zwischen einem Erhebungswinkel α =
tan-1 (hup - h₀/1min) = 1,5 Grad und einem Senkwinkel β = tan-1
(h₀/1min) = 6,2 Grad bezüglich der horizontalen Straße einge
stellt, wie in Fig. 7 erläutert, wenn die Sichthöhe bei einem
Punkt 11,1 m als der kürzesten Meßentfernung der CCD-Kameras
11a und 11b ist, und wenn eine entsprechende Position h₀ der
CCD-Kameras 11a und 11b ist, und wenn eine entsprechende Po
sition ho der CCD-Kamera 11a und 11b gleich 1,2 m über dem
Boden ist, um eine Sichthöhe hup 1,5 m über dem Boden zu haben.
Die Anzahl von Bildelementen in der vertikalen Richtung der
Bildebene ist gleich 184, weil die Brennweite f der CCD-Kame
ras 11a und 11b gleich 16 mm ist und die Distanz der Bildele
mente in der vertikalen Richtung der Bildebene 13 µm gege
ben ist und unter der Berücksichtigung von Nickbewegungen auf 200
Bildelemente korrigiert wird.
Auf die gleiche Weise ist die vertikale Sicht der Kamera für
kleine Entfernungen gleich einem Erhebungswinkel α = 8,5 Grad
und einem Senkwinkel β = 31 Grad bezüglich der horizontalen
Straße, wie in Fig. 8 dargestellt, wenn die Sichthöhe bei
einem Punkt von 2 m als der kürzesten Meßentfernung der CCD-
Kameras 12a und 12b für kleine Entfernungen ist, und wenn die
entsprechende Position h₀ der CCD-Kameras 12a und 12b gleich
1,2 m über dem Boden ist, um eine Sichthöhe hup gleich 1,5 m
über dem Boden zu erhalten.
In diesem Fall enthält die vertikale Richtung der Abbildungs
fläche 200 Bildelemente, was dem der Kameras für große Ent
fernungen entspricht, um die Verarbeitung zu vereinfachen,
wobei die CCD-Kameras 12a und 12b für kleine Entfernungen je
weils eine Linse der Brennweite f = 5,5 mm verwenden. Wird in
den Kameras jedoch eine Linse der Brennweite f = 6 mm verwen
det, weil sie leicht erhältlich sind und eine geringe Ver
zeichnung aufweisen, so ist die gesichtete Höhe eines Objekts
gleich 1,42 m bei einer Entfernung von 2 m von der Linse. Der
Sichtwinkel θ ist in horizontaler Richtung gleich 67 Grad,
und die Entfernung r zwischen zwei CCD-Kameras 12a und 12b
ist gleich r = 31,2 cm²/a 6 cm = 52 cm.
Wird jedoch ein Abweichungsbetrag x zwischen den rechten und
linken Abbildungen festgestellt, so ist es notwendig,
eine Abbildung des gleichen Gegenstandes in den rechten und
linken Abbildungen zu finden, und erfindungsgemäß wird die
Abbildung in der weiter unten beschriebenen stereoskopischen
Bildverarbeitungsvorrichtung 20 in kleine Bereiche geteilt,
und das Helligkeitsmuster oder Farbmuster innerhalb jeder
dieser kleinen Bereiche wird zwischen den rechten und linken
Abbildungen verglichen, und es wird ein Bereich ermittelt, in
dem Übereinstimmung besteht, und es wird die Entfernungsver
teilung über die gesamte Abbildungsebene bestimmt. Dement
sprechend ist es möglich, eine Verminderung der Informations
menge zu vermeiden, aufgrund des Auffindens von Abschnitten,
bei denen diese Charakteristiken übereinstimmen.
Die Übereinstimmung der linken und rechten Bilder kann durch
die Cityblock-Distanz H ausgewertet werden, die durch die
weiter unten angegebene Gleichung (3) gegeben ist. In dieser
Gleichung ist die Helligkeit (oder Farbe) des i′ten Bildele
mentes der linken und rechten Abbildungen gleich Ai bzw. Bi.
Die Verarbeitungsgeschwindigkeit kann so erhöht werden, da es
keine Multiplikationen gibt, und ohne Informationsverlust,
der bei Mittelwertbildungen eintritt.
H = Σ | Ai - Bi | (3)
Wird die Größe der Kleingebiete zu groß gewählt, so entsteht
eine höhere Wahrscheinlichkeit dafür, daß ferne Gegenstände
mit nahen Gegenständen innerhalb dieses Bereichs vermischt
werden und die bestimmte Entfernung wird ungenau. Der Bereich
kann kleiner gemacht werden, um so eine Entfernungsverteilung
für die Abbildung zu erhalten, aber wenn sie als zu klein ge
wählt ist, so ist die Informationsmenge zum Bestimmen der
Übereinstimmung ungenügend.
Damit beispielsweise ein Fahrzeug mit einer Breite von 1,7 m,
das sich in einer Entfernung von 100 m befindet, nicht mit
einem gleichen Fahrzeug auf einer benachbarten Fahrspur in
ein gleiches Gebiet gelangt, wird die Breite eines Gebiets
auf einen maximalen Wert bezüglich des stereoskopischen opti
schen Systems 10 gesetzt und enthält vier Bildelemente. Da
sich dieser Wert beim Testen der Anzahl von Bildelementen für
eine gegebene Abbildung als optimaler Wert erwies, wurde
sowohl die laterale als auch die longitudinale Breite auf
vier Bildelemente gesetzt.
Im folgenden wird die Übereinstimmung der linken und rechten
Bilder erläutert, wenn eine Abbildung in kleine Bereich von 4
mal 4 Bildelementen eingeteilt wird, wobei das stereoskopi
sche optische System 10 von den CCD-Kameras 11a und 11b für
große Entfernungen dargestellt ist.
Wie in Fig. 1 gezeigt, ist die stereoskopische Bildverarbei
tungsvorrichtung 20 mit einem Bildwandlerabschnitt 30 verse
hen, der von dem stereoskopischen optischen System 10 gelie
ferte Analogbilder in digitalisierte Bilder umwandelt, und
enthält einen Cityblock-Entfernungsberechnungsabschnitt 40
als Übereinstimmungsberechnungsabschnitt, der die Cityblock
entfernung oder -distanz H berechnet, indem jeweils zu einer Zeit ein Bild
element weitergeschoben wird und sukzessive die Stadtblock
entfernung H berechnet wird, einen Minimal/Maximal-Wert-Er
kennungsabschnitt 50, der die Minimalwerte HMIN und Maximalwerte
HMAX der Stadtblockentfernung H erkennt, und einen Abwei
chungsbestimmungsabschnitt 60, der den Abweichungsbetrag x
bestimmt, indem überprüft wird, ob der von dem Minimum/Maxi
mum-Wert-Erkennungsabschnitt 50 erhaltene Wert für die linken
und rechten kleinen Bereiche übereinstimmt oder nicht.
In dem oben beschriebenen Bildumwandlungsabschnitt 30 sind
A/D-Wandler 31a und 31b vorgesehen, die den CCD-Kameras 11a
und 11b für die linken und rechten optischen Abbildungen zu
geordnet sind, und jeder der A/D-Wandler 31a und 31b ist je
weils mit den linken und rechten Bildspeichern 33a und 33b
verbunden, die Daten speichern, die den optischen Abbildungen
entsprechen, die von den CCD-Kameras 11a und 11b aufgenommen
worden sind, über Nachschlagetabellen (LUT) 32a und 32b, welche
Datentabellen sind.
Die A/D-Wandler 31a und 31b haben beispielsweise eine Hellig
keitsauflösung von 8 Bits, und die analogen Abbildungsdaten
von der linken und rechten CCD-Kamera 11a und 11b werden in
digitalisierte Bilder umgewandelt, die eine erforderliche
Helligkeitsabstufung aufweisen. Wird eine Digitalisierung der
Helligkeit eines Bildes durchgeführt, so kann dies die Verar
beitungsgeschwindigkeit erhöhen, jedoch bedingt dies hohe
Verluste von Information zum Berechnen der Übereinstimmung
der linken und rechten Abbildungen, und deshalb wird die Hel
ligkeit jedes Bildelements in eine mit beispielsweise 256 Ab
stufungen versehene Grauskala umgewandelt.
Die LUT′s 32a und 32b sind auf einem ROM (read only
memory) angeordnet. Sie erzeugen Daten zum Kor
rigieren des Kontrastes eines Bildes, das von einem A/D-Wand
ler 31a und 31b digitalisiert worden ist und geringe Hellig
keit aufweist, und um die Unterschiede in den Charakteristi
ken der linken und rechten CCD-Kamera 11a und 11b auszuglei
chen. Anschließend werden die von den LUT′s 32a und
32b korrigierten Daten in den Bildspeichern 33a und 33b ge
speichert.
Wie weiter unten beschrieben wird, führen die Bildspeicher
33a und 33b das sukzessive Übernehmen eines Abschnittes von
Bilddaten in den Cityblock-Entfernungsberechnungsabschnitt
40 durch, und auf diese Weise ist es möglich, daß sie mit
einem relativ langsamen Speicher versehen sind, wodurch die
Kosten reduziert werden.
In dem Cityblock-Berechnungsabschnitt 40 werden das Paar
Eingangspufferspeicher 41a und 41b über einen gemeinsamen Bus
80 mit dem linken Bildspeicher 33a verbunden, und das Paar
Eingangspufferspeicher 42a und 42b ist über den gemeinsamen
Bus 80 mit dem rechten Bildspeicher 33b verbunden.
Jeder der Eingangspufferspeicher 41a und 41b für die linken
Bilddaten ist mit den zwei Paaren Schieberegistern 43a und
43b verbunden, die eine achtstufige Konfiguration aufweisen,
und auf die gleiche Weise sind beispielsweise die zwei Paare
achtstufiger Schieberegister 44a und 44b mit jedem der Input-
Pufferspeicher 42a und 42b für die Daten des linken Bildes
verbunden, und des weiteren ist die Cityblock-Entfernungs
berechnungsschaltung 45, die die Cityblockentfernung berechnet,
mit den vier Paaren von Schieberegistern 43a, 43b, 44a
und 44b verbunden. Des weiteren sind die zwei Paare zehnstu
figer Schieberegister 64a und 64b des Abweichungsbestimmungs
abschnitts 60 mit den Schieberegistern 44a und 44b des rech
ten Bildes verbunden. Wenn die Datenübermittlung für den
nächstfolgenden kleinen Bereich anfängt, so werden die alten
Daten, für die die Berechnung der Cityblockentfernung H
beendet worden ist, in die Schieberegister 64a und 64b ge
bracht und verwendet, wenn der Abweichungsbetrag x berechnet
wird.
Des weiteren enthält die Cityblock-Entfernungsberechnungs
schaltung 45 einen Einzelblock- und Hochgeschwindigkeits-CMOS-
Rechner 46, der einen Eingangs/Ausgangsspeicher mit einem Addierer/
Subtrahierer verbindet, wie im einzelnen in Fig. 10 dar
gestellt. Der Rechner 46 hat eine Pipelinestruktur mit 16 in
Pyramidenform untereinander verbundenen und gleichzeitig be
rechneten Daten von acht Bildelementen. Die erste Stufe die
ser Pyramidenstruktur ist ein Absolutwertaddierer und die
zweite bis vierte Stufe sind ein erster Addierer, ein zweiter
Addierer und ein dritter Addierer, während die Endstufe ein
Totalsummenaddierer ist.
Fig. 10 zeigt nur ein halbes Paar des Absolutwertaddierers
und des Addierers der ersten und zweiten Stufe.
Jeder der Eingangspufferspeicher 41a und 41b, 42a und 42b ist
ein Hochgeschwindigkeitstyp mit relativ geringer Kapazität in
Übereinstimmung mit der Geschwindigkeit der Cityblock-Ent
fernungsberechnung, und der Eingang und der Ausgang sind ge
trennt, während eine von einem ersten Adressensteuerer 86 er
zeugte Adresse jedem der Pufferspeicher zugeführt wird, in
Übereinstimmung mit der von der Zeitgeberschaltung 85 gelie
ferten Zeit. Die Übertragung zu und von den vier Paaren
Schieberegistern 43a, 43b, 44a und 44b wird von einem zweiten
Adressensteuerer 87 gesteuert.
Wird die Berechnung der Cityblockentfernung H von der Soft
ware eines Computers ausgeführt, so ist eine sukzessive Suche
des kleinen Bereichs in der linken Bildebene bezüglich eines
kleinen Bereichs in der rechten Bildebene notwendig, ist eine
Berechnungsleistung von 500 MIPS (Megainstruktionen pro Se
kunde) notwendig, wenn ein Programm von fünf Schritten für
jedes Bildelement verwendet wird, wenn der gesamte kleine Be
reich der rechten Bildebene berücksichtigt werden soll. Diese
Leistung kann nicht mit einem Mikroprozessor der gängigen Art
des CISC-Typs bewerkstelligt werden, und deshalb muß ein
RISC-Prozessor, ein digitaler Signalprozessor (DSP) oder ein
Parallelprozessor verwendet werden.
Der Minimum- und Maximumwerte-Feststellungsabschnitt 50 ist
mit einem Minimumwert-Feststellschaltkreis 51 versehen, der
den Minimalwert HMIN für die Cityblockentfernung H fest
stellt, und einen Maximumwert-Feststellschaltkreis 52, der
den Maximumwert HMAX der Cityblockentfernung H feststellt,
und der Rechner 46, der von der Cityblock-Entfernungsberech
nungsschaltung 45 verwendet wird, ist derart ausgelegt, daß
er zwei Werte für die Minimum- und Maximumwertfeststellung
verwendet.
Wie in Fig. 11 gezeigt, enthält der Minimumwert-Feststel
lungsschaltkreis 51 einen Rechner 46 mit einem A-Register
46a, einem B-Register 46b und einer arithmetischen Logik
berechnungsschaltung (ALU) 46c, die mit einem C-Speicher 53 ver
bunden ist, einen Speicher 54 und einen D-Speicher 55, und der
Ausgang der Cityblock-Entfernungsberechnungsschaltung 45
ist der Eingang zu dem A-Register 46a und zu dem B-Register
46b über den C-Speicher 53, und das höchste Bit (MSB) des Aus
gangs des ALU 46 ist an den Eingang des Speichers 54 gelegt. Der
Ausgang dieses Speichers 54 ist an den Eingang des B-Registers
46b und an den D-Speicher 55 gelegt, und der Zwischenwert bei
der Minimumwertberechnung ist in dem B-Register 46 von dem
ALU 46 gespeichert, und der Abweichungsbetrag x wird im D-
Speicher 55 gespeichert.
Der Maximumwert-Feststellschaltkreis 52 hat die gleiche Zu
sammenstellung wie der Minimumwert-Feststellschaltkreis 51
mit dem Unterschied, daß die Logik invertiert wird und daß
der Abweichungsbetrag x nicht gespeichert wird.
Die oben beschriebene Cityblockentfernung H wird sukzessive
berechnet, während der kleine Bereich des linken Bildes
bildelementweise bezüglich der Bildelemente eines kleinen Be
reichs des rechten Bildes verschoben wird. Jedes Mal, wenn
ein Wert für die Cityblockentfernung H ausgegeben wird, be
stimmen der Vergleich und die Erneuerung des Maximalwerts
und des Minimalwerts HMIN, die bis dahin berechnet wurden,
den Maximalwert HMAX und den Minimalwert HMIN für die City
blockentfernung H in diesem kleinen Bereich zum im wesent
lichen gleichen Zeitpunkt wie die Ausgabe der End-Cityblockent
fernung H.
Der Abweichungsbetrag-Feststellungsabschnitt 60 ist als RISC
kleiner Abmessung ausgelegt, und ist mit einem Rechner 61 als
Kern versehen, und hat zwei 16 Bit breite Datenbusse 62a und
62b, einen Speicher 63a, welcher den Abweichungsbetrag x fest
hält, einen Speicher 63b, welcher den Schwellenwert Ha als ersten
ermittelten Wert festhält, einen Speicher 63c, der einen Schwel
lenwert Hb als zweiten ermittelten Wert festhält, einen Speicher
63d, der einen Schwellenwert Hc als dritten ermittelten Wert
festhält, zwei Paare Schieberegister 64a und 64b, die Hellig
keitsdaten eines rechten Bildes beinhalten, ein Schalter 65,
der den Ausgang des Rechners 61 erhält und den Abweichungsbe
trag x oder "0" ausgibt, Ausgangspufferspeicher 66a und 66b,
die die Ausgangswerte zeitweise enthalten, und einem ROM 67,
in den das Steuerprogramm für die Wirkungen
des Rechners 61 und die Betriebstaktung des Schaltkreises
eingeschrieben sind.
Der Rechner 61 enthält die ALU 70 als zentrale Einheit und
weist ein A-Register 71, ein B-Register 72, ein F-Register 73
und einen Auswähler 74 auf. Das A-Register 71 ist mit dem Da
tenbus 62a (im weiteren A-Bus 62a genannt) verbunden. Das B-
Register 72 ist mit dem Datenbus 62b (im weiteren B-Bus 62b
genannt) verbunden. Der Schalter 65 wird von den berechneten
Werten der ALU 70 betrieben und entweder der Abweichungsbe
trag x oder "0" ist in den Ausgangspufferspeichern 66a und
66b gespeichert.
Der A-Bus 62a ist mit den Speichern 63b, 63c und 63d verbunden,
die jeden der Schwellenwerte Ha, Hb und Hc gespeichert haben,
und ist mit dem Maximalwert-Feststellungsschaltkreis 52 ver
bunden. Der B-Bus 62b ist mit dem Minimumwert-Feststellungs
schaltkreis 51 verbunden. Des weiteren sind der A-Bus 62a und
der B-Bus 62b mit jedem der Schieberegistern 64a und 64b ver
bunden.
Die Vermittlungsschaltung 65 ist mit dem Rechner 61 verbunden
und ebenfalls mit dem Minimumwert-Feststellschaltkreis 51
über die Klinke 63a verbunden, und die drei weiter unten be
schriebenen Prüfbedingungen werden von dem Rechner 61 beur
teilt und der Ausgang zu den Ausgangspufferspeichern 66a und
66b wird in Abhängigkeit dieser Beurteilung geschaltet.
Der Abweichungsbetrag-Feststellabschnitt 60 überprüft, ob der
Minimumwert HMIN, der für die Cityblockentfernung H erhalten
ist, in tatsächlicher Übereinstimmung mit den linken und
rechten kleinen Bereichen ist, und nur wenn dies der Fall
ist, wird der Abweichungsbetrag x zu den Ausgangspufferspei
chern 66a und 66b entsprechend der Position des Bildelements
angelegt.
Wird die Cityblockentfernung H minimal, so ist der Abwei
chungsbetrag ein benötigter Abweichungsbetrag x. Der Abwei
chungsbetrag x wird ausgegeben, wenn die folgenden drei Prüf
bedingungen vorliegen, während keine Daten verwendet werden
und "0" ausgegeben wird, wenn die Bedingungen nicht vorlie
gen:
- 1. HMIN H₂ (die Entfernung wird nicht festgestellt, wenn HMIN < H₂ ist).
- 2. HMAX - HMIN Hb (Dies ist eine Bedingung, um zu prüfen, ob der erhaltene Minimumwert HMIN aufgrund von Schwin gungen, die von Rauschen erzeugt werden, wirklich nied rig ist, und diese Bedingung prüft nicht den Unterschied mit der Nachbarschaft des Minimumwertes HMIN, sondern prüft vielmehr den Unterschied mit dem Maximumwert HMAX, so daß die Entfernungsfeststellung bezüglich eines Ge genstandes durchgeführt wird, wie gekrümmte Oberflächen, bei welchen sich die Helligkeit kontinuierlich ändert.)
- 3. Helligkeitsunterschiede zwischen benachbarten Bildele menten in lateraler Richtung innerhalb eines kleinen Ge biets der rechten Abbildung < Hc (Eine Kantenfeststel lung liegt vor, wenn der Schwellenwert Hc größer wird, aber es ist auch möglich, das Verfahren durchzuführen, wenn sich die Helligkeit kontinuierlich ändert, indem der Schwellenwert Hc niedriger als das normale Schwel lenfeststellungsniveau eingestellt wird. Diese Bedingung beruht auf dem fundamentalen Prinzip, daß eine Entfernungsbe stimmung innerhalb des kleinen Gebiets, das keine Hel ligkeitsänderung aufweist, nicht durchgeführt werden kann und wird für jedes Bildelement innerhalb eines kleinen Gebiets durchgeführt und wird so nur für Bild elemente verwendet, für welche die Entfernung innerhalb des kleinen Gebiets festgestellt worden ist, und ein richtiges Ergebnis vorliegt.)
Wenn die Abweichungsbetrag-Bestimmungsberechnung von Software
in einem normalen Mikroprozessor durchgeführt wird, ist es
notwendig, eine Geschwindigkeit von 27 MIPS zu verwenden.
Die Entfernungsverteilungsinformation, die das Endresultat
von dem Abweichungsbetrag-Bestimmungsabschnitt 60 ist, wird
über einen gemeinsamen Bus 80 in einen Dualanschlußspeicher
90 eingeschrieben, der das Interface zu einer externen
Vorrichtung wie einer Straßen- oder Hinderniserkennungsvor
richtung wird.
Im folgenden wird der Betrieb einer Ausführungsform der vor
liegenden Erfindung und der stereoskopischen Bildverarbei
tungsvorrichtung 20 entsprechend dem in Fig. 4 gezeigten Dia
gramm beschrieben.
Zuerst wird das von den CCD-Kameras 11a und 11b in Schritt
ST1 aufgenommene Bild in Schritt ST2 einer A/D-Umwandlung un
terworfen, und wird dann von der LUT 32a und 32b korrigiert,
und wird dann in den Bildspeichern 33a und 33b gespeichert.
Die in den Bildspeichern 33a und 33b gespeicherten Bilder
entsprechen nur den Abtastzeilen der von den CCD-Kameras 11a
und 11b gewonnenen Abtastzeilen, die zur späteren Verarbei
tung notwendig sind und beispielsweise in einer Rate von
einem pro 0,1 Sekunden gespeichert werden.
Anschließend, mit Übergang zu Schritt ST3, werden die Bildda
ten des rechten und linken Bildes mit einer Rate von vier
Zeilen gleichzeitig von den linken und rechten Bildspeichern
33a und 33b über den gemeinsamen Bus 80 in die Eingangspuf
ferspeicher 41a, 41b, 42a und 42b eingeschrieben, wobei das
Prüfen der linken und rechten Bilder als Auswertung der Über
einstimmung durchgeführt wird.
Anschließend wird der Vorgang des Auslesens aus den Bildspei
chern 33a und 33b in die Eingangspufferspeicher 41a, 41b, 42a
und 42b für jedes der linken und rechten Bilder durchge
führt, und der Vorgang des Einschreibens der Schieberegister
43a, 43b, 44a und 44b wird alternierend durchgeführt.
Beispielsweise wird für ein linkes Bild das Einschreiben der
Bilddaten, die von dem anderen Eingangspufferspeicher 41b
eingeschrieben worden sind, in das Schieberegister 43 durch
geführt, während die Bilddaten von dem Bildspeicher 33a in
den Eingangspufferspeicher 41a eingelesen werden. Anderer
seits wird für ein rechtes Bild das Einschreiben der Bildda
ten, die von dem anderen Eingangspufferspeicher 42b einge
schrieben worden sind, in das Schieberegister 44b durchge
führt, während Bilddaten von dem linken Bildspeicher 33b in
den Eingangspufferspeicher 42a eingeschrieben werden.
Anschließend halten, wie in Fig. 9 dargestellt die Schiebere
gister 43a, 43b, 44a und 44b die Bilddaten (1,1) . . . (4,4)
des kleinen Bereichs von 4 × 4 Bildelementen für rechts und
links, und ein Schieberegister 43a (44a) hält Daten für erste
und zweite Zeile, während das andere Schieberegister 43b
(44b) Daten der dritten und vierten Zeile enthält, und es
gibt sukzessive entsprechenden Eingang von ungeradzahligen
Zeilen und geradzahligen Zeilen.
Jedes der Schieberegister 43a, 43b, 44a und 44b enthält unab
hängige Übertragungszeilen, und Daten von 4 × 4 Bildelementen
werden beispielsweise mit acht Takten übertragen. An
schließend geben diese Schieberegister 43a, 43b, 44a und 44b
den Inhalt der geradzahligen Schritte von acht Schritten in
den Cityblock-Entfernungsberechnungsschaltkreis 45, und wenn
die Berechnung der Cityblockentfernung H anfängt, sind die
Daten des rechten Bildes in den Schieberegistern 44a und 44b
festgehalten, und Daten der ungeradzahligen und geradzahligen
Zeilen werden für jeden Takt alternierend ausgegeben,
und Daten, die in der Richtung eines Bildelements nach
rechts verschoben werden, werden für jede zweite Zeitgebung
überschrieben. Dieser Vorgang wird so oft wiederholt, bis ein
Abschnitt von 100 Bildelementen verschoben worden ist (d. h.
200 Takte).
Wenn die Übertragung bezüglich eines kleinen Bereich beendigt
worden ist, wird der Inhalt des rechten Bildadreßzählers
(Kopfadresse eines kleinen Bereichs der nächsten 4 × 4 Bild
elemente) in den linken Bildadreßzähler innerhalb des zwei
ten Adressensteuerers 87 gesetzt, und die Verarbeitung für
den nächsten kleinen Bereich beginnt.
In der Cityblock-Entfernungsberechnungsschaltung 45 wer
den, wie in dem Flußdiagramm in Fig. 12 dargestellt ist, die
Daten des Acht-Bildelementenabschnitts zuerst dem Absolut
wertberechner der ersten Stufe der Pyramidenstruktur eingege
ben, und der Absolutwert der Helligkeitsunterschiede der lin
ken und rechten Bilder wird berechnet. Wenn der Helligkeits
wert eines rechten Bildelementes von dem Helligkeitswert des
entsprechenden linken Bildelementes abgezogen wird und das
Ergebnis negativ ist, wird durch Vertauschen der Berechnungs
vorschrift und wiederholter Subtraktion die Berechnung des
Absolutwertes vorgenommen. Dementsprechend wird in der An
fangsstufe die Subtraktion zweimal durchgeführt.
Ist die Anfangsstufe durchlaufen, werden anschließend von dem
ersten bis zu dem dritten Addierer aus der zweiten bis vier
ten Stufe die zwei Eingangsdaten, die gleichzeitig eingelesen
worden sind, addiert und das Ergebnis ausgegeben. Anschlie
ßend wird die Gesamtsumme der zwei kontinuierlichen Daten in
dem Gesamtsummenaddierer der Endstufe addiert, und die notwen
dige Stadtblockentfernung H für einen Abschnitt aus 16 Bild
elementeabschnitten wird an dem Minimum- und Maximumwert-
Feststellabschnitt für jeden zweiten Takt ausgegeben.
Anschließend wird zu Schritt ST4 übergegangen, und der Ma
ximumwert HMAX und der Minimumwert HMIN, der in Schritt ST3
berechneten Cityblockentfernung H wird bestimmt. Die Fest
stellung des Maximumwerts HMAX und des Minimumwerts HMIN er
folgen in der oben beschriebenen Weise mit dem Unterschied,
daß gegenseitig invertierte Logik verwendet wird, und daß der
Abweichungsbetrag x nicht beibehalten wird. Im folgenden wird
die Feststellung nur des Minimumwertes HMIN beschrieben.
Zuerst wird die Cityblockentfernung H ausgegeben, für die
der Abweichungsbetrag x gleich "0" ist, und dem B-Register
46b der ALU 46 über den C-Speicher 53 des Minimumwert-
Feststellschaltkreises 51 eingegeben, wie in Fig. 1 gezeigt. Die
Stadtblockentfernung H (für die der Abweichungsbetrag x
gleich 1 ist) und die bei der nächsten Zeitgebung ausgegeben
wird, wird dem A-Register 46a der ALU 46 und des C-Speichers 53
eingegeben, und die ALU 46 beginnt gleichzeitig eine Ver
gleichsrechnung mit dem B-Register 46b.
Wenn das Ergebnis der Vergleichsberechnung in der ALU 46
zeigt, daß der Inhalt des A-Registers 46a kleiner als der Inhalt
des B-Registers 46b ist, so wird der Inhalt des C-Speichers
53 (d. h. der Inhalt des A-Registers 46a) zu dem B-Register
46b geschickt, und der dann vorliegende Abweichungsbetrag x
wird im D-Speicher 55 zurückbehalten. Zu dieser Zeit wird
die Cityblockentfernung H (für die der Abweichungsbetrag x=2
ist) in das A-Register 46a und den C-Speicher 53 eingegeben, und
die Vergleichsberechnung wird von neuem begonnen.
Auf diese Weise wird der Minimumwert bei dieser Rechnung immer
in dem B-Register 46b gespeichert und der dann vorliegende
Abweichungsbetrag x wird immer im D-Speicher 55 zurück
behalten, wobei die Berechnung fortgesetzt wird, bis der
Abweichungsbetrag x=100 wird. Wenn die Berechnung beendet
ist (d. h. eine Zeitgebung nach dem Ausgang der End-Cityblock
entfernung H) werden der Inhalt des B-Registers 46b und des
D-Speichers 55 in den Abweichungsbetrag-Bestimmungsabschnitt 60
eingelesen.
Während dieser Zeit wird der nächste Anfangswert eines kleinen
Bereichs in die Cityblock-Entfernungsberechnungsschaltung
45 eingelesen, so daß keine Zeit verlorengeht, da vier
Takte benötigt werden, um eine einzige Cityblockentfernung
H zu berechnen, und es liegt eine Pipeline-Struktur vor, und ein
neues Berechnungsergebnis liegt bei jedem zweiten Takt vor.
Wenn in Schritt ST5 der Minimumwert HMIN und der Maximumwert
HMAX für die Cityblockentfernung H bestimmt werden, über
prüft der Abweichungsbetrag-Bestimmungsabschnitt 60 die drei
oben angeführten Bedingungen, und der Abweichungsbetrag x
wird bestimmt.
Wie in dem in Fig. 13 dargestellten Flußdiagramm gezeigt, wird
der Minimumwert HMIN dem B-Register 72 des Rechners 61 über
den B-Bus 62b zugeführt, und der Schwellenwert Ha, der mit
dem Wert in dem B-Register 72 verglichen wird, wird über den
A-Bus 62a dem A-Register 71 eingegeben. Der Minimumwert HMIN
und der Schwellenwert Ha werden in der ALU 70 verglichen, und
wenn der Minimumwert HMIN größer als der Schwellenwert Ha ist,
wird die Vermittlungsschaltung 65 neu eingestellt, und "0"
ist die Ausgabe, unabhängig von dem Ergebnis der späteren
Überprüfung.
Der Maximumwert HMAX wird dann dem A-Register 71 zugeführt,
und der Unterschied zwischen dem Maximumwert HMAX und dem Mi
nimumwert HMIN, der in dem B-Register 72 vorliegt, wird be
rechnet, und das Ergebnis wird in das F-Register 73 eingege
ben. Beim nächsten Takt wird die Vermittlungsschal
tung 65 neu eingestellt, wenn der Inhalt des F-Registers 73
kleiner als der in das A-Register 71 eingelesene Schwellenwert
Hb ist.
Die Berechnung des Helligkeitsunterschiedes zwischen benach
barten Bildelementen beginnt beim nächsten Takt.
Die zwei Paare Schieberegister 64a und 64b, die die Hellig
keitsdaten beinhalten, haben einen zehnstufigen Aufbau
und sind mit den späteren Stufen des Schieberegisters
44a für die erste und zweite Linie des Stadtblock-Entfer
nungsberechnungsabschnitts 40 und dem Schieberegister 44b
für die zweite und dritte Linie des Cityblock-Entfernungs
berechnungsabschnitts 40 verbunden. Der Ausgang dieser Schiebe
register wird aus der Endstufe und den zwei vorhergehenden Stufen
genommen und jeweils dem A-Bus 62a und dem B-Bus 62b zugeführt.
Wenn die Berechnung des Helligkeitsunterschiedes anfängt,
werden Helligkeitsdaten eines jeden Bildelementes des kleinen
Bereichs in jeder der Stufen der Schieberegister 64a und 64b
zurückgehalten, und es werden zuerst die Helligkeitsdaten der
ersten Zeile der vierten Reihe des vorherigen kleinen Be
reichs und die Helligkeitsdaten der ersten Zeile und der
vierten Reihe des gegenwärtigen kleinen Bereichs an das A-Re
gister 71 und das B-Register 72 des Rechners 61 gegeben.
Anschließend wird der Absolutwert des Unterschiedes zwischen
dem Inhalt des A-Registers 71 und dem Inhalt des B-Registers
72 berechnet und die Ergebnisse werden in dem F-Register 73
gespeichert. Anschließend wird der Schwellenwert Hc dem A-Re
gister 71 beim nächsten Takt zugeführt und mit dem
Wert des F-Registers verglichen.
Wenn die Vergleichsresultate des Rechners 61 zeigen, daß der
Inhalt des F-Registers 73 (Absolutwert des Helligkeitsunter
schiedes) größer als der des A-Registers (Schwellen
wert Hc) ist, so gibt der Schalter 65 entweder den Abwei
chungsbetrag x oder "0" aus, oder er gibt "0" aus, wenn der
Inhalt des F-Registers 73 kleiner als der Inhalt des A-Regi
sters ist, und werden in einer Adresse eingeschrieben, die die
erste Spalte der ersten Reihe des kleinen Bereichs der Aus
gangspufferspeicher 66a und 66b darstellt.
Während der Vergleich zwischen dem Schwellenwert Hc und dem
Helligkeitsunterschied zwischen benachbarten Bildelementen in
dem Rechner 61 durchgeführt wird, werden die Schieberegister
64a und 64b eine Stufe durchgeschoben. Anschließend fängt die
Berechnung bezüglich der Helligkeitsdaten der zweiten Zeile
der vierten Reihe des vorherigen kleinen Bereichs und der
zweiten Zeile der vierten Reihe des gegenwärtigen kleinen Be
reichs an. Auf diese Weise wird die Berechnung bezüglich der
dritten Zeile und der vierten Zeile in gleicher Weise nach
der alternierten Berechnung der ersten Zeile und der zweiten
Zeile des kleinen Bereichs angefangen und durchgeführt.
Während der Berechnung werden die Endstufe und die Anfangs
stufe der Schieberegister 64a und 64b miteinander verbunden,
um eine Art Ringschieberegister zu ergeben und nach Berech
nung des gesamten kleinen Gebiets und nachdem der Zeitgeber
zwei Takte dazu addiert hat, wird der Inhalt des Regi
sters in den Status vor der Berechnung zurückversetzt, und
wenn das Senden der Helligkeitsdaten des nächsten kleinen Be
reichs beendet ist, werden die Daten der vier Zeilen des ge
genwärtigen kleinen Bereichs in der Endstufe und der Stufe
davor gespeichert.
Auf diese Weise werden während der Berechnung des Abweichungs
betrages die nächsten Daten in dem A-Bus 62a und dem B-Bus
62b vorbereitet und das Einschreiben des Ergebnisses wird
durchgeführt, so daß die Daten mit nur zwei für die Berech
nung notwendigen Takten verarbeitet werden können. Dar
aus ergibt sich, daß alle Berechnungen in beispielsweise 43
Takten beendet sind, selbst wenn die Prüfung des Mi
nimumwerts HMIN und des Maximumwerts HMAX die eingangs durch
geführt wurden, durchgeführt wird, und es gibt genug Spielraum
für die Zeit, die notwendig ist, um den Minimumwert HMIN und
den Maximumwert HMAX der Cityblockentfernung H bezüglich
eines einzigen kleinen Bereichs zu bestimmen, und es ist
ebenfalls möglich, einige zusätzliche Funktionen durchzu
führen.
Nach Ermittlung des Abweichungsbetrages x wird anschließend
in Schritt ST6 der Abweichungsbetrag als Entfernungsvertei
lungsinformation von den Ausgangspufferspeichern 66a und 66b
an den dualen Speichern 90 ausgegeben, und die Datenverarbei
tung in der stereoskopischen Bildverarbeitungsanlage 20 wird
beendet.
Die Ausgangspufferspeicher 66a und 66b sind mit den oben be
schriebenen Eingangspufferspeichern 41a, 41b, 42a und 42b
insofern identisch, daß sie die Kapazität für einen Vier-Zei
len-Abschnitt aufweisen, und die Entfernungsverteilungsin
formation wird von einem zu dem Dualeingangsspeicher 90 ge
sandt, während der andere eingelesen wird.
Die dem Dualanschlußspeicher 90 eingeschriebene Entfernungs
verteilungsinformation ermöglicht die Berechnung der dreidi
mensionalen Position im XYZ-Raum des jedem der Bildelemente
entsprechenden Gegenstandes, wobei die Parameter des opti
schen Systems, wie Brennweite und Anbringungsstellung der
CCD-Kameras 11 und 12, Verwendung finden, und ermöglicht die
genaue Bestimmung der Entfernung zu einem Gegenstand, der
kein Automobil ist, ohne die Informationsmenge zu verringern.
Des weiteren kann die Berechnung der dreidimensionalen Posi
tion im XYZ-Raum aus der Entfernungsverteilungsinformation
berechnet werden, und die Verwendung des Abweichungsbetrages
x kann mit Hilfe von Informationsverarbeitung in der stereo
skopischen Bildverarbeitungsanlage 20 durchgeführt werden,
und das Datenformat zur Ausgabe aus der stereoskopischen
Bildverarbeitungsanlage 20 kann in Übereinstimmung mit der
daran angeschlossenen externen Vorrichtung bestimmt werden.
Schließlich wird die Zeitgebung oder Taktsteuerung des gesamten Systems der ste
reoskopischen Bildverarbeitungsanlage 20 bezüglich des in
Fig. 14 gezeigten Flußdiagramms erläutert.
Die Signale aus der linken und rechten CCD-Kamera 11a und
11b, die miteinander synchronisiert sind, werden in die Bild
speicher 33a und 33b für 0,1 Sek. (bei einer Rate von einem
Bild pro dreien) eingeschrieben.
Anschließend werden die aufgenommenen Signale eingelesen und
die Blockübertragung beginnt jeweils für alle vier Zeilen. Die
Blockübertragung überträgt die drei Blöcke des rechten Bil
des, linken Bildes und des Entfernungsverteilungsbildes des
Ergebnisses in Reihenfolge.
Während dieser Zeit wird die Berechnung des Abweichungsbe
trags x bezüglich eines der Eingangs/Ausgangspufferspeicher
durchgeführt. Anschließend wird unter Berücksichtigung der
Berechnungszeit für den Abweichungsbetrag x die Übertragung
bezüglich des anderen Eingangs /Ausgangspufferspeichers begon
nen, der für die notwendige Zeit in Bereitschaft stand.
Die Berechnung der Cityblockentfernung H bezüglich eines
kleinen Bereiches von 4 × 4 Bildelementen eines der rechten
Bilder wird durchgeführt, während 100 Bildelemente für das
linke Bild verschoben werden, und wird daher 100 Mal durchge
führt. Während die Berechnung der Cityblockentfernung H für
einen Bereich durchgeführt wird, wird der Abweichungsbetrag x
des vorherigen Bereichs, dessen Überprüfung beendet ist, als
eine Entfernungsverteilung ausgegeben.
Wenn die Anzahl von zu verarbeitenden Zeilen gleich 200 ist,
so muß die Verarbeitung für vier Zeilen 50mal wiederholt
werden, wie auch die Verarbeitungszeit für einen Vier-Zeilen-
Abschnitt, um die ersten Daten zu übertragen, wenn die Be
rechnung anfängt, und die Verarbeitungszeit für einen Vier-
Zeilen-Abschnitt für die Übertragung der Endergebnisse nach
Beendigung der Berechnung, und des Bilderkennungsabschnitt,
das eine Bearbeitungszeit für einen Abschnitt aus insgesamt
acht Zeilen notwendig ist.
Die Zeit vom Beginn der Übertragung der ersten Eingangsbild
linie bis zum Ende der Übertragung der letzten Entfernungs
verteilung ist gleich 0,076 Sek. von dem Ergebnis der Inbe
triebnahme der Schaltung.
Claims (10)
1. Entfernungsbestimmungseinrichtung für Automobile, mit einer
Abbildungs- und Bildaufnahmevorrichtung zum Abbilden von
Gegenständen in einem vorgegebenen Bereich außerhalb des
Automobils aus einer Mehrzahl verschiedener Richtungen und zur
Aufnahme einer Mehrzahl von Bildern gemäß den verschiedenen
Richtungen und einer Bildverarbeitungseinheit zum Verarbeiten der
aufgenommenen Bilder und zum Ausgeben einer Entfernungsverteilung
für eine gesamte Abbildung des vorgegebenen Bereichs, wobei die
Bildverarbeitungseinheit eine Übereinstimmungsberechnungs
richtung zum Ausführen einer Hochgeschwindigkeitsberechnung eines
Übereinstimmungsgrades der aufgenommenen Bilder und eine
Abweichungsbetragsbestimmungseinrichtung zum Ermitteln von
Abweichungsbeträgen von Bildelementpositionen in Abhängigkeit
eines Minimumwerts des Übereinstimmungsgrades aufweist,
dadurch gekennzeichnet,
daß die Übereinstimmungsberechnungseinrichtung (40) die
aufgenommenen Bilder des vorgegebenen Bereichs in mehrere kleine
Regionen aufteilt und die Hochgeschwindigkeitsberechnung des
Übereinstimmungsgrades zwischen jedem der mehreren kleinen
Regionen eines der Bilder und den kleinen Regionen zumindest
eines der anderen Bilder durchführt und daß die Abweichungs
betragsbestimmungseinrichtung (60) Abweichungsbeträge von
entsprechenden kleinen Regionen über die gesamte Abbildung in
Abhängigkeit vom Minimumwert und von einem Maximumwert des
Übereinstimmungsgrades entsprechender Regionen ermittelt.
2. Entfernungsbestimmungseinrichtung nach Anspruch 1,
dadurch gekennzeichnet,
daß sie
- - eine Bildwandlereinrichtung (30) zum Umwandeln der Mehrzahl von der Abbildungs- und Bildaufnahmevorrichtung (10) aufgenommener analoger Bilder in digitale Bilder mit Helligkeitsabstufungen und
- - eine Maximum- und Minimum-Feststelleinrichtung (50) zum Feststellen des Minimumwertes und des Maximumwertes des Übereinstimmungsgrades, der von der Übereinstimmungsberech nungseinrichtung (40) berechnet worden ist, aufweist, und daß
- - die Abweichungsbetragsbestimmungseinrichtung (60) den Minimumwert des Übereinstimmungsgrades als Grundlage zum Bestimmen des Abweichungsbetrages einer Bildelementposition verwendet, wenn der Minimumwert gleich oder kleiner als ein erster Schwellwert (Ha) ist, wenn ein Unterschied zwischen dem Maximumwert und dem Minimumwert gleich oder größer als ein zweiter Schwellwert (Hb) ist und wenn die Helligkeitsunter schiede zwischen benachbarten Bildelementen innerhalb einer kleinen Region gleich oder größer als ein dritter Schwellwert (Hc) sind.
3. Entfernungsbestimmungseinrichtung nach Anspruch 2,
dadurch gekennzeichnet,
daß die Bildwandlereinrichtung (30) einen Hochgeschwindigkeits
bildspeicher (33a, 33b) zum Speichern eines gesamten, von der
Abbildungs- und Bildaufnahmevorrichtung (10) aufgenommenen Bildes
aufweist, und die Übereinstimmungsberechnungseinrichtung (40)
einen Hochgeschwindigkeitspufferspeicher (41, 42) zum Aufnehmen
und Speichern eines Abschnitts des Bildes aufweist.
4. Entfernungsbestimmungseinrichtung nach Anspruch 2,
dadurch gekennzeichnet,
daß die Bildwandlereinrichtung (30) mit einer Datentabelle (32a,
32b) zum Korrigieren der Ausgangssignale der Abbildungs- und
Bildaufnahmevorrichtung (10) versehen ist, wobei eine Kontrast
verbesserung vorgenommen wird, und nachgeschaltete Bildspeicher
(33a, 33b) vorgesehen sind, die die korrigierten Daten speichern.
5. Entfernungsbestimmungseinrichtung nach einem der Ansprüche 1
bis 4,
dadurch gekennzeichnet,
daß die Abbildungs- und Bildaufnahmevorrichtung (10) mit zwei
CCD-Kameras (11a, 11b) für kurze Entfernungen und zwei
CCD-Kameras (12a, 12b) für große Entfernungen versehen ist.
6. Entfernungsbestimmungseinrichtung nach einem der
vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß die Übereinstimmungsberechnungseinrichtung (40) eine
City-Block-Distanzberechnungseinrichtung (45) aufweist, die für
jede der kleinen Regionen eines Bildes durch Vergleich mit den
kleinen Regionen des anderen Bildes eine City-Block-Distanz (H)
berechnet auf der Grundlage eines Absolutwerts der Differenz der
Helligkeit der Bildelemente zwischen der kleinen Region in dem
einen Bild und der kleinen Region in dem anderen Bild.
7. Entfernungsbestimmungseinrichtung nach Anspruch 6,
dadurch gekennzeichnet,
daß eine Minimumwertermittlungseinrichtung (51) zur Ermittlung
des Minimumwerts (HMIN) der City-Block-Distanzen (H) für jede der
kleinen Regionen, auf dessen Grundlage die Abweichungsbetrags
bestimmungseinrichtung (60) die Abweichungsbeträge bestimmt, und
eine Maximumwertermittlungseinrichtung (52) zur Ermittlung des
Maximumwerts (HMAX) der City-Block-Distanzen (H) für jede der
kleinen Regionen vorgesehen sind.
8. Entfernungsbestimmungseinrichtung nach Anspruch 7,
dadurch gekennzeichnet,
daß die Abweichungsbetragsbestimmungseinrichtung (60) eine
Ermittlungseinrichtung (61) für einen Helligkeitsunterschied
zwischen aneinandergrenzenden Bildelementen in jeder der kleinen
Regionen einer der Abbildungen aufweist und den ermittelten
Helligkeitsunterschied berücksichtigt.
9. Entfernungsbestimmungseinrichtung nach einem vorhergehenden
Anspruch,
dadurch gekennzeichnet,
daß die Abweichungsbetragsbestimmungseinrichtung (60) aufweist:
einen ersten Speicher (63b) zum Halten eines ersten Schwellwerts (Ha ),
einen zweiten Speicher (63c) zum Halten eines zweiten Schwellwerts (Hb),
einen dritten Speicher (63d) zum Halten eines dritten Schwellwerts (Hc),
einen vierten Speicher (63a) zum Speichern des Abweichungsbetrags (x),
ein erstes Register (71) zur Entgegennahme des Maximumwerts (HMAX) und des ersten, zweiten und dritten Schwellwerts (Ha, Hb, Hc) zur Speicherung,
ein zweites Register (72) zur Entgegennahme des Minimumwerts (HMIN) zur Speicherung,
eine logische Berechnungseinrichtung (ALU 70) zur Berechnung der Differenz zwischen dem im ersten Register (71) gespeicherten Maximumwert (HMAX) und dem im zweiten Register (72) gespeicherten Minimumwert (HMIN),
ein drittes Register (73) zum Empfang der Differenz von der logischen Berechnungseinrichtung (ALU 70), und
eine Auswähleinrichtung (74) zur selektiven Verbindung des zweiten (72) oder dritten Registers (73) mit der logischen Berechnungseinrichtung (ALU 70), die
den ersten Schwellwert (Ha) des ersten Speichers (63b) und den Minimumwert (HMIN) des zweiten Registers (72) vergleicht und, wenn der Minimumwert größer als der erste Schwellwert ist (Hmin < Ha) ein Signal ("0") ausgibt, das das Fehlen von Abweichungsbetragsdaten anzeigt, und die ferner den zweiten Schwellwert (Hb) des zweiten Speichers (63c) und die im dritten Register (73) gespeicherte Differenz (HMAX - HMIN) vergleicht, und wenn die Differenz kleiner als der zweite Schwellwert ist, das das Fehlen von Abweichungsbetragsdaten anzeigende Signal ("0") erzeugt.
einen ersten Speicher (63b) zum Halten eines ersten Schwellwerts (Ha ),
einen zweiten Speicher (63c) zum Halten eines zweiten Schwellwerts (Hb),
einen dritten Speicher (63d) zum Halten eines dritten Schwellwerts (Hc),
einen vierten Speicher (63a) zum Speichern des Abweichungsbetrags (x),
ein erstes Register (71) zur Entgegennahme des Maximumwerts (HMAX) und des ersten, zweiten und dritten Schwellwerts (Ha, Hb, Hc) zur Speicherung,
ein zweites Register (72) zur Entgegennahme des Minimumwerts (HMIN) zur Speicherung,
eine logische Berechnungseinrichtung (ALU 70) zur Berechnung der Differenz zwischen dem im ersten Register (71) gespeicherten Maximumwert (HMAX) und dem im zweiten Register (72) gespeicherten Minimumwert (HMIN),
ein drittes Register (73) zum Empfang der Differenz von der logischen Berechnungseinrichtung (ALU 70), und
eine Auswähleinrichtung (74) zur selektiven Verbindung des zweiten (72) oder dritten Registers (73) mit der logischen Berechnungseinrichtung (ALU 70), die
den ersten Schwellwert (Ha) des ersten Speichers (63b) und den Minimumwert (HMIN) des zweiten Registers (72) vergleicht und, wenn der Minimumwert größer als der erste Schwellwert ist (Hmin < Ha) ein Signal ("0") ausgibt, das das Fehlen von Abweichungsbetragsdaten anzeigt, und die ferner den zweiten Schwellwert (Hb) des zweiten Speichers (63c) und die im dritten Register (73) gespeicherte Differenz (HMAX - HMIN) vergleicht, und wenn die Differenz kleiner als der zweite Schwellwert ist, das das Fehlen von Abweichungsbetragsdaten anzeigende Signal ("0") erzeugt.
10. Entfernungsbestimmungseinrichtung nach einem der
vorhergehenden Ansprüche,
dadurch gekennzeichnet,
daß die kleinen Regionen 4 × 4 Bildelemente umfassen.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27431591A JP3167752B2 (ja) | 1991-10-22 | 1991-10-22 | 車輌用距離検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4235619A1 DE4235619A1 (de) | 1993-04-29 |
DE4235619C2 true DE4235619C2 (de) | 1997-05-15 |
Family
ID=17539940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4235619A Expired - Lifetime DE4235619C2 (de) | 1991-10-22 | 1992-10-22 | Entfernungsbestimmungseinrichtung für Automobile |
Country Status (4)
Country | Link |
---|---|
US (1) | US5307136A (de) |
JP (1) | JP3167752B2 (de) |
DE (1) | DE4235619C2 (de) |
GB (1) | GB2261339B (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19934670A1 (de) * | 1999-05-26 | 2000-12-21 | Bosch Gmbh Robert | Objektdetektionssystem |
Families Citing this family (238)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3110095B2 (ja) * | 1991-09-20 | 2000-11-20 | 富士通株式会社 | 測距方法及び測距装置 |
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
US5515448A (en) * | 1992-07-28 | 1996-05-07 | Yazaki Corporation | Distance measuring apparatus of a target tracking type |
JP3365799B2 (ja) * | 1992-11-24 | 2003-01-14 | オリンパス光学工業株式会社 | 距離・速度測定装置 |
US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
US7339149B1 (en) * | 1993-02-26 | 2008-03-04 | Donnelly Corporation | Vehicle headlight control using imaging sensor |
US6498620B2 (en) | 1993-02-26 | 2002-12-24 | Donnelly Corporation | Vision system for a vehicle including an image capture device and a display system having a long focal length |
US6822563B2 (en) * | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
JP3468428B2 (ja) * | 1993-03-24 | 2003-11-17 | 富士重工業株式会社 | 車輌用距離検出装置 |
JPH06300581A (ja) * | 1993-04-15 | 1994-10-28 | Fuji Heavy Ind Ltd | 車輛の軌道追従制御装置 |
US6553130B1 (en) | 1993-08-11 | 2003-04-22 | Jerome H. Lemelson | Motor vehicle warning and control system and method |
US5983161A (en) | 1993-08-11 | 1999-11-09 | Lemelson; Jerome H. | GPS vehicle collision avoidance warning and control system and method |
US5586063A (en) * | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
JP3452075B2 (ja) * | 1993-10-27 | 2003-09-29 | 富士重工業株式会社 | 車輌用距離検出装置 |
JPH07120256A (ja) * | 1993-10-27 | 1995-05-12 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JP3452076B2 (ja) * | 1993-10-27 | 2003-09-29 | 富士重工業株式会社 | 車輌用距離検出装置 |
JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
JPH07189795A (ja) * | 1993-12-28 | 1995-07-28 | Hitachi Ltd | 自動車の制御装置及び制御方法 |
JP3205477B2 (ja) * | 1994-02-17 | 2001-09-04 | 富士フイルムマイクロデバイス株式会社 | 車間距離検出装置 |
US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
US6623033B2 (en) | 1994-05-23 | 2003-09-23 | Automotive Technologies International, Inc. | Airbag inflation control system and method |
US6918459B2 (en) * | 1994-05-23 | 2005-07-19 | Automotive Technologies International, Inc. | Method and apparatus for deploying airbags |
US6749218B2 (en) | 1994-05-23 | 2004-06-15 | Automotive Technologies International, Inc. | Externally deployed airbag system |
US7359782B2 (en) * | 1994-05-23 | 2008-04-15 | Automotive Technologies International, Inc. | Vehicular impact reactive system and method |
GB2289786B (en) | 1994-05-23 | 1998-09-16 | Automotive Tech Int | Side impact airbag system with anticipatory sensor |
US6343810B1 (en) | 1994-05-23 | 2002-02-05 | Automotive Technologies International Inc. | Side impact airbag system with anticipatory sensor |
US6755273B2 (en) | 1994-05-23 | 2004-06-29 | Automotive Technologies International, Inc. | Combined airbag inflation and occupant displacement enabling method and apparatus |
JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
AU690230B2 (en) * | 1995-01-18 | 1998-04-23 | Larry C. Hardin | Optical range and speed detection system |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US5777563A (en) * | 1995-10-10 | 1998-07-07 | Chrysler Corporation | Method and assembly for object detection by a vehicle |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
US6550949B1 (en) | 1996-06-13 | 2003-04-22 | Gentex Corporation | Systems and components for enhancing rear vision from a vehicle |
US5680123A (en) * | 1996-08-06 | 1997-10-21 | Lee; Gul Nam | Vehicle monitoring system |
EP0898245B1 (de) | 1997-08-05 | 2004-04-14 | Canon Kabushiki Kaisha | Bildverarbeitungsverfahren und -gerät |
US6647146B1 (en) | 1997-08-05 | 2003-11-11 | Canon Kabushiki Kaisha | Image processing apparatus |
EP0901105A1 (de) | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Bildverarbeitungsvorrichtung |
US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
JP3880702B2 (ja) * | 1997-09-11 | 2007-02-14 | 富士重工業株式会社 | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム |
CA2320153A1 (en) * | 1997-12-31 | 1999-07-08 | Gentex Corporation | Vehicle vision system |
US6690268B2 (en) | 2000-03-02 | 2004-02-10 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
JP3452794B2 (ja) * | 1998-05-12 | 2003-09-29 | 三菱電機株式会社 | 視程測定装置 |
JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
JP3444192B2 (ja) * | 1998-05-21 | 2003-09-08 | 日産自動車株式会社 | 撮像環境推定装置 |
JPH11353565A (ja) * | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
WO2000073818A1 (de) | 1999-05-26 | 2000-12-07 | Robert Bosch Gmbh | Objektdetektionssystem |
JP3587506B2 (ja) | 1999-08-30 | 2004-11-10 | 富士重工業株式会社 | ステレオカメラの調整装置 |
JP3280001B2 (ja) | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
JP3263931B2 (ja) | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
JP3352655B2 (ja) | 1999-09-22 | 2002-12-03 | 富士重工業株式会社 | 車線認識装置 |
JP3255360B2 (ja) | 1999-09-22 | 2002-02-12 | 富士重工業株式会社 | 距離データの検査方法およびその検査装置 |
JP3287465B2 (ja) * | 1999-09-22 | 2002-06-04 | 富士重工業株式会社 | ステレオ画像処理装置 |
US6483429B1 (en) | 1999-10-21 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
US7004593B2 (en) | 2002-06-06 | 2006-02-28 | Donnelly Corporation | Interior rearview mirror system with compass |
US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
US6396408B2 (en) | 2000-03-31 | 2002-05-28 | Donnelly Corporation | Digital electrochromic circuit with a vehicle network |
US6566004B1 (en) | 2000-08-31 | 2003-05-20 | General Motors Corporation | Fuel cell with variable porosity gas distribution layers |
JP2002216113A (ja) * | 2001-01-16 | 2002-08-02 | Fujitsu Ten Ltd | 物体認識装置 |
US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
ES2287266T3 (es) | 2001-01-23 | 2007-12-16 | Donnelly Corporation | Sistema de iluminacion de vehiculos mejorado. |
US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
US6424273B1 (en) | 2001-03-30 | 2002-07-23 | Koninklijke Philips Electronics N.V. | System to aid a driver to determine whether to change lanes |
US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
DE10141220A1 (de) * | 2001-08-23 | 2003-04-10 | Valeo Schalter & Sensoren Gmbh | Umfelderkennungssystem |
US20030076981A1 (en) * | 2001-10-18 | 2003-04-24 | Smith Gregory Hugh | Method for operating a pre-crash sensing system in a vehicle having a counter-measure system |
US6819991B2 (en) * | 2001-11-29 | 2004-11-16 | Ford Global Technologies, Llc | Vehicle sensing based pre-crash threat assessment system |
US6775605B2 (en) | 2001-11-29 | 2004-08-10 | Ford Global Technologies, Llc | Remote sensing based pre-crash threat assessment system |
US7158870B2 (en) * | 2002-01-24 | 2007-01-02 | Ford Global Technologies, Llc | Post collision restraints control module |
US6831572B2 (en) | 2002-01-29 | 2004-12-14 | Ford Global Technologies, Llc | Rear collision warning system |
US6721659B2 (en) | 2002-02-01 | 2004-04-13 | Ford Global Technologies, Llc | Collision warning and safety countermeasure system |
US6519519B1 (en) | 2002-02-01 | 2003-02-11 | Ford Global Technologies, Inc. | Passive countermeasure methods |
US7009500B2 (en) | 2002-02-13 | 2006-03-07 | Ford Global Technologies, Llc | Method for operating a pre-crash sensing system in a vehicle having a countermeasure system using stereo cameras |
US6498972B1 (en) | 2002-02-13 | 2002-12-24 | Ford Global Technologies, Inc. | Method for operating a pre-crash sensing system in a vehicle having a countermeasure system |
US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
JP2004037239A (ja) | 2002-07-03 | 2004-02-05 | Fuji Heavy Ind Ltd | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 |
JP3895238B2 (ja) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
WO2004103772A2 (en) | 2003-05-19 | 2004-12-02 | Donnelly Corporation | Mirror assembly for vehicle |
EP1543358A2 (de) | 2002-09-20 | 2005-06-22 | Donnelly Corporation | Spiegelreflexionselementbaugruppe |
JP4364566B2 (ja) | 2003-07-04 | 2009-11-18 | 富士重工業株式会社 | 車両制動装置 |
JP4402400B2 (ja) | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
US7356408B2 (en) | 2003-10-17 | 2008-04-08 | Fuji Jukogyo Kabushiki Kaisha | Information display apparatus and information display method |
JP4638143B2 (ja) * | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | 車両用運転支援装置 |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
EP2765533A1 (de) * | 2004-07-26 | 2014-08-13 | Automotive Systems Laboratory, Inc. | Schutzsystem für gefährdete Straßenbenutzer |
US7697749B2 (en) | 2004-08-09 | 2010-04-13 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device |
US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
US20060111841A1 (en) * | 2004-11-19 | 2006-05-25 | Jiun-Yuan Tseng | Method and apparatus for obstacle avoidance with camera vision |
US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
JP4480083B2 (ja) | 2005-02-23 | 2010-06-16 | アイシン精機株式会社 | 物体認識装置 |
US7231288B2 (en) * | 2005-03-15 | 2007-06-12 | Visteon Global Technologies, Inc. | System to determine distance to a lead vehicle |
US7656432B2 (en) * | 2005-03-30 | 2010-02-02 | Hoya Corporation | Method and apparatus for photographing moving object |
EP1883855B1 (de) | 2005-05-16 | 2011-07-20 | Donnelly Corporation | Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil |
JP4600760B2 (ja) | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
US7488083B2 (en) * | 2005-08-22 | 2009-02-10 | Gentex Corporation | Vehicular rearview components and assemblies |
EP1949666B1 (de) | 2005-11-01 | 2013-07-17 | Magna Mirrors of America, Inc. | Innen-rückspiegel mit display |
JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP4725391B2 (ja) * | 2006-03-29 | 2011-07-13 | 株式会社デンソー | 車両用視程測定装置、及び運転支援装置 |
JP4638370B2 (ja) | 2006-03-29 | 2011-02-23 | 富士重工業株式会社 | 車線逸脱防止装置 |
JP2007334760A (ja) * | 2006-06-16 | 2007-12-27 | Auto Network Gijutsu Kenkyusho:Kk | ドライブレコーダ |
US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
WO2008127752A2 (en) | 2007-01-25 | 2008-10-23 | Magna Electronics | Radar sensing system for vehicle |
JP4914233B2 (ja) | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 車外監視装置 |
JP4914234B2 (ja) | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 先行車両検出装置 |
ITPR20070006A1 (it) * | 2007-02-08 | 2008-08-09 | Techimp S P A | Procedimento per elaborare dati relativi a un'attivita di scariche elettriche parziali |
JP4748082B2 (ja) * | 2007-02-23 | 2011-08-17 | トヨタ自動車株式会社 | 車両用周辺監視装置及び車両用周辺監視方法 |
JP5221886B2 (ja) | 2007-03-07 | 2013-06-26 | 富士重工業株式会社 | 物体検出装置 |
JP4987573B2 (ja) | 2007-06-01 | 2012-07-25 | 富士重工業株式会社 | 車外監視装置 |
JP4933962B2 (ja) | 2007-06-22 | 2012-05-16 | 富士重工業株式会社 | 分岐路進入判定装置 |
US7914187B2 (en) | 2007-07-12 | 2011-03-29 | Magna Electronics Inc. | Automatic lighting system with adaptive alignment function |
US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
WO2009036176A1 (en) | 2007-09-11 | 2009-03-19 | Magna Electronics | Imaging system for vehicle |
FR2921027B1 (fr) * | 2007-09-17 | 2010-02-26 | Valeo Vision | Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique |
WO2009046268A1 (en) | 2007-10-04 | 2009-04-09 | Magna Electronics | Combined rgb and ir imaging sensor |
JP4856612B2 (ja) | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
JP4856611B2 (ja) | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
CN101451835B (zh) * | 2007-12-07 | 2010-09-01 | 聂劲松 | 一种较差能见度天气条件下汽车防撞方法 |
JP4856656B2 (ja) | 2008-01-22 | 2012-01-18 | 富士重工業株式会社 | 車両検出装置 |
JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
JP4876080B2 (ja) | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
JP5137617B2 (ja) | 2008-02-27 | 2013-02-06 | 富士重工業株式会社 | 操舵支援装置 |
JP5073548B2 (ja) | 2008-03-27 | 2012-11-14 | 富士重工業株式会社 | 車両用環境認識装置および先行車追従制御システム |
US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
US8280621B2 (en) | 2008-04-15 | 2012-10-02 | Caterpillar Inc. | Vehicle collision avoidance system |
US20090259399A1 (en) * | 2008-04-15 | 2009-10-15 | Caterpillar Inc. | Obstacle detection method and system |
US8170787B2 (en) * | 2008-04-15 | 2012-05-01 | Caterpillar Inc. | Vehicle collision avoidance system |
US20100020170A1 (en) | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
DE102009000550B4 (de) * | 2009-02-02 | 2018-10-04 | Ford Global Technologies, Llc | Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs |
US8466960B2 (en) * | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
EP2401176B1 (de) | 2009-02-27 | 2019-05-08 | Magna Electronics | Fahrzeugalarmsystem |
US8376595B2 (en) | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
WO2011014497A1 (en) | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
US8874317B2 (en) | 2009-07-27 | 2014-10-28 | Magna Electronics Inc. | Parking assist system |
ES2538827T3 (es) | 2009-09-01 | 2015-06-24 | Magna Mirrors Of America, Inc. | Sistema de formación de imágenes y de exhibición para un vehículo |
US8890955B2 (en) | 2010-02-10 | 2014-11-18 | Magna Mirrors Of America, Inc. | Adaptable wireless vehicle vision system based on wireless communication error |
US9117123B2 (en) | 2010-07-05 | 2015-08-25 | Magna Electronics Inc. | Vehicular rear view camera display system with lifecheck function |
KR101207903B1 (ko) * | 2010-10-11 | 2012-12-04 | 국방과학연구소 | 자율 이동 차량용 장애물 정보 제공장치 및 그 방법 |
DE112011103834T8 (de) | 2010-11-19 | 2013-09-12 | Magna Electronics, Inc. | Spurhalteassistent und Spurzentrierung |
US9900522B2 (en) | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
US9085261B2 (en) | 2011-01-26 | 2015-07-21 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
JP5693994B2 (ja) | 2011-02-16 | 2015-04-01 | 富士重工業株式会社 | 車両検出装置 |
JP5830876B2 (ja) * | 2011-02-18 | 2015-12-09 | 富士通株式会社 | 距離算出プログラム、距離算出方法及び距離算出装置 |
US9194943B2 (en) | 2011-04-12 | 2015-11-24 | Magna Electronics Inc. | Step filter for estimating distance in a time-of-flight ranging system |
WO2012145819A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Image processing method for detecting objects using relative motion |
WO2012145818A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
WO2012145822A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
WO2013016409A1 (en) | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
US9491450B2 (en) | 2011-08-01 | 2016-11-08 | Magna Electronic Inc. | Vehicle camera alignment system |
WO2013043661A1 (en) | 2011-09-21 | 2013-03-28 | Magna Electronics, Inc. | Vehicle vision system using image data transmission and power supply via a coaxial cable |
WO2013048994A1 (en) | 2011-09-26 | 2013-04-04 | Magna Electronics, Inc. | Vehicle camera image quality improvement in poor visibility conditions by contrast amplification |
US9146898B2 (en) | 2011-10-27 | 2015-09-29 | Magna Electronics Inc. | Driver assist system with algorithm switching |
WO2013074604A2 (en) | 2011-11-15 | 2013-05-23 | Magna Electronics, Inc. | Calibration system and method for vehicular surround vision system |
US10071687B2 (en) | 2011-11-28 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
US9762880B2 (en) | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
US10008002B2 (en) * | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
US8694224B2 (en) | 2012-03-01 | 2014-04-08 | Magna Electronics Inc. | Vehicle yaw rate correction |
US10609335B2 (en) | 2012-03-23 | 2020-03-31 | Magna Electronics Inc. | Vehicle vision system with accelerated object confirmation |
US8824733B2 (en) | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
US8768007B2 (en) | 2012-03-26 | 2014-07-01 | Tk Holdings Inc. | Method of filtering an image |
US9751465B2 (en) | 2012-04-16 | 2017-09-05 | Magna Electronics Inc. | Vehicle vision system with reduced image color data processing by use of dithering |
US10089537B2 (en) | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
US9340227B2 (en) | 2012-08-14 | 2016-05-17 | Magna Electronics Inc. | Vehicle lane keep assist system |
DE102013217430A1 (de) | 2012-09-04 | 2014-03-06 | Magna Electronics, Inc. | Fahrerassistenzsystem für ein Kraftfahrzeug |
US9446713B2 (en) | 2012-09-26 | 2016-09-20 | Magna Electronics Inc. | Trailer angle detection system |
US9558409B2 (en) | 2012-09-26 | 2017-01-31 | Magna Electronics Inc. | Vehicle vision system with trailer angle detection |
US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
EP2911028B1 (de) * | 2012-10-22 | 2018-07-25 | Yamaha Hatsudoki Kabushiki Kaisha | Abstandsmessvorrichtung und fahrzeug damit |
US9349058B2 (en) | 2012-10-31 | 2016-05-24 | Tk Holdings, Inc. | Vehicular path sensing system and method |
US9090234B2 (en) | 2012-11-19 | 2015-07-28 | Magna Electronics Inc. | Braking control system for vehicle |
US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
US10025994B2 (en) | 2012-12-04 | 2018-07-17 | Magna Electronics Inc. | Vehicle vision system utilizing corner detection |
US9481301B2 (en) | 2012-12-05 | 2016-11-01 | Magna Electronics Inc. | Vehicle vision system utilizing camera synchronization |
US9092986B2 (en) | 2013-02-04 | 2015-07-28 | Magna Electronics Inc. | Vehicular vision system |
US20140218529A1 (en) | 2013-02-04 | 2014-08-07 | Magna Electronics Inc. | Vehicle data recording system |
JP5982298B2 (ja) | 2013-02-21 | 2016-08-31 | シャープ株式会社 | 障害物検出装置および障害物検出方法 |
US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
US9688200B2 (en) | 2013-03-04 | 2017-06-27 | Magna Electronics Inc. | Calibration system and method for multi-camera vision system |
WO2014152470A2 (en) | 2013-03-15 | 2014-09-25 | Tk Holdings, Inc. | Path sensing using structured lighting |
US10027930B2 (en) | 2013-03-29 | 2018-07-17 | Magna Electronics Inc. | Spectral filtering for vehicular driver assistance systems |
US9327693B2 (en) | 2013-04-10 | 2016-05-03 | Magna Electronics Inc. | Rear collision avoidance system for vehicle |
US10232797B2 (en) | 2013-04-29 | 2019-03-19 | Magna Electronics Inc. | Rear vision system for vehicle with dual purpose signal lines |
US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
US10567705B2 (en) | 2013-06-10 | 2020-02-18 | Magna Electronics Inc. | Coaxial cable with bidirectional data transmission |
US9260095B2 (en) | 2013-06-19 | 2016-02-16 | Magna Electronics Inc. | Vehicle vision system with collision mitigation |
US20140375476A1 (en) | 2013-06-24 | 2014-12-25 | Magna Electronics Inc. | Vehicle alert system |
US10326969B2 (en) | 2013-08-12 | 2019-06-18 | Magna Electronics Inc. | Vehicle vision system with reduction of temporal noise in images |
US9619716B2 (en) | 2013-08-12 | 2017-04-11 | Magna Electronics Inc. | Vehicle vision system with image classification |
US9988047B2 (en) | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
US10160382B2 (en) | 2014-02-04 | 2018-12-25 | Magna Electronics Inc. | Trailer backup assist system |
US9623878B2 (en) | 2014-04-02 | 2017-04-18 | Magna Electronics Inc. | Personalized driver assistance system for vehicle |
US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
US10286855B2 (en) | 2015-03-23 | 2019-05-14 | Magna Electronics Inc. | Vehicle vision system with video compression |
US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
US10819943B2 (en) | 2015-05-07 | 2020-10-27 | Magna Electronics Inc. | Vehicle vision system with incident recording function |
FR3038733B1 (fr) * | 2015-07-10 | 2019-07-26 | Renault S.A.S | Systeme de detection par sources d'impulsions lumineuses de la distance entre un vehicule automobile et une cible |
US10078789B2 (en) | 2015-07-17 | 2018-09-18 | Magna Electronics Inc. | Vehicle parking assist system with vision-based parking space detection |
US10086870B2 (en) | 2015-08-18 | 2018-10-02 | Magna Electronics Inc. | Trailer parking assist system for vehicle |
US10875403B2 (en) | 2015-10-27 | 2020-12-29 | Magna Electronics Inc. | Vehicle vision system with enhanced night vision |
US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
US11433809B2 (en) | 2016-02-02 | 2022-09-06 | Magna Electronics Inc. | Vehicle vision system with smart camera video output |
US10132971B2 (en) | 2016-03-04 | 2018-11-20 | Magna Electronics Inc. | Vehicle camera with multiple spectral filters |
US10055651B2 (en) | 2016-03-08 | 2018-08-21 | Magna Electronics Inc. | Vehicle vision system with enhanced lane tracking |
JP2017220051A (ja) | 2016-06-08 | 2017-12-14 | ソニー株式会社 | 画像処理装置、画像処理方法、および車両 |
JP6819680B2 (ja) | 2016-06-08 | 2021-01-27 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
JP6922169B2 (ja) | 2016-08-24 | 2021-08-18 | ソニーグループ株式会社 | 情報処理装置および方法、車両、並びに情報処理システム |
US10311314B2 (en) * | 2016-11-23 | 2019-06-04 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
JP6789888B2 (ja) * | 2017-06-15 | 2020-11-25 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
DE112018003270T5 (de) | 2017-06-27 | 2020-03-05 | Sony Corporation | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm |
US10534253B2 (en) | 2017-11-10 | 2020-01-14 | Denso Corporation | Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle |
US10627606B2 (en) | 2017-11-10 | 2020-04-21 | Denso Corporation | Camera module |
US10232800B1 (en) | 2017-11-10 | 2019-03-19 | Denson Corporation | Camera module |
US10661725B2 (en) | 2017-11-10 | 2020-05-26 | Denso Corporation | Camera module |
US11181816B2 (en) | 2017-11-10 | 2021-11-23 | Denso Corporation | Windshield-mounted camera module |
US10406995B2 (en) * | 2017-11-10 | 2019-09-10 | Denso Corporation | Camera module |
US11364992B2 (en) * | 2018-10-23 | 2022-06-21 | The Boeing Company | Aligning aircraft with runway centerline during takeoff |
US11172219B2 (en) * | 2019-12-30 | 2021-11-09 | Texas Instruments Incorporated | Alternating frame processing operation with predicted frame comparisons for high safety level use |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3684374A (en) * | 1970-07-29 | 1972-08-15 | Humphrey Res Ass | Focus detector |
US3901595A (en) * | 1974-02-13 | 1975-08-26 | Bendix Corp | Parallel line scanning system for stereomapping |
US4206365A (en) * | 1976-01-17 | 1980-06-03 | Ernst Leitz Wetzlar Gmbh | Optical correlator |
USRE32886E (en) * | 1976-06-14 | 1989-03-14 | Honeywell, Inc. | Digital auto focus |
JPS54126023A (en) * | 1978-03-23 | 1979-09-29 | Canon Inc | Optical device |
JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
JPS59197816A (ja) * | 1983-04-25 | 1984-11-09 | Nippon Denso Co Ltd | 車間距離検出装置 |
GB2148648A (en) * | 1983-10-25 | 1985-05-30 | Audim Sa | Time disparity discriminator; correlation |
US4695959A (en) * | 1984-04-06 | 1987-09-22 | Honeywell Inc. | Passive range measurement apparatus and method |
US4916302A (en) * | 1985-02-09 | 1990-04-10 | Canon Kabushiki Kaisha | Apparatus for and method of measuring distances to objects present in a plurality of directions |
US4695156A (en) * | 1986-07-03 | 1987-09-22 | Westinghouse Electric Corp. | Range finding method and apparatus |
JPH01229211A (ja) * | 1988-03-10 | 1989-09-12 | Fuji Photo Film Co Ltd | 位相差検出装置 |
JP2662583B2 (ja) * | 1988-03-24 | 1997-10-15 | アイシン精機株式会社 | 車上距離検出装置 |
NL8900056A (nl) * | 1989-01-11 | 1990-08-01 | Philips Nv | Werkwijze voor het visueel weergeven van een deel van een topografische kaart, alsmede inrichting geschikt voor een dergelijke werkwijze. |
KR930004880B1 (ko) * | 1989-03-07 | 1993-06-09 | 미쓰비시 덴끼 가부시기가이샤 | 추미식 차간거리 측정장치 |
US5146228A (en) * | 1990-01-24 | 1992-09-08 | The Johns Hopkins University | Coherent correlation addition for increasing match information in scene matching navigation systems |
-
1991
- 1991-10-22 JP JP27431591A patent/JP3167752B2/ja not_active Expired - Lifetime
-
1992
- 1992-10-14 US US07/960,688 patent/US5307136A/en not_active Expired - Lifetime
- 1992-10-16 GB GB9221783A patent/GB2261339B/en not_active Expired - Fee Related
- 1992-10-22 DE DE4235619A patent/DE4235619C2/de not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19934670A1 (de) * | 1999-05-26 | 2000-12-21 | Bosch Gmbh Robert | Objektdetektionssystem |
DE19934670B4 (de) * | 1999-05-26 | 2004-07-08 | Robert Bosch Gmbh | Objektdetektionssystem |
Also Published As
Publication number | Publication date |
---|---|
GB9221783D0 (en) | 1992-12-02 |
JPH05114099A (ja) | 1993-05-07 |
GB2261339B (en) | 1996-04-03 |
DE4235619A1 (de) | 1993-04-29 |
GB2261339A (en) | 1993-05-12 |
US5307136A (en) | 1994-04-26 |
JP3167752B2 (ja) | 2001-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4235619C2 (de) | Entfernungsbestimmungseinrichtung für Automobile | |
DE4308776C2 (de) | Einrichtung zum Überwachen des Außenraums eines Fahrzeugs | |
DE4410064C2 (de) | Verfahren und Vorrichtung zur Abstandserkennung | |
DE102010020867B4 (de) | Strassenform-Erkennungsvorrichtung | |
DE60308782T2 (de) | Vorrichtung und Methode zur Hinderniserkennung | |
DE10080012B4 (de) | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens | |
EP1589484B1 (de) | Verfahren zur Erkennung und/oder Verfolgung von Objekten | |
DE102009005861B4 (de) | Fahrzeugumgebungs-Erkennungssystem | |
DE102009005860B4 (de) | Umgebungs-Erkennungssystem | |
DE10251880B4 (de) | Bilderkennungsvorrichtung | |
DE4446452B4 (de) | Fahrleitvorrichtung und Fahrleitverfahren für ein Fahrzeug | |
DE102008053460B4 (de) | Objekterfassungssystem | |
DE69734855T2 (de) | Vorrichtung und Verfahren zur Extraktion eines Objektes in einem Bild | |
DE10296593B4 (de) | Fahrunterstützungsvorrichtung | |
DE102008030555A1 (de) | Vorrichtung zur Verarbeitung von Stereobildern | |
DE19525561C2 (de) | 3D-Meßvorrichtung | |
DE102016208056A1 (de) | Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug | |
DE102019101482A1 (de) | Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs | |
DE60217616T2 (de) | Verfahren zum Abgleichen stereoskopischer Farbbilder | |
EP1460454A2 (de) | Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern | |
WO2010028718A2 (de) | Verfahren zur bildverarbeitung von stereobildern | |
EP3518180B1 (de) | Verfahren zur erstellung einer bildstapel-datenstruktur | |
DE3446009C2 (de) | ||
DE10310849B4 (de) | Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung | |
DE10148063A1 (de) | Verfahren zur Erkennung und Verfolgung von Objekten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8320 | Willingness to grant licences declared (paragraph 23) | ||
8328 | Change in the person/name/address of the agent |
Free format text: PATENTANWAELTE REICHEL UND REICHEL, 60322 FRANKFURT |
|
8328 | Change in the person/name/address of the agent |
Representative=s name: 2K PATENTANWAELTE BLASBERG KEWITZ & REICHEL, PARTN |
|
R071 | Expiry of right | ||
R071 | Expiry of right |