DE102006009119A1

DE102006009119A1 - Object or part position determining method for camera-based object testing, involves comparing image-information with model-information to result position of object or part, where information have sharpening and photometric characteristics

Info

Publication number: DE102006009119A1
Application number: DE102006009119A
Authority: DE
Inventors: Lars Dipl.-Inform. Krüger; Christian Dr. rer. nat. Wöhler
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2007-09-13

Abstract

The method involves detecting an image data of an object or a part using an image detection system e.g. camera, and deriving position-dependent image information about the object from the image data. The image-information is compared with position-dependent model-information in such a manner that the position of the object or part is resulted from the comparison result, where the image and model information have sharpening and/or photometric characteristics e.g. polarization and intensity information. Independent claims are also included for the following: (1) a device for determining position of an object or a part (2) a device for producing position-dependent model information.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur 3D-Lageerkennung unter Verwendung komplexen Modellwissens nach den Oberbegriffen der Patentansprüche 1 und 6, sowie eine Vorrichtung zur Erzeugung von lageabhängigen Modelldaten als Grundlage zur 3D-Lageerkennung unter Verwendung komplexen Modellwissens nach dem Oberbegriff des Patentanspruchs 9.The The invention relates to a method and a device for 3D position detection using complex model knowledge according to the generic terms of the claims 1 and 6, and a device for generating position-dependent model data as a basis for 3D position detection using complex model knowledge according to the preamble of claim 9.

Im Rahmen einer kamerabasierten Objektprüfung bei der industriellen Produktion werden von Produkten im Rahmen des Prozessablaufs Bilddaten erfasst und diese mit Modelldaten verglichen, um gegebenenfalls Herstellungs- oder Montagefehler zu erkennen. Hierzu ist es unter anderem notwendig, die Lage der Objekte bzw. von Teilen davon im Raum zu bestimmen.in the Frame of a camera-based object inspection in industrial Production is recorded by products as part of the process flow image data and compared these with model data to or to detect assembly errors. For this it is necessary, inter alia, determine the position of the objects or parts of them in space.

Ein hierzu geeignetes auf Template-Matching basierendes Verfahren wird beispielsweise durch von Bank et al. (C. von Bank, D.M. Gavrilla, C. Wöhler; A Visual Quality Inspection System Based on a Hierachical 3D Pose Estimation Algorithm; In: B. Michaelis, G. Krell (eds.); Pattern Recognition; Proc. 25th DAGM Symposium, Magdeburg, Germany; Lecture Notes in Computer Science 2781, pp. 179-186, Springer-Verlag Berlin Heidelberg, 2003) beschrieben. Hierbei werden zunächst die Kanten aus dem Originalbild extrahiert. Des Weiteren werden aus vorhandenen 3D-CAD-Daten 2D-Templates erzeugt, welche die sichtbaren Kanten des Objekts aus beliebig vielen verschiedenen Betrachtungsrichtungen zeigen. Durch Vergleich der Kanten in den aus den 2D-Templates erzeugten Bildern mit den Kanten im Originalbild (Template-Matching) kann dann die Ausrichtung (Pose) eines Objektes mit einer vorgegebenen Genauigkeit bestimmt werden. Es zeigt sich jedoch, dass bei solchen Verfahren in Verbindung mit Einzelkameras Mehrdeutigkeiten beziehungsweise Ungenauigkeiten entstehen. Auch entstehen bei der Erstellung von Kantenbildern häufig Probleme, da die Bilddaten hierfür einen gewissen Grauwertunterschied aufweisen müssen, damit auch wirklich eine Kante detektiert werden kann. Um dies zu vermeiden, bedient man sich bislang einer zweiten Kamera oder aber Vorwissens über die untersuchte Szene. Dies schränkt entweder die Lageschätzung stark ein, oder aber es entsteht durch die Verwendung mehrer Kameras ein wesentlich erhöhter Aufwand.One suitable template-matching method for example, by Bank et al. (C. of Bank, D. M. Gavrilla, C. Woehler; A Visual Quality Inspection System Based on a Hierachical 3D Pose Estimation Algorithm; In: B. Michaelis, G. Krell (eds.); pattern Recognition; Proc. 25th DAGM Symposium, Magdeburg, Germany; Lecture Notes in Computer Science 2781, pp. 179-186, Springer publishing house Berlin Heidelberg, 2003). Here are the first Edges extracted from the original image. Furthermore, will be out existing 3D CAD data generates 2D templates which are the visible ones Show edges of the object from any number of different viewing directions. By comparing the edges in the generated from the 2D templates Images with the edges in the original image (template matching) can then the orientation (pose) of an object with a given Accuracy can be determined. It turns out, however, that such Procedures in connection with single cameras ambiguities or inaccuracies arise. Also, problems often arise when creating edge images. because the image data for this have to have a certain gray value difference, so that really an edge can be detected. To avoid this, one uses so far a second camera or prior knowledge of the examined scene. This restricts Either the estimate strong, or it is caused by the use of multiple cameras a much higher Effort.

Um den Aufwand bei der Lageschätzung zu verringern, beziehungsweise diese über einen weiteren Bereich hin zu ermöglichen wird von Böhm et al (J. Böhm, C. Brenner, J. Gühring, D. Fritsch; CAD-basierte Objekterkennung für ein multisensorielles Meßsystem; In: W. Förstner et. al. (eds.); Mustererkennung 1999; Proc. 21th DAGM Symposium, Bonn, Germany;, pp. 62-69, Springer-Verlag Berlin Heidelberg) vorgeschlagen, die CAD-Daten, mittels welchen das Objekt, dessen Lage geschätzt werden soll, modelliert werden soll, als Menge von Dreiecken zu organisieren. Als Besonderheit wird dabei diese Menge von Dreiecken in jeder Region noch um rotations- und translationsinvariante Attribute ergänzt. Dies sind beispielsweise 3D Umrisspolygone, 3D Zentren des kanonischen umschließenden Rechtecks, Fläche, Umfang sowie Breite und Umfang des umschließenden Rechtecks.Around the effort in estimating the location to reduce, or this over a wider area to enable is from Böhm et al (J. Böhm, C. Brenner, J. Guhring, D. Fritsch; CAD-based object recognition for a multisensorial measuring system; In: W. Förstner et. al. (Eds.); Pattern recognition 1999; Proc. 21st DAGM Symposium, Bonn, Germany ;, pp. 62-69, Springer-Verlag Berlin Heidelberg), the CAD data by means of which the object, its location, is estimated is to be modeled, to organize as a set of triangles. As a special feature is this amount of triangles in each region still supplemented with rotation- and translation-invariant attributes. This are, for example, 3D outline polygons, 3D centers of the canonical enclosing Rectangles, area, Scope and width and circumference of the enclosing rectangle.

Aufgabe der Erfindung ist es, ein Verfahren zur Bestimmung der Lage und Ausrichtung eines Objektes im Raum (Pose-Estimation) zu finden, welches den Aufwand der Lageschätzung weiter reduziert und über einen weiten Bereich hin ermöglicht.task The invention is a method for determining the position and Orientation of an object in space (pose-estimation) to find which the effort of the estimate further reduced and over allows a wide range.

Die Aufgabe wird durch ein Verfahren und eine zur Durchführung des Verfahrens geeignete Vorrichtung mit den Merkmalen der Patentansprüche 1 und 6 gelöst. Des Weiteren dient auch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 der Lösung.The Task is performed by a procedure and to carry out the Method suitable device with the features of claims 1 and 6 solved. Furthermore, a device with the features of the claim is also used 9 of the solution.

Bei dem Verfahren zur Bestimmung der Lage von Objekten oder von Teilen davon werden mittels eines Bilderfassungssystems, insbesondere einer Kamera, Bilddaten eines Objekts oder Teilen davon erfasst. Anschließend wird aus den Bilddaten lageabhängige Bildinformation über das Objekt abgeleitet und mit lageabhängiger Modellinformation abgeglichen. Aus dem Ergebnis dieses Abgleichs ergibt sich sodann die Lage des Objekts oder eines Teils davon. In erfinderischer Weise umfasst hierbei die lageabhängige Bild- und Modellinformation Schärfemerkmale und/oder photometrische Merkmale, insbesondere Polarisations- und Intensitätsinformation.at the method of determining the location of objects or parts thereof, by means of an image acquisition system, in particular a camera, Captured image data of an object or parts thereof. Subsequently, will from the image data position-dependent Image information about the object derived and matched with position-dependent model information. From the result of this comparison, the location of the Object or part of it. Includes in an inventive way here the position-dependent Image and Model Information Sharpening Features and / or photometric features, in particular polarization and Intensity information.

Während bei den aus dem Stand der Technik bekannten Verfahren bei der Erstellung der kantenbasierten Templates als auch bei der Filterung des Originalbildes wichtige Informationen, wie Intensitäten, Polarisationsinformationen oder Schärfeverläufe eliminiert werden, werden gerade diese Informationen im Rahmen der Erfindung berücksichtigt. In besonders vorteilhafter Weise werden somit in dem Originalbild alternativ oder zusätzlich zu den Kanten auch Intensitäten und/oder Polarisationsverhalten des von der Objektoberfläche reflek tierten Lichts sowie Schärfeverläufe entlang der Kanten des Objekts untersucht und so die 3D-Lageschätzung (Pose-Estimation) deutlich verbessert.While at the known from the prior art method in the creation the edge-based templates as well as the filtering of the original image important information, such as intensities, polarization information or eliminated sharpness gradients be, just this information in the context of the invention considered. In a particularly advantageous manner are thus in the original image alternatively or additionally to the edges also intensities and / or polarization behavior of the reflector of the object surface Light and sharpness along the edges of the object and so the 3D-attitude estimation (pose-estimation) clearly improved.

Mittels dieses neuen Ansatzes wird eine eindeutige und genaue Lagebestimmung eines Objektes oder Teilen davon möglich. Insbesondere im Vergleich zur rein kantenbasierten Lageerkennung ist dieser Ansatz robuster gegenüber einem geringen Kontrast zwischen Objekt und Hintergrund, weil das Template-Matching nicht mehr ausschließlich auf den Kanten basiert. Außerdem kann eine Aussage darüber getroffen werden, inwiefern das Objekt mit den CAD-Daten übereinstimmt. Es ist also möglich, Abweichungen zwischen der Form des Objekts und den CAD-Daten (beispielsweise Oberflächendefekte) zu erkennen und zu lokalisieren. Es ergibt sich also zusätzlich zur exaktren Lagebestimmung noch eine Aussage über die Qualität des Objekts. Aus diesem Grunde ist auch ein Einsatz der Erfindung bei der Qualitätssicherung insbesondere von Guss- und Schmiedeteilen besonders vorteilhaft.By means of this new approach, a clear and accurate orientation of an object or parts thereof is possible. In particular, in comparison to purely edge-based position detection this approach is more robust against a low contrast between object and background, because the template matching is no longer exclusively on the Edges based. In addition, a statement can be made as to how the object agrees with the CAD data. It is thus possible to detect and locate deviations between the shape of the object and the CAD data (for example, surface defects). Thus, in addition to the exact position determination, there is still a statement about the quality of the object. For this reason, a use of the invention in the quality assurance especially of castings and forgings is particularly advantageous.

Um aus den Modelldaten die lageabhängigen Bilddaten zu extrahieren, bietet sich an, als Grundlage zur Bestimmung dieser Schärfemerkmale und/oder photometrischen Merkmale, insbesondere von Polarisations- und Intensitätsinformation, bekannte Bildverarbeitungsverfahren heranzuziehen. Hierzu geeignete Verfahren wurden beispielsweise zur Szenenrekonstruktion im Rahmen eines vereinheitlichen mathematischen Ansatzes von Wöhler und d'Angelo beschrieben (P. d'Angelo, C. Wöhler. 3D Reconstruction of Metallic Surfaces by Photopolarimetric Analysis. In: H. Kalviainen et al. (eds.). Proc. Scandinavian Conference on Image Analysis, Joensuu, Finland. Lecture Notes in Computer Science 3540, pp. 689-698, Springer-Verlag Berlin Heidelberg, 2005, oder in P. d'Angelo, C. Wohler. 3D surface reconstruction by combination of photopolarimetry and depth from defocus. In: W. Kropatsch, R. Sablatnig, A. Hanbury (eds.). Pattern Recognition. Proc. 27th DAGM Symposium, Vienna, Austria. Lecture Notes in Computer Science 3663, pp. 176-183, Springer-Verlag Berlin Heidelberg, 2005) oder aber auch in der nachveröffentlichten deutschen Patentanmeldung Nr. 102005013461.0 („3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination von geometrischen und photometrischen Verfahren").Around from the model data the position-dependent Extracting image data is useful as a basis for determination these sharpening features and / or photometric features, in particular polarization and intensity information, to use known image processing methods. Suitable for this purpose Procedures were, for example, for scene reconstruction in the context of a unified mathematical approach by Wöhler and d'Angelo (P. d'Angelo, C. Wohler. 3D Reconstruction of Metallic Surfaces by Photopolarimetric Analysis. In: H. Kalviainen et al. (Eds.). Proc. Scandinavian Conference on Image Analysis, Joensuu, Finland. Lecture Notes in Computer Science 3540, pp. 689-698, Springer-Verlag Berlin Heidelberg, 2005, or in P. d'Angelo, C. Wohler. 3D surface reconstruction by combination of photopolarimetry and depth of defocus. In: W. Kropatsch, R. Sablatnig, A. Hanbury (eds.). Pattern Recognition. Proc. 27th DAGM Symposium, Vienna, Austria. Lecture Notes in Computer Science 3663, pp. 176-183, Springer-Verlag Berlin Heidelberg, 2005) or in the post-published German Patent Application No. 102005013461.0 ("3D reconstruction of static Scenes through unified combination of geometric and photometric method ").

Um wiederum zu einer der Bildinformation entsprechenden lageabhängigen Modellinformation zu gelangen, bietet es sich an, auf CAD-Daten zurückzugreifen, welche neben Informationen zur Geometrie des Objektes auch dessen Material und/oder Oberflächenbeschaffenheit beschreiben, wie dies beispielsweise bei den in der deutschen Offenlegungsschrift DE 101 52 851 A1 erwähnten CAD-Daten der Fall ist.In order to arrive at a position-dependent model information corresponding to the image information, it makes sense to resort to CAD data which describe not only information about the geometry of the object but also its material and / or surface condition, as for example in the German Offenlegungsschrift DE 101 52 851 A1 mentioned CAD data is the case.

Es ist nun einerseits denkbar, dass für jeden Abgleich zwischen lageabhängiger Bildinformation und lageabhängiger Modellinformation, die Modellinformation neu aus den CAD-Daten abgeleitet wird. Dies kann entweder online geschehen, entsprechend der Geschwindigkeit der Abfolge der Präsentation der einzelnen Objekte, insbesondere an einer Produktionslinie, oder aber offline, beispielsweise im Rahmen einer leistungsfähigen Datennachbearbeitung.It On the one hand, it is conceivable that for each comparison between position-dependent image information and position-dependent Model information, the model information newly derived from the CAD data becomes. This can either be done online, according to the speed the sequence of presentation of the individual objects, in particular on a production line, or but offline, for example as part of a powerful data post.

Insbesondere dann, wenn nur begrenzte Rechenkapazität zur Verfügung steht, bietet es sich an, die lageabhängige Modellinformation aus den CAD-Daten abzuleiten und in einem Speicher so abzuspeichern, dass es möglich ist, bei einem Abgleich zwischen lageabhängiger Bildinformation und lageabhängiger Modellinformation, die Modellinformation aus dem Speicher auszulesen. Ein derartiges Vorgehen ist insbesondere bei der Fertigungskontrolle an einer Produktionslinie vorteilhaft, da hierbei die auftretenden Fehlerlagen (Fehljustagen auf Grund verstellter Fertigungsmechaniken) häufig in der selben Art und Weise in Erscheinung treten, so dass sich oft schon zuvor anwendbare lageabhängige Modellinformation gleichsam wiederverwerten lässt.Especially then, if only limited computing capacity is available, it lends itself on, the position-dependent Derive model information from the CAD data and in a memory so save it possible is, in a comparison between position-dependent image information and position-dependent Model information to read the model information from the memory. Such a procedure is particularly in the production control advantageous on a production line, since in this case the occurring Defective situations (incorrect adjustments due to obstructed production mechanics) often appear in the same way, so that often already applicable position-dependent model information, as it were can be recycled.

Es lässt sich gewinnbringend somit auch ein System realisieren, welches gegebenenfalls einen Speicher nach brauchbaren lageabhängigen Modellinformationen durchsucht und dann, wenn derartige Information nicht in brauchbarer Form vorliegt, aus den CAD-Daten situationsgerecht neue Modellinformation generiert.It let yourself thus profitably realize a system which, if necessary a memory of useful location-dependent model information searched and then, if such information is not usable Form is present from the CAD data situation appropriate new model information generated.

Insbesondere in denjenigen Fällen, in welchen sich die Lageerkennung auf eine geringe Zahl von unterschiedlichen, zu differenzierenden Alternativen beschränkt, ist es gewinnbringend, wenn bereits im Vorfeld der Lageschätzung hierzu geeignete lageabhängige Modellinformation vorliegt. Hierzu kann in vorteilhafter Weise eine Vorrichtung dienen, welche mit einem CAD-Daten eines Objekts oder Teilen davon enthaltenen Speicher in Verbindung steht. So kann dann in der Verarbeitungseinheit dieser Vorrichtung wenigstens aus Teilen der CAD-Daten vorab lageabhängige Modellinformation, umfassend Schärfemerkmale und/oder photometrische Merkmale, abgeleitet werden. Die so abgeleitete Modellinformation kann den CAD-Daten zur Ergänzung zugeführt werden, oder aber in einer separaten Speichereinheit abgelegt werden, so dass bei der späteren Lageerkennung darauf zurückgegriffen werden kann.Especially in those cases in which the position recognition on a small number of different, limited to differentiating alternatives, it is profitable if already in the run-up to the estimation of the position appropriate position-dependent model information is present. For this purpose, advantageously serve a device which with a CAD data of an object or parts thereof Memory communicates. So then in the processing unit this device at least from parts of the CAD data pre-position-dependent model information, comprising sharpness features and / or photometric features. The so derived Model information can be added to the CAD data to complement, or in one stored separately storage unit, so that in the later position detection resorted to can be.

Claims

Method for determining the position of objects or parts thereof, image data of an object or parts thereof being detected by means of an image acquisition system, wherein image-dependent image information about the object is derived from the image data, said position-dependent image information having position-dependent model information is adjusted that results from the result of this adjustment, the position of the object or parts thereof, characterized in that it is the position-dependent image and model information sharpness features and / or photometric features, in particular polarization and Intensi information.

Method according to claim 1, characterized that the position-dependent Model information is derived from CAD data.

Method according to claim 2, characterized that for every match between position-dependent Image information and position-dependent model information, the model information is newly derived from the CAD data.

Method according to one of the claims 2 or 3, characterized, that position-dependent model information derived from the CAD data and stored in a memory becomes, and that when matching position-dependent image information and position-dependent Model information, the model information read from the memory becomes.

Method according to one of the preceding claims, characterized characterized in that the generation of the position-dependent model data also Know about incorporate the optical properties of the image acquisition system.

Device for determining the position of objects or parts of it, comprising image acquisition system, in particular a Camera, for capturing image data of an object or parts thereof, full an image processing unit for obtaining image-dependent image information about the image data from the image data Derive object, comprising a comparator for the position-dependent image information with position dependent Model information to be matched, and which is designed so that from the result of this adjustment, the location of the object or parts of which characterized, that it is the position-dependent image and model information is designed to provide sharpness features and / or photometric features, in particular polarization and intensity information, includes.

Device according to claim 5, characterized in that that it is associated with a memory, which CAD data of the object or parts thereof.

Device according to one of the claims 5 or 6, characterized in that it has a memory for storage of position-dependent Includes model information.

Device for generating position-dependent model information, which is for use with a method according to claims 1 to 4 is suitable, characterized, that the device containing a CAD data of an object or parts thereof Memory communicates, that the device is a processing unit comprises, to at least parts of the CAD data position-dependent model information, comprising sharpness features and / or photometric features, to derive and that the Device over has a means around the position-dependent Model information to the CAD data to supplement or a separate storage unit for later To supply further processing.