DE102015007145A1

DE102015007145A1 - Method for automatic route evaluation

Info

Publication number: DE102015007145A1
Application number: DE102015007145.9A
Authority: DE
Inventors: Felix Friedmann
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2015-06-03
Filing date: 2015-06-03
Publication date: 2016-12-08

Abstract

Die Erfindung betrifft ein Verfahren zum Auswerten eines optischen Erscheinungsbildes einer Fahrstrecke (28, 29, 30), wobei aus zumindest einem Kraftfahrzeug (3), das auf der Fahrstrecke (28, 29, 30) fährt oder gefahren ist, Videodaten (6), die eine Bildsequenz (13) der Fahrstrecke (28, 29, 30) enthalten, empfangen werden. Aufgabe ist es, die Fahrstrecke hinsichtlich eines subjektiven, emotionalen Attraktivitätskriteriums auszuwerten. Die Aufgabe wird gelöst, indem durch eine Analyseeinrichtung (12) auf der Grundlage der Videodaten (6) zu Bildern (14) der Bildsequenz (13) jeweils ein Übereinstimmungswert (15) betreffend einen Grad einer Übereinstimmung des Bildes (14) mit dem vorbestimmten Attraktivitätskriterium ermittelt wird und die Übereinstimmungswerte (15) der einzelnen Bilder (14) zu einem Bewertungssignal (10) für die Bildsequenz (13) kombiniert werden und das Bewertungssignal (10) als eine Beschreibung des Erscheinungsbildes der Fahrstrecke (28, 29, 30) bereitgestellt wird.The invention relates to a method for evaluating an optical appearance of a route (28, 29, 30), wherein from at least one motor vehicle (3) traveling on the route (28, 29, 30), video data (6), which contain a picture sequence (13) of the route (28, 29, 30). The task is to evaluate the route in terms of a subjective, emotional attractiveness criterion. The object is achieved by an analysis device (12) on the basis of the video data (6) to images (14) of the image sequence (13) each have a match value (15) regarding a degree of coincidence of the image (14) with the predetermined attractiveness criterion is determined, and the match values (15) of the individual images (14) are combined into an evaluation signal (10) for the image sequence (13) and the evaluation signal (10) is provided as a description of the appearance of the travel route (28, 29, 30) ,

Description

Die Erfindung betrifft ein Verfahren zum Auswerten eines optischen Erscheinungsbildes einer Fahrstrecke. Durch die Auswertung wird ermittelt, ob die Fahrstrecke oder Teile der Fahrstrecke zum Beispiel landschaftlich besonders schön ist oder architektonische Sehenswürdigkeiten aufweist. Durch die Erfindung wird ein Verfahren weitergebildet, das aus der US 2006/0271286 A1 bekannt ist.The invention relates to a method for evaluating an optical appearance of a route. Through the evaluation, it is determined whether the route or parts of the route, for example, is particularly scenic or has architectural landmarks. By the invention, a method is developed, which from the US 2006/0271286 A1 is known.

Bei dem bekannten Verfahren werden durch Kraftfahrzeuge Videodaten mit Bildsequenzen von Fahrstrecken eines Straßennetzes erfasst. Die Videodaten werden zentral in einem Server gesammelt und einem Benutzer angezeigt, wenn sich dieser über die Fahrstrecke informieren möchte. Falls sehr viele Kraftfahrzeuge Videodaten erzeugen, ergibt sich, dass jede Fahrstrecke mehrfach gefilmt wird. Um eine Auswahl aus den Videodaten zu treffen, müssen Personen das Bildmaterial sichten und bewerten. Nur hierdurch ist es möglich, schlechte Videoaufnahmen von guten, für die Fahrstrecke repräsentativen Filmaufnahmen zu unterscheiden. Dies macht das Verfahren aufwändig.In the known method, video data is captured by motor vehicles with image sequences of routes of a road network. The video data is collected centrally in a server and displayed to a user, if he wants to find out about the route. If a large number of motor vehicles generate video data, it follows that each route is filmed several times. To make a selection from the video data, people need to view and rate the footage. Only this makes it possible to distinguish bad video recordings of good, representative of the route filming. This makes the process expensive.

Aus der WO 2014/054288 A1 ist ein Verfahren bekannt, bei welchem durch mehrere Kraftfahrzeuge Videodaten erzeugt werden, die eine Bildsequenz einer Fahrstrecke darstellen. Aus den Videodaten wird diejenige Bildsequenz ausgewählt, welche die Fahrstrecke ohne darauf fahrende Fahrzeuge oder mit der geringsten Anzahl an Fahrzeugen zeigt. Dieses Bild wird dann Fahrern zur Verfügung gestellt, damit diese auch bei dichtem Verkehr einen Eindruck von der Straßenführung oder dem Straßenverlauf gewinnen können.From the WO 2014/054288 A1 a method is known in which video data is generated by a plurality of motor vehicles, which represent an image sequence of a route. From the video data that image sequence is selected, which shows the route without driving vehicles or with the least number of vehicles. This image is then made available to drivers, so that they can gain an impression of the road or the road even in heavy traffic.

Aus der US 2009/0171568 A1 ist ein Verfahren zum Darstellen von Bildern in Abhängigkeit von einem aktuellen Aufenthaltsort eines Kraftfahrzeugs bekannt. Hierdurch können einem Fahrer Landmarken oder markante Objekte angezeigt werden, wenn sich der Fahrer diesem Objekt nähert. Hierdurch kann einem Fahrer ein Anhaltspunkt vermittelt werden, wo er beispielsweise mit seinem Kraftfahrzeug abbiegen muss.From the US 2009/0171568 A1 For example, a method for displaying images in dependence on a current location of a motor vehicle is known. As a result, a driver landmarks or distinctive objects can be displayed when the driver approaches this object. As a result, a clue can be conveyed to a driver, where he has to turn, for example, with his motor vehicle.

Einem Fahrer ist es heutzutage also möglich, vor Antritt einer Fahrt einen Eindruck von verschiedenen Fahrrouten zu gewinnen, die zu einem von ihm gewählten Ziel führen. Des Weiteren kann er sich beispielsweise im Internet Fotos, Videos und Bewertungen von Fahrrouten ansehen.Nowadays, it is possible for a driver to gain an impression of different driving routes leading to a destination of his choice before starting a journey. Furthermore, he can, for example, on the Internet view photos, videos and reviews of driving routes.

Um eine Routenauswahl automatisiert durchzuführen, ist Voraussetzung, dass das Bildmaterial, also Fotos und Videos, von anderen Personen schon einmal ausgewertet und kategorisiert wurde. Handelt es sich um abstrakte, beispielsweise emotionale, Kriterien wie beispielsweise eine Bewertung der „landschaftlichen Schönheit”, so ist man auf das Urteilsvermögen einer anderen Person angewiesen. Ansonsten lässt sich eine Suche nach einer „landschaftlich schönen” Fahrroute nicht automatisiert durchführen.In order to carry out a route selection automatically, the prerequisite is that the image material, ie photos and videos, has already been evaluated and categorized by other persons. If it is an abstract, for example, emotional, criteria such as an assessment of "scenic beauty", it depends on the judgment of another person. Otherwise, a search for a "scenic" route can not be automated.

Ein zweites Problem besteht in der Auswertung der Menge der Videodaten selbst. Werden über mehrere Kraftfahrzeuge, in denen jeweils eine Videokamera Bildsequenzen von der Umgebung erfasst werden, zentral in einem Server gesammelt, so ist der Aufwand, diese umfangreichen Videodaten zu sichten, wirtschaftlich nicht mehr vertretbar.A second problem is the evaluation of the amount of video data itself. If several motor vehicles, in each of which a video camera captures image sequences from the environment, are collected centrally in a server, then the effort to view this extensive video data is no longer economically viable justifiable.

Der Erfindung liegt die Aufgabe zugrunde, ein optisches Erscheinungsbild von Fahrstrecken auszuwerten, um eine systematische Suche einer Fahrroute in Abhängigkeit von deren optischen Erscheinungsbild zu ermöglichen.The invention has for its object to evaluate an optical appearance of routes to allow a systematic search of a route in dependence on their visual appearance.

Die Aufgabe wird durch den Gegenstand des unabhängigen Patentanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.The object is solved by the subject matter of the independent patent claim. Advantageous developments of the invention will become apparent from the features of the dependent claims.

Erfindungsgemäß wird ein Verfahren bereitgestellt, das zum Auswerten eines optischen Erscheinungsbildes einer Fahrstrecke dient. Eine Fahrstrecke ist in diesem Zusammenhang beispielsweise ein Streckenabschnitt in einem Straßenverkehrsnetz, also beispielsweise eine Straße oder ein Straßenzug. In der bereits beschriebenen Weise werden aus zumindest einem Kraftfahrzeug, das auf der Fahrstrecke fährt oder auf der Fahrstrecke gefahren ist, Videodaten empfangen. Bevorzugt sind mehrere Kraftfahrzeug vorgesehen. Die Videodaten jedes Kraftfahrzeugs enthalten eine Bildsequenz oder ein Video der Fahrstrecke. Die Videodaten können beispielsweise durch einen zentralen Server des Internets, also eine an das Internet angeschlossene Recheneinrichtung, empfangen werden. Durch eine Analyseeinrichtung wird auf Grundlage der Videodaten zu Bildern der Bildsequenz jeweils ermittelt, zu welchem Grad oder Anteil oder Prozentsatz das Bild mit einem vorbestimmten Attraktivitätskriterium übereinstimmt. Hierzu wird ein entsprechender Übereinstimmungswert ermittelt, also beispielsweise ein Wert in einem Bereich von 0 bis 100 Prozent. Das Attraktivitätskriterium kann beispielsweise eine „landschaftlich schöne” Fahrstrecke oder eine „architektonisch schöne” Fahrstrecke bezeichnet oder definieren. Der Übereinstimmungswert besagt dann, inwieweit oder zu welchem Grad die durch die Videodaten dargestellte Fahrstrecke dem Attraktivitätskriterium entspricht. Hierzu werden beispielsweise für einzelne Bilder der Bildsequenz jeweils Vergleiche zwischen dem Bild und einer optischen Eigenschaft, durch welche das Attraktivitätskriterium charakterisiert ist, durchgeführt. Beispielsweise können Grünflächen, also grüne Bildbereiche, für eine landschaftlich schöne Umgebung repräsentativ sein. In Abhängigkeit vom Anteil einer jeweiligen optischen Eigenschaft (grüne Bildbereiche, Bildbereiche mit Gebäudestrukturen) kann dann der Übereinstimmungswert festgelegt werden.According to the invention, a method is provided which serves for evaluating an optical appearance of a driving route. A route is in this context, for example, a section of a road network, so for example, a road or a street. In the manner already described, video data is received from at least one motor vehicle driving on the route or driven on the route. Preferably, several motor vehicles are provided. The video data of each motor vehicle includes a picture sequence or video of the route. The video data can be received, for example, by a central server of the Internet, that is to say a computer connected to the Internet. By an analysis device is determined based on the video data to images of the image sequence, respectively, to what degree or proportion or percentage of the image matches a predetermined attractiveness criterion. For this purpose, a corresponding match value is determined, that is, for example, a value in a range of 0 to 100 percent. The attractiveness criterion may for example designate or define a "scenic" route or an "architecturally beautiful" route. The match value then indicates to what extent or to what degree the route represented by the video data corresponds to the attractiveness criterion. For this purpose, for example, comparisons are made between the image and an optical property by which the attractiveness criterion is characterized for individual images of the image sequence. For example, green areas, so green image areas, for a scenic environment to be representative. Depending on the proportion of a respective optical property (green image areas, image areas with building structures), the match value can then be determined.

Durch die Analyseeinrichtung wird zu mehreren oder allen Bildern der Bildsequenz jeweils ein Übereinstimmungswert erzeugt. Die Übereinstimmungswerte werden gemäß dem erfindungsgemäßen Verfahren zu einem Bewertungssignal für die Bildsequenz kombiniert. Mit anderen Worten stellen die Übereinstimmungswerte der Bilder Amplitudenwerte des Bewertungssignals dar. Das Bewertungssignal wird dann als eine Beschreibung des Erscheinungsbildes der Fahrstrecke bereitgestellt. Es kann beispielsweise zusammen mit den Videodaten bereitgestellt werden oder in die Videodaten integriert sein. Mittels des Verfahrens können natürlich auch mehrere Fahrstrecken in der beschriebenen Weise mit einem Bewertungssignal versehen werden.The analysis device generates a match value for several or all images of the image sequence. The match values are combined according to the method of the present invention into an evaluation signal for the image sequence. In other words, the coincidence values of the images represent amplitude values of the evaluation signal. The evaluation signal is then provided as a description of the appearance of the travel route. For example, it may be provided along with the video data or integrated into the video data. By means of the method, it is of course also possible to provide a plurality of routes in the manner described with an evaluation signal.

Durch die Erfindung ergibt sich der Vorteil, dass Videodaten, die von Kraftfahrzeugen beispielsweise mittels Videokameras während einer Fahrt generiert werden, in automatisierter Form durch eine zentrale Recheneinrichtung, beispielsweise einen Internetserver, in Bezug auf ein Attraktivitätskriterium bewertet werden. Die Bildsequenz der Videodaten wird somit um ein Bewertungssignal ergänzt, welches zu einzelnen Abschnitten der Fahrstrecke jeweils einen Übereinstimmungswert oder Zugehörigkeitsgrad zu dem Attraktivitätskriterium angibt. Somit steht mit dem Bewertungssignal eine Beschreibung des Erscheinungsbildes der Fahrstrecke für eine weitere automatisierte Bearbeitung bereit. Es ist nicht nötig, die Videodaten durch eine Person auszuwerten. Die genannte Analyseeinrichtung kann z. B. ein Programmmodul der Recheneinrichtung umfassen. Die Analyseeinrichtung kann z. B. auf der Grundlage eines Klassifikators oder eines Algorithmus für eine Klassifikation gebildet sein.The invention provides the advantage that video data generated by motor vehicles, for example by means of video cameras during a journey, are evaluated in automated form by a central computing device, for example an internet server, in relation to an attractiveness criterion. The image sequence of the video data is thus supplemented by an evaluation signal, which in each case specifies an agreement value or degree of membership to the attractiveness criterion for individual sections of the route. Thus, the evaluation signal provides a description of the appearance of the route for further automated processing. It is not necessary to evaluate the video data by a person. The mentioned analysis device can, for. B. include a program module of the computing device. The analysis device can, for. B. based on a classifier or an algorithm for a classification.

Die Erfindung weist optionale Weiterbildungen auf, durch deren Merkmale sich zusätzliche Vorteile ergeben.The invention has optional refinements, by the characteristics of which additional advantages arise.

Gemäß einer Weiterbildung der Erfindung ermittelt die Analyseeinrichtung den Übereinstimmungswert jedes Bildes mittels eines neuronalen Netzes. Durch das neuronale Netz werden Bildelemente des Bildes in einem einstufigen oder mehrstufigen Verarbeitungsprozess gruppiert. Mit anderen Worten werden die Bildelemente zusammengefasst. Dies ergibt in vorteilhafter Weise eine Abstraktion oder Abstrahierung der Bildelemente hin zu repräsentativen Zahlen oder Werten. Beispielsweise können grüne Bildelemente in einem Bild zu einer grünen Region zusammengefasst werden, welche dann durch einen einzelnen Wert repräsentiert werden kann, der beispielsweise den Grünflächen- oder Laubanteil im Bild repräsentieren kann. Mittels des neuronalen Netzes kann alternativ zur Auswertung eines einzelnen Bildes auch vorgesehen sein, zum Ermitteln des einen Übereinstimmungswerts das Bild und zumindest ein weiteres Bild der Bildsequenz zugrunde zu legen. Hierdurch ergibt sich in vorteilhafter Weise ein Glättungseffekt oder Stabilisierungseffekt. Besonders bevorzugt wird ein sogenanntes tiefes neuronales Netz verwendet, das insbesondere mehr als drei neuronale Schichten aufweist. Hierdurch kann allein mittels eines neuronalen Netzes eine Abstraktion des Bildes hin zu einem einzelnen Übereinstimmungswert erreicht werden. Es ist dann keine zusätzliche Nachbearbeitung zum Berechnen des Übereinstimmungswerts nötig.According to one embodiment of the invention, the analysis device determines the matching value of each image by means of a neural network. The neural network groups image elements of the image in a single-stage or multi-stage processing process. In other words, the picture elements are combined. This advantageously results in abstraction or abstraction of the picture elements towards representative numbers or values. For example, green pixels in an image may be grouped into a green region, which may then be represented by a single value, which may represent, for example, the green area or foliage portion in the image. By means of the neural network, as an alternative to the evaluation of a single image, it can also be provided to use the image and at least one further image of the image sequence to determine the one match value. This results in an advantageous manner, a smoothing effect or stabilization effect. Particularly preferably, a so-called deep neural network is used, which in particular has more than three neural layers. As a result, an abstraction of the image towards a single match value can be achieved solely by means of a neural network. There is no need for additional post processing to calculate the match score.

Gemäß einer Weiterbildung der Erfindung werden zum Konfigurieren des neuronalen Netzes mittels einer unüberwachten Lernmethode (Englisch: unsupervised learning) Trainingsbilder untereinander verglichen und in Gruppen eingeteilt. Mit anderen Worten kann in vorteilhafter Weise beim Konfigurieren des neuronalen Netzes darauf verzichtet werden, die entscheidenden Bildelemente durch eine Person herauszusuchen oder zu markieren. Durch Vergleichen von Trainingsbildern wird in automatisierter Form ermittelt, welche Bildbereiche für das Unterscheiden zwischen den Trainingsbildern wichtig sind. Beispielsweise unterscheiden sich Trainingsbilder nur geringfügig im Bereich des vorausliegenden Straßenabschnitts, der in allen Trainingsbildern mit hoher Wahrscheinlichkeit gleich grau ist. Das neuronale Netz wird somit insbesondere für die Bild-Randbereiche empfindlich oder sensibilisiert, in denen in Abhängigkeit von der landschaftlichen Beschaffenheit Farben und Strukturen anders sind. Eine der Gruppen kann hierbei dann beispielsweise einen grauen Randbereich für eine Fahrt durch ein Stadtgebiet aufweisen und eine zweite Gruppe für einen grünen Randbereich stehen, wie er sich bei einer Fahrt durch eine Landschaft ergibt.According to one embodiment of the invention, training images are compared with each other and divided into groups for configuring the neural network by means of an unsupervised learning method (English: unsupervised learning). In other words, when configuring the neural network, it is advantageously possible to dispense with selecting or marking the decisive picture elements by a person. By comparing training images, it is automatically determined which image areas are important for distinguishing between the training images. For example, training images differ only slightly in the area of the road ahead, which is most likely the same gray in all training images. The neural network is thus sensitive or sensitized, in particular, to the image border areas in which colors and structures are different depending on the landscape. One of the groups can then, for example, have a gray border area for a drive through a city area and a second group stand for a green border area, as is the case when driving through a landscape.

Algorithmen zum Durchführen eines unüberwachten Lernens eines neuronalen Netzes sind an sich aus dem Stand der Technik bekannt. Durch das Gruppieren ergibt sich aber noch keine Möglichkeit, einem Bild mittels des neuronalen Netzes einen Übereinstimmungswert bezüglich eines Attraktivitätskriteriums zuzuordnen.Algorithms for performing unsupervised learning of a neural network are well known in the art. By means of grouping, however, there is still no possibility of assigning to a picture by means of the neural network a match value with regard to an attractiveness criterion.

In einem weiteren Schritt werden deshalb Beispielbilder, denen ein vorbestimmter Übereinstimmungswert zugeordnet ist, jeweils einer der Gruppen zugeordnet. Hierbei kann es sich um eine sehr geringe Anzahl von Bildern handeln, die von Personen bewertet worden sein können. Beispielsweise können Personen feststellen, dass ein Beispielbild besonders schöne landschaftliche Elemente enthält. Wird dann dieses Bild einer der Gruppen zugeordnet (in welcher sich z. B. Bilder mit grünem Randbereich befinden), so ist dann klar, dass Bilder der Bildsequenz, die durch das neuronale Netz dieser Gruppe zugeordnet werden, offenbar von einer Person als landschaftlich schön eingestuft werden. Dagegen wird ein Beispielbild, das während einer Fahrt durch ein Stadtgebiet erzeugt worden ist, von der Person nicht als landschaftlich schön eingestuft. Wird dann dieses Beispielbild einer anderen Gruppe (z. B. mit grauem Randbereich in den Bildern) zugeordnet, so wird diesem Bild ein kleinerer Übereinstimmungswert zugeordnet als einem Bild, das der Gruppe mit grünem Randbereich zugeordnet wird. Durch die Weiterbildung ergibt sich der Vorteil, dass eine Vielzahl von Trainingsbildern ohne eine Auswertung durch Bedienpersonen verarbeitet werden kann und lediglich eine verhältnismäßig zu den Trainingsbildern geringe Anzahl an Beispielbildern zum abschließenden Konfigurieren des neuronalen Netzes nötig ist. Das Verhältnis an der Anzahl an Beispielbildern zur Anzahl an Trainingsbildern kann beispielsweise weniger als 1 Prozent betragen. Hierdurch lässt sich die Analyseeinrichtung in einem automatisierten Prozess konfigurieren, der lediglich einen Eingriff von Benutzerpersonen bei dem Bestimmen des Grades der Übereinstimmung der Beispielbilder mit dem Attraktivitätskriterium erfordert.In a further step, therefore, example images to which a predetermined match value is assigned are each assigned to one of the groups. This can be a very small number of images that may have been rated by people. For example, people may find that a sample image contains beautiful scenic elements. Will this image be one of the groups It is then clear that images of the image sequence assigned by the neural network of this group are apparently classified by a person as being scenically beautiful (in which, for example, images with a green border area are located). In contrast, a sample image that has been generated during a trip through a city area, classified by the person not as scenic. If this example image is then assigned to another group (eg with a gray border area in the images), this image is assigned a smaller match value than an image that is assigned to the group with a green border area. The development results in the advantage that a large number of training images can be processed without an evaluation by operators and only a relatively small number of sample images for the final configuration of the neural network is necessary for the training images. For example, the ratio of the number of sample images to the number of training images may be less than 1 percent. This allows the analyzer to be configured in an automated process that requires only operator intervention in determining the degree of match of the example images with the attractiveness criterion.

Besonders vorteilhaft ist diese Ausführungsform im Zusammenhang mit einem Attraktivitätskriterium, das sich auf subjektive, von zumindest einer Person bereitzustellende Einschätzungen eines ästhetischen Empfindens beziehen. Die Beispielbilder werden somit bei einer entsprechenden Weiterbildung jeweils mit einer subjektiven, von zumindest einer Person bereitgestellten Einschätzung einer in dem Beispielbild dargestellten Fahrstrecke bereitgestellt. Es erfolgt also eine Einschätzung in Bezug auf das Attraktivitätskriterium. Die Einschätzung gibt insbesondere eine landschaftliche Schönheit oder eine architektonische Schönheit oder einen Grad der Abgeschiedenheit der Fahrstrecke an. Beispielsweise kann die Einschätzung also besagen, dass die in dem Beispielbild dargestellte Fahrstrecke landschaftlich sehr schön oder nicht schön ist. Insbesondere kann auch eine Einteilung gemäß einer Skala erfolgen, also ein Wert für den zu beurteilenden oder einzuschätzenden subjektiven Eindruck. Beispielsweise kann die Person der Fahrstrecke für das Attraktivitätskriterium „landschaftlich schön” einen Wert in einem Bereich von 0 bis 100 Prozent zuteilen.This embodiment is particularly advantageous in connection with an attractiveness criterion which relates to subjective assessments of an aesthetic sensibility to be provided by at least one person. The example images are thus provided in a corresponding development each with a subjective, provided by at least one person assessment of a route shown in the example image. Thus, an assessment is made with respect to the attractiveness criterion. The assessment indicates in particular a scenic beauty or an architectural beauty or a degree of seclusion of the route. For example, the assessment may therefore say that the route shown in the example image is very scenic or not beautiful. In particular, a classification according to a scale can also be made, that is, a value for the subjective impression to be assessed or estimated. For example, the person may assign a value in the range of 0 to 100 percent for the attractiveness criterion "beautiful landscape".

Gemäß einer Weiterbildung der Erfindung wird aus dem Bewertungssignal ein Gesamtwert für die Fahrstrecke berechnet. Es kann sich hierbei beispielsweise um einen arithmetischen oder geometrischen Mittelwert des Bewertungssignals handeln. Es kann auch beispielsweise das gemittelte Bewertungssignal dann noch in Intervalle unterteilt werden, um beispielsweise eine Zugehörigkeitsstufe (beispielsweise 3 von 5 Sternen) zu dem Attraktivitätskriterium anzugeben. Durch Bereitstellen eines einzelnen Gesamtwerts für die gesamte Fahrstrecke ergibt sich der Vorteil, dass beim Vergleichen mehrerer Fahrstrecken ein besonders geringer Berechnungsaufwand entsteht.According to one embodiment of the invention, a total value for the route is calculated from the evaluation signal. This may be, for example, an arithmetic or geometric mean value of the evaluation signal. It is also possible, for example, to subdivide the averaged evaluation signal into intervals, for example to specify a membership level (for example 3 out of 5 stars) for the attractiveness criterion. By providing a single total value for the entire route, there is the advantage that when comparing multiple routes a particularly low computational effort arises.

Gemäß einer Weiterbildung der Erfindung wird ein Maximalbereich des Bewertungssignals detektiert. In dem Maximalbereich ist zumindest einer der Übereinstimmungswerte des Bewertungssignals, also eine Amplitude des Bewertungssignals, größer als ein vorbestimmter Schwellenwert. Aus der Bildsequenz wird dann zumindest ein zu dem Maximalbereich korrespondierendes Bild der Bildsequenz ermittelt und ausgegeben. Mit anderen Worten wird in Abhängigkeit von der Abspieldauer entweder ein Videosignal aus mehreren Bildern oder nur ein einzelnes Bild ausgegeben, wobei die Bilder jeweils gemäß dem Bewertungssignal mit dem Attraktivitätskriterium einen Übereinstimmungswert aufweisen, der größer als der Schwellenwert ist. Es wird also in dem Bewertungssignal ein lokales Maximum oder das globale Maximum ermittelt und das zumindest eine Bild aus diesem Maximalbereich ausgegeben. Der Benutzer erhält dann zumindest ein Bild der Bildsequenz, das besonders repräsentativ in Bezug auf das Attraktivitätskriterium ist. Hierdurch ergibt sich der Vorteil, dass in automatisierter Form ein besonders aussagekräftiges Bild der Bildsequenz oder einen aussagekräftigen Filmausschnitt aus der Bildsequenz bereitgestellt wird.According to one embodiment of the invention, a maximum range of the evaluation signal is detected. In the maximum range, at least one of the coincidence values of the evaluation signal, that is to say an amplitude of the evaluation signal, is greater than a predetermined threshold value. At least one image of the image sequence corresponding to the maximum area is then determined and output from the image sequence. In other words, depending on the playing time, either one video signal is output from a plurality of pictures or only a single picture, the pictures each having a matching value which is greater than the threshold value in each case in accordance with the rating signal with the attractiveness criterion. Thus, a local maximum or the global maximum is determined in the evaluation signal and the at least one image is output from this maximum range. The user then obtains at least one image of the image sequence which is particularly representative of the attractiveness criterion. This has the advantage that a particularly meaningful image of the image sequence or a meaningful film excerpt from the image sequence is provided in an automated form.

Gemäß einer Weiterbildung der Erfindung wird zu den Bildern der Bildsequenz jeweils zusätzlich ein anhand eines vorbestimmten Qualitätsmaßes festgelegter Qualitätswert einer optischen Qualität des Bildes erzeugt. Das Qualitätsmaß kann beispielsweise ein Signal-zu-Rausch-Verhältnis und/oder eine Bildschärfe angeben. Die Bildschärfe und das Signal-zu-Rausch-Verhältnis können in an sich bekannter Weise ermittelt werden. Es kann auch ein Maß für eine Verdeckung durch ein vorausfahrendes Fahrzug ermittelt werden. Alternativ dazu kann mittels eines weiteren neuronalen Netzes in der beschriebenen Weise für jedes der genannten Bilder ein Qualitätswert ermittelt werden, wobei hier wieder Trainingsbilder und Beispielbilder zum Ermöglichen eines unbeaufsichtigten Lernens und anschließenden Konfigurierens zugrundegelegt werden können. Die Qualitätswerte der Bilder werden dann zu einem Qualitätssignal kombiniert. Ist nun ein Maximalbereich des Bewertungssignals ermittelt worden, so kann das zumindest eine Bild aus dem Maximalbereich zusätzlich in Abhängigkeit von dem Qualitätssignal ermittelt werden. Hierdurch ergibt sich der Vorteil, dass das zumindest eine zum Maximalbereich korrespondierende Bild auch hinsichtlich der Bildqualität ausgewählt wird. Somit kann sichergestellt werden, dass das ausgegebene Bild eine vorbestimmte Mindestqualität aufweist, also z. B. eine freie Sicht auf die Umgebung dargestellt ist.According to a development of the invention, a quality value of an optical quality of the image determined in each case additionally on the basis of a predetermined quality measure is additionally generated for the images of the image sequence. The quality measure can specify, for example, a signal-to-noise ratio and / or a sharpness. The image sharpness and the signal-to-noise ratio can be determined in a manner known per se. It can also be determined a measure of a cover by a preceding vehicle. Alternatively, by means of a further neural network in the manner described, a quality value can be determined for each of the aforementioned images, whereby again training images and sample images for enabling unattended learning and subsequent configuration can be used as a basis. The quality values of the images are then combined to form a quality signal. If a maximum range of the evaluation signal has now been determined, then the at least one image from the maximum range can additionally be determined as a function of the quality signal. This results in the advantage that the at least one image corresponding to the maximum area is also selected with regard to the image quality. Thus, it can be ensured that the output image is a predetermined one Has minimum quality, ie z. B. a clear view of the environment is shown.

Eine Weiterbildung der Erfindung betrifft die Frage, ob aus dem Maximalbereich ein Einzelbild oder ein Videosignal ausgewählt werden soll. Hierzu wird gemäß der Weiterbildung eine Abspieldauer desjenigen Teils der Bildsequenz, für welchen das Bewertungssignal den Maximalbereich aufweist, ermittelt. Beispielsweise wird die Anzahl der in dem Maximalbereich bereitgestellten oder zur Verfügung stehenden Bilder der Bildsequenz ermittelt. Es kann auch auf der Grundlage der Videodaten eine Abspieldauer in Bezug auf eine normale Abspielgeschwindigkeit ermittelt werden. In Abhängigkeit von der ermittelten Abspieldauer wird entweder der Teil der Bildsequenz, also ein Videosignal, oder nur ein einzelnes Bild aus dem Teil ausgegeben. Hierdurch ergibt sich der Vorteil, dass keine unerwünscht kurzen Videosignale präsentiert werden, die von einem menschlichen Betrachter mental nicht verarbeitet werden können. Hier ist es sinnvoller, ein Standbild oder ruhendes Einzelbild bereitzustellen, das die Person betrachten kann.A development of the invention relates to the question of whether a single image or a video signal should be selected from the maximum range. For this purpose, according to the development, a playing time of that part of the picture sequence for which the evaluation signal has the maximum range is determined. By way of example, the number of images of the image sequence provided or available in the maximum range is determined. It can also be determined based on the video data, a playback time with respect to a normal playback speed. Depending on the determined playback time either the part of the image sequence, ie a video signal, or only a single image is output from the part. This has the advantage that no undesirably short video signals are presented, which can not be mentally processed by a human observer. Here it makes more sense to provide a still or static still image that the person can look at.

Gemäß einer Weiterbildung der Erfindung wird das Bewertungssignal als eine Funktion der Tageszeit und/oder der Jahreszeit und/oder des Wetters gebildet. Mit anderen Worten wird der Übereinstimmungswert zusammen mit der Information bereitgestellt, dass diese Übereinstimmung zu einer vorbestimmten Tageszeit und/oder Jahreszeit und/oder bei einem vorbestimmten Wetter ermittelt wurde. Beispielsweise kann das Attraktivitätskriterium „landschaftliche Schönheit” im Sommer oder im Winter ermittelt worden sein und hierbei zu unterschiedlichen Übereinstimmungswerten der Bilder mit dem Attraktivitätskriterium führen.According to one embodiment of the invention, the evaluation signal is formed as a function of the time of day and / or the season and / or the weather. In other words, the coincidence value is provided along with the information that this match was determined at a predetermined time of day and / or season and / or at a predetermined weather. For example, the attractiveness criterion "scenic beauty" may have been determined in summer or in winter, leading to different match values of the images with the attractiveness criterion.

Gemäß einer Weiterbildung der Erfindung wird in der beschriebenen Weise zu mehreren Fahrstrecken jeweils ein Bewertungssignal erzeugt. Im Zusammenhang mit einer Navigationsassistenz wird zumindest eine Fahrstrecke, die zu einem vorgegebenen Navigationsziel führt, ermittelt. Dem Benutzer wird zu jeder ermittelten Fahrstrecke auf der Grundlage des jeweiligen Bewertungssignals ein Hinweis betreffend das Attraktivitätskriterium ausgegeben. Es kann dann beispielsweise eine Auswahl einer der Fahrstrecken empfangen werden, die z. B. der Benutzer eingibt. Es kann auch vorgesehen sein, dass der Benutzer das Attraktivitätskriterium auswählt und als Fahrstrecke für die Navigationsassistenz dann diejenige ausgewählt wird, welche gemäß ihrem Bewertungssignal das Attraktivitätskriterium ab besten erfüllt, also z. B. den größten Gesamtwert aufweist. Durch die Weiterbildung ergibt sich der Vorteil, dass eine Navigationsassistenz bereitgestellt wird, welche auch subjektive und/oder emotionale Kriterien, nämlich das Attraktivitätskriterium, berücksichtigt.According to one embodiment of the invention, an evaluation signal is generated in each case in the manner described for several routes. In connection with a navigation assistance, at least one route that leads to a predefined navigation destination is determined. The user is given an indication of the attractiveness criterion for each determined route on the basis of the respective evaluation signal. It can then be received, for example, a selection of the routes, the z. B. the user enters. It can also be provided that the user selects the attractiveness criterion and then selects as the route for the navigation assistance that which according to its evaluation signal satisfies the attractiveness criterion from the best, that is to say, for example. B. has the largest total value. The development results in the advantage that a navigation assistance is provided, which also takes into account subjective and / or emotional criteria, namely the attractiveness criterion.

Das erfindungsgemäße Verfahren kann durch eine Recheneinrichtung für das Internet durchgeführt werden. Durch diese Recheneinrichtung können somit dieselben Vorteile verwirklicht werden wie durch das Verfahren.The inventive method can be performed by a computing device for the Internet. By this computing means thus the same advantages can be realized as by the method.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:In the following an embodiment of the invention is described. This shows:

1 eine schematische Darstellung eines Systems, durch welches eine Ausführungsform des erfindungsgemäßen Verfahrens durchgeführt wird, 1 a schematic representation of a system by which an embodiment of the method according to the invention is carried out,

2 Diagramme mit einem schematisierten Verlauf eines Bewertungssignals und eines Qualitätssignals, 2 Diagrams with a schematic progression of an evaluation signal and a quality signal,

3 eine schematische Darstellung einer Navigationsassistenz, und 3 a schematic representation of a navigation assistant, and

4 ein Ablaufdiagramm zu einer Ausführungsform des erfindungsgemäßen Verfahrens. 4 a flowchart for an embodiment of the method according to the invention.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also each independently further develop the invention and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.

1 zeigt ein System 1, welches durch eine Kraftfahrzeugflotte 2 mit mehreren Kraftfahrzeugen 3, eine zentrale Recheneinrichtung 4, beispielsweise einem Internetserver, und ein weiteres Kraftfahrzeug 5 gebildet ist. Durch das System 1 ist es ermöglicht, einem Fahrer des Kraftfahrzeugs 5 zu unterschiedlichen Fahrstrecken jeweils eine Information bereitzustellen, inwieweit diese Fahrstrecken einem abstrakten emotionalen Attraktivitätskriterium genügen, beispielsweise dem Attraktivitätskriterium „landschaftliche Schönheit” oder „architektonische Schönheit” oder „Abgeschiedenheit”. Bei dem System 1 ist es dabei nicht notwendig, dass die Fahrstrecken durch Personen begutachtet werden. Das System 1 ist in der Lage, die Auswertung der Fahrstrecken in automatisierter Form vorzunehmen. 1 shows a system 1 , which by a motor vehicle fleet 2 with several vehicles 3 , a central computing device 4 , For example, an Internet server, and another motor vehicle 5 is formed. Through the system 1 it makes it possible for a driver of the motor vehicle 5 To provide information on different routes, respectively, to what extent these routes meet an abstract emotional appeal criterion, for example, the attractiveness criterion "scenic beauty" or "architectural beauty" or "seclusion". In the system 1 it is not necessary that the routes are inspected by persons. The system 1 is able to carry out the evaluation of the routes in an automated way.

Hierzu erzeugt jedes Kraftfahrzeug 3 der Kraftfahrzeugflotte 2 während einer Fahrt auf einer der Fahrstrecken Videodaten 6, die über eine jeweilige Kommunikationsverbindung 7 an die Recheneinrichtung 4 übertragen werden. Die Kommunikationsverbindung 7 kann beispielsweise über eine Mobilfunkverbindung und/oder eine Internetverbindung hergestellt sein. Die Videodaten 6 können durch die Kraftfahrzeuge 3 jeweils mittels einer Videokamera 8 erzeugt sein. Ein Erfassungsbereich der Videokameras 8 kann dabei jeweils in einem Frontbereich des Kraftfahrzeugs 3 ausgerichtet sein. Die Videodaten 6 enthalten somit jeweils ein Video oder eine Bildsequenz aus Bildern, in denen jeweils eine Umgebung des Kraftfahrzeugs 3 dargestellt ist. Die Videodaten 6 können über ein Funkmodul 9, beispielsweise ein Mobilfunkmodul oder ein WLAN-Funkmodul (WLAN – wireless local area network) über die Kommunikationsverbindung 7 ausgesendet werden.For this purpose, each motor vehicle generates 3 the motor vehicle fleet 2 during a ride on one of the routes video data 6 that over one respective communication connection 7 to the computing device 4 be transmitted. The communication connection 7 can be made for example via a mobile phone connection and / or an Internet connection. The video data 6 can by the motor vehicles 3 each by means of a video camera 8th be generated. A detection area of the video cameras 8th can in each case in a front area of the motor vehicle 3 be aligned. The video data 6 thus each contain a video or an image sequence of images, in each of which an environment of the motor vehicle 3 is shown. The video data 6 can via a wireless module 9 , For example, a wireless module or a WLAN wireless module (WLAN - wireless local area network) via the communication link 7 to be sent out.

Die Videodaten 6 werden durch die Recheneinrichtung 4 dahingehend verarbeitet, dass zu den Bildsequenzen der Videodaten 6 jeweils ein Bewertungssignal 10 und optional ein Qualitätssignal 11 erzeugt werden. Es können auch mehrere Bewertungssignale 10 zu unterschiedlichen Attraktivitätskriterien erzeugt werden. Das Bewertungssignal 10 gibt an, inwieweit einzelne Bilder der Bildsequenz der Videodaten 6 dem abstrakten, emotionalen Attraktivitätskriterium, beispielsweise dem Attraktivitätskriterium „landschaftliche Schönheit” entsprechen. Mit „inwieweit” ist hierbei gemeint, dass ein Übereinstimmungswert für einzelne Bilder der Bildsequenz bereitgestellt wird. Das Qualitätssignal 11 kann zu den Bildern jeweils eine gemäß einem Qualitätskriterium ermittelte Bildqualität angeben. Das Bewertungssignal 10 und das optionale Qualitätssignal 11 werden durch eine Analyseeinrichtung 12 der Recheneinrichtung 4 erzeugt. Die Analyseeinrichtung 12 kann beispielsweise als ein Programmmodul der Recheneinrichtung 4 ausgestaltet sein.The video data 6 be through the computing device 4 processed to that to the image sequences of the video data 6 one evaluation signal each 10 and optionally a quality signal 11 be generated. There may also be several evaluation signals 10 be generated to different attractiveness criteria. The evaluation signal 10 indicates the extent to which individual images of the image sequence of the video data 6 correspond to the abstract, emotional attractiveness criterion, for example the attractiveness criterion "scenic beauty". By "to what extent" is meant herein that a match score is provided for individual pictures of the picture sequence. The quality signal 11 For example, a picture quality determined according to a quality criterion can be specified for the pictures. The evaluation signal 10 and the optional quality signal 11 be through an analysis facility 12 the computing device 4 generated. The analysis device 12 For example, as a program module of the computing device 4 be designed.

2 veranschaulicht, wie zu Videodaten 6 mit der Bildsequenz 13 aus Bildern 14 ein Verlauf der jeweiligen Fahrt des Kraftfahrzeugs 3 entlang der Fahrstrecke über der Zeit t abgebildet ist. Von den Bildern 14 der Bildsequenz 13 sind in 2 nur einige dargestellt. Dargestellt ist, wie jedem Bild 14 durch die Analyseeinrichtung 12 ein Übereinstimmungswert 15 zugeordnet wird, der angibt, zu welchem Grad D oder in welchem Maß der Bildinhalt des Bildes 14 dem Attraktivitätskriterium entspricht. In 2 ist ein Attraktivitätskriterium C1 ausgewertet, die beispielsweise das Attraktivitätskriterium „landschaftliche Schönheit” oder „architektonische Schönheit” oder „Abgeschiedenheit” sein kann. Jeder Übereinstimmungswert 15 kann beispielsweise in einem Bereich von 0 Prozent bis 100 Prozent des Grades D der Übereinstimmung mit dem Attraktivitätskriterium C1 angeben. Durch Kombinieren der Übereinstimmungswerte 15 ergibt sich das Bewertungssignal 10. 2 illustrates how to video data 6 with the picture sequence 13 from pictures fourteen a course of the respective journey of the motor vehicle 3 along the route over the time t is mapped. From the pictures fourteen the picture sequence 13 are in 2 only a few are shown. Shown is like every picture fourteen through the analyzer 12 a match score 15 indicating to what degree D or to what extent the image content of the image fourteen corresponds to the attractiveness criterion. In 2 For example, an attractiveness criterion C1 is evaluated, which can be, for example, the attractiveness criterion "scenic beauty" or "architectural beauty" or "seclusion". Each match value 15 For example, in a range from 0 percent to 100 percent of degree D, it may indicate compliance with attractiveness criterion C1. By combining the match values 15 the result is the evaluation signal 10 ,

In 2 ist des Weiteren ein Maximalbereich 16 des Bewertungssignals 10 veranschaulicht. In diesem Maximalbereich 16 weist das Bewertungssignal 10 Übereinstimmungswerte 15 auf, die größer als ein vorbestimmter Schwellenwert 17 sind. Der Schwellenwert 17 kann beispielsweise den Mittelwert des Bewertungssignals 10 darstellen oder den Mittelwert gewichtet mit einem Faktor, der beispielsweise in einem Bereich von 1,2 bis 2,0 liegen kann.In 2 is also a maximum range 16 the evaluation signal 10 illustrated. In this maximum range 16 indicates the evaluation signal 10 Match scores 15 greater than a predetermined threshold 17 are. The threshold 17 may, for example, the mean of the evaluation signal 10 or weight the mean with a factor that may, for example, be in a range of 1.2 to 2.0.

Das Qualitätssignal 11 kann aus einzelnen Qualitätswerten 18 gebildet sein, die jeweils zu einen der Bilder 14 durch die Analyseeinrichtung 12 ermittelt sein können. In 2 ist dargestellt, wie Bilder im Maximalbereich 16 einen Qualitätseinbruch 19 aufweisen, der beispielsweise durch eine Verdeckung der Kamera 8 durch ein vorausfahrendes Fahrzeug verursacht worden sein kann.The quality signal 11 can be from individual quality values 18 be formed, each one to one of the pictures fourteen through the analyzer 12 can be determined. In 2 is shown as pictures in the maximum range 16 a drop in quality 19 have, for example, by a masking of the camera 8th may have been caused by a preceding vehicle.

In 1 ist des Weiteren dargestellt, wie die Videodaten 6 mit ihrem Bewertungssignal 10 und ihrem Qualitätssignal 11 in einem Speicher 20 gespeichert werden können.In 1 is further shown how the video data 6 with her evaluation signal 10 and their quality signal 11 in a store 20 can be stored.

In dem Kraftfahrzeug 5 kann nun ein Fahrer mittels eines Navigationssystems 21 durch die Recheneinrichtung 4 beim Planen einer Fahrt unterstützt werden. Hierzu können das Navigationssystem 21 und die Recheneinrichtung 4 eine Kommunikationsverbindung 22 aufbauen, die beispielsweise auf der Grundlage eines Funkmoduls 23 des Kraftfahrzeugs 5 und eines Kommunikationsmoduls 24 der Recheneinrichtung 4 gebildet sein kann. Das Kommunikationsmodul 24 kann beispielsweise durch ein Programmmodul und/oder eine Netzwerkanschlusseinrichtung der Recheneinrichtung 4 gebildet sein. Das Funkmodul 23 kann in derselben Weise wie die Funkmodule 9 ausgestaltet sein.In the motor vehicle 5 Now a driver can use a navigation system 21 through the computing device 4 be assisted in planning a trip. For this purpose, the navigation system 21 and the computing device 4 a communication connection 22 build, for example, on the basis of a radio module 23 of the motor vehicle 5 and a communication module 24 the computing device 4 can be formed. The communication module 24 For example, by a program module and / or a network connection device of the computing device 4 be formed. The radio module 23 can work in the same way as the radio modules 9 be designed.

3 veranschaulicht, wie das Navigationssystem 21 oder die Recheneinrichtung 4 auf der Grundlage des Bewertungssignals 10 und des Qualitätssignals 11 die Routenplanung unterstützen kann. 3 illustrates how the navigation system 21 or the computing device 4 based on the evaluation signal 10 and the quality signal 11 can support the route planning.

Das Navigationssystem 21 kann eine Anzeigeeinrichtung 25 aufweisen, beispielsweise einen Bildschirm und/oder eine Kopf-oben-Anzeigeeinrichtung (Head-up-Display) des Kraftfahrzeugs. Für das Beispiel sei angenommen, dass der Fahrer von einer Ausgangsposition 26 des Kraftfahrzeugs 5 aus zu einem Navigationsziel 27 hinfahren möchte. Durch das Navigationssystem 21 seien beispielsweise drei mögliche Fahrstrecken 28, 29, 30 ermittelt worden. Zu den Fahrstrecken 28, 29, 30 kann über die Kommunikationsverbindung 22 jeweils deren Bewertungssignal 10 oder ein daraus gebildeter Gesamtwert 31 ermittelt werden. Es kann dann zu jeder Fahrstrecke 28, 29, 30 beispielsweise ein Gesamtwert 31 ermittelt werden, der als ein Mittelwert des jeweiligen Bewertungssignals 10 berechnet sein kann. In 3 sind beispielhaft Gesamtwerte von 70 Prozent, 59 Prozent und 10 Prozent für die Fahrstrecken 28, 29, 30 ermittelt worden. Der Fahrer ist hierdurch informiert, dass in Bezug auf das Attraktivitätskriterium C1, beispielsweise landschaftliche Schönheit, die Fahrstrecke 28 den höchsten Gesamtwert 31 aufweist, nämlich 70 Prozent.The navigation system 21 can be a display device 25 have, for example, a screen and / or a head-up display (head-up display) of the motor vehicle. For the example, assume that the driver is from a starting position 26 of the motor vehicle 5 out to a navigation destination 27 would like to go there. Through the navigation system 21 be, for example, three possible routes 28 . 29 . 30 been determined. To the routes 28 . 29 . 30 can over the communication connection 22 each their evaluation signal 10 or a total value formed from this 31 be determined. It can then be used on any driving route 28 . 29 . 30 for example, a total value 31 determined as an average of the respective evaluation signal 10 can be calculated. In 3 are exemplary totals of 70 percent, 59 percent and 10 percent for the routes 28 . 29 . 30 been determined. The driver is hereby informed that in relation to the attractiveness criterion C1, for example, scenic beauty, the route 28 the highest total value 31 has 70 percent.

Für die weitere Erläuterung des Beispiels sei angenommen, dass das Bewertungssignal 10 aus 2 zur Fahrstrecke 28 gehört. Durch die Recheneinrichtung 4 und/oder das Navigationssystem 21 kann nun eine Lage des Maximalbereichs 16 entlang der Fahrstrecke 28 ermittelt werden. Zu dem Maximalbereich 16 können dem Fahrer auf der Anzeigeeinrichtung 25 Bildinformationen 32 präsentiert werden, beispielsweise ein einzelnes Bild 14 oder ein Teil der Bildsequenz 13, der aus mehreren Bildern 14 gebildet ist, also ein Videoausschnitt. Die Bildinformationen 32 können dabei auch in Abhängigkeit von dem Qualitätssignal 11 ermittelt werden. Beispielsweise kann berücksichtigt werden, dass keine Bilder aus dem Qualitätseinbruch 19 dargestellt werden. Der Fahrer erhält hierdurch Bildinformationen 32, welches gemäß dem Attraktivitätskriterium C1 der eindrucksvollste oder wichtigste Streckenabschnitt der Fahrstrecke 28 ist und welche optischen Eindrücke ihn erwarten.For the further explanation of the example, it is assumed that the evaluation signal 10 out 2 to the route 28 belongs. By the computing device 4 and / or the navigation system 21 can now be a location of the maximum range 16 along the route 28 be determined. To the maximum range 16 Can the driver on the display device 25 image information 32 presented, for example, a single image fourteen or part of the image sequence 13 that made several pictures fourteen is formed, so a video clip. The picture information 32 can also depend on the quality signal 11 be determined. For example, it can be taken into account that no images from the quality degradation 19 being represented. The driver receives image information 32 , which according to the attractiveness criterion C1 the most impressive or most important stretch of the route 28 is and what optical impressions await him.

In 4 ist beispielhaft dargestellt, wie die Analyseeinrichtung 12 konfiguriert werden kann, um mittels der Analyseeinrichtung 12 zu den Videodaten 6 ein Bewertungssignal 10 und ein Qualitätssignal 11 zu erzeugen. In einem Schritt S1 kann ein Klassifikator, z. B. ein neuronales Netz 33, auf der Grundlage von Trainingsbildern 34 auf der Grundlage einer Methode des unüberwachten Lernens trainiert werden. Das neuronale Netz 33 stellt nur ein Beispiel für einen trainierbaren Klassifikator dar. Als Klassifikator kann z. B. auch eine Support-Vector-Machine oder ein anderer Algorithmus aus dem Fachgebiet der Mustererkennung verwendet werden. Die Trainingsbilder 34 können beispielsweise in Trainings-Bildsequenzen von Fahrstrecken enthalten sein, die von fahrenden Kraftfahrzeuge gefilmt worden sind. Durch das unüberwachte Lernen in Schritt S1 werden die Trainingsbilder 34 in Gruppen eingeteilt, ohne dass hierzu eine Bedienperson die Gruppen definieren müssen. Entsprechende Algorithmen zum unüberwachten Lernen von neuronalen Netzen oder anderen Klassifikatoren sind an sich aus dem Stand der Technik bekannt. Die Trainingsbilder 34 stellen Streckenabschnitte dar, die einen unterschiedlichen Grad an Übereinstimmung mit einem vorbestimmten Attraktivitätskriterium aufweisen. Beispielsweise können die Trainingsbilder 34 während einer Stadtfahrt und einer Fahrt über Land erzeugt worden sein.In 4 is exemplified as the analysis device 12 can be configured to by means of the analysis device 12 to the video data 6 an evaluation signal 10 and a quality signal 11 to create. In a step S1, a classifier, for. B. a neural network 33 , based on training images 34 be trained on the basis of a method of unsupervised learning. The neural network 33 is just one example of a trainable classifier. For example, a support vector machine or other algorithm may be used in the art of pattern recognition. The training pictures 34 may for example be included in training image sequences of routes filmed by moving vehicles. The unsupervised learning in step S1 becomes the training images 34 divided into groups without requiring an operator to define the groups. Corresponding algorithms for unsupervised learning of neural networks or other classifiers are known per se from the prior art. The training pictures 34 represent links that have a different degree of coincidence with a predetermined attractiveness criterion. For example, the training images 34 during a city trip and a trip over land.

In einem Schritt S2 wird das trainierte neuronale Netz 33 nun dahingehend geeicht oder justiert, dass die zunächst bedeutungslosen Gruppen, in welche die Trainingsbilder 34 mittels des unüberwachten Lernens eingeteilt worden sind, nun einen jeweiligen Übereinstimmungsgrad oder Übereinstimmungswert zugeteilt bekommen, wobei der Übereinstimmungswert die Übereinstimmung in Bezug auf ein vorgegebenes Attraktivitätskriterium darstellt. Hierzu werden Beispielbilder 35 mit einem jeweils vorgegebenen Übereinstimmungswert 15 ermittelt. Dies kann beispielsweise durch Personen ermittelt werden. In dem Schritt S2 wird ermittelt, welcher der Gruppen 35 die Beispielbilder 35 zugeordnet werden. So kann jeder der Gruppen 35 ein entsprechender Übereinstimmungswert 15 zugeordnet werden.In a step S2, the trained neural network 33 now calibrated or adjusted so that the initially meaningless groups, in which the training images 34 have been assigned by means of unsupervised learning, are now assigned a respective degree of matching or match, the match score representing the match with respect to a given attractiveness criterion. For this example pictures are 35 with a given match score 15 determined. This can be determined, for example, by persons. In step S2, it is determined which of the groups 35 the example pictures 35 be assigned. So everyone can do the groups 35 a corresponding match score 15 be assigned.

In einem Schritt S4 kann in vergleichbarer Weise ein weiteres neuronales Netz 37 oder ein anderer Klassifikator auf der Grundlage von Trainingsbildern 38 trainiert werden. Die Trainingsbilder 38 stellen dabei Fahrstrecken in unterschiedlicher Bildqualität dar. Die Bildqualität kann z. B. durch ein Signal-zu-Rausch-Verhältnis und/oder eine Schärfe des Bildes und/oder einen Verdeckungsgrad durch vorausfahrende Fahrzeuge definiert sein. In einem Schritt S5 kann auf der Grundlage von Beispielbildern 39, denen jeweils ein Qualitätswert 18 zugeordnet worden ist, das trainierte neuronale Netz 37 in der beschriebenen Weise geeicht oder konfiguriert werden. Auch die Qualitätswerte 18 der Beispielbilder 39 können von Personen festgelegt worden sein.In a step S4, a similar neural network can be used in a similar way 37 or another classifier based on training images 38 be trained. The training pictures 38 represent thereby distances in different image quality. The image quality can be z. B. be defined by a signal-to-noise ratio and / or a sharpness of the image and / or a degree of coverage by preceding vehicles. In a step S5, based on example images 39 which each have a quality value 18 has been assigned, the trained neural network 37 calibrated or configured in the manner described. Also the quality values 18 the example pictures 39 may have been set by persons.

In einem Schritt S6 wird dann durch die Analyseeinrichtung 12 auf der Grundlage der neuronalen Netze 33, 37 eine Bildsequenz 13 aus den Videodaten 6 verarbeitet. Hierdurch entstehen in der beschriebenen Weise zu den Videodaten 6 ein Bewertungssignal 10 und ein Qualitätssignal 11. Dies wird dadurch erreicht, dass jedem Bild der Bildsequenz 13 ein Übereinstimmungswert 15 und ein Qualitätswert 18 zugeordnet wird. In einem Schritt S7 können die erzeugten Signale in dem Speicher 20 gespeichert werden. In einem Schritt S8 kann beispielsweise durch die Recheneinrichtung 4 zu Fahrstrecken 28, 29, 30, die ein Navigationssystem 21 ermittelt hat, jeweils das Bewertungssignal 10 ermittelt werden.In a step S6 is then by the analysis device 12 based on the neural networks 33 . 37 a picture sequence 13 from the video data 6 processed. This results in the manner described to the video data 6 an evaluation signal 10 and a quality signal 11 , This is achieved by giving each image of the image sequence 13 a match score 15 and a quality value 18 is assigned. In a step S7, the generated signals in the memory 20 get saved. In a step S8, for example, by the computing device 4 to routes 28 . 29 . 30 that have a navigation system 21 has determined each, the evaluation signal 10 be determined.

In einem Schritt S9 kann durch das Navigationssystem 21 diejenige Fahrstrecke 28 für die Navigationsassistenz ausgewählt werden, welche den höchsten Gesamtwert 31 aufweist oder welche der Fahrer nach Betrachtung der Bildinformationen 32 auswählt. Hierbei ist dann sichergestellt, dass die Routenführung entlang einer Fahrstrecke 28 führt, die gemäß des Attraktivitätskriteriums C1 die günstigste oder beste Fahrroute darstellt.In a step S9 can by the navigation system 21 the route 28 for the navigation assistant, which has the highest total value 31 or which of the drivers after viewing the image information 32 selects. It is then ensured that the route guidance along a route 28 leads, which represents the cheapest or best route according to the attractiveness criterion C1.

Durch das Beispiel ist gezeigt, wie die Recheneinrichtung 4 auf der Grundlage von maschinellem Lernen, insbesondere mittels tiefer neuronaler Netze, es ermöglicht, Bild- und Videoaufnahmen hinsichtlich abstrakter emotionaler Kriterien, wie beispielsweise der landschaftlichen Schönheit, automatisch zu bewerten. Die Mitglieder einer Fahrzeugflotte 2 oder eines Fahrzeugschwarms erfassen permanent Videoaufnahmen der von ihnen abgefahrenen Fahrstrecken und hinterlegen die Aufnahmen auf einem Server, der durch die Recheneinrichtung 4 gebildet ist. Aus den gesammelten Videoaufnahmen werden durch maschinelles Lernen automatisch für jedes Bild im Videosignal Werte für Attraktivitätskriterien wie landschaftliche Schönheit, architektonische Schönheit, Abgeschiedenheit extrahiert. Durch dieses Vorgehen ergibt sich ein Signalverlauf für die jeweiligen Attraktivitätskriterien. Für die Routenbewertung kann jedes Bewertungssignal, beispielsweise durch Bildung eines Mittelwerts, zu einem einzigen Gesamtwert zusammengefasst werden, um eine kompakte Aussage zu einer Fahrstrecke zu erhalten.The example shows how the computing device 4 on the basis of machine learning, in particular by means of deep neural networks, it allows image and video recordings automatically evaluate with respect to abstract emotional criteria, such as scenic beauty. The members of a vehicle fleet 2 or a swarm of vehicles constantly capture video footage of the tracks they have traveled and deposit the recordings on a server that is run by the computing device 4 is formed. From the collected video recordings, machine learning automatically extracts values for attractiveness criteria such as scenic beauty, architectural beauty, seclusion for each image in the video signal. This procedure results in a signal course for the respective attractiveness criteria. For the route evaluation, each evaluation signal, for example by forming an average value, can be combined into a single total value in order to obtain a compact statement about a route.

Für lokale Maxima der Bewertungssignale zu den Attraktivitätskriterien können Einzelbilder oder kurze Videoclips an der entsprechenden Position in den Videosequenzen oder Bildsequenzen extrahiert werden. Handelt es sich bei einem Maximum um einen kurzen Ausschlag, sollte ein Einzelbild extrahiert werden, bei einem plateauartigen Ausschlag sollte ein kurzer Videoclip extrahiert werden. Ein kurzer Ausschlag kann in der beschriebenen Weise definiert werden.For local maxima of the evaluation criteria for the attractiveness criteria, single images or short video clips can be extracted at the corresponding position in the video sequences or image sequences. If a maximum is a short rash, a frame should be extracted, a plateau-like rash should extract a short video clip. A short rash can be defined in the manner described.

Für sämtliche Videoaufnahmen sollte auch der Wert für die optische Qualität des Bildmaterials durch ein Verfahren für maschinelles Lernen, wie bereits beschrieben, extrahiert werden. Dieses Signal sollte bei der Extraktion von Einzelbildern dazu verwendet werden, um das optisch ansprechendste Einzelbild um einen Maximalbereich im Bewertungssignal herum zu identifizieren, und genau dieses Einzelbild extrahieren. Möchte sich ein Fahrer über die verschiedenen möglichen Fahrrouten zu einem Fahrziel informieren, bezieht sein Fahrzeug die extrahierten Bilder und Attraktivitätskriterien aus der Recheneinrichtung 4 und gibt sie als Routenvorschau und Routenbewertung grafisch an den Fahrer zurück.For all video recordings, the optical quality value of the image material should also be extracted by a machine learning method as described above. This signal should be used in the extraction of frames to identify the most visually appealing frame around a maximum range in the evaluation signal, and extract exactly that frame. If a driver wants to find out about the various possible driving routes to a destination, his vehicle derives the extracted images and attractiveness criteria from the computing device 4 and graphically returns it to the driver as route preview and route evaluation.

Für die Erstellung der Routenbewertung und Routenvorschau ist nach einer einmaligen Einrichtung keine menschliche Arbeit mehr nötig. Die Videoaufnahmen können von Fahrzeugen nebenbei während normaler Fahrten aufgezeichnet werden. Da die Aufzeichnung der benötigten Daten nebenbei erfolgen kann, kann über die Zeit eine Bewertung und Vorschau für jede Fahrstrecke, die von entsprechend ausgestatteten Kraftfahrzeugen befahren wird, erstellt werden. Es ergibt sich mittelfristig automatisch eine sehr hohe Streckenabdeckung. Das beschriebene Verfahren läuft vollkommen automatisch ab und erfordert, auch für die Durchführung des maschinellen Lernens selbst, nur einen begrenzten Aufwand an Ressourcen und Finanzen.For the creation of the route evaluation and route preview after a one-time setup no human work is necessary. The video recordings can be recorded by vehicles incidentally during normal rides. Since the recording of the required data can take place incidentally, over the time a rating and preview for each route, which is traveled by appropriately equipped vehicles, can be created. In the medium term, there is automatically a very high route coverage. The described method is completely automatic and requires only a limited amount of resources and finances, also for the implementation of machine learning itself.

Die Mitglieder des Fahrzeugschwarms zeichnen mit Hilfe der Kameras Bilder vom Streckenverlauf einzelner Fahrstrecken auf und senden die Videodaten über ein Funkmodul zu einem zentralen Server. Nachdem genügend Videodaten auf dem Server gesammelt wurde, wird auf dem Server das Training eines Verfahrens für maschinelles Lernen initiiert. Das Lernverfahren, zum Beispiel ein tiefes neuronales Netz, muss ein ausreichend großes Abstraktionsvermögen erreichen können, um Bildelemente jedes Bildes soweit zusammenzufassen, dass ein Übereinstimmungswert für eines der beschriebenen Attraktivitätskriterien, wie zum Beispiel landschaftliche Schönheit, zusammengefasst werden. In der Trainingsphase soll die verwendete Analyseeinrichtung ohne zusätzliche Informationen, das heißt mittels unüberwachten Lernens, von Trainingsbildern lernen. Danach werden der Analyseeinrichtung von Menschen für das jeweilige Attraktivitätskriterium bewertete Beispielbilder zur Verfügung gestellt. Mit Hilfe dieser Beispielbilder kann die Analyseeinrichtung die in der Trainingsphase abstrahierten Muster einem Übereinstimmungswert zuordnen. Nachdem das Training und die Zuordnung erfolgt sind, kann die Analyseeinrichtung sämtliche zur Verfügung stehende Videodaten sowie später eingehende Videodaten in Bezug auf die vorgegebenen Attraktivitätskriterien bewerten.The members of the vehicle swarm use the cameras to record images of the route of individual routes and send the video data via a radio module to a central server. After sufficient video data has been collected on the server, the training of a machine learning method is initiated on the server. The learning process, for example, a deep neural network, must be able to achieve a sufficiently high level of abstraction in order to summarize picture elements of each picture so far that a match value for one of the described attractiveness criteria, such as, for example, scenic beauty, is summarized. In the training phase, the analysis device used is to learn from training images without additional information, that is, by means of unsupervised learning. Thereafter, the analysis device is provided by humans for the particular attractiveness criterion evaluated example images. Using these sample images, the analysis device can assign the patterns abstracted in the training phase to a match value. After the training and the assignment have been made, the analysis device can evaluate all available video data as well as later incoming video data with respect to the given attractiveness criteria.

Auf dieselbe Art sollte hinsichtlich der Bildqualität beispielsweise ein weiteres neuronales Netz trainiert werden. Sämtliche Videoaufnahmen sollten damit ebenfalls ausgewertet werden, sodass sich jeweils ein zusätzliches Qualitätssignal 11 ergibt. Durch jedes extrahierte Attraktivitätskriterium ist somit ein Bewertungssignal 10 und ein Qualitätssignal 11 pro eingehender Videoaufnahme entstanden. Ein weiterer Algorithmus identifiziert in diesen Signalverläufen lokale Maxima und/oder Minima. An den Stellen in den Videoaufnahmen, die einem lokalen, kurzzeitigen Maximum im Signalverlauf des Bewertungssignals entsprechen, werden bei einem kurzzeitigen Maximum Einzelbilder extrahiert und bei einem breiteren oder längeren Maximum Videoclips. Bei einer Extraktion von Einzelbildern wird das Einzelbild an der Stelle im Videosignal entnommen, an der das Bildqualitätssignal und das Bewertungssignal ein gemeinsames Maximum erreichen. Die extrahierten Bilder werden z. B. zusammen mit den gemittelten Bewertungssignalen, das heißt allgemein dem Gesamtwert für eine Fahrstrecke, auf einem Server bereitgestellt, damit sie von Kraftfahrzeugen abgerufen werden können. Wenn ein Fahrer über sein Navigationssystem nach Routen zu einem bestimmten Fahrziel sucht, lädt das Navigationssystem über ein Funkmodul extrahierte Bilder, Videoclips und Bewertungssignale herunter, vorzugsweise passend zur aktuellen Tages- und Jahreszeit. Das Navigationssystem 21 an Bord des Kraftfahrzeugs stellt dann Informationen grafisch dar.In the same way, for example, another neural network should be trained in terms of image quality. All video recordings should also be evaluated, so that in each case an additional quality signal 11 results. Each extracted attractiveness criterion is thus an evaluation signal 10 and a quality signal 11 created for each incoming video recording. Another algorithm identifies local maxima and / or minima in these signal curves. At the locations in the video recordings that correspond to a local, short-term maximum in the evaluation signal waveform, individual frames are extracted for a short-term maximum and video clips for a wider or longer maximum. In an extraction of individual images, the single image is taken at the point in the video signal at which the image quality signal and the evaluation signal reach a common maximum. The extracted images are z. B. together with the averaged evaluation signals, that is generally the total value for a route, provided on a server so that they can be retrieved from motor vehicles. When a driver searches for routes to a particular destination via his navigation system, the navigation system downloads images, video clips and rating signals extracted via a radio module, preferably according to the current day and season. The navigation system 21 on board the motor vehicle then presents information graphically.

Insgesamt zeigt das Beispiel, wie durch die Erfindung ein Verfahren zur automatischen Routenbewegung und Erstellung einer Routenvorschau bereitgestellt werden kann. Overall, the example shows how the invention can provide a method for automatic route movement and creation of a route preview.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2006/0271286 A1 [0001]
WO 2014/054288 A1 [0003]
US 2009/0171568 A1 [0004]

Claims

Method for evaluating an optical appearance of a route ( 28 . 29 . 30 ), wherein at least one motor vehicle ( 3 ), on the route ( 28 . 29 . 30 ) is driving or driving, video data ( 6 ) containing a picture sequence ( 13 ) of the route ( 28 . 29 . 30 ) and received by an analysis device ( 12 ) based on the video data ( 6 ) to pictures ( fourteen ) of the image sequence ( 13 ) each have a match value ( 15 ) concerning a degree of coincidence of the image ( fourteen ) is determined with a predetermined attractiveness criterion and the match values ( 15 ) of the pictures ( fourteen ) to an evaluation signal ( 10 ) for the image sequence ( 13 ) and the evaluation signal ( 10 ) as a description of the appearance of the route ( 28 . 29 . 30 ) provided.

Method according to claim 1, wherein the analysis device ( 12 ) the match value ( 15 ) of each picture ( fourteen ) by means of a neural network ( 33 ) determines which picture elements of the picture ( fourteen ) or the image ( fourteen ) and at least one other image ( fourteen ) of the image sequence ( 13 ).

Method according to claim 2, wherein for configuring the neural network ( 33 ) on the one hand by means of an unsupervised learning method training images ( 34 ) compared with each other and in groups ( 35 ) and on the other example images ( 36 ), to which a predetermined match value ( 15 ) is assigned to the groups ( 15 ) be assigned.

Method according to claim 3, wherein the sample images ( 36 ) each with a subjective, provided by at least one person assessment of one in the example image ( 36 ), the estimate indicating, in particular, a scenic beauty or an architectural beauty or a degree of remoteness of the route section.

Method according to one of the preceding claims, wherein from the evaluation signal ( 10 ) a total value ( 31 ) for the route ( 28 . 29 . 30 ) is calculated.

Method according to one of the preceding claims, wherein a maximum range ( 16 ) of the evaluation signal ( 10 ) is detected, in which at least one of the match values ( 15 ) of the evaluation signal ( 10 ) greater than a predetermined threshold ( 17 ), and from the image sequence ( 13 ) at least one to the maximum range ( 16 ) corresponding image ( fourteen ) of the image sequence ( 13 ) is determined and output.

The method of claim 6, wherein to the images ( fourteen ) of the image sequence ( 13 ) a quality value determined on the basis of a predetermined quality measure ( 18 ) an optical quality of the image ( fourteen ) and the quality values ( 18 ) to a quality signal ( 11 ) and that at least one corresponding image ( fourteen ) from the maximum range ( 16 ) in dependence on the quality signal ( 11 ) is determined.

Method according to one of claims 6 or 7, wherein a playing time of that part of the picture sequence ( 13 ) for which the evaluation signal ( 10 ) the maximum range ( 16 ) is determined, and depending on the playing time either a video signal or only a single image ( fourteen ) is output.

Method according to one of the preceding claims, wherein the evaluation signal ( 10 ) is formed as a function of the time of day and / or the season and / or the weather.

Method according to one of the preceding claims, wherein several travel routes ( 28 . 29 . 30 ) one evaluation signal each ( 10 ) is generated and at least one route ( 28 . 29 . 30 ) that corresponds to a given navigation destination ( 27 ) is determined, and a user for each determined route ( 28 . 29 . 30 ) based on the respective evaluation signal ( 10 ) a note ( 31 . 32 ) concerning the attractiveness criterion.