DE10154423A1

DE10154423A1 - Speech controlled interface for accessing an information or computer system in which a digital assistant analyses user input and its own output so that it can be personalized to match user requirements

Info

Publication number: DE10154423A1
Application number: DE2001154423
Authority: DE
Inventors: Andreas Keil; Volkmar Naumburger
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2001-11-06
Filing date: 2001-11-06
Publication date: 2003-05-15

Abstract

Method for speech controlled access to an information system in which a digital assistant generates spoken requests to help a user and converts spoken instructions from a user into commands for a computer system. The digital assistant analyses the spoken instruction of a user to generate satisfaction indices for itself and for the user. Dependent on the satisfaction indices speech output and vocabulary are selected. The invention also relates to a corresponding spoken user interface to a computer system.

Description

Die Erfindung betrifft ein Verfahren für einen sprachgesteuerten Zugang zu einem Informationssystem gemäß der in Anspruch 1 angegebenen Art, sowie eine Benutzerschnittstelle gemäß der in Anspruch 14 angegebenen Art. The invention relates to a method for a voice-controlled access to an information system according to the type specified in claim 1, and a User interface according to that in claim 14 specified type.

Sprachgesteuerte Zugänge zu Informationssystemen sind in vielfältiger Ausgestaltung bekannt. Beispielsweise gibt es sprachbasierte E-Commerce-Portale oder Zugriffe auf Internetinhalte. Zur Beschreibung von Internetseiten für einen sprachgesteuerten Zugang ist die Seitenbeschreibungssprache VoiceXML entwickelt worden. Voice-controlled access to information systems are known in various forms. For example there are voice-based e-commerce portals or access on internet content. To describe Internet pages for voice-controlled access is developed the page description language VoiceXML Service.

Aber auch sogenannte Stand-Alone Anwendungen sind mittlerweile für eine sprachgesteuerte Navigation geeignet, die insbesondere im Automobilbereich von Vorteil ist. Als Beispiel sind hier sprachbasierte Navigationssysteme in Kraftfahrzeugen zu nennen. But so-called stand-alone applications are also meanwhile for voice-controlled navigation suitable, especially in the automotive sector of Advantage is. As an example here are language-based To name navigation systems in motor vehicles.

Um einem Benutzer den sprachgesteuerten Zugang zu einem Informationssystem zu erleichtern, gibt es digitale Assistenten. Darunter werden in der Regel Computerprogramme oder Programmmodule verstanden, die dem Benutzer bei der Bedienung des Informationssystems unterstützen, beispielsweise in dem sie ihn im Dialog leiten und Hilfestellungen geben. To give a user voice controlled access to a To facilitate the information system, there are digital ones Wizard. This usually includes Computer programs or program modules understood that the user when operating the information system support, for example, in the dialogue direct and provide assistance.

Derartige digitale Assistenten reagieren auf sprachliche Anweisungen des Benutzers. Sie setzen die sprachlichen Anweisungen in Steueranweisungen für das Informationssystem um. Informationen des Informationssystems können von den digitalen Assistenten mittels Sprachausgabe dem Benutzer zur Verfügung gestellt werden. Einige der digitalen Assistenten besitzen sogar eine gewisse "Intelligenz", d. h. sie lernen aus dem Verhalten des Benutzers und/oder leiten aus dessen Verhalten bestimmte Angebote ab. Such digital assistants respond to voice instructions from the user. You put that language instructions in control instructions for the Information system around. Information of the Information system can be of digital Assistants via voice output to the user Will be provided. Some of the digital Assistants even have a certain "intelligence", d. H. they learn from the behavior of the user and / or derive certain offers from their behavior from.

Diese Art von "Intelligenz" soll einen sprachgesteuerten Zugang für einen Benutzer persönlicher machen, indem sich der digitale Assistent auf den Benutzer individuell einstellt. Dies vereinfacht dem Benutzer vor allem die Bedienung des Informationssystems. Allerdings ist der Dialog zwischen digitalen Assistenten und Benutzer in der Regel immer noch sachorientiert und lässt menschliche Regungen vermissen. Beispielsweise kann es vorkommen, dass im Falle der Nichtbefolgung von Vorschlägen der digitale Assistent ins Leere redet, also kein sinnvoller Dialog zwischen Benutzer und digitalen Assistenten zu Stande kommt. This kind of "intelligence" is supposed to voice-controlled access for a user make it more personal by using the digital assistant individually adjusted to the user. This Above all, it simplifies the operation of the Information system. However, the dialogue is between digital assistants and users usually always still factual and leaves human emotions miss. For example, it can happen that in In case of non-compliance with the digital proposals Assistant talks into the void, so no meaningful dialogue between users and digital assistants comes.

Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren für einen sprachgesteuerten Zugang zu einem Informationssystem und eine Benutzerschnittstelle vorzuschlagen, die den Dialog zwischen Benutzer und digitalen Assistenten persönlicher als bei aus dem Stand der Technik bekannten Dialogsystemen gestalten. The object of the present invention is therefore a Procedure for voice controlled access to a Information system and a user interface propose the dialogue between user and digital assistants more personal than from the Design state-of-the-art dialog systems.

Diese Aufgabe wird für das Verfahren durch die kennzeichnenden Merkmale des Anspruches 1 in Verbindung mit seinen Oberbegriffsmerkmalen und für die Benutzerschnittstelle durch die kennzeichnenden Merkmale des Anspruches 14 in Verbindung mit seinen Oberbegriffsmerkmalen gelöst. This task is for the procedure by characterizing features of claim 1 in conjunction with its generic terms and for User interface through the distinctive Features of claim 14 in conjunction with its General terms resolved.

Der Erfindung liegt die Erkenntnis zugrunde, dass der Dialog zwischen Benutzer und digitalem Assistenten persönlicher gestaltet werden kann, indem der digitale Assistent auf die Art der Behandlung durch den Benutzer, beispielsweise höfliche oder unhöfliche Behandlung, und auf dessen subjektives Befinden und/oder auf die Befolgung von Vorschlägen des digitalen Assistenten reagiert und sein Verhalten entsprechend anpasst. Hierdurch kann der Dialog persönlicher als bei einem System ausfallen, das beispielsweise nur Vorschläge des digitalen Assistenten unterbreitet ohne auf Wünsche des Benutzers und vor allem dessen Stimmung einzugehen. The invention is based on the knowledge that the Dialogue between user and digital assistant can be personalized by using the digital Assistant on the type of treatment by the Users, for example polite or rude Treatment, and on its subjective condition and / or to follow the suggestions of the digital assistant responds and his behavior adjusts accordingly. This allows the dialogue more personal than a system that for example, only suggestions from the digital assistant submitted without and at the request of the user to respond to his mood.

Konkret betrifft die Erfindung also ein Verfahren für einen sprachgesteuerten Zugang zu einem Informationssystem, bei dem ein digitaler Assistent zur Unterstützung eines Benutzers des Informationssystems vorgesehen ist. Der digitale Assistent nimmt sprachliche Anweisungen des Benutzers entgegen und setzt diese zumindest teilweise in Steueranweisungen für das Informationssystem um. Ferner stellt er Informationen des Informationssystems mittels Sprachausgabe dem Benutzer zur Verfügung. Um nun einen Dialog zwischen dem Benutzer und dem digitalen Assistenten persönlicher zu gestalten, analysiert der digitale Assistent die sprachlichen Anweisungen des Benutzers und wertet diese aus, indem er einen Zufriedenheitsindex von sich und einen Zufriedenheitsindex des Benutzers ermittelt. In Abhängigkeit von beiden Zufriedenheitsindizes wählt er dann die Sprachausgabe und vor allem den Wortschatz für die Sprachausgabe. Vorzugsweise wählt der digitale Assistent Sprachausgabe und Wortschatz abhängig von seinem eigenen Zufriedenheitsindex, um für den Benutzer menschlicher, insbesondere persönlicher zu wirken. Vereinfacht ausgedrückt passt sich der digitale Assistent an das Verhalten des Benutzers durch die Wortschatz- und Sprachausgabeauswahl an. Um diese Anpassung möglichst einfach zu gestalten leitet er aus den ihm zur Verfügung stehenden Informationen des Benutzers, insbesondere dessen sprachlichen Anweisungen, die erwähnten Zufriedenheitsindizes ab. Die Zufriedenheitsindizes können als ein Maß für die Stimmung des Benutzers sowie des Assistenten betrachtet werden. Specifically, the invention therefore relates to a method for a voice-controlled access to one Information system using a digital assistant Support of a user of the information system is provided. The digital assistant takes verbal instructions from the user and puts them at least partially in tax statements for the information system. He also provides Information system information using Voice output available to the user. Now one Dialogue between the user and the digital The assistant analyzes personal assistants digital assistant the language instructions of the User and evaluates them by using a Satisfaction index of yourself and one User satisfaction index determined. In He chooses depending on both satisfaction indices then the speech and especially the vocabulary for the speech output. Preferably the digital one chooses Assistant voice output and vocabulary depending on its own satisfaction index in order for the user to appear more human, especially more personal. Put simply, the digital adapts Assistant to the behavior of the user through the Vocabulary and voice output selection. Around He makes adaptation as easy as possible the information of the User, especially its linguistic Instructions, the satisfaction indices mentioned above. The satisfaction indices can be used as a measure of that The mood of the user and the assistant are considered become.

Damit die Zufriedenheitsindizes möglichst genau das Verhalten bzw. die Stimmung des Benutzers und des Assistenten wiedergeben, wertet der digitale Assistent vorzugsweise Satzlänge, Semantik, Reaktionszeit und/oder Präzision von sprachlichen Anweisungen des Benutzers aus und analysiert diese. Beispielsweise kann der digitale Assistent anhand der Satzlänge des Benutzers feststellen, ob dieser in Hektik oder entspannt ist. Auch aus der Semantik kann auf die Stimmung des Benutzers rückgeschlossen werden: verwendet der Benutzer beispielsweise Schimpfworte, kann der digitale Assistent auf Ärger rückschließen. In einer besonders einfachen Ausführungsform steht dem digitalen Assistenten ein Kontingent von bestimmten Worten zur Verfügung, die jeweiligen Stimmungen eines Benutzers zugeordnet sind. Die Worte können aus mehreren Dialogen zwischen Benutzer und digitalen Assistenten extrahiert und zusammen mit dem jeweils ermittelten Zufriedenheitsindex abgespeichert worden sein. Schimpfworte werden beispielsweise negativen Stimmungen des Benutzers zugeordnet. Tauchen im Dialog zwischen digitalen Assistenten und Benutzer derartige Worte auf, kann der digitale Assistent schnell und sicher auf die jeweilige Stimmung des Benutzers rückschließen und den Zufriedenheitsindex des Benutzers entsprechend anpassen. So that the satisfaction indices as exactly as possible Behavior or mood of the user and the Play assistants, the digital assistant evaluates preferably sentence length, semantics, reaction time and / or precision of the language instructions of the User and analyzes them. For example the digital assistant based on the record length of the Determine whether this is hectic or hectic is relaxed. The semantics can also refer to the User mood can be inferred: for example, if the user uses swear words, the digital assistant can infer anger. In a particularly simple embodiment digital assistants a quota of certain Words available, the respective moods of a Are assigned to the user. The words can come from multiple dialogues between user and digital Assistant extracted and together with each determined satisfaction index has been saved his. Bad words, for example, become negative User moods assigned. Diving in dialogue between digital assistants and users such Words on, the digital assistant can quickly and sure to the mood of the user conclude and the user's satisfaction index adjust accordingly.

Um das subjektive Befinden des Benutzers aktiv verbessern zu können, kann der digitale Assistent bei Unterschreiten eines vorgegebenen Wertes eines oder beider Zufriedenheitsindizes, insbesondere des dem Benutzer zugeordneten Zufriedenheitsindex mindestens eine erste vorgegebene Sprachausgabe ausführen. Diese mindestens eine erste vorgegebene Sprachausgabe kann beispielsweise eine Ermunterung für den Benutzer sein. Eine derartige Ermunterung kann nach Ablauf einer vorgegebenen Zeitspanne wiederholt werden. Hierzu kann der digitale Assistent mindestens eine zweite vergebene Sprachausgabe ausführen. Beispielsweise kann er seine vorherige, mindestens eine erste vorgegebene Sprachausgabe wiederholen, die bei Unterschreiten des vorgegebenen Wertes des dem Benutzer zugeordneten Zufriedenheitsindex ausgeführt wurde. Er kann aber auch nachfragen, wie sich der Benutzer nunmehr fühlt. To keep the subjective well-being of the user active The digital assistant can help improve Falling below a predetermined value of one or of both satisfaction indices, especially that of the User-assigned satisfaction index at least execute a first predetermined speech. This can at least a first predetermined speech for example, be an encouragement to the user. Such an encouragement can be given after a predetermined time period can be repeated. This can the digital assistant is assigned at least a second Execute speech. For example, it can be its previous, at least one first predetermined Repeat voice output, which falls below the predetermined value of the assigned to the user Satisfaction index was run. But he can also ask how the user feels now.

In einer besonders bevorzugten Ausführungsform des Verfahrens ist eine gezielte Änderung der Zufriedenheitsindizes, insbesondere des Zufriedenheitsindex des Assistenten, durch vorgegebene sprachliche Anweisungen möglich. Beispielsweise können vorgegebene freundliche Aussagen des Benutzers gegenüber dem digitalen Assistenten eine gezielte Steigerung des Zufriedenheitsindex des Assistenten bewirken, während vorgegebene unfreundliche Anweisungen zum Gegenteil führen. Denkbar ist beispielsweise, dass der digitale Assistent eine Tabelle auswerten kann, in der die vorgegebenen sprachlichen Anweisungen mit zugeordneten Veränderungen des Zufriedenheitsindex gespeichert sind. In a particularly preferred embodiment of the The procedure is a deliberate change to the Satisfaction indices, especially the Assistant's satisfaction index, by default linguistic instructions possible. For example, you can predefined friendly statements by the user compared to the digital assistant Increasing the assistant's satisfaction index effect while given rude instructions to the contrary. It is conceivable, for example, that the digital assistant can evaluate a table in of the given language instructions associated changes in the satisfaction index are saved.

In einer weitergehenden Ausführungsform können die Zufriedenheitsindizes, insbesondere der Zufriedenheitsindex des Assistenten zeitlich beeinflusst werden. Konkret heißt dies, dass ein Zufriedenheitsindex u. a. von der Tageszeit eines Zugangs des Benutzers zum Informationssystem abhängt. Beispielsweise können die Zufriedenheitsindizes, insbesondere der Zufriedenheitsindex des Assistenten bei einem nächtlichen Zugang verringert werden. Dagegen können sie bei einem Zugang tagsüber, beispielsweise zu den normalen Bürozeiten, erhöht werden. Damit können nächtliche Zugänge als störend insbesondere für den Assistenten eingeordnet werden. In a further embodiment, the Satisfaction indices, especially the Satisfaction index of the assistant over time to be influenced. Specifically, this means that a Satisfaction index and a. by the time of day User access to the information system depends. For example, the satisfaction indices, especially the assistant's satisfaction index be reduced with a night access. On the other hand you can access during the day, for example to normal office hours. So that can nocturnal approaches as disturbing especially for the Assistants can be classified.

Eine weiter Verfeinerung des Verfahrens kann dadurch erzielt werden, dass bei der Auswahl der Sprachausgabe und des Wortschatzes die soziale Zugehörigkeit des Benutzers einbezogen wird. Hierdurch kann in Abhängigkeit von der sozialen Zugehörigkeit des Benutzers eine bestimmte Sprachausgabe und auch ein spezieller Wortschatz für die Sprachausgabe gewählt werden. This can further refine the process achieved that when choosing speech output and vocabulary the social affiliation of the User is involved. This allows in Dependence on the social affiliation of the User a specific speech and also a special vocabulary chosen for the speech output become.

In einer bevorzugten Weiterbildung kann zudem die Sprachausgabe und der Wortschatz für die Sprachausgabe in Abhängigkeit von einer Rolle gewählt werden, welche der Benutzer für den digitalen Assistenten auswählt. Als Beispiele für derartige Rollen sind beispielsweise Kamerad, Eltern, Sklave oder ähnliche Rollen des digitalen Assistenten zu nennen, die sein Verhalten in Form der Wahl der Sprachausgabe und dafür verwendeten Wortschatzes beeinflussen. In a preferred development, the Speech output and vocabulary for speech output depending on a role can be chosen which the user selects for the digital assistant. Examples of such roles are, for example Comrade, parent, slave or similar roles of digital assistants to name his behavior in Form of choice of speech and used for it Affect vocabulary.

Die Funktion des digitalen Assistenten muss sich nicht auf die reine Unterstützung des Benutzers beim Zugang zu einem Informationssystem beschränken, sondern kann in einer bevorzugten Ausführungsform dadurch erweitert werden, dass der digitale Assistent auf das Internet, Informationsdatenbanken, Radio- und/oder Fernsehprogramme zugreifen kann, aus denen er Informationen in einen Speicher lädt und auswertet. Nach der Häufigkeit eines Zugriffs auf derartige Daten durch den Benutzer kann der digitale Assistent die geladenen Informationen auswerten und davon abhängig bestimmte, vorzugsweise wenig benutze Informationen löschen. Damit wird im Prinzip eine Art intelligenter Informationsfilter mittels des digitalen Assistenten geschaffen, der für seinen Benutzer wichtige Informationen aus bestimmten Informationsquellen selbstständig filtert. The function of the digital assistant does not have to be pure user support in access restrict to an information system, but can extended in a preferred embodiment be that the digital assistant on the internet, Information databases, radio and / or Can access television programs from which he Loads information into a memory and evaluates it. The frequency of access to such data the digital assistant can be used by the user evaluate the loaded information and depend on it certain information, preferably little used Clear. In principle, this makes it a kind of intelligent Information filter using the digital assistant created the most important for its user Information from certain information sources filters independently.

Vorzugsweise ist der digitale Assistent des Benutzers auf einem zentralen Server abgelegt, auf dem eine Vielzahl digitaler und verschiedenen Benutzern zugeordneten Assistenten abgelegt sein können. Mit anderen Worten kann jeder Benutzer seinen eigenen persönlichen digitalen Assistenten besitzen. Der Benutzer und der digitale Assistent kommunizieren in diesem Fall über ein Telekommunikationsnetz, insbesondere über eine Telefonverbindung. Konkret bedeutet dies, dass der Benutzer beispielsweise eine bestimmte Telefonnummer anruft, unter der er einen Dienst mit dem digitalen Assistenten erreicht, der ihm den Zugang zum Computernetzwerk ermöglicht. Als bevorzugte Einsatzgebiete sind beispielsweise der Zugriff auf Unternehmensnetzwerke durch Außendienstmitarbeiter oder der Zugriff auf umfangreiche Informationsangebote von kommerziellen Datenbankanbietern durch beliebige Personen zu nennen. In letzteren Fall kann beispielsweise der Dienst mit dem digitalen Assistenten unter einer kostenpflichtigen Rufnummer angeboten werden. Im Unterschied zu einem sprachbasierten Zugang auf das Internet, wie er mittels VoiceXML ermöglicht wird, kann diese Art von Zugriff auf das Internet sehr viel persönlicher erfolgen. Vor allem durch die bereits erwähnte Filterfunktion des digitalen Assistenten kann der Benutzer Zeit und Geld sparen. Preferably, the digital assistant is the user stored on a central server, on which one Many digital and different users assigned assistants can be stored. With in other words, each user can have their own own personal digital assistant. The Users and the digital assistant communicate in in this case via a telecommunications network, especially over a telephone connection. Concrete this means that the user, for example, a calls the specific phone number on which he calls you Service reached with the digital assistant that him allows access to the computer network. As preferred areas of application are, for example Access to corporate networks through Sales representatives or access to extensive range of information from commercial Name database providers by any person. In the latter case, the service can, for example the digital assistant under a fee Call number are offered. Unlike one voice-based access to the Internet as it does VoiceXML enables this type of access done on the Internet much more personally. In front all thanks to the filter function of the digital assistants can save the user time and money save up.

Zur Absicherung vor unberechtigten Zugriffen, was insbesondere bei kostenpflichtigen Diensten eine Rolle spielt, kann der digitale Assistent dem Benutzer beim Zugang zum Informationssystem anhand eines Passworts, einer PIN - Personal Identification Number -, der Rufnummer eines Telefonanschlusses, von dem der Benutzer einen Zugang anfordert, und/oder anhand mindestens eines für den Benutzer charakteristischen sprachlichen Merkmals identifizieren. Wie bereits erwähnt ist eine derartige Zugangssicherung bei kommerziellen, kostenpflichtigen Informationsangeboten wichtig. Es spielt aber auch eine wesentliche Rolle, wenn der Benutzer ein Außendienstmitarbeiter eines Unternehmens ist und mittels des erfindungsgemäßen Verfahrens auf vertrauliche Unternehmensdaten zugreifen will. To protect against unauthorized access, what a role, particularly in the case of paid services plays, the digital assistant can assist the user Access to the information system using a password, a PIN - Personal Identification Number - the Number of a telephone connection from which the User requests access, and / or based at least one characteristic of the user identify the linguistic characteristic. As before Such access security is mentioned in commercial, paid information offers important. But it also plays an essential role if the user is a sales representative of a Company is and by means of the invention Procedural access to confidential company data want.

Ferner betrifft die Erfindung eine Benutzerschnittstelle für einen sprachgesteuerten Zugang zu einem Informationssystem. Die Benutzerschnittstelle weist ein Hauptdialogmodul zur Steuerung einer sprachlichen Interaktion eines digitalen Assistenten mit einem Benutzer des Informationssystems, eine erste Datenbank für eine Spracherkenner-Grammatik und eine zweite Datenbank für eine Sprachausgabe auf. Um den Dialog mit der Benutzerschnittstelle, insbesondere mit dem digitalen Assistenten persönlicher zu gestalten, sind Sprach- Auswahlmittel vorgesehen, die in Abhängigkeit von einem Zufriedenheitsindex des digitalen Assistenten und/oder von einem Zufriedenheitsindex des Benutzers einen Wortschatz für die Sprachausgabe und einen Typ der Sprachausgabe auswählen. Wie bereits oben erläutert werden also insbesondere die Stimmungen des Benutzers und des Assistenten bei einem Dialog einbezogen. Dies erfolgt im wesentlichen durch den Zufriedenheitsindex des digitalen Assistenten, der die Wahl eines bestimmten Wortschatzes für die Sprachausgabe und ferner den Typ der Sprachausgabe bestimmt. The invention further relates to a User interface for a voice controlled Access to an information system. The User interface assigns a main dialog module Control a linguistic interaction of a digital assistant with a user of the Information system, a first database for a Speech Recognizer Grammar and a second database for a speech output. To the dialogue with the User interface, especially with the digital Personalizing assistants are language Selection means provided depending on one Satisfaction index of the digital assistant and / or from a user's satisfaction index Vocabulary for speech and a type of Select voice output. As already explained above are especially the moods of the user and the assistant involved in a dialogue. This takes place essentially through the satisfaction index of the digital assistant who is choosing one certain vocabulary for speech and also determines the type of speech.

In einer bevorzugten Ausführungsform ist eine dritte Datenbank vorgesehen, in der persönliche Daten eines Benutzers des Informationssystems gespeichert sind. Die dritte Datenbank dient zur weiteren Verbesserung der Anpassung der Sprachausgabe und des Typs der Sprachausgabe, in dem die persönlichen Daten in der dritten Datenbank von den Sprach-Auswahlmitteln ausgewertet werden. In a preferred embodiment is a third Database provided in the personal data of a Information system users are stored. The third database serves to further improve the Adaptation of speech and type of In which the personal data in the third database of language selection means be evaluated.

Vorzugsweise ist ferner eine Systemsteuerung vorgesehen, welche alle Prozesse der Benutzerschnittstelle überwacht und koordiniert sowie eine Echtzeitverarbeitung sprachlicher Anweisungen des Benutzers sicherstellt. A system control is also preferred provided which all processes of User interface monitors and coordinates as well real-time processing of language instructions from the Ensures user.

Um Zeit- und/oder datumsrelevante Aufgabe wie Wecken, Erinnern oder dergleichen Ereignisse überwachen zu können, ist vorzugsweise ein Ereignisscheduler-Modul vorgesehen. To time and / or date-related tasks such as waking, Remember or monitor similar events too is preferably an event scheduler module intended.

In einer besonders bevorzugten Ausführungsform ist ein Wählmodul vorgesehen, das einen Verbindungsaufbau zu einem Anschluss eines Benutzers in einem Telekommunikationsnetz und/oder eine Weiterleitung des Benutzers an einen weiteren Anschluss des Telekommunikationsnetzes vornehmen kann. In a particularly preferred embodiment, a Dialer module provided that a connection to a connection of a user in one Telecommunications network and / or forwarding of the User to another connection of the Can make telecommunications network.

Schließlich kann ein Aktivitätsmodul eingesetzt werden, das ohne sprachliche Anweisung des Benutzers auf Informationsdatenbanken und/oder -mittel zugreifen kann. Finally, an activity module can be used that without any verbal instruction from the user Access information databases and / or resources can.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung für einen sprachgesteuerten Zugang zu einem Informationssystem ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem in der Zeichnung dargestellten Ausführungsbeispiel. Further advantages, features and possible applications of the present invention for a voice controlled Access to an information system result from the following description in connection with that in the Drawing shown embodiment.

Die Erfindung wird im folgenden anhand des in der Zeichnung dargestellten Ausführungsbeispiels näher beschrieben. In der Beschreibung, in den Patentansprüchen, der Zusammenfassung und in der Zeichnung werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. In der Zeichnung bedeutet: The invention is based on the in the Drawing shown embodiment closer described. In the description, in the Claims, the summary and in the Drawing will be the one in the list below terms and associated terms used Reference numerals used. In the drawing means:

Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels der erfindungsgemäßen Benutzerschnittstelle für einen sprachgesteuerten Zugang zu einem Informationssystem. Fig. 1 is a block diagram of an embodiment of the user interface according to the invention for voice-controlled access to an information system.

In Fig. 1 ist das Blockschaltbild einer Benutzerschnittstelle für eine sprachbasierten Zugang zu mindestens einem Informationssystem dargestellt. Die Benutzerschnittstelle wird für zwei verschiedene Schritte benutzt:

1. Die Administration eines Benutzers: Dieser Schritt dient der erstmaligen Erfassung eines Benutzers, der einen sprachbasierten Zugang zu einem Informationssystem sucht. Bei diesem Schritt werden die Stammdaten des Benutzers erfasst und ein vertragliches Verhältnis begründet, auf dessen Grundlage die Benutzung und Vergebührung eines persönlichen digitalen Assistenten der Benutzerschnittstelle erfolgen kann.
2. Der Regelbetrieb: Im Regelbetrieb findet insbesondere die Benutzung des digitalen Assistenten statt. Dies schließt ein, dass der Benutzer seine Stammdaten (ohne den Vertragsbezug) erneut ändern kann. Der Betrieb umfasst aber im wesentlichen die Betreuung des Benutzers durch seinen digitalen Assistenten in allen bereits beschriebenen Leistungsmerkmalen.

In Fig. 1 a block diagram is shown of a user interface for a voice-based access to at least one information system. The user interface is used for two different steps:

1. The administration of a user: This step is used for the first time registration of a user who is looking for voice-based access to an information system. In this step, the master data of the user are recorded and a contractual relationship is established, on the basis of which the use and charging of a personal digital assistant of the user interface can take place.
2. Regular operation: In regular operation, the digital assistant is used in particular. This includes that the user can change his master data again (without the contract reference). However, the operation essentially includes the support of the user by his digital assistant in all of the performance features already described.

Der wichtigste Wesenszug des digitalen Assistenten ist, dass alle Interaktionen zwischen Mensch (Benutzer) und Maschine (digitaler Assistent) sprachgesteuert ablaufen. Um in jeder Situation die richtige Dialogstrategie bereit zu halten, übernimmt das Hauptdialogmodul 12 die direkte sprachliche Interaktion. Zum Zwecke der Spracherkennung sind dem Hauptdialogmodul 12 eine erste Datenbank 52 für die Spracherkenner-Grammatik und eine zweite Datenbank 56 für die Sprachausgabe zugeordnet. The most important feature of the digital assistant is that all interactions between man (user) and machine (digital assistant) are voice-controlled. In order to have the right dialogue strategy ready in every situation, the main dialogue module 12 takes over the direct linguistic interaction. For the purpose of speech recognition, the main dialog module 12 is assigned a first database 52 for the speech recognition grammar and a second database 56 for the speech output.

Die Sprachausgabe wird in Abhängigkeit vom "emotionalen Zustand" des digitalen Assistenten und der sozialen Zugehörigkeit wie beispielsweise "seriös", "jugendlich" oder "neutral" des Benutzers beeinflusst. Welche Sprachausgabe zu aktivieren ist, entscheiden die Sprachtyp-Auswahlmittel 54 insbesondere aufgrund von Einträgen in einer dritten Datenbank 30, in der persönliche Daten des Benutzers gespeichert sind. The voice output is influenced depending on the "emotional state" of the digital assistant and the social affiliation, such as "serious", "youthful" or "neutral" of the user. The speech type selection means 54 decide which speech output is to be activated, in particular on the basis of entries in a third database 30 in which the user's personal data are stored.

Sprachausgaben, die sich auf Inhalte von externen Informationsquellen oder auf Eigennamen einer Kontaktdatenbank 34 beziehen, können nicht durch vorgespeicherte Sprachfragmente aus der zweiten Datenbank 56 wiedergegeben werden. Zu diesem Zweck werden alle nicht vorgespeicherten Sprachelemente mittels eines Text-in-Sprache-Moduls 58 (Text-to-Speech-Synthese) online synthetisiert. Speech output that relates to contents from external information sources or to proper names of a contact database 34 cannot be reproduced by pre-stored speech fragments from the second database 56 . For this purpose, all non-pre-stored speech elements are synthesized online using a text-in-speech module 58 (text-to-speech synthesis).

Da es sich bei der Benutzerschnittstelle und insbesondere dem digitalen Assistenten aus technischer Sicht um ein Echtzeitsystem handelt, werden alle ablaufenden Prozesse durch eine Systemsteuerung 10 überwacht und koordiniert. Zum Echtzeitsystem gehören im wesentlichen die drei unabhängig voneinander agierenden Submodule: das Ereignisscheduler-Modul 40, das Zeit- bzw. datumsrelevante Aufgaben überwacht (z. B. Wecken oder Terminerinnerung), das Wählmodul 42, das den Verbindungsaufbau zum Benutzer oder Weiterleitung des Benutzers an andere Ziele übernimmt, und das Aktivitätsmodul 44, das für die externe Eigeninitiative des digitalen Assistenten zuständig ist. Since the user interface, and in particular the digital assistant, is a real-time system from a technical point of view, all running processes are monitored and coordinated by a system controller 10 . The real-time system essentially includes the three independently operating sub-modules: the event scheduler module 40 , which monitors time or date-related tasks (e.g. wake-up or appointment reminder), the dialing module 42 , which establishes the connection to the user or forwards the user takes on other goals, and the activity module 44 , which is responsible for the external initiative of the digital assistant.

Für die Erstadministration eines Benutzers sind insbesondere zwei Möglichkeiten des Benutzerzugangs geschaffen: zum einen die Administration über eine Web-Page mittels des Web-Administrationsmoduls 24, die der Betreiber des Dienstes im Internet eingestellt hat, und zum anderen die sprachgesteuerte Administration mittels des Sprach-Administrationsmoduls 26 über einen normalen Netzzugang 14 von einem PSTN (Public Switched Telephone Network) oder ISDN-Netzwerk 60 beispielsweise mittels eines Telefons, der sowohl als Festnetz- als auch als Mobilfunknetzanschluss ausgeführt sein kann. Begleitend zu diesen Administrationsmöglichkeiten ist ein administrativ-organisatorischer Prozess beim Betreiber des Dienstes zwecks Vertragsbegründung zu installieren. For the initial administration of a user, two options of user access are created: firstly, administration via a web page using the web administration module 24 , which the operator of the service has set on the Internet, and secondly, voice-controlled administration using the voice administration module 26 via a normal network access 14 from a PSTN (Public Switched Telephone Network) or ISDN network 60, for example by means of a telephone, which can be designed both as a fixed line network connection and as a mobile radio network connection. In addition to these administration options, an administrative-organizational process must be installed at the operator of the service in order to establish a contract.

Die bei der Administration erfassten persönlichen Daten eines Benutzers werden in privaten Datenbanken, umfassend die dritte Datenbank 30, einen Kalender 32 für Ereignisse, die Kontaktdatenbank 34 und eine Benutzervorlieben-Datenbank 36, gespeichert. Bei der Administration wird dem Benutzer eine persönliche Identifikationsnummer (PIN) erteilt, mit der er sich immer dann beim digitalen Assistenten authentifiziert, wenn er sicherheitsrelevante Daten bzw. Informationen lesen oder verändern will. Diese Zugangskontrolle wird in einer Zugangsüberprüfung 16 ausgeführt. Alternativ zur PIN-gestützten Sicherheitskontrolle kann sich der Benutzer auch durch ein für ihn charakteristisches sprachliches Merkmal, das hinterlegt ist, authentifizieren. Dazu ist im Sprach- Administrationsmodul 26 eine Prozedur zur Erfassung eines Voice Prints implementiert. Der Voice Print wird in der dritten Datenbank 30, gemeinsam mit den Stammdaten gespeichert. The personal data of a user recorded during administration are stored in private databases, including the third database 30 , a calendar 32 for events, the contact database 34 and a user preferences database 36 . During administration, the user is given a personal identification number (PIN), which he uses to authenticate himself to the digital assistant whenever he wants to read or change security-relevant data or information. This access control is carried out in an access check 16 . As an alternative to the PIN-based security check, the user can also authenticate himself through a linguistic feature that is characteristic of him and that is stored. For this purpose, a procedure for acquiring a voice print is implemented in the language administration module 26 . The voice print is stored in the third database 30 together with the master data.

Im Betrieb bilden die Inhalte der dritten Datenbank 30 u. a. die Startinformation für eine Benutzergruppen- Spezifik oder "Emotionalitätskomponenten" des Assistenten. Auch ist es dem Benutzer überlassen, im laufenden Betrieb Einträge im Kalender 32, der Kontaktdatenbank 34 oder der Benutzervorlieben- Datenbank 36 vorzunehmen, um auf diese Weise den digitalen Assistenten optimal auf seine Belange einzustellen. Dazu bedient er sich entweder der Web- Schnittstelle, also des Web-Administrationsmoduls 24, oder einem sprachgestützten Aktualisierungsmoduls 28. In operation, the contents of the third database 30 form, among other things, the start information for a user group specific or "emotional components" of the assistant. It is also up to the user to make entries in the calendar 32 , the contact database 34 or the user preferences database 36 during operation in order to optimally adjust the digital assistant to his needs. For this purpose, he uses either the web interface, that is to say the web administration module 24 , or a voice-based update module 28 .

Jeder vom Benutzer aktivierte Kontakt zum digitalen Assistenten ist mit einem Verbindungsaufbau zu einem nicht dargestellten (Assistenten)-Server verbunden. Nach einer Begrüßung des Benutzers, die einerseits typisch für die Benutzergruppe des Anrufers ist, andererseits aber auch bereits emotionale Aspekte berücksichtigt, wird eine Authentifizierung des Benutzers vorgenommen. Dazu wird im Modul Zugangsüberprüfung 16 entweder eine PIN-Abfrage oder - komfortabler - ein Voice-Print-Vergleich vorgenommen. Every contact activated by the user to the digital assistant is connected to a connection to a server (not shown). After greeting the user, which is typical for the user group of the caller on the one hand, but also takes emotional aspects into account, the user is authenticated. For this purpose, either a PIN request or - more conveniently - a voice-print comparison is carried out in the module access check 16 .

Nach erfolgreicher Authentifizierung erlangt der Benutzer vollen Zugriff auf seine persönlichen Daten. Die Identifizierung des Benutzers erfolgt in der Regel durch die Auswertung der Rufnummer des anrufenden Endgerätes. Ist dies nicht möglich, muss vor der Authentifizierung eine andersgeartete Benutzer-Identifikation vorgenommen werden. After successful authentication, the User full access to his personal data. The user is usually identified by evaluating the caller's number Terminal. If this is not possible, before the Authentication a different kind User identification can be made.

Parallel zu allen Dialogvorgängen wird eine Erfassung der emotionalen Zustände sowohl des Anrufers als auch des digitalen Assistenten mittels eines Emotionsmoduls 20 vorgenommen. Dabei werden die Reaktionsgeschwindigkeit und die Präzision des Benutzers beim Dialog zum einen und sein Eingehen auf die Vorschläge des digitalen Assistenten zum anderen bewertet. Die Bewertung resultiert einerseits in der Ermittlung eines Zufriedenheitsindex des Benutzers, der ein Maß für das emotionale Befinden des Benutzers darstellt, andererseits in der Ermittlung eines Zufriedenheitsindex des Assistenten, der ein Maß für dessen emotionales Befindens darstellt. In parallel to all dialog processes, the emotional states of both the caller and the digital assistant are recorded using an emotion module 20 . The speed of reaction and the precision of the user during the dialogue on the one hand and his response to the suggestions of the digital assistant on the other are evaluated. The evaluation results on the one hand in the determination of a satisfaction index of the user, which represents a measure of the emotional state of the user, and on the other hand in the determination of a satisfaction index of the assistant, which represents a measure of their emotional state.

Einer fallenden Motivation des digitalen Assistenten kann der Benutzer durch Benutzung eines Zufriedenheitsindex-Steigerungsmoduls 18 entgegenwirken. Hierdurch kann gezielt der Zufriedenheitsindex gesteigert werden, so dass der digitale Assistent dem Benutzer wieder Vorschläge und Hilfe unterbreitet. The user can counteract a falling motivation of the digital assistant by using a satisfaction index increase module 18 . In this way, the satisfaction index can be increased in a targeted manner so that the digital assistant again provides the user with suggestions and help.

Zur Beobachtung freier Publikationsmedien, ist der Assistent mit verschiedenen Scannern in Form von Modulen 46, 48, 50 ausgestattet. Ein Zugriff auf das Internet 66 erfolgt über das Internet-Zugriffsmodul 46, ein Zugriff auf Digital-Audio-Broadcast (DAB) und Digital-Video-Broadcast (DVB) mittels des DAB/DVB- Zugriffsmoduls 48 über einen DAB/DVB-Zugang 64. Das Mobilfunk-Zugriffsmoduls 50 dient dazu, über einen Mobilfunkzugang 62 den aktuellen Standort des Benutzers zu ermitteln und den digitalen Assistenten darüber zu informieren. Hier werden die Informationsangebote der Umwelt mit den Vorlieben des Benutzers aus der Benutzervorlieben-Datenbank 36 verglichen. Stimmen die Angebote der Umwelt mit den Interessen bzw. Vorlieben des Benutzers überein, erfolgt eine Benachrichtigung des Benutzers. Bedürfen so gefundene Informationsangebote eines direkten Dialoges mit dem Informationsanbieter, erfolgt auf Wunsch des Benutzers ein Verbindungsaufbau zum Anbieter mittels des Wählmoduls 42. To observe free publication media, the assistant is equipped with various scanners in the form of modules 46 , 48 , 50 . The Internet 66 is accessed via the Internet access module 46 , and access to digital audio broadcast (DAB) and digital video broadcast (DVB) by means of the DAB / DVB access module 48 via a DAB / DVB access 64 , The mobile radio access module 50 is used to determine the current location of the user via a mobile radio access 62 and to inform the digital assistant about this. Here the information offers of the environment are compared with the user's preferences from the user preferences database 36 . If the environmental offers match the interests or preferences of the user, the user is notified. If information offers found in this way require a direct dialogue with the information provider, a connection is set up to the provider at the request of the user by means of the dialing module 42 .

Schließlich ist noch ein Fremdanbieter-Zugangsmodul 22 vorgesehen, über das von einem Fremdanbieter auf bestimmte Informationen aus einer Fremdanbieter- Datenbank 38 abgefragt werden können. Hierzu hat die Fremdanbieter-Datenbank 38 Zugriff auf das Ereignisscheduler-Modul 40 und das Mobilfunk- Zugriffsmodul 50, um über den Mobilfunkzugang 62 Informationen per Mobilfunk abzurufen. Finally, a third-party access module 22 is also provided, via which a third-party provider can query specific information from a third-party provider database 38 . For this purpose, the third-party database 38 has access to the event scheduler module 40 and the mobile radio access module 50 in order to call up information by mobile radio via the mobile radio access 62 .

Das erfindungsgemäße Verfahren für einen sprachgesteuerten Zugang zu einem Informationssystem, die erfindungsgemäße Benutzerschnittstelle und insbesondere der digitale Assistent bieten zusammenfassend im wesentlichen den folgenden Vorteil:
Es wird eine Oberfläche für alle Funktionen eines persönlichen digitalen Assistenten geschaffen. Beispiele derartiger Funktionen sind im folgenden stichwortartig aufgeführt: Terminverwaltung, Erinnerungen an Geburtstagsgeschenke, Rückruf beim Arzt, Sachen abholen, Geschenkvorschläge machen, Partner zum Spielen sein, Verbindungsaufbau, Entgegennehmen von Anrufen, Faxen, E-Mails, Navigation, Routenplanung, Buchungsservice, Informationen zu bestimmten Themen sammeln, Zugriff auf eigene Datenbestände ermöglichen, konkrete Fragen beantworten, auch während der Nutzung anderer Anwendungen erreichbar sein, z. B. Rückfragen während eines Telefonats, aktiv und passiv wirksam (kann angerufen werden, ruft aber auch selber an), Sprachdialog als Grundlage der Kommunikation, Sicherheitsfeatureidentifikation über Sprecherverifizierung, lernfähig auf Grund von Umwelteinflüssen, entwickelt eigene Gefühle, reagiert auf die Stimmung des Benutzers und auf die Behandlung durch ihn, überall erreichbar, da netzbasiert. Bezugszeichenliste 10 Systemsteuerung
12 Hauptdialogmodul
14 Netzzugang
16 Zugangsüberprüfung
18 Zufriedenheitsindex-Steigerungsmodul
20 Emotionsmodul
22 Fremdanbieter-Zugangsmodul
24 Web-Administrationsmodul
26 Sprach-Administrationsmodul
28 sprachgestütztes Aktualisierungsmodul
30 dritte Datenbank
32 Kalender
34 Kontaktdatenbank
36 Benutzervorlieben-Datenbank
38 Fremdanbieter-Datenbank
40 Ereignisscheduler-Modul
42 Wählmodul
44 Aktivitätsmodul
46 Internet-Zugriffsmodul
48 DAB/DVB-Zugriffsmodul
50 Mobilfunk-Zugriffsmodul
52 erste Datenbank
54 Sprachtyp-Auswahlmittel
56 zweite Datenbank
58 Text-in-Sprache-Modul
60 PSTN/ISDN-Netzwerk
62 Mobilfunkzugang
64 DAB/DVB-Zugang
66 Internet
In summary, the method according to the invention for voice-controlled access to an information system, the user interface according to the invention and in particular the digital assistant offer the following advantages:
An interface is created for all functions of a personal digital assistant. Examples of such functions are briefly listed below: Appointment management, reminders of birthday presents, call back from the doctor, pick things up, make gift suggestions, be a partner to play with, establish a connection, answer calls, faxes, emails, navigation, route planning, booking service, information about collect certain topics, enable access to your own data, answer specific questions, be accessible even while using other applications, e.g. B. Queries during a call, active and passive effect (can be called, but also calls yourself), voice dialogue as the basis of communication, security feature identification via speaker verification, learnable due to environmental influences, develops your own feelings, reacts to the mood of the user and to the treatment by him, accessible everywhere, because it is network-based. Legend: 10 Control Panel
12 Main dialog module
14 network access
16 Access verification
18 Satisfaction Index Boost Module
20 emotion module
22 Third-party access module
24 Web administration module
26 Language administration module
28 voice-based update module
30 third database
32 calendars
34 contact database
36 User Preferences Database
38 Third-party database
40 event scheduler module
42 dialing module
44 activity module
46 Internet access module
48 DAB / DVB access module
50 cell phone access module
52 first database
54 Language Type Selector
56 second database
58 Text-to-speech module
60 PSTN / ISDN network
62 Cellular access
64 DAB / DVB access
66 Internet

Claims

1. A method for voice-controlled access to an information system, in which a digital assistant is provided to support a user of the information system, which accepts voice instructions from the user and at least partially converts them into control instructions for the information system, and information from the information system is available to the user by means of voice output , characterized in that the digital assistant analyzes and evaluates the user's voice instructions in such a way that it determines a satisfaction index of its own and a satisfaction index of the user and selects the speech output and the vocabulary for the speech output as a function of both satisfaction indices.

2. The method according to claim 1, characterized characterized that the digital assistant Record length, semantics, reaction time and / or Precision of the language instructions of the User analyzes and evaluates.

3. The method according to claim 1 or 2, characterized featured that the digital assistant at Falling below a predetermined value or both satisfaction indices at least executes a first predetermined speech output.

4. The method according to claim 3, characterized characterized that the digital assistant after Expiration of a predetermined period of time from Falling below the specified value or both satisfaction indices at least executes a second predetermined speech output.

5. Method according to one of the preceding Claims, characterized in that the Satisfaction indices by given language instructions are changed.

6. Method according to one of the preceding Claims, characterized in that the Satisfaction indices from the time of day User access to the information system to be influenced.

7. The method according to claim 6, characterized characterized that the satisfaction indices decreased at night access and at access during the day.

8. Method according to one of the preceding Claims, characterized in that the Narrator and vocabulary for Speech output depending on the social Affiliation of the user can be selected.

9. Method according to one of the preceding Claims, characterized in that the Narrator and vocabulary for Voice output depending on a role be selected which of the users for the digital assistant.

10. Method according to one of the preceding Claims, characterized in that the digital assistant on the Internet, Information databases, radio and / or Accesses television programs, information from it loads into a memory and evaluates.

11. The method according to claim 10, characterized characterized that the digital assistant loaded information according to the frequency of a Access evaluates and depends on it Deletes information.

12. Method according to one of the preceding Claims, characterized in that the User and the digital assistant over one Communicate telecommunications network, especially over a telephone connection.

13. Method according to one of the preceding Claims, characterized in that the digital assistant to access the user Information system based on a password, a PIN, the number of a telephone connection, from which the user requests access to and / or at least one for the User characteristic linguistic Feature identified.

14. User interface for voice-controlled access to an information system, which is designed in particular to carry out a method according to one of the preceding claims
a main dialog module ( 12 ) for controlling a linguistic interaction of a digital assistant with a user of the information system,
a first database ( 52 ) for a speech recognition grammar,
a second database ( 56 ) for voice output,
characterized by language type selection means ( 54 ) which select a vocabulary for the speech output and a type of the speech output depending on a satisfaction index of the digital assistant and / or a satisfaction index of the user.

15. User interface according to claim 14, characterized by a third database ( 30 ) in which personal data of a user of the information system is stored and which can be evaluated by the language type selection means ( 54 ).

16. User interface according to claim 14 or 15, characterized by a text-to-speech module ( 58 ) which can convert information from databases external to the information system and a contact database ( 34 ) into speech output.

17. User interface according to one of claims 14-16, characterized by a system controller ( 10 ) which monitors and coordinates all processes of the user interface and ensures real-time processing of voice instructions from the user.

18. User interface according to one of claims 14-17, characterized by an event scheduler module ( 40 ) which can monitor time and / or date-relevant tasks such as waking, reminding or similar events.

19. User interface according to one of claims 14-18, characterized by a dialing module ( 42 ), which establish a connection to a connection of a user in a telecommunications network ( 60 ) and / or forward the user to a further connection of the telecommunications network ( 60 ) can.

20. User interface according to one of claims 14-19, characterized by an activity module ( 44 ) which can access information databases and / or means ( 46 , 48 , 50 ) without the user's voice instruction.