DE102004047068A1 - Apparatus and method for grouping temporal segments of a piece of music - Google Patents
Apparatus and method for grouping temporal segments of a piece of music Download PDFInfo
- Publication number
- DE102004047068A1 DE102004047068A1 DE102004047068A DE102004047068A DE102004047068A1 DE 102004047068 A1 DE102004047068 A1 DE 102004047068A1 DE 102004047068 A DE102004047068 A DE 102004047068A DE 102004047068 A DE102004047068 A DE 102004047068A DE 102004047068 A1 DE102004047068 A1 DE 102004047068A1
- Authority
- DE
- Germany
- Prior art keywords
- segment
- class
- similarity
- segments
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
Abstract
Zum Gruppieren von zeitlichen Segmenten eines Audiostücks, das in in dem Audiostück wiederholt auftretende Hauptteile gegliedert ist, in verschiedene Segmentklassen, wird zunächst eine Ähnlichkeitsdarstellung für die Segmente bereitgestellt, wobei die Ähnlichkeitsdarstellung für jedes Segment eine zugeordnete Mehrzahl von Ähnlichkeitswerten aufweist, wobei die Ähnlichkeitswerte angeben, wie ähnlich das Segment zu jedem anderen Segment des Musikstücks ist. Hierauf wird unter Verwendung der Ähnlichkeitswerte, die dem Segment zugeordnet sind, ein Ähnlichkeits-Schwellwert für ein Segment berechnet, um dann ein Segment zu einer Segmentklasse zuzuordnen, wenn der Ähnlichkeitswert des Segments eine vorbestimmte Beziehung bezüglich des Ähnlichkeits-Schwellwerts erfüllt. Damit wird ein Clustering erreicht, das auch dort, wo es Segmente mit stark unterschiedlichen oder nahezu gleichen kombinierten Ähnlichkeitswerten gibt, effizient und korrekt arbeitet.For grouping temporal segments of an audio piece, which is divided into different segment classes in main sections repeatedly occurring in the audio track, first a similarity representation is provided for the segments, the similarity representation for each segment having an associated plurality of similarity values, the similarity values indicating how similar the segment is to each other segment of the piece of music. Then, using the similarity values associated with the segment, a similarity threshold is calculated for a segment to then associate a segment with a segment class if the similarity value of the segment meets a predetermined relationship with respect to the similarity threshold. This achieves clustering that works efficiently and correctly even where there are segments with very different or nearly identical combined similarity values.
Description
Die vorliegende Erfindung bezieht sich auf die Audiosegmentierung und insbesondere auf die Analyse von Musikstücken auf die in den Musikstücken enthaltenen einzelnen Hauptteile, die in dem Musikstück wiederholt auftreten können.The The present invention relates to audio segmentation and in particular to the analysis of pieces of music contained in the pieces of music individual main parts that may occur repeatedly in the piece of music.
Musik aus dem Rock- und Popbereich besteht meistens aus mehr oder weniger eindeutigen Segmenten, wie beispielsweise Intro, Strophe, Refrain, Bridge, Outro, etc. Die Anfangs- und Endzeitpunkte solcher Segmente zu detektieren und die Segmente nach ihrer Zugehörigkeit zu den wichtigsten Klassen (Strophe und Refrain) zu gruppieren, ist Ziel der Audiosegmentierung. Eine korrekte Segmentierung und auch Kennzeichnung der berechneten Segmente kann in verschiedenen Bereichen sinnvoll eingesetzt werden. Beispielsweise können so Musikstücke von Online-Anbietern, wie Amazon, Musicline, etc. intelligent „angespielt" werden.music from the rock and pop area usually consists of more or less unique segments, such as intro, stanza, chorus, Bridge, Outro, etc. The beginning and To detect end times of such segments and the segments after their affiliation to group to the main classes (stanza and chorus), is the target of audio segmentation. A correct segmentation and Also marking the calculated segments can be different Areas are used meaningfully. For example, like this music be smartly "played" by online providers, such as Amazon, Musicline, etc.
Die meisten Anbieter im Internet beschränken sich bei ihren Hörbeispielen auf einen kurzen Ausschnitt aus den angebotenen Musikstücken. In diesem Fall wäre es natürlich auch sinnvoll, dem Interessenten nicht nur die ersten 30 Sekunden oder beliebige 30 Sekunden, sondern einen möglichst repräsentativen Ausschnitt aus dem Lied anzubieten. Dies könnte z. B. der Refrain sein, oder aber auch eine Zusammenfassung des Liedes, bestehend aus Segmenten, die den verschiedenen Hauptklassen (Strophe, Refrain, ...) angehören.The Most providers on the Internet are limited to their audio samples on a short excerpt from the offered pieces of music. In this Case would be it of course also useful, the prospective not only the first 30 seconds or any 30 seconds, but as representative as possible To offer an excerpt from the song. This could be z. B. be the refrain, or a summary of the song, consisting of segments, which belong to the different main classes (verse, chorus, ...).
Ein weiteres Anwendungsbeispiel für die Technik der Audiosegmentierung ist das Integrieren des Segmentierungs- /Gruppierungs-/Markierungsalgorithmus in einen Musicplayer. Die Informationen über Segmentanfänge und Segmentenden ermöglichen das gezielte Navigieren durch ein Musikstück. Durch die Klassenzugehörigkeit der Segmente, also ob ein Segment eine Strophe, ein Refrain, etc. ist, kann z. B. auch direkt zum nächsten Refrain oder zur nächsten Strophe gesprungen werden. Eine derartige Anwendung ist für große Musikmärkte von Interesse, die ihren Kunden die Möglichkeit bieten, in komplette Alben hinein zu hören. Dadurch erspart sich der Kunde das lästige, suchende Vorspulen zu charakteristischen Stellen im Lied, die ihn vielleicht dazu bewegen könnten, ein Musikstück am Ende tatsächlich zu kaufen.One further application example for The technique of audio segmentation is to integrate the segmentation / grouping / marking algorithm into a music player. The information about segment beginnings and Enable segment ends Targeted navigation through a piece of music. By class membership the segments, ie whether a segment is a verse, a chorus, etc. is, z. B. also directly to the next chorus or the next stanza be jumped. Such an application is for large music markets of Interested in giving their customers the opportunity to complete Listen to albums. This saves the customer the annoying, searching forward to characteristic Places in the song that might motivate him to do so piece of music in the end actually to buy.
Auf dem Gebiet der Audiosegmentierung existieren verschiedene Ansätze. Nachfolgend wird der Ansatz von Jonathan Foote und Matthew Cooper beispielhaft dargestellt. Dieses Verfahren ist in FOOTE, J.T./Cooper, M.L.: Summarizing Popular Music via Structural Similarity Analysis. Proceedings of the IEEE Workshop of Signal Processing to Audio and Acoustics 2003. FOOTE, J.T./COOPER, M.L.: Media Segmentation using Self-Similar Decomposition. Proceedings of SPIE Storage and Retrieval for Multimedia Databases, Bd. 5021, S. 167-75, Januar 2003, dargestellt.On In the field of audio segmentation there are different approaches. following is the approach of Jonathan Foote and Matthew Cooper exemplary shown. This method is described in FOOTE, J.T./Cooper, M.L .: Summarizing Popular Music via Structural Similarity Analysis. Proceedings of the IEEE Workshop on Signal Processing to Audio and Acoustics 2003. FOOTE, J.T./COOPER, M.L .: Media Segmentation using Self-Similar Decomposition. Proceedings of SPIE Storage and Retrieval for Multimedia Databases, Vol. 5021, pp. 167-75, January 2003.
Das
bekannte Verfahren von Foote wird anhand des Blockschaltbilds von
Die
extrahierten Merkmale werden dann in einem Speicher
Auf
den Merkmalsextraktionsalgorithmus findet nunmehr ein Segmentierungsalgorithmus
statt, der in einer Ähnlichkeitsmatrix
endet, wie es in einem Block
Der
Aufbau der Ähnlichkeitsmatrix
ist in
Es ist zu sehen, dass die Matrix dahingehend redundant ist, dass sie zur Diagonalen symmetrisch ist, und dass auf der Diagonalen die Ähnlichkeit eines Fensters zu sich selbst steht, was den trivialen Fall einer 100%-igen Ähnlichkeit darstellt.It It can be seen that the matrix is redundant in that it to the diagonal is symmetrical, and that on the diagonal the similarity of a window to itself, which is the trivial case of a 100% similarity represents.
Ein
Beispiel für
eine Ähnlichkeitsmatrix
eines Stücks
ist in
Hierauf
wird unter Verwendung der Ähnlichkeitsmatrix,
wie sie z. B. in
Hierauf
werden in einem Block
Hierauf
wird, wie es bereits in einem mit Clustering bezeichneten Block
aus
Hierauf
wird dann in einem Block
Schließlich wird
in einem mit
Nachfolgend wird auf die einzelnen Blöcke noch detaillierter eingegangen.following will be on the individual blocks yet detailed.
Wie
es bereits ausgeführt
worden ist, findet die eigentliche Segmentierung des Musikstücks erst dann
statt, wenn die Merkmalsmatrizen generiert und gespeichert sind
(Block
Je nach dem, anhand welchen Merkmals das Musikstück auf seine Struktur hin untersucht werden soll, wird die entsprechende Merkmalsmatrix ausgelesen und zur Weiterverarbeitung in einen Arbeitsspeicher geladen. Die Merkmalsmatrix hat die Dimension Anzahl der Analysefenster mal Anzahl der Merkmalskoeffizienten.ever according to which feature the piece of music examines its structure is to be read, the corresponding feature matrix is read out and loaded into a working memory for further processing. The feature matrix has the dimension number of analysis windows times number of feature coefficients.
Durch
die Ähnlichkeitsmatrix
wird der Merkmalsverlauf eines Stücks in eine zweidimensionale Darstellung
gebracht. Für
jede paarweise Kombination von Merkmalsvektoren wird das Distanzmaß berechnet,
das in der Ähnlichkeitsmatrix
festgehalten wird. Zur Berechnung des Distanzmaßes zwischen zwei Vektoren
gibt es verschiedene Möglichkeiten, nämlich beispielsweise
die Euklidsche Distanzmessung und die Cosinus-Distanzmessung. Ein
Ergebnis D(i,j) zwischen den zwei Merkmalsvektoren wird im i,j-ten
Element der Fenster-Ähnlichkeitsmatrix
(Block
Zur
Visualisierung einer Ähnlichkeitsmatrix, wie
sie in
Die
Struktur der Ähnlichkeitsmatrix
ist wichtig für
das in der Kernel-Korrelation
Die Selektion der markanten Maxima im Neuheitsverlauf ist wichtig für die Segmentierung. Die Auswahl aller Maxima des ungeglätteten Neuheitsverlaufs würde zu einer starken Übersegmentierung des Audiosignals führen.The Selection of the distinctive maxima in the novelty course is important for the segmentation. The Selection of all maxima of unsmoothed Novelty course would to a strong over-segmentation of the audio signal.
Daher sollte das Neuheitsmaß geglättet werden, und zwar mit verschiedenen Filtern, wie beispielsweise IIR-Filter oder FIR-Filter.Therefore should the novelty measure be smoothed out, and with different filters, such as IIR filters or FIR filters.
Sind die Segmentgrenzen eines Musikstücks extrahiert, so müssen nun ähnliche Segmente als solche gekennzeichnet und in Klassen gruppiert werden.are extracts the segment boundaries of a piece of music, so must similar now Segments are marked as such and grouped into classes.
Foote
und Cooper beschreiben die Berechnung einer segment-basierten Ähnlichkeitsmatrix mittels
einer Cullback-Leibler-Distanz.
Hierfür
werden anhand der aus dem Neuheitsverlauf gewonnenen Segmentgrenzen
einzelne Segmentmerkmalsmatrizen aus der gesamten Merkmalsmatrix
extrahiert, d. h. jede dieser Matrizen ist eine Submatrix der gesamten
Merkmalsmatrix. Die damit entstandene Segmentähnlichkeitsmatrix
Hierauf erhält man Singulärwerte in absteigender Reihenfolge.hereupon receives singular values in descending order.
Im
Block
Bezüglich weiterer Techniken zur Segmentierung/Musikanalyse wird auf CHU, s./LOGAN B.: Music Summary using Key Phrases. Technical Report, Cambridge Research Laboratory 2000, BARTSCH, M.A./WAKEFIELD, g. H.: To Catch a Chorus: Using Chroma-Based Representation for Audio Thumbnailing. Proceedings of the IEEE Workshop of Signal Processing to Audio and Acoustics 2001. http://musen.engin.umich.edu/papers/bartsch wakefield waspaa01 final.pdf, verwiesenRegarding further Techniques for segmentation / music analysis will be on CHU, s./LOGAN B .: Music Summary using Key Phrases. Technical Report, Cambridge Research Laboratory 2000, BARTSCH, M.A./WAKEFIELD, g. H .: To Catch a Chorus: Using Chroma-Based Representation for Audio Thumbnailing. Proceedings of the IEEE Workshop on Signal Processing to Audio and Acoustics 2001. http://musen.engin.umich.edu/papers/bartsch wakefield waspaa01 final.pdf, referenced
Nachteilig an dem bekannten Verfahren ist die Tatsache, dass die Singularwertzerlegung (SVD) zur Segmentklassenbildung, also zum Zuordnen von Segmenten zu Clustern zum einen sehr rechenaufwendig ist und zum anderen problematisch in der Beurteilung der Ergebnisse ist. So wird dann, wenn die Singularwerte nahezu gleich groß sind, eine möglicherweise falsche Entscheidung dahingehend getroffen, dass die beiden ähnlichen Singularwerte eigentlich die gleiche Segmentklasse und nicht zwei unterschiedliche Segmentklassen darstellen.adversely in the known method is the fact that the singular value decomposition (SVD) for segment class formation, that is for assigning segments to clusters on the one hand is very compute-consuming and on the other problematic in the assessment of the results. So then, if the singular values are almost the same size, one maybe wrong decision made that the two similar Singular values are actually the same segment class and not two represent different segment classes.
Ferner wurde herausgefunden, dass die Ergebnisse, die durch die Singularwertzerlegung erhalten werden, dann immer problematischer werden, wenn es starke Ähnlichkeitswertunter schiede gibt, wenn also ein Stück sehr ähnliche Anteile enthält, wie Strophe und Refrain, aber auch relativ unähnliche Anteile, wie Intro, Outro oder Bridge.Further It was found that the results obtained by the singular value decomposition then get more and more problematic when it differs strong similarity value gives, so if a piece very similar Contains shares, like stanza and chorus, but also relatively dissimilar parts, like intro, Outro or Bridge.
Ferner problematisch an dem bekannten Verfahren ist, dass immer davon ausgegangen wird, dass der Cluster unter den beiden Clustern mit den höchsten Singularwerten, der das erste Segment im Lied hat, der Cluster „Strophe" ist, und dass der andere Cluster der Cluster „Refrain" ist. Dieses Prozedere basiert darauf, dass man im bekannten Verfahren davon ausgeht, dass ein Lied immer mit einer Strophe beginnt. Erfahrungen haben gezeigt, dass damit erhebliche Labelingfehler erhalten werden. Dies ist insofern problematisch, da das Labeling gewissermaßen die „Ernte" des gesamten Verfahrens ist, also das, was der Benutzer unmittelbar erfährt. Waren die vorhergehenden Schritte noch so präzise und aufwändig, so relativiert sich alles, wenn am Ende falsch gelabelt wird, da dann beim Benutzer das Vertrauen in das gesamte Konzept insgesamt Schaden nehmen könnte.Further The problem with the known method is that always assumed is that the cluster among the two clusters with the highest singular values, which has the first segment in the song, the cluster is "stanza", and that the other cluster is the Cluster "refrain" is this procedure is based on the fact that in the known method it is assumed that a song always starts with a stanza. Experience has shown that significant labeling errors are obtained. This is insofar problematic, since labeling is effectively the "harvest" of the entire process, that is, what the user experiences directly. Were the previous steps still so precise and elaborate, so Everything is relativized, if at the end wrongly labeled, because then At the user's total loss of confidence in the whole concept could take.
An dieser Stelle sei ferner darauf hingewiesen, dass insbesondere Bedarf nach automatischen Musikanalyseverfahren besteht, ohne dass das Ergebnis immer überprüft und gegebenenfalls korrigiert werden kann. Statt dessen ist ein Verfahren nur dann am Markt einsetzbar, wenn es automatisch ohne menschliche Nachkorrektur ablaufen kann.At It should also be noted that, in particular, needs according to automatic music analysis methods, without that Result always checked and if necessary can be corrected. Instead, a procedure is only on Market usable if it automatically without human correction can expire.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes und gleichzeitig effizientes Konzept zum Gruppieren von zeitlichen Segmenten eines Musikstücks zu schaffen.The Object of the present invention is to provide an improved and at the same time efficient concept for grouping temporal Segments of a piece of music to accomplish.
Diese Aufgabe wird durch eine Vorrichtung zum Gruppieren gemäß Patentanspruch 1, ein Verfahren zum Gruppieren gemäß Patentanspruch 16 oder ein Computer-Programm gemäß Patentanspruch 17 gelöst.These The object is achieved by a device for grouping according to claim 1, a method of grouping according to claim 16 or a Computer program according to claim 17 solved.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass die Zuweisung eines Segments zu einer Segmentklasse auf der Basis eines adaptiven Ähnlichkeits-Mittelwerts für ein Segment durchzuführen ist, derart, dass durch den Ähnlichkeits-Mittelwert berücksichtigt wird, welchen insgesamten Ähnlichkeits-Score ein Segment im gesamten Stück hat. Nachdem für ein Segment ein solcher Ähnlichkeits-Mittelwert berechnet worden ist, zu dessen Berechnung die Anzahl der Segmente und die Ähnlichkeitswerte der dem Segment zugeordneten Mehrzahl von Ähnlichkeitswerten benötigt werden, wird dann die tatsächliche Zuweisung eines Segments zu einer Segmentklasse, also zu einem Cluster, auf der Basis dieses Ähnlichkeits-Mittelwerts durchgeführt. Liegt ein Ähnlichkeitswert eines Segments zu dem gerade betrachteten Segment beispielsweise oberhalb des Ähnlichkeits-Mittelwerts, so wird das Segment als zu der gerade betrachteten Segmentklasse zugehörig zugewiesen. Liegt der Ähnlichkeitswert eines Segments zu dem gerade betrachteten Segment dagegen unterhalb dieses Ähnlichkeits-Mittelwerts, so wird es nicht der Segmentklasse zugewiesen.Of the The present invention is based on the finding that the assignment a segment to a segment class based on an adaptive similarity mean for a Segment to perform is such that by the similarity mean considered which overall similarity score has a segment throughout the piece. After for a segment such a mean of similarity has been calculated, for the calculation of which the number of segments and the similarity values the plurality of similarity values associated with the segment are needed, then becomes the actual Assignment of a segment to a segment class, ie to a cluster, on the basis of this similarity mean carried out. Is a similarity value a segment to the currently considered segment, for example above the similarity mean, thus, the segment is considered to be the segment class currently considered assigned. Is the similarity value a segment to the currently considered segment, however, below this similarity mean, so it will not be assigned to the segment class.
In anderen Worten ausgedrückt bedeutet dies, dass die Zuweisung nicht mehr abhängig von der absoluten Größe der Ähnlichkeitswerte durchgeführt wird, sondern relativ zu dem Ähnlichkeits-Mittelwert. Dies bedeutet, dass für ein Segment, das einen relativ geringen Ähnlichkeits-Score hat, also z. B. für ein Segment, das ein Intro oder Outro hat, der Ähnlichkeits-Mittelwert niedriger sein wird als für ein Segment, das eine Strophe oder ein Refrain ist. Damit werden die starken Abweichungen der Ähnlichkeiten von Segmenten in Stücken bzw. der Häufigkeit des Auftretens von bestimmten Segmenten in Stücken berücksichtigt, wobei z. B. numerische Probleme und damit auch Mehrdeutigkeiten und damit verbundene Falsch-Zuweisungen vermieden werden können.In in other words This means that the assignment is no longer dependent on the absolute size of the similarity values carried out but relative to the mean of similarity. This means that for a segment that has a relatively low similarity score, ie z. For example Segment having an intro or outro, the similarity mean lower will be as for a segment that is a stanza or chorus. With that the strong deviations of the similarities of Segments in pieces or the frequency the occurrence of certain segments in pieces, where z. Numeric Problems and thus also ambiguities and associated wrong assignments can be avoided.
Das erfindungsgemäße Konzept eignet sich besonders für Musikstücke, die nicht nur aus Strophen und Refrains bestehen, also die Segmente haben, die zu Segmentklasse gehören, die gleich große Ähnlichkeitswerte haben, sondern auch für Stücke, die neben Strophe und Refrain auch andere Teile haben, nämlich eine Einführung (Intro), ein Zwischenspiel (Bridge) oder einen Ausklang (Outro).The inventive concept is particularly suitable for Pieces of music, not just stanzas and choruses, so the segments that belong to segment class, the same similarity values have, but also for Pieces that besides stanza and chorus also have other parts, namely one introduction (Intro), an interlude (Bridge) or a finale (Outro).
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden die Berechnung des adaptiven Ähnlichkeits-Mittelwertes und das Zuweisen eines Segments iterativ durchgeführt, wobei zugewiesene Segmente beim nächsten Iterationsdurchgang ignoriert werden. Damit ändert sich für den nächsten Iterationsdurchgang wieder der Ähnlichkeits-Absolutwert, also die Summe der Ähnlichkeitswerte in einer Spalte der Ähnlichkeitsmatrix, da bereits zugewiesene Segmente zu 0 gesetzt worden sind.at a preferred embodiment of present invention, the calculation of the adaptive similarity mean and assigning a segment iteratively, assigning segments at the next Iterationsdurchgang be ignored. This changes for the next iteration again the similarity absolute value, so the sum of the similarity values in a column of the similarity matrix, since already assigned segments have been set to 0.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine Segmentierungs-Nachkorrektur durchgeführt, und zwar dahingehend, dass nach der Segmentierung z. B. auf Grund des Neuheitswertes (der lokalen Maxima des Neuheitswertes) und nach einer anschließenden Zuordnung zu Segmentklassen relativ kurze Segmente untersucht werden, um zu sehen, ob sie dem Vorgänger-Segment oder dem Nachfolger-Segment zugeordnet werden können, da Segmente unterhalb einer minimalen Segmentlänge mit hoher Wahrscheinlichkeit auf eine Übersegmentierung hindeuten.at a preferred embodiment of present invention, a segmentation post-correction is performed, and Although to the effect that after the segmentation z. B. due to the Novelty value (the local maxima of novelty value) and after a subsequent Assignment to segment classes relatively short segments are examined to see if they are the predecessor segment or the successor segment can be assigned as segments below a minimum segment length highly likely to indicate over-segmentation.
Bei einem alternativen bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird nach der abschließenden Segmentierung und Zuordnung in die Segmentklassen ein Labeling durchgeführt, und zwar unter Verwendung eines speziellen Auswahlalgorithmus, um eine möglichst korrekte Kennzeichnung der Segmentklassen als Strophe oder Refrain zu erhalten.at an alternative preferred embodiment of the present invention Invention will after the final segmentation and assignment in the segment classes are labeling using a special selection algorithm to ensure that the labeling is as correct as possible the segment classes as a stanza or chorus.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegende Zeichnung detailliert erläutert. Es zeigen:preferred embodiments The present invention will be described below with reference to FIG the attached drawing explained in detail. Show it:
Die Literatur behandelt das Thema der Musikanalyse hauptsächlich anhand klassischer Musik, davon gilt jedoch auch vieles für Rock- und Popmusik. Die Hauptteile eines Musikstücks werden auch „Großformteile" genannt. Unter einem Großformteil eines Stücks versteht man einen Abschnitt, der hinsichtlich verschiedener Merkmale, z. B. Melodik, Rhythmik, Textur, usw., eine relativ einheitliche Beschaffenheit hat. Diese Definition gilt allgemein in der Musiktheorie.The Literature deals mainly with the topic of music analysis classical music, but there is also a lot for rock and pop music. The main parts of a piece of music are also called "large moldings." Under one Large molding of a piece is understood a section which, in terms of various characteristics, z. As melody, rhythm, texture, etc., a relatively uniform Texture has. This definition applies generally in music theory.
Großformteile
in der Rock- und Popmusik sind z. B. Strophe, Refrain, Bridge und
Solo. In der klassischen Musik wird ein Wechselspiel von Refrain und
anderen Teilen (Couplets) einer Komposition auch Rondo genannt.
Im Allgemeinen kontrastieren die Couplets zum Refrain, beispielsweise
hinsichtlich Melodik, Rhythmik, Harmonik, Tonart oder Instrumentation.
Dies lässt
sich auch auf moderne Unterhaltungsmusik übertragen. So wie es bei dem
Rondo verschiedene Formen gibt (Kettenrondo, Bogenrondo, Sonatenrondo),
bestehen auch in Rock- und Popmusik bewährte Muster zum Aufbau eines
Liedes. Diese sind natürlich
nur einige Möglichkeiten
aus vielen. Letztendlich entscheidet natürlich der Komponist, wie sein
Stück aufgebaut
ist. Ein Beispiel für
einen typischen Aufbau eines Rockliedes ist das Muster.
A-B-A-B-C-D-A-B,
wobei
A gleich Strophe, B gleich Refrain, C gleich Bridge und D gleich
Solo gilt. Oftmals wird ein Musikstück mit einem Vorspiel (Intro)
eingeleitet. Intros bestehen häufig
aus der gleichen Akkordfolge wie die Strophe, allerdings mit anderer
Instrumentation, z. B. ohne Schlagzeug, ohne Bass oder ohne Verzerrung der
Gitarre bei Rockliedern etc.Large moldings in rock and pop music are z. Eg verse, chorus, bridge and solo. In classical music, an interplay of chorus and other parts (couplets) of a composition is also called rondo. In general, the couplets contrast with the chorus, for example in terms of melody, rhythm, harmony, key or instrumentation. This can also be transferred to modern light music. Just as there are different forms in the rondo (chain rondo, bowed rondo, sonata rondo), there are also proven patterns in rock and pop music for setting up a song. Of course these are just a few options out of many. Ultimately, of course, the composer decides how his piece is constructed. An example of a typical structure of a rock song is the pattern.
ABABCDAB,
where A equals strophe, B equals refrain, C equals bridge, and D equals solo. Often a piece of music is introduced with a prelude. Intros often consist of the same chord progression as the stanza, but with different instrumentation, eg. B. without drums, without bass or distortion of the guitar in rock songs etc.
Die
erfindungsgemäße Vorrichtung
umfasst zunächst
eine Einrichtung
Eine
dem Segment zugeordnete Mehrzahl von Ähnlichkeitswerten ist beispielsweise
eine Spalte oder eine Zeile der Segment-Ähnlichkeitsmatrix in
Die
Vorrichtung zum Gruppieren von zeitlichen Segmenten des Musikstücks umfasst
ferner eine Einrichtung
Die
Einrichtung
Der
adaptiv berechnete Ähnlichkeits-Schwellenwert
wird dann einer Einrichtung
Bei
einem bevorzugten Ausführungsbeispiel der
vorliegenden Erfindung existieren noch weitere Einrichtungen, um
spezielle Ausführungsformen
zu verwirklichen, auf die später
eingegangen wird. Diese Einrichtungen sind eine Segmentauswahleinrichtung
Die
Segmentauswahleinrichtung
P
ist die Anzahl der Segmente. SÄ ist
der Wert der Selbstähnlichkeit
eines Segments mit sich selbst. Je nach verwendeter Technik kann
der Wert z. B. Null oder Eins sein. Die Segmentauswahleinrichtung
Für das nachfolgende
Beispiel wird nunmehr angenommen, dass die Segmentauswahleinrichtung
Nunmehr
wird der Ähnlichkeits-Score
der Spalte 7, also für
das Segment Nr. 7 noch durch die Zahl „9" geteilt, um aus der Einrichtung
Hierauf wird in der Segment-Ähnlichkeitsmatrix für die siebte Zeile bzw. Spalte überprüft, welche Segmentähnlichkeiten über dem berechneten Schwellwert liegen, d. h. mit welchen Segmenten das i-te Segment eine überdurchschnittliche Ähnlichkeit aufweist. All diese Segmente werden nunmehr ebenfalls wie das siebte Segment einer ersten Segmentklasse zugewiesen.hereupon becomes in the segment similarity matrix for the seventh row or column checks which segment similarities above the calculated threshold value, d. H. with which segments the i-th Segment has an above-average similarity. All these segments will now be the same as the seventh segment assigned to a first segment class.
Für das vorliegende Beispiel wird angenommen, dass die Ähnlichkeit des Segments 10 zum Segment 7 unterdurchschnittlich ist, dass jedoch die Ähnlichkeiten des Segments 4 und des Segments 1 zum Segment 7 überdurchschnittlich sind. Daher werden in die erste Segmentklasse neben dem Segment Nr. 7 auch das Segment Nr. 4 und das Segment Nr. 1 eingeordnet. Dagegen wird das Segment Nr. 10 auf Grund der unterdurchschnittlichen Ähnlichkeit zum Segment Nr. 7 nicht in die erste Segmentklasse eingeordnet.For the present For example, it is assumed that the similarity of the segment 10 to the segment 7 is below average, but that the similarities of segment 4 and segment 1 to segment 7 are above average. Therefore, be in the first segment class in addition to segment no. 7 also the segment No. 4 and segment No. 1. In contrast, the segment No. 10 due to the below-average similarity to segment no. 7 not classified in the first segment class.
Nach der Zuweisung werden die korrespondierenden Vektorelemente V(j) aller Segmente, die in dieser Schwellwertuntersuchung einem Cluster zugeordnet wurden, zu 0 gesetzt. Im Beispiel sind dies neben V(7) auch die Komponenten V(4) und V(1). Dies bedeutet unmittelbar, dass die 7., 4. und 1. Spalte der Matrix nicht mehr für eine spätere Maximalsuche zur Verfügung stehen werden, das sie Null sind, also keinesfalls ein Maximum sein können.After the assignment, the corresponding vector elements V (j) of all the segments which in this threshold value investigation become a cluster were set to 0. In the example these are beside V (7) also the components V (4) and V (1). This immediately implies that the 7th, 4th, and 1st columns of the matrix will no longer be available for a later maximum search, that they are zero, so they can not be a maximum.
Dies ist in etwa gleichbedeutend damit, dass die Einträge (1,7), (4,7), (7,7) und (10,7) der Segmentähnlichkeitsmatrix zu 0 gesetzt werden. Dasselbe Prozedere wird für die Spalte 1 (Elemente (1, 1) , (4, 1) und (7, 1)) und die Spalte 4 (Elemente (1,4), (4,4), (7,4) und (10, 4)) durchgeführt. Aufgrund der einfacheren Handhabbarkeit, wird jedoch die Matrix nicht verändert, sondern werden die Komponenten von V, die zu einem zugewiesenen Segment gehören, bei der nächsten Maximumsuche in einem späteren Iterationsschritt ignoriert.This is roughly equivalent to the entries (1,7), (4,7), (7,7) and (10,7) of the segment similarity matrix are set to 0 become. The same procedure is used for column 1 (elements (1, 1), (4, 1) and (7, 1)) and the column 4 (elements (1,4), (4,4), (7,4) and (10, 4)). Due to the easier handling, however, the matrix becomes not changed, but become the components of V that are assigned to one Belonging to the segment, at the next Maximum search in a later Iteration step ignored.
In einem nächsten Iterationsschritt wird nunmehr ein neues Maximum unter den noch verbleibenden Elementen von V, also unter V(2), V(3), V(5), V(6,), V(8), V(9) und V(10) gesucht. Voraussichtlich wird dann das Segment Nr. 5, also V(5), den größten Ähnlichkeits-Score ergeben. Die zweite Segmentklasse erhält dann die Segmente 5 und 6. Auf Grund der Tatsache, dass die Ähnlichkeiten zu den Segmenten 2 und 3 unterdurchschnittlich sind, werden die Segmente 2 und 3 nicht in den Cluster zweiter Ordnung gebracht. Damit werden die Elemente V(6) und V(5) vom Vektor V auf Grund der erfolgten Zuweisung zu 0 gesetzt, während noch die Komponenten V(2), V(3), V(8), V(9) und V(10) des Vektors für die Auswahl des Clusters dritter Ordnung verbleiben.In one next Iteration step will now be a new maximum among the still remaining elements of V, thus under V (2), V (3), V (5), V (6,), V (8), V (9) and V (10) are searched. Probably the segment will be # 5, which is V (5), the largest similarity score result. The second segment class then receives the segments 5 and 6. Due to the fact that the similarities to the segments 2 and 3 are below average, segments 2 and 3 become not placed in the second-order cluster. This will be the Elements V (6) and V (5) of vector V due to the assignment made set to 0 while nor the components V (2), V (3), V (8), V (9) and V (10) of the vector for the Selection of third order cluster remains.
Hierauf
wird wieder ein neues Maximum unter den genannten verbleibenden
Elementen von V gesucht. Das neue Maximum könnte V(10) sein, also die Komponente
von V für
das Segment 10. Segment 10 kommt also in die Segmentklasse dritter
Ordnung. So könnte
sich ferner herausstellen, dass das Segment 7 auch zum Segment 10
eine überdurchschnittliche Ähnlichkeit
hat, obgleich das Segment 7 bereits der ersten Segmentklasse zugehörig gekennzeichnet
ist. Es entsteht somit ein Zuweisungskonflikt, der durch die Segmentzuweisungskonflikteinrichtung
Eine einfache Art der Auflösung könnte sein, einfach in die dritte Segmentklasse das Segment 7 nicht zuzuweisen und z. B. statt dessen das Segment 4 zuzuweisen, falls für das Segment 4 nicht ebenfalls ein Konflikt existieren würde.A simple way of dissolution could be just to not assign segment 7 into the third segment class and Z. For example, instead assign the segment 4 if for the segment 4 would not also conflict.
Vorzugsweise wird jedoch, um die Ähnlichkeit zwischen dem Segment 7 und dem Segment 10 nicht unberücksichtigt zu lassen, die Ähnlichkeit zwischen 7 und 10 in nachfolgendem Algorithmus berücksichtigt.Preferably However, the similarity between the segment 7 and the segment 10 is not taken into account to let the similarity between 7 and 10 in the following algorithm.
Allgemein
ist die Erfindung ausgelegt, um die Ähnlichkeit zwischen i und k
nicht unberücksichtigt
zu lassen. Daher werden die Ähnlichkeitswerte
Ss(i,k) von Segment i und k mit dem Ähnlichkeitswert
Ss(i*, k) verglichen, wobei i* das erste
Segment ist, das dem Cluster C* zugeordnet wurde. Der Cluster bzw. die
Segmentklasse C* ist der Cluster, dem das Segment k bereits auf
Grund einer vorherigen Untersuchung zugeordnet ist. Der Ähnlichkeitswert
Ss(i*, k) ist ausschlaggebend dafür, dass
das Segment k dem Cluster C* zugehörig ist. Ist Ss(i*,
k) größer als
Ss(i,k), so bleibt das Segment k im Cluster
C*. Ist Ss(i*, k) kleiner als Ss(i,k),
so wird das Segment k aus dem Cluster C* herausgenommen und dem
Cluster C zugewiesen. Für
den ersten Fall, also wenn das Segment k nicht die Clusterzugehörigkeit
wechselt, wird für
das Segment i eine Tendenz zum Cluster C* vermerkt. Vorzugsweise
wird diese Tendenz jedoch auch dann vermerkt, wenn das Segment k
die Clusterzugehörigkeit
wechselt. In diesem Fall wird eine Tendenz dieses Segments zum Cluster,
in den es ursprünglich
aufgenommen wurde, vermerkt. Diese Tendenzen können vorteilhafterweise bei
einer Segmentierungskorrektur, die durch die Segmentierungskorrektureinrichtung
Die Ähnlichkeitswertüberprüfung wird, auf Grund der Tatsache, dass das Segment 7 das „Ursprungssegment" in der ersten Segmentklasse ist, zugunsten der ersten Segmentklasse ausgehen. Das Segment 7 wird also seine Clusterzugehörig keit (Segmentzugehörigkeit) nicht ändern, sondern es wird in der ersten Segmentklasse verbleiben. Diese Tatsache wird jedoch dadurch berücksichtigt, dass dem Segment Nr. 10 in der dritten Segmentklasse ein Trend zur ersten Segmentklasse attestiert wird.The similarity value check is due to the fact that segment 7 is the "originating segment" in the first segment class is in favor of the first segment class. Segment 7 becomes its cluster affiliation (segment affiliation) do not change, but it will remain in the first segment class. this fact but it is taken into account that segment no. 10 in the third segment class is a trend towards first segment class is attested.
Erfindungsgemäß wird damit berücksichtigt, dass insbesondere für die Segmente, deren Segment-Ähnlichkeiten zu zwei unterschiedlichen Segmentklassen existieren, diese Ähnlichkeiten dennoch nicht ignoriert werden, sondern gegebenenfalls später durch den Trend bzw. die Tendenz doch noch berücksichtigt werden.According to the invention is thus takes into account that especially for the segments, their segmental similarities to two different segment classes exist, these similarities nevertheless not be ignored, but possibly later the trend or tendency is still taken into account.
Das Prozedere wird so lange fortgeführt, bis alle Segmente in der Segment-Ähnlichkeitsmatrix zugeordnet sind, was der Fall ist, wenn alle Elemente vom Vektor V zu Null gesetzt sind.The Procedure will continue for so long until all segments in the segment similarity matrix are assigned are what is the case when all elements from vector V to zero are set.
Dies
würde für das in
Nachfolgend
wird detailliert auf die bevorzugte Implementierung der Segmentierungskorrektureinrichtung
So
ergibt sich, dass bei der Berechnung der Segmentgrenzen mittels
der Kernel-Korrelation, jedoch auch bei der Berechnung von Segmentgrenzen mittels
anderer Maßnahmen
häufig
eine Übersegmentierung
eines Stücks
entsteht, d. h. es werden zu viele Segmentgrenzen bzw. allgemein
zu kurze Segmente berechnet. Eine Übersegmentierung, z. B. hervorgerufen
durch eine falsche Unterteilung der Strophe, wird erfindungsgemäß dadurch
korrigiert, dass auf Grund der Segment länge und der Information, in
welche Segmentklasse ein Vorgänger-
oder Nachfolger-Segment einsortiert worden ist, korrigiert wird.
In anderen Worten ausgedrückt
dient die Korrektur dazu, zu kurze Segmente vollständig zu
eliminieren, also mit benachbarten Segmenten zu verschmelzen, und
um Segmente, die kurz sind, jedoch nicht zu kurz sind, also die
eine kurze Länge
haben, jedoch länger
als die Minimallänge
sind, noch einer besonderen Untersuchung zu unterziehen, ob sie vielleicht
nicht doch noch mit einem Vorgängersegment
oder einem Nachfolgersegment verschmolzen werden können. Grundsätzlich werden
erfindungsgemäß aufeinander
folgende Segmente, die der gleichen Segmentklasse angehören, immer
verschmolzen. Ergibt das in
Es werden relativ kurze Segmente, die kürzer als 11 Sekunden (eine erste Schwelle) sind, überhaupt nur untersucht, während später noch kürzere Segmente (eine zweite Schwelle, die kleiner als die erste ist), die kürzer als 9 Sekunden sind, untersucht werden, und später noch verbleibende Segmente, die kürzer als 6 Sekunden (eine dritte Schwelle, die kürzer als die zweite Schwelle ist) sind, wieder alternativ behandelt werden.It be relatively short segments shorter than 11 seconds (a first threshold) are, at all only examined while later even shorter segments (a second threshold that is smaller than the first one), which is shorter than 9 seconds are to be examined, and later remaining segments, the shorter than 6 seconds (a third threshold, which is shorter than the second threshold ) are treated again alternatively.
Bei
dem bevorzugten Ausführungsbeispiel der
vorliegenden Erfindung, bei dem diese gestaffelte Längenüberprüfung stattfindet,
ist die Segmentlängenüberprüfung im
Block
Um
auch die zu kurzen Segmente zu vermeiden, die keine Tendenz zu dem
Cluster eines benachbarten Segments aufweisen, wird vorgegangen, wie
es in den Blöcken
In
einem Block
In
einem Block
In
einem Block
Verbleiben nunmehr noch Segmente, die kürzer als 9 Sekunden sind und noch nicht verschmolzen werden durften, so wird unter diesen noch einmal eine gestaffelte Auswahl durchgeführt. Insbesondere werden nunmehr alle Segmente unter den verbleibenden Segmenten, die kürzer als 6 Sekunden sind, ausgewählt. Die Segmente, deren Länge zwischen 6 und 9 Sekunden aus dieser Gruppe sind, werden „unangetastet" zugelassen.Remain now still segments, the shorter than 9 seconds are and yet could not be merged so a staggered selection is made among them again. Especially now all the segments will be among the remaining segments, the shorter ones than 6 seconds are selected. The segments whose length is between 6 and 9 seconds out of this group are allowed "untouched".
Die
Segmente, die kürzer
als 6 Sekunden sind, werden nunmehr jedoch alle der anhand der Elemente
Dieses erfindungsgemäße Prozedere hat den Vorteil, dass keine Elimination von Teilen des Stücks durchgeführt worden ist, dass also keine einfache Eliminierung der zu kurzen Segmente durch Zu-Null-Setzen durchgeführt worden ist, sondern dass nach wie vor das gesamte komplette Musikstück durch die Gesamtheit der Segmente repräsentiert ist. Durch die Segmentierung ist daher kein Informationsverlust aufgetreten, der jedoch sein würde, wenn man z. B. als Reaktion auf die Übersegmentierung einfach alle zu kurzen Segmente „ohne Rücksicht auf Verluste" einfach eliminieren würde.This inventive procedure has the advantage that no elimination of parts of the piece has been done So that's not a simple elimination of too short segments performed by zeroing but that is still the entire complete piece of music through represents the entirety of the segments is. Due to the segmentation is therefore no loss of information occurred, which would be, however, if one z. In response to the over-segmentation Simply eliminate all too short segments "regardless of losses" would.
Nachfolgend
wird Bezug nehmend auf
Erfindungsgemäß wird nun nicht etwa ein größter Singularwert einer Singularwertzerlegung und der dazugehörige Cluster als Refrain und der Cluster für den zweitgrößten Singularwert als Strophe verwendet. Ferner wird nicht grundsätzlich davon ausgegangen, dass jedes Lied mit einer Strophe anfängt, dass also der Cluster mit dem ersten Segment der Strophencluster ist und der andere Cluster der Refraincluster ist. Statt dessen wird erfindungsgemäß der Cluster in der Kandidatenauswahl, der das letzte Segment hat, als Refrain bezeichnet, und der andere Cluster wird als Strophe bezeichnet.According to the invention will now not a biggest singular value a singular value decomposition and the associated cluster as refrain and the cluster for the second largest singular value used as a stanza. Furthermore, it is not assumed in principle that every song begins with a stanza, that is, the cluster with the first segment of the stanza cluster is and the other cluster is the refrain cluster. Instead According to the invention, the cluster in the candidate selection, which has the last segment, as a refrain and the other cluster is called a stanza.
So
wird also für
die beiden letztendlich zur Strophe-/Refrain-Auswahl bereitstehenden Cluster überprüft (
Das letzte Segment kann das tatsächlich im Lied letzte Segment sein oder aber ein Segment, das im Lied später auftritt als alle Segmente der anderen Segmentklasse. Ist dieses Segment nicht das tatsächlich letzte Segment im Lied, so bedeutet dies, dass noch ein Outro vorliegt.The last segment can actually be in the song last segment or a segment that occurs later in the song as all segments of the other segment class. Is this segment not that actually last segment in the song, this means that there is still an outro.
Diese Entscheidung basiert auf der Erkenntnis, dass der Refrain in den allermeisten Fällen in einem Lied hinter der letzten Strophe kommt, also direkt als letztes Segment des Liedes, wenn ein Stück z. B. mit dem Refrain ausgeblendet wird, oder als Segment vor einem Outro, das auf einen Refrain folgt und mit dem das Stück beendet wird.These Decision based on the realization that the refrain in the most cases comes in a song behind the last stanza, so directly as last segment of the song, if a piece z. B. is hidden with the chorus, or as a segment in front of an outro that follows a chorus and with that the piece is ended.
Ist
das letzte Segment aus der ersten Segmentgruppe, dann werden alle
Segmente dieser ersten (höchstwertigen)
Segmentklasse als Refrain bezeichnet, wie es durch einen Block
Ergibt
dagegen die Untersuchung im Block
Wird
die Frage im Block
In
Nachfolgend
wird anhand von
Allgemein wird im Labeling eine Zuweisung der Label „Strophe" und „Refrain" durchgeführt, wobei eine Segmentgruppe als Strophen-Segmentgruppe markiert wird, während die andere Segmentgruppe als Refrain-Segmentgruppe markiert wird. Grundsätzlich basiert dieses Konzept auf der Annahme (A1), dass die beiden Cluster (Segmentgruppen) mit den höchsten Ähnlichkeitswerten, also Cluster 1 und Cluster 2, den Refrain- und Strophenclustern entsprechen. Das von diesen beiden Clustern als letztes auftretende ist das Refrain-Cluster, wobei davon ausgegangen wird, dass eine Strophe auf einen Refrain folgt.Generally Labeling is used to assign the label "stanza" and "refrain", with a segment group is marked as a stanza segment group, while the other segment group marked as refrain segment group. Basically, this concept is based on the assumption (A1) that the two clusters (segment groups) with the highest similarity values, So cluster 1 and cluster 2, the chorus and stanza clusters correspond. The last of these two clusters is the refrain cluster, assuming that a stanza follows a chorus.
Die Erfahrung aus zahlreichen Tests hat gezeigt, dass Cluster 1 in den meisten Fällen dem Refrain entspricht. Für Cluster 2 wird die Annahme (A1) jedoch oftmals nicht erfüllt. Diese Situation tritt meistens dann auf, wenn es entweder noch einen dritten, sich häufig wiederholenden Teil im Stück gibt, z. B. eine Bridge, bei einer hohen Ähnlichkeit von Intro und Outro, oder aber für den nicht selten auftretenden Fall, dass ein Segment im Stück eine hohe Ähnlichkeit zum Refrain aufweist, somit auch eine hohe Ge samtähnlichkeit hat, die Ähnlichkeit zum Refrain aber gerade nicht groß genug ist, um noch zum Cluster 1 zu gehören.The Experience from numerous tests has shown that cluster 1 in the most cases corresponds to the refrain. For Cluster 2, the assumption (A1) is often not fulfilled. These The situation usually occurs when there is still a third one, either often repeating part in the piece there, z. B. a bridge, with a high similarity of intro and outro, or for the not uncommon case that a segment in the piece one high similarity to the chorus, thus a high overall similarity has, the similarity to the chorus but just not big enough to make it to the cluster 1 belong to.
Untersuchungen
haben gezeigt, dass diese Situation häufig für Abwandlungen des Refrains
am Ende des Stücks
auftritt. Um mit möglichst
hoher Sicherheit Refrain und Strophe richtig zu markieren (labeln),
wird die in
Zunächst wird
in einem Schritt
Fraglich
ist nunmehr, welche weitere Segmentgruppe der zweite Teilnehmer
an der Strophe-Refrain-Auswahl sein wird. Der wahrscheinlichste
Kandidat ist die zweithöchste
Segmentklasse, also die Segmentklasse, die beim zweiten Durchlauf durch
das in
Wird die Frage dagegen mit „Nein" beantwortet, hat die zweithöchste Segmentklasse also z. B. wenigstens drei Segmente, oder zwei Segmente, von denen eines innerhalb des Stücks und nicht am „Rand" des Stücks ist, so bleibt die zweite Segmentklasse vorerst in der Auswahl und wird fortan als „Second Cluster" bezeichnet.If, on the other hand, the answer to the question is "no", then the second-highest segment class, for example, has at least three segments, or two segments, one of which is within the piece and not at the "edge" of the piece, so the second segment class remains in the selection and will henceforth be called "Se cond cluster ".
Wird
die Frage im Block
„Second
Cluster" muss sich,
wie es nachfolgend dargelegt wird, noch mit einer dritten Segmentklasse
messen (
Die Segmentklasse „Third Cluster" entspricht dem Cluster, welcher am häufigsten im gesamten Lied vorkommt, jedoch weder der höchsten Segmentklasse (Cluster 1) noch der Segmentklasse „Second Cluster" entspricht, sozusagen das am nächsthäufigsten (oftmals auch gleich häufig) vorkommende Cluster nach Cluster 1 und „Second Cluster".The Segment class "Third Cluster "corresponds to the Cluster, which is the most common occurs in the entire song, but neither the highest segment class (cluster 1) nor the segment class "Second Cluster "corresponds the next most common, so to speak (often the same) occurring clusters after cluster 1 and "second clusters".
Hinsichtlich
der so genannten Bridge-Problematik wird nun für „Third Cluster" überprüft, ob es eher in die Strophe-Refrain-Auswahl gehört als „Second
Cluster" oder nicht.
Dies geschieht deshalb, da „Second
Cluster" und „Third
Cluster" oftmals
gleich oft vorkommen, eins von beiden also evtl. eine Bridge oder
ein anderes wiederkehrendes Zwischenteil darstellt. Um zu gewährleisten,
dass die Segmentklasse von den beiden ausgewählt wird, die am ehesten der Strophe
oder dem Refrain entspricht, also nicht einer Bridge oder einem
anderen Zwischenstück,
werden die in den Blöcken
Die
erste Untersuchung in Block
In
einem Block
In
dem Block
Sind
alle diese drei Bedingungen mit „Ja" beantwortet, so kommt ThirdCluster
in die Strophe-Refrain-Auswahl. Ist dagegen wenigstens eine dieser Bedingungen
nicht erfüllt,
so kommt ThirdCluster nicht in die Strophe-Refrain-Auswahl. Statt
dessen kommt SecondCluster in die Strophe-Refrain-Auswahl, wie es durch
einen Block
An
dieser Stelle sei darauf hingewiesen, dass die drei Bedingungen
in den Blöcken
Alternative
Kombinationen sind ebenfalls möglich,
wobei für
eine Low-Level-Untersuchung auch nur die Abfrage eines der Blöcke
Nachfolgend
werden beispielhafte Implementierungen des Blocks
Die Refrain-Möglichkeit besteht darin, eine Version des Refrains als Summary zu wählen. Hierbei wird versucht, eine Ausführung des Refrains zu wählen, die möglichst zwischen 20 und 30 Sekunden lang ist. Ist ein Segment mit einer solchen Länge im Refrain-Cluster nicht enthalten, so wird eine Version gewählt, die eine möglichst geringe Abweichung zu einer Länge von 25 Sekunden hat. Ist der gewählte Refrain länger als 30 Sekunden, wird er bei diesem Ausführungsbeispiel über 30 Sekunden ausgeblendet und ist er kürzer als 20 Sekunden, so wird er mit dem darauf folgenden Segment auf 30 Sekunden verlängert.The refrain option is to choose a version of the chorus as a summary. This will attempt to choose a chorus version that lasts between 20 and 30 seconds if possible. If a segment with such a length is not contained in the refrain cluster, a version is chosen which has the smallest possible deviation to a length of 25 seconds. If the selected chorus is longer than 30 seconds, it will be blanked out over 30 seconds in this embodiment If it is shorter than 20 seconds, it will be extended to 30 seconds with the following segment.
Das Abspeichern eines Medleys für die zweite Möglichkeit entspricht noch eher einer tatsächlichen Zusammenfassung eines Musikstücks. Hierbei werden ein Ausschnitt der Strophe, ein Ausschnitt des Refrains und ein Ausschnitt eines dritten Segments in ihrer tatsächlichen chronologischen Reihenfolge als Medley konstruiert. Das dritte Segment wird aus einem Cluster ausgewählt, das den größten Gesamtanteil am Lied hat und nicht Strophe oder Refrain ist.The Storing a medley for the second possibility is more like an actual one Summary of a piece of music. Here are a section of the stanza, a section of the chorus and a section of a third segment in their actual chronological order constructed as a medley. The third segment is selected from a cluster, that's the biggest share has on the song and is not stanza or chorus.
Mit folgender Priorität wird nach der geeignetsten Abfolge der Segmente gesucht:
- – „drittes Segment"-Strophe-Refrain;
- – Strophe-Refrain-„drittes Segment"; oder
- – Strophe-„drittes Segment"-Refrain.
- - "third segment" stanza refrain;
- - stanza-chorus- "third segment"; or
- - stanza "third segment" refrain.
Die gewählten Segmente werden nicht in ihrer vollen Länge in des Medley eingebaut. Die Länge ist vorzugsweise auf feste 10 Sekunden pro Segment festgelegt, damit insgesamt wieder eine Summary von 30 Sekunden entsteht. Alternative Werte sind jedoch ebenfalls ohne weiteres realisierbar.The selected Segments are not installed in their full length in the medley. The length is preferably set to fixed 10 seconds per segment so that Total again a summary of 30 seconds arises. alternative However, values are also readily feasible.
Vorzugsweise
wird zur Rechenzeiteinsparung nach der Merkmalsextraktion im Block
Die Gruppierung ist auch eine Art von Rauschunterdrückung, bei der kleine Änderungen in der Merkmalsausprägung von aufeinander folgenden Vektoren im Mittel kompensiert wer den. Diese Eigenschaft hat eine positive Auswirkung auf das Auffinden von großen Liedstrukturen.The Grouping is also a kind of noise reduction, with small changes in the characteristic expression of successive vectors compensated on average who the. This property has a positive effect on finding huge Song structures.
Das erfindungsgemäße Konzept ermöglicht es, mittels eines speziellen Music-Players durch die berechneten Segmente zu navigieren und gezielt einzelne Segmente anzuwählen, so dass ein Konsument in einem Musikladen durch beispielsweise Drücken einer bestimmten Taste oder durch Aktivieren eines bestimmten Software-Befehls ohne weiteres sofort zum Refrain eines Stücks springen kann, um festzustellen, ob der Refrain ihm gefällt, um dann, vielleicht noch eine Strophe anzuhören, damit der Konsument schließlich eine Kaufentscheidung treffen kann. Damit ist es einem Kaufinteressenten komfortabel möglich, von einem Stück genau das zu hören, was ihn besonders interessiert, während er sich z. B. das Solo oder die Bridge dann tatsächlich für den Hörgenuss zu Hause aufsparen kann.The inventive concept allows, using a special music player through the calculated segments to navigate and selectively select individual segments, so that a consumer in a music store by, for example, pressing a specific key or by activating a specific software command readily jump to the chorus of a piece immediately to determine if he likes the chorus, and then, maybe listen to a stanza, so that the consumer finally a Can make a purchase decision. So it is a prospective buyer comfortably possible, from one piece to hear exactly that what interests him particularly, while he z. B. the solo or the bridge then actually for the listening save at home.
Alternativ ist das erfindungsgemäße Konzept auch für einen Musikladen von großem Vorteil, da der Kunde gezielt und damit auch schnell reinhören und letztendlich kaufen kann, so dass die Kunden nicht lange auf ein Reinhören warten müssen, sondern ebenfalls schnell an die Reihe kommen. Dies liegt daran, dass ein Benutzer nicht ständig hin- und herspulen muss, sondern gezielt und schnell sämtliche Informationen des Stücks erhält, die er auch haben möchte.alternative is the concept according to the invention also for one Music shop of great Advantage, because the customer targeted and thus listen in quickly and ultimately can buy, so that customers do not wait long for a listen have to, but also quickly come to the series. This is because that a user is not constantly but must roll back and forth, but targeted and quickly all Information of the piece gets he also wants to have.
Ferner sei auf einen wesentlichen Vorteil des erfindungsgemäßen Konzepts hingewiesen, nämlich dass insbesondere auf Grund der Nachkorrektur der Segmentierung keine Informationen des Stücks verloren gehen. So werden zwar alle Segmente, die vorzugsweise kürzer als 6 Sekunden sind, mit dem Vorgänger- oder Nachfolger-Segment verschmolzen. Allerdings werden keine Segmente, so kurz sie auch sind, eliminiert. Dies hat den Vorteil, dass der Benutzer prinzipiell alles im Stück anhören kann, so dass ein zwar kurzes aber einem Benutzer doch sehr gut gefallendes markantes Stück, das bei einer Segmentierungs-Nachkorrektur weggefallen wäre, die tatsächlich einen Abschnitt des Stücks komplett eliminiert hätte, dennoch dem Benutzer zur Verfügung steht, damit er vielleicht gerade aufgrund des kurzen markanten Stücks eine wohl überlegte Kaufentscheidung treffen kann.Further be a significant advantage of the inventive concept pointed out, namely that especially due to the post-correction of the segmentation no Information of the piece get lost. Thus, although all segments, which are preferably shorter than 6 seconds are, with the predecessor or successor segment merged. However, no segments, as short as they are, eliminated. This has the advantage that the Users basically everything in the piece listen to can, so a short but a user but very good striking piece, which would have been omitted in a segmentation post-correction, which is actually a Section of the piece completely eliminated, nevertheless available to the user, perhaps he just because of the short distinctive piece one well considered Can make a purchase decision.
Die vorliegende Erfindung ist jedoch auch in anderen Anwendungsszenarien anwendbar, beispielsweise beim Werbe-Monitoring, also dort, wo ein Werbekunde überprüfen möchte, ob das Audiostück, für das er Werbezeit gekauft hat, auch tatsächlich über die gesamte Länge abgespielt worden ist. Ein Audiostück kann beispielsweise Musiksegmente, Sprechersegmente, und Geräuschsegmente umfassen. Der Segmentierungsalgorithmus, also die Segmentierung und nachfolgende Einordnung in Segmentgruppen ermöglicht dann eine schnelle und wesentlich weniger aufwendige Überprüfung als ein kompletter Sample-weiser Vergleich. Die effiziente Überprüfung würde einfach in einer Segmentklassen-Statistik bestehen, also einem Vergleich, wie viel Segmentklassen gefunden worden sind, und wie viel Segmente in den einzelnen Segmentklassen sind, mit einer Vorgabe aufgrund des idealen Werbestücks. Damit ist es einem Werbekunden ohne weiteres möglich, zu erkennen, ob ein Rundfunksender oder Fernsehsender tatsächlich alle Hauptteile (Abschnitte) des Werbesignals ausgestrahlt hat oder nicht.However, the present invention is also applicable in other application scenarios, for example in advertising monitoring, ie where an advertiser wants to check whether the audio piece for which he has bought advertising time, has actually been played over the entire length. An audio piece may include, for example, music segments, speaker segments, and noise segments. The segmentation algorithm, ie the segmentation and subsequent classification into segment groups, then makes it possible to carry out a quick and considerably less complicated check than a complete sample-wise comparison. The efficient checking would simply consist of segment class statistics, that is, a comparison of how many segment classes have been found and how many segments are in each segment class, with a default given the ideal ad item. Thus it is easily possible for an advertiser to recognize whether a broadcaster or television station actually has all the main parts (Ab sections) of the commercial signal has broadcast or not.
Die vorliegende Erfindung ist ferner dahingehend von Vorteil, dass sie zur Recherche in großen Musikdatenbanken eingesetzt werden kann, um beispielsweise nur die Refrains von vielen Musikstücken durchzuhören, um danach eine Musikprogrammauswahl durchzuführen. In diesem Fall würden nur einzelne Segmente aus der mit „Refrain" markierten Segmentklasse von vielen verschiedenen Stücken ausgewählt werden und von einem Programmanbieter bereitgestellt werden. Alternativ könnte auch ein Interesse dahingehend bestehen, von einem Interpreten alle z. B. Gitarrensolos miteinander zu vergleichen. Erfindungsgemäß können diese ebenfalls ohne weiteres bereitgestellt werden, indem immer eines oder mehrere Segmente (falls vorhanden) in der mit „Solo" bezeich neten Segmentklasse aus einer großen Anzahl von Musikstücken z. B. zusammengefügt und als ein File bereitgestellt werden.The The present invention is further advantageous in that it for research in large music databases can be used, for example, only the refrains of many Listen through music to then perform a music program selection. In this case, only would individual segments from the segment class marked "Refrain" to be selected from many different pieces and provided by a program provider. alternative could Also, there is an interest to all of one performer z. B. to compare guitar solo with each other. According to the invention, these also readily be provided by always one or multiple segments (if any) in the segment class called "Solo" from a big one Number of pieces of music z. B. joined together and provided as a file.
Wieder andere Anwendungsmöglichkeiten bestehen darin, aus verschiedenen Audiostücken Strophen und Refrains zu mischen, was insbesondere für DJs von Interesse sein wird und völlig neue Möglichkeiten der kreativen Musiksynthese eröffnet, welche einfach und vor allem automatisch zielgenau durchgeführt werden können. So ist das erfindungsgemäße Konzept ohne weiteres automatisierbar, da es an keiner Stelle eine Benutzerintervention erfordert. Dies bedeutet, dass Nutzer des erfindungsgemäßen Konzepts keineswegs eine besondere Ausbildung benötigen, außer z. B. eine übliche Geschicktheit im Umgang mit normalen Software-Benutzeroberflächen.Again other applications exist in it, stanzas from various audio pieces and choruses, which will be particularly interesting for DJs and completely New opportunities the creative music synthesis opens, which simple and, most of all, automatically accurate can. This is the concept according to the invention easily automatable, as there is nowhere a user intervention requires. This means that users of the inventive concept by no means need a special education, except z. B. a common skill in dealing with normal software user interfaces.
Je nach den praktischen Gegebenheiten kann das erfindungsgemäße Konzept in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt stellt die Erfindung somit ein Computerprogramm mit einem Programmcode zur Durchführen des Verfahrens dar, wenn das Computerprogramm auf einem Computer abläuft.ever according to the practical conditions, the inventive concept be implemented in hardware or in software. The implementation can be on a digital storage medium, especially a floppy disk or CD with electronically readable control signals, the so can interact with a programmable computer system that the corresponding procedure is carried out. Generally exists The invention thus also in a computer program product with a stored on a machine-readable carrier Program code for execution of the method according to the invention, when the computer program product runs on a computer. In other In words Thus, the invention provides a computer program with a program code to perform of the procedure when the computer program is on a computer expires.
Claims (21)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004047068A DE102004047068A1 (en) | 2004-09-28 | 2004-09-28 | Apparatus and method for grouping temporal segments of a piece of music |
EP05760763.2A EP1794743B1 (en) | 2004-09-28 | 2005-07-15 | Device and method for arranging in groups temporal segments of a piece of music |
PCT/EP2005/007751 WO2006034743A1 (en) | 2004-09-28 | 2005-07-15 | Device and method for arranging in groups temporal segments of a piece of music |
JP2007533882A JP4775380B2 (en) | 2004-09-28 | 2005-07-15 | Apparatus and method for grouping time segments of music |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004047068A DE102004047068A1 (en) | 2004-09-28 | 2004-09-28 | Apparatus and method for grouping temporal segments of a piece of music |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102004047068A1 true DE102004047068A1 (en) | 2006-04-06 |
Family
ID=35005745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102004047068A Withdrawn DE102004047068A1 (en) | 2004-09-28 | 2004-09-28 | Apparatus and method for grouping temporal segments of a piece of music |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP1794743B1 (en) |
JP (1) | JP4775380B2 (en) |
DE (1) | DE102004047068A1 (en) |
WO (1) | WO2006034743A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2180463A1 (en) * | 2008-10-22 | 2010-04-28 | Stefan M. Oertl | Method to detect note patterns in pieces of music |
CN109979418A (en) * | 2019-03-06 | 2019-07-05 | 腾讯音乐娱乐科技(深圳)有限公司 | Audio-frequency processing method, device, electronic equipment and storage medium |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4948118B2 (en) | 2005-10-25 | 2012-06-06 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP4465626B2 (en) | 2005-11-08 | 2010-05-19 | ソニー株式会社 | Information processing apparatus and method, and program |
JP4906565B2 (en) * | 2007-04-06 | 2012-03-28 | アルパイン株式会社 | Melody estimation method and melody estimation device |
JP5083951B2 (en) * | 2007-07-13 | 2012-11-28 | 学校法人早稲田大学 | Voice processing apparatus and program |
JP6784255B2 (en) * | 2015-03-25 | 2020-11-11 | 日本電気株式会社 | Speech processor, audio processor, audio processing method, and program |
WO2017168644A1 (en) | 2016-03-30 | 2017-10-05 | Pioneer DJ株式会社 | Musical piece development analysis device, musical piece development analysis method and musical piece development analysis program |
JPWO2017195292A1 (en) * | 2016-05-11 | 2019-03-07 | Pioneer DJ株式会社 | Music structure analysis apparatus, music structure analysis method, and music structure analysis program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
US20030231775A1 (en) * | 2002-05-31 | 2003-12-18 | Canon Kabushiki Kaisha | Robust detection and classification of objects in audio using limited training data |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6542869B1 (en) * | 2000-05-11 | 2003-04-01 | Fuji Xerox Co., Ltd. | Method for automatic analysis of audio including music and speech |
JP4243682B2 (en) * | 2002-10-24 | 2009-03-25 | 独立行政法人産業技術総合研究所 | Method and apparatus for detecting rust section in music acoustic data and program for executing the method |
AU2003275618A1 (en) * | 2002-10-24 | 2004-05-13 | Japan Science And Technology Agency | Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data |
JP4203308B2 (en) * | 2002-12-04 | 2008-12-24 | パイオニア株式会社 | Music structure detection apparatus and method |
JP4079260B2 (en) * | 2002-12-24 | 2008-04-23 | 独立行政法人科学技術振興機構 | Music mixing apparatus, method and program |
-
2004
- 2004-09-28 DE DE102004047068A patent/DE102004047068A1/en not_active Withdrawn
-
2005
- 2005-07-15 EP EP05760763.2A patent/EP1794743B1/en not_active Not-in-force
- 2005-07-15 WO PCT/EP2005/007751 patent/WO2006034743A1/en active Application Filing
- 2005-07-15 JP JP2007533882A patent/JP4775380B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
US20030231775A1 (en) * | 2002-05-31 | 2003-12-18 | Canon Kabushiki Kaisha | Robust detection and classification of objects in audio using limited training data |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2180463A1 (en) * | 2008-10-22 | 2010-04-28 | Stefan M. Oertl | Method to detect note patterns in pieces of music |
WO2010045665A1 (en) * | 2008-10-22 | 2010-04-29 | Oertl Stefan M | Method for recognizing note patterns in pieces of music |
US8283548B2 (en) | 2008-10-22 | 2012-10-09 | Stefan M. Oertl | Method for recognizing note patterns in pieces of music |
CN109979418A (en) * | 2019-03-06 | 2019-07-05 | 腾讯音乐娱乐科技(深圳)有限公司 | Audio-frequency processing method, device, electronic equipment and storage medium |
CN109979418B (en) * | 2019-03-06 | 2022-11-29 | 腾讯音乐娱乐科技(深圳)有限公司 | Audio processing method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4775380B2 (en) | 2011-09-21 |
EP1794743A1 (en) | 2007-06-13 |
JP2008515012A (en) | 2008-05-08 |
WO2006034743A1 (en) | 2006-04-06 |
EP1794743B1 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1794745B1 (en) | Device and method for changing the segmentation of an audio piece | |
EP1774527B1 (en) | Device and method for labeling different segment classes | |
EP1794743B1 (en) | Device and method for arranging in groups temporal segments of a piece of music | |
EP1523719B1 (en) | Device and method for characterising an information signal | |
EP1407446B1 (en) | Method and device for characterising a signal and for producing an indexed signal | |
DE102008013172B4 (en) | Method for sound-object-oriented analysis and notation-oriented processing of polyphonic sound recordings | |
DE69908226T2 (en) | Device and method for finding melodies | |
DE102004023436B4 (en) | Apparatus and method for analyzing an information signal | |
EP1371055B1 (en) | Device for the analysis of an audio signal with regard to the rhythm information in the audio signal using an auto-correlation function | |
DE69907498T2 (en) | METHOD FOR QUICKLY DETECTING THE TONE HEIGHT | |
EP2351017B1 (en) | Method for recognizing note patterns in pieces of music | |
DE10058811A1 (en) | Method for identifying pieces of music e.g. for discotheques, department stores etc., involves determining agreement of melodies and/or lyrics with music pieces known by analysis device | |
WO2003007185A1 (en) | Method and device for producing a fingerprint and method and device for identifying an audio signal | |
DE10123366C1 (en) | Device for analyzing an audio signal for rhythm information | |
WO2006039993A1 (en) | Method and device for smoothing a melody line segment | |
DE10223735B4 (en) | Method and device for determining rhythm units in a piece of music | |
DE102004028693A1 (en) | Apparatus and method for determining a chord type underlying a test signal | |
DE102007034031A1 (en) | Method of determining similarity, device and use thereof | |
DE112018004578T5 (en) | TARGET MANAGEMENT SYSTEM AND TARGET MANAGEMENT PROGRAM | |
WO2005122133A1 (en) | Device and method for determining the tonality of an audio signal comprising musical information | |
DE10233609A1 (en) | Probability determination method for determining a probability distribution in preset data uses an iterative process to calculate linkage probabilities to generic classes only up to a preset value | |
DE102007034030A1 (en) | Method of performing an adaptation of descriptors, apparatus and use thereof | |
DE102021209612A1 (en) | Device, computer-implemented method and computer program for the automatic analysis of data | |
DE102004052247A1 (en) | Method for determining degree of similarity of tone information between two tone signals by cross correlation of both tone signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: GRACENOTE, INC., (N. D .GES. D. STAATES DELAWA, US |
|
8128 | New person/name/address of the agent |
Representative=s name: SCHOPPE, ZIMMERMANN, STOECKELER, ZINKLER & PARTNER |
|
8128 | New person/name/address of the agent |
Representative=s name: MITSCHERLICH & PARTNER, PATENT- UND RECHTSANWAELTE |
|
8127 | New person/name/address of the applicant |
Owner name: SONY CORP., TOKIO/TOKYO, JP |
|
R081 | Change of applicant/patentee |
Owner name: SONY CORPORATION, JP Free format text: FORMER OWNER: GRACENOTE, INC., (N. D .GES. D. STAATES DELAWARE), EMERYVILLE, CALIF., US Effective date: 20110223 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20140401 |