Sammeln Sie eine Playlist, finden Sie einen Track, der in Ihrem Kopf steckt, schreiben Sie ein Theaterstück: Was künstliche Intelligenz mit Musik machen kann
Verschiedenes / / March 30, 2022
Kompositionen erkennen
Ein cooler Track ist überall zu hören: in einem Einkaufszentrum, in einem Café und sogar aus dem Fenster eines nahe gelegenen Autos, während Sie im Stau stehen. Um das unbekannte Lied, das Ihnen gefällt, nicht zu verpassen, reicht es aus, die Erkennungsanwendung einzuschalten. Der Name der Komposition und der Name des Künstlers in ihnen werden von künstlicher Intelligenz in Sekundenschnelle ausgegeben. Hinter einem so schnellen Ergebnis steckt allerdings eine gründliche Vorbereitung: Um die Melodie schnell zu lernen, muss sich das Programm sie erst merken. Dazu werden neuronale Netze in eine riesige Bibliothek von Spuren eingeführt, und dann wandeln Algorithmen den Ton in ein Spektrogramm um und zerlegen es in Zeit, Frequenz und Intensität.
Anatoly Starostin
Leiter des Technologieentwicklungsdienstes bei Yandex Media Services.
Ein Spektrogramm ist ein Graph. Die Zeit befindet sich auf der horizontalen Achse, die Schallfrequenz auf der vertikalen Achse und ihre Intensität zu einem bestimmten Zeitpunkt wird in Farbe ausgedrückt. Ein Low-Signal wird unten durch einen roten Balken dargestellt, ein High-Signal oben. Das Ergebnis ist ein Bild, das aus farbigen horizontalen Streifen besteht. Die Analyse solcher Schaltungen hilft, Musik zu erkennen. Bei der Arbeit mit Spektrogrammen werden die gleichen neuronalen Netzwerkansätze verwendet wie bei der Bildanalyse.
Angenommen, jemand hört ein Lied im Radio und möchte den Namen und den Interpreten wissen. Das Erkennungsprogramm erstellt ein Spektrogramm der klingenden Passage und sendet es an seine Spurbibliothek. Dann vergleicht es das „Bild“ der gewünschten Melodie mit den Spektrogrammen anderer Kompositionen und wählt die genaueste Übereinstimmung aus. Gleichzeitig erkennt künstliche Intelligenz die Melodie auch bei starken Störungen, wie etwa Straßenlärm oder Reparaturen in einer Nachbarwohnung.
Übrigens ist das neuronale Netz in der Lage, nicht nur den Künstler und den Namen des im Kopf steckenden Tracks zu identifizieren, sondern auch grob dessen Genre zu bestimmen. Dazu wird künstlicher Intelligenz beigebracht, Muster in verschiedenen Musikstilen zu finden. Solche spezifischen Merkmale sind für das menschliche Sehen und Hören normalerweise nicht zugänglich. Aber dank maschinellem Lernen wird es möglich, Musikgenres aus Spektrogrammbildern zu berechnen.
Lieder empfehlen
Es scheint, dass es fast so unwahrscheinlich ist, in Milliarden von Songs den "gleichen" Track zu finden, der zu Ihrer Stimmung passt, wie sich auf den ersten Blick zu verlieben. Aber dank Empfehlungsalgorithmen kommt es nicht so oft zu perfekten Übereinstimmungen. Zuerst sucht die künstliche Intelligenz nach Menschen mit ähnlichem Geschmack, und dann werden statistische Formeln verknüpft: die Anzahl der Vorlieben, Abneigungen, Wiedergaben und Überspringungen einer bestimmten Komposition.
Anatoly Starostin
Die Songempfehlung funktioniert nach einem einfachen Schema: Wenn Vasya Track X mochte und Petya ihn dann auch bewertete, dann sollte Petya, wenn Vasya Y mag, auch Track Y empfehlen. Wenn der Algorithmus den nächsten Song finden muss, wird die Formel auf eine Reihe potenzieller Songs angewendet. Das geeignetste schwimmt nach oben.
„Kalte“ Inhalte, die in den Playlists des Massenhörers nicht zu sehen sind, verbreiten sich langsamer. Doch dank neuronaler Netze haben auch unbekannte Künstler und Nischenmusik noch eine kleine Chance, im Strom der Empfehlungen aufzuflackern. Wenn wir alle technischen Nuancen vereinfachen, dann können wir sagen, dass in solchen Fällen die künstliche Intelligenz herausfindet, wie oft Ein bestimmter Benutzer hört sich Songs mit ähnlichen Spektrogrammen an und lädt ihn regelmäßig ein, sich mit neuen vertraut zu machen Spuren.
Maria Gu
Sänger.
Manchmal suche ich Inspiration in Empfehlungen. Die Wahl der Komposition vertraue ich dem Musikdienst an, höre mir die Melodien an, finde interessante Klänge oder Texte. So kann man sich wirklich spontan in einen Track eines unbekannten Künstlers verlieben. Und eine andere Zeile, die ich versehentlich gehört habe, kann mich dazu anregen, meine eigenen Gedichte zu schreiben.
Neuronale Netze helfen auch bei der Generierung von Musikauswahlen für Fitness, Gehen oder Schlafen. Content-Redakteure wählen Referenztracks für Algorithmen aus, und auf Basis ihrer Spektrogramme erweitert künstliche Intelligenz thematische Empfehlungen.
Musik erzeugen
Früher konnten nur Komponisten Melodien erstellen. Jetzt ist es ohne die Beteiligung von Musikern möglich. 2020 veranstalteten die Niederlande den ersten Eurovision Song Contest für neuronale Netze – den AI Song Contest. Der Australier hat gewonnen Zusammenarbeit Künstliche Intelligenz mit Koalas, Eisvögeln und Tasmanischen Teufeln. Das Lied war den Waldbränden gewidmet, die auf dem Kontinent wüten. Tiergeräusche wurden in kurzen Samples aufgenommen - Fragmente von 1-2 Sekunden Länge. Der Algorithmus kombinierte sie mit den Hits aller bisherigen Gewinner des echten Eurovision, woraufhin sie die Samples zu ihrer eigenen Melodie zusammensetzten.
Dies ist nicht das einzige Beispiel einer erfolgreichen kreativen Vereinigung von Programmierern und neuronalen Netzen. 2019 spielte das Staatsorchester zum Abschluss des Winter International Arts Festival in Sotschi ein 8-minütiges Stück. Es wurde vom Komponisten Kuzma Bodrov aus einzelnen Fragmenten von Melodien geschrieben, die von neuronalen Netzwerken generiert wurden. Heute ist die Musikproduktion der vielversprechendste Bereich für die Entwicklung künstlicher Intelligenz.
Anatoly Starostin
Künstliche Intelligenz kann Musik auf drei Arten erzeugen. Die erste ist mit dem Bau von vorgefertigten "Ziegeln" von Sound-Samples verbunden. In diesem Fall arrangiert der Algorithmus sie einfach in der richtigen Reihenfolge über mehrere Audiospuren und der elektronische Arranger mischt die fertige Spur. Die zweite Möglichkeit besteht darin, Musiknotation zu erzeugen. Es ist wie eine Schreibanweisung für den Musiker, das fertige Werk darauf zu spielen. Und die dritte Möglichkeit besteht darin, das "rohe" Audiosignal aufzunehmen. In diesem Fall erzeugt das neuronale Netz selbst Schallwellen, die beispielsweise denen von Mozart oder den Beatles ähneln.
Übrigens können neuronale Netze auch Gedichte für Lieder schreiben. Bisher klingen solche Tracks eher seltsam, daher sollten Songwriter keine Angst vor Arbeitslosigkeit haben. Außerdem ist der „Computer-Verstand“ frei von Gefühlen. Er kann nicht in den emotionalen Kontext eindringen und die Erfahrungen vermitteln, die die Autoren der Werke zum Schaffen zwangen.
Maria Gu
Poesie und Musik handeln in erster Linie von der Seele, der inneren Welt, den Erfahrungen, Gefühlen und Emotionen der Menschen. Der neue Track „Don't Burn Out“ zum Beispiel ist meine persönliche Geschichte, aber es geht auch um jeden, der einem Traum nachgeht und versucht, sich selbst zu verstehen. Ich glaube nicht, dass künstliche Intelligenz jemals einen lebenden Menschen in der Musikindustrie ersetzen wird. Aber hier können Sie ein interessantes Tandem "Mensch - neuronales Netzwerk" bekommen. Wir kennen bereits Dutzende von Beispielen, als künstliche Intelligenz Komponisten half, einzigartige Melodien zu kreieren. Tatsächlich ist dies eine neue Richtung in der Musikwelt, die, da bin ich mir sicher, in Zukunft ihre eigenen Zuhörer und Zuhörer haben wird.
Künstliche Intelligenz macht Kreativität für alle zugänglich, und Musik hilft, sie zu entwickeln. Um zu verstehen, wie diese beiden Pole zusammenlaufen und sich gegenseitig beeinflussen, können Sie "Lektionsnummern“ von Yandex – „Digitale Kunst: Musik und IT“. Gemeinsam mit den Comic-Helden erfahren die Teilnehmer, wie neuronale Netze Tracks erkennen und generieren und welche Technologien bei der uns bekannten Arbeit von Musikdiensten helfen. Im Unterricht versuchen die Schüler, die Melodie anhand des Spektrogramms selbst zu erraten und stellen eine Playlist mit Empfehlungen zusammen.
Ich möchte "Lektionsnummern"
Abdeckung: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker