Der Meta Konzern hat nun AudioCraft vorgestellt, ein generatives KI-Tool für Audio und Musik. AudioCraft ermöglicht es Benutzern, benutzerdefinierte Sounds und Musiktracks mit einer einfachen Oberfläche und einer Bibliothek von Soundelementen zu erstellen. Benutzer können auch ihre eigenen Sounds hochladen und mittels der AI bearbeiten. Das Tool wird von einem deep neural / tiefen neuronalen Netzwerk angetrieben, das aus Millionen von Audiodaten lernt und neue Sounds erzeugt, die den Präferenzen und Absichten der Benutzer entsprechen. So soll lt. Meta die Audioproduktion demokratisiert werden, indem mehr Menschen sich durch Sound und Musik ausdrücken können.
Drei Modelle: MusicGen, AudioGen und EnCodec
AudioCraft besteht aus drei Modellen: MusicGen, AudioGen und EnCodec. MusicGen, das mit Meta-eigenen und speziell lizenzierten Musikstücken trainiert wurde, erzeugt Musik aus Textvorgaben, während AudioGen, das mit öffentlichen Soundeffekten trainiert wurde, Audio aus Textvorgaben erzeugt. EnCodec ist ein neuronales Netzwerk, das Audiodateien ohne Qualitätsverlust komprimiert.
Wie AudioCraft funktioniert
Das neuronale Netzwerk wird mit Millionen von Audiodaten trainiert, um die Muster und Strukturen verschiedener Arten von Sounds zu lernen. Wenn der Benutzer einen neuen Sound oder Musiktrack mit AudioCraft erstellt, erzeugt das neuronale Netzwerk neue Sounds, die sich an der Eingabe orientieren. Das Audio kann dann verfeinert werden durch Einstellen der Parameter wie Tonhöhe, Tempo, Lautstärke und Effekte.
Um Audio-Language-/Sprach-Models zu trainieren, müssen wie auch bisher die Prompts stimmen. Gerade Musikstücke sind komplexer als einfach bekannte Geräusche wie z. B. eine Sirene. Mehr dazu.
Anwendungen von AudioCraft
AudioCraft hat viele potenzielle Anwendungen in verschiedenen Bereichen wie Musikproduktion, Filmmusik, Spielentwicklung, Podcasting, Werbung, Bildung und Therapie. Zum Beispiel:
- Musikproduzenten können AudioCraft verwenden, um neue Ideen für Melodien, Rhythmen, Harmonien und Texturen zu generieren.
- Filmkomponisten können AudioCraft verwenden, um individuelle Soundtracks zu erstellen, die zur Stimmung und zum Ton verschiedener Szenen passen.
- Spielentwickler können AudioCraft verwenden, um immersive Klangwelten zu gestalten, die das Spielerlebnis verbessern.
- Podcaster können AudioCraft verwenden, um originelle Jingles, Intros, Outros und Übergänge zu erstellen.
- Werbetreibende können AudioCraft verwenden, um eingängige Melodien und Soundeffekte zu produzieren, die die Aufmerksamkeit des Publikums auf sich ziehen.
- Pädagogen können AudioCraft verwenden, um Schülern die Physik von Schallwellen, die Geschichte von Musikgenres oder die kulturelle Bedeutung verschiedener musikalischer Traditionen beizubringen.
