Das ist wie Sora für Soundeffekte. ElevenLabs hat sein neues revolutionäres Text-to-SFX-Modell vorgestellt, das aus einer Eingabeaufforderung präzise und professionelle Soundeffekte erzeugen kann. Verabschieden Sie sich von Sounddesignern.
ElevenLabs: Künstliche Intelligenz für synthetische Klänge und Stimmen
ElevenLabs wurde 2022 von den besten Freunden Piotr, einem ehemaligen Machine-Learning-Ingenieur bei Google, und Mati, einem ehemaligen Einsatzstrategen bei Palantir, gegründet. Inspiriert von der „schlechten“ Synchronisation der Hollywoodfilme, die sie in ihrer Kindheit in ihrer Heimat Polen sahen, machten sich die beiden daran, eine Plattform zu entwickeln, die die sprachlichen Barrieren der Inhalte beseitigen könnte. Seitdem hat ElevenLabs die realistischsten synthetischen Stimmen produziert und Sprache erzeugt, die der natürlichen so nahe kommt, dass sie fast nicht wahrnehmbar ist. Für diejenigen, die das Unternehmen nicht kennen, hier ein paar Worte von ElevenLabs: „ElevenLabs ist ein Forschungs- und Einsatzunternehmen für Sprach-KI mit der Mission, Inhalte in jeder Sprache und Stimme universell zugänglich zu machen. ElevenLabs erstellt das realistischste, vielseitigste und kontextbewussteste KI-Audio und bietet die Möglichkeit, Sprache in Hunderten neuer und bestehender Stimmen in 29 Sprachen zu erzeugen. Als Technologieforschungsunternehmen steht ElevenLabs an vorderster Front bei der Entwicklung neuer hochmoderner Sprach-KI. Wir stellen die fortschrittlichsten Modelle und Funktionen bereit, die über eine Web-App oder API für eine Benutzerbasis von Entwicklern bis zu Verlegern und darüber hinaus zugänglich sind. Unsere Mission ist es, mehrsprachige Audiounterstützung auf Abruf in den Bereichen Bildung, Streaming, Hörbücher, Spiele, Filme und sogar Echtzeitgespräche Wirklichkeit werden zu lassen. Unsere Forschung treibt die aktuellen Funktionen der Plattform voran, trägt aber auch dazu bei, unser ultimatives Ziel zu erreichen, gesprochenes Audio sofort zwischen Sprachen zu konvertieren. Das KI-Synchronisationstool – das noch in diesem Jahr veröffentlicht werden soll – ermöglicht es Benutzern, jedes Audio oder Video automatisch in eine andere Sprache umzuwandeln, wobei die Stimme des ursprünglichen Sprechers erhalten bleibt.
Tonstreifen in Farben in Premiere Pro.
Text-to-SFX: Keine Sounddesigns mehr
ElevenLabs hat vor einigen Tagen eine neue und faszinierende Demonstration seines kommenden Text-to-SFX-Modells veröffentlicht . Die Idee ist ziemlich einfach: Aus einer Texteingabeaufforderung präzise und akkurate professionelle Sounds generieren. Genau wie Sora für Videos. Apropos Sora: ElevenLabs hat seine erste Demo veröffentlicht, die das erste Sora-Video mit SFXs versieht. ElevenLabs selbst sagt dazu: „Wir waren von der Sora-Ankündigung überwältigt, hatten aber das Gefühl, dass etwas fehlt … Was wäre, wenn man einen Sound beschreiben und ihn mithilfe von KI generieren könnte? KI-Soundeffekte kommen bald zu ElevenLabs.“ Sehen Sie sich die folgende Demonstration an, die auf Soras erstem Video basiert:
Wir waren von der Sora-Ankündigung überwältigt, hatten aber das Gefühl, dass etwas fehlte … Was wäre, wenn man einen Ton beschreiben und mithilfe von KI generieren könnte? KI-Soundeffekte sind bald bei ElevenLabs verfügbar.
ElevenLabs
Ähnlich wie Sora befindet sich Text-to-SFX von ElevenLabs noch in der Testphase und wurde noch nicht veröffentlicht. Sie können sich in die Warteliste eintragen .
Das Ziel: Präzises Sounddesign auf Videobasis
Wie Tom’s Guide berichtet : „ElevenLabs hat Anfang dieses Jahres mit seiner jüngsten Serie-B-Finanzierungsrunde im Wert von 80 Millionen US-Dollar den Status eines Einhorns mit einem Wert von einer Milliarde Dollar erreicht. Diese Ankündigung der Finanzierungsrunde ging mit einem neuen Tool zur Synchronisierung von KI-Sprache in Videos für automatische Übersetzungen einher – und erobert damit den internationalen Synchronisationsmarkt. Auf lange Sicht kann ElevenLabs Tools und Modelle entwickeln, die den Inhalt eines Videos analysieren und automatisch an genau den richtigen Stellen Soundeffekte hinzufügen können. Dasselbe könnte für Musik gelten. Die meisten KI-Musiktools sind Text-zu-Musik-Tools, aber sie könnten bald von Bild oder Video zu Bild wechseln.“ Das Endziel besteht also darin, aus einer einzigen Eingabeaufforderung ein vollständiges, vollständig abgerundetes Inhaltselement (Video, SFX und Musik) zu generieren. Beängstigend, aber unvermeidlich data visualization!
Häufig gestellte Fragen
Beschreiben Sie einfach den gewünschten Soundeffekt und wir generieren ein paar Beispiele zur Auswahl.
ElevenLabs kann eine Vielzahl von Soundeffekten für praktisch jeden Anwendungsfall erzeugen. Es eignet sich hervorragend für Film und Medien, Videospiele, Werbespots und mehr.
Ja, alle ElevenLabs Sound Effects sind lizenzfrei und können in kommerziellen Projekten verwendet werden. Wie bei allen unseren Diensten dürfen Sie unsere Tools jedoch nicht verkaufen oder lizenzieren oder die Ergebnisse zur Entwicklung wettbewerbsfähiger Produkte oder Dienste verwenden.
Füllen Sie dieses Formular aus , um als Erster zu erfahren, wann es verfügbar ist.
Neues Essential Sound-Abzeichen mit Audiokategorie-Tagging in Premiere Pro. Das brauchen wir bald nicht mehr (danke an ElevenLabs).
Abschließende Gedanken
Dieses neue Text-to-SFX-Modell kann den Bedarf an Sounddesignern vor allem bei mittelgroßen Projekten (Dokumentarfilme, Werbespots und Kurzfilme) überflüssig machen. Das ist sehr traurig. Das Einkommen eines ganzen Marktsegments kreativer Profis ist in Gefahr. In etwa zwei Jahren werden ganze Werbespots (von Kopf bis Fuß) durch eine einfache Textaufforderung generiert. Wie gesagt: Beängstigend, aber unvermeidlich!
Holen Sie sich das Beste aus der Filmbranche!
Abonnieren Sie das YMCinema Magazine, um die neuesten Nachrichten und Erkenntnisse zur Kinematographie und zum Filmemachen zu erhalten!