Revolutionäre Echtzeit-Kommunikation: KI-Übersetzung & Stimmenklonung

Revolutionäre Kommunikationstechnologie durch KI-Forschung von Meta AI

• Dies ist einer dieser Momente im Bereich der KI-Technologie, in denen man etwas sieht, das durch KI möglich gemacht wird und einfach magisch ist. Heute werden wir uns einige Forschungsergebnisse und eine Demo ansehen, die Sie kostenlos von Meta AI ausprobieren können. Genau, von Facebook. Es geht um eine nahtlose Echtzeit-Kommunikation zwischen Sprachen. Meine englische Stimme wird in eine andere Sprache umgewandelt, im Grunde genommen in Echtzeit. Dies ist ein großer Moment, in dem scheinbar magische KI-Technologie anfängt, Sprachbarrieren zu beseitigen. Während Sie das heutige Video sehen, denken Sie an ein kleines Paar Kopfhörer, die Sie in einem anderen Land tragen würden. Sie sprechen Ihre Muttersprache und ein Lautsprecher irgendwo gibt Ihre Stimme in dieser Sprache übersetzt aus, und das Gerät könnte die Sprache einer anderen Person in deren Muttersprache aufnehmen, übersetzen und sie in Ihre Ohren spielen. Das ist genau das, was hier in Echtzeit passiert. Diese nahtlose Kommunikations-KI-Forschung von Meta können Sie tatsächlich herunterladen. Ich möchte das von Anfang an ganz klar stellen. Schauen Sie es sich direkt auf GitHub an. Obwohl Sie diese Modelle absolut herunterladen, installieren und für die nahtlose Kommunikation verwenden können, ist es derzeit nicht für den kommerziellen Gebrauch verfügbar. Sie können also keine Produkte damit erstellen. Es ist jedoch vollständig für Forschungszwecke offen und Sie können es für Forschungszwecke weitergeben. Das ist also, wo wir insgesamt stehen. Ich bin sicher, dass sie das wahrscheinlich irgendwann in der Zukunft weitgehend Open Source machen werden. Wenn Sie mehr erfahren möchten, haben sie Lizenzinformationen unten, aber ja, das ist viel besser als vollständig geschlossene Software. Es ist immer noch ziemlich offen und ein gutes Zeichen, und mit der guten Bilanz von Facebook bei der Veröffentlichung von Open-Source-Software können wir hoffentlich erwarten, dass dies in naher Zukunft vollständig offen sein wird. Sie haben eine kleine Einführung, also werfen wir einen Blick darauf. Wir arbeiten mit der KI-Community zusammen, um Sprachbarrieren abzubauen und eine offene, authentische Kommunikation zu fördern. Wir freuen uns, eine Reihe neuer Modelle vorzustellen: Nahtlos M4TV2, eine verbesserte Version unseres grundlegenden Modells, Nahtlos Expressive, das Ausdruck über Sprachen hinweg bewahrt, Nahtlos Streaming, das Sprache und Text in weniger als 2 Sekunden Latenz übersetzt, und schließlich Nahtlos, unser vereinigtes Modell, das die Fähigkeiten aller drei Modelle kombiniert. Unser verbessertes Modell Nahtlos M4TV2 dient als Grundlage für ein neues Nahtlos Expressive und Nahtlos Streaming Modelle. Mit Nahtlos Expressive werden die Feinheiten der Sprache bewahrt, wie Pausen, Sprechtempo, Betonung bestimmter Wörter sowie Stimm- und emotionaler Ton. Wir glauben, dass es wichtig ist, dass unsere Übersetzungen nicht nur die Worte, die wir sprechen, präzise wiedergeben, sondern auch die Feinheiten menschlichen Ausdrucks einfangen. Bitte halten Sie die Lautstärke niedrig, wir haben das Baby gerade in den Schlaf gelegt. Wir freuen uns auch, Nahtlos Streaming mit weniger als 2 Sekunden Latenz vorzustellen. Es ist das erste massiv mehrsprachige Modell, das Sprache und Text fast in Echtzeit übersetzt. Stellen Sie sich vor, in einer sozialen Situation zu sein, in der die gesprochene Sprache Ihnen fremd ist, und stellen Sie sich vor, nicht nur dem Gespräch folgen zu können.

Revolutionäre Kommunikationstechnologie durch KI-Forschung von Meta AI

Revolutionäre Sprachübersetzungssoftware: Nahezu Echtzeitübersetzung mit expressivem Stil

• Mit minimaler Verzögerung und nahtloser Übersetzung können wir nun in Richtung dieser Idee bauen. Wir glauben, dass dies ein weiterer Schritt auf dem Weg zu einer stärker verbundenen Welt ist, und wir warten gespannt auf die innovativen Wege, auf denen die KI-Community auf dieser Arbeit aufbauen wird. Nicht nur wird es die ausdrucksstarken Teile meiner Stimme einfangen, sondern anscheinend auch den Gesamtton. Die Klonung meiner Stimme erfolgt in Echtzeit mit einer Verzögerung von unter 2 Sekunden, was definitiv ausreichend ist, um in der realen Welt verwendet zu werden. Sie haben eine kostenlose Demo, schauen wir sie uns an. Die Software „Seamless Expressive“ ist ein KI-Modell, das darauf abzielt, den ausdrucksstarken Sprachstil auch in der Übersetzung beizubehalten. Wir haben auch die Tonlage deiner Stimme sowie die Lautstärke, den Ton (ob aufgeregt, traurig oder leise), natürlich den Sprachstil (wie schnell ich spreche und ob ich Pausen mache). Es gibt hier unten noch ein paar weitere Beispiele: 'Freut mich, dass du hier bist. Ich freue mich so, dich zu sehen.' Mann, das ist gut, wow, das klingt wie ihre Stimme. Die Klonung ist vielleicht nicht so perfekt, wie wir es uns wünschen würden. Zwei Sekunden Verzögerung, Leute, beeilt euch! 'Wir müssen in fünf Minuten dort sein.' Wow, das ist so gut! Es ist noch beeindruckender, es auf Englisch zurückzuhören. 'Ich bin so aufgeregt, das auszuprobieren. Alle mehrsprachigen Leute müssen mir in den Kommentaren helfen und mir sagen, welche Demos besser funktionieren und welche nicht so gut klingen.' Ich brauche wirklich eure Hilfe dabei, bitte lasst mich nicht alleine. 'Der Baby ist gerade eingeschlafen.' 'Das ist so gut, Mann, das ist so verwendbar.' 'Ich freue mich so darauf, dass die Sprachbarrieren einfach überwunden werden. Jeder kann kommunizieren, und es ergibt einfach Sinn.' Wir werden natürlich auf Englisch sprechen und zuerst ins Spanische übersetzen. Im Moment sind in dieser Demo nur diese Sprachen verfügbar, aber ich glaube, dass es im tatsächlichen Code viele mehr zur Auswahl gibt. Wir übersetzen also ins Spanische. Ihr spanischsprachigen Leute müsst mir hier in den Kommentaren helfen. 'Wow, wir laden heute die Kamera hoch.' Aus irgendeinem Grund bestehen sie darauf, die Kamera hier drin zu haben, also habe ich meine Webcam. 'Die beiden Matts können sich ansehen.' Das ist ein bisschen seltsam, aber lass es uns versuchen. 'Abonniere den Matt Vidpro AI YouTube Kanal.' Das war die expressive spanische Übersetzung, Mann, das ist unglaublich! Hast du gehört, wie es Matt Vidpro gesagt hat? Ich liebe es! 'Abonniere den Matt Vidpro AI YouTube Kanal.' Ja, es klingt nicht genau wie meine Stimme, aber es ist so verdammt gut und definitiv sehr ausdrucksstark. Dies ist übrigens die nicht-ausdrucksstarke Übersetzung. Das ist einfach nur roboterhaft, das wollen wir nicht, oder? Ich kann nicht darüber hinwegkommen, es ist so verdammt cool! 'Teile deine spanische Übersetzung mit Freunden und Familie.' Das ist cool, deshalb haben sie das Video hier. 'Abonniere den Matt Vidpro AI YouTube Kanal.' Alles klar, jetzt verstehe ich, deshalb war die Webcam da. Ich empfehle euch, einige dieser Clips zu teilen, wenn

Revolutionäre Sprachübersetzungssoftware: Nahezu Echtzeitübersetzung mit expressivem Stil

Die Kraft der Übersetzungstechnologie: Expressive Modelle in Aktion

• Die Übersetzungstechnologie hat immense Fortschritte gemacht, wie in diesem Fall deutlich wird. Der Originaltext wurde in verschiedene Sprachen übersetzt und dann durch expressive Modelle neu interpretiert. Es ist faszinierend zu sehen, wie sich die Bedeutung und Ausdrucksweise verändern können, wenn Sprache durch innovative Technologien wandert. Die Reaktionen auf die verschiedenen Übersetzungen sind vielfältig und zeigen die Vielseitigkeit der Mensch-Maschine-Interaktion. Durch schnelles Sprechen, Flüstern, Trauer, und sogar Wut wird die Leistungsfähigkeit dieser Modelle auf die Probe gestellt. Die Ergebnisse sind sowohl beeindruckend als auch überraschend, zeigen jedoch auch die Grenzen und Möglichkeiten der aktuellen Technologie auf.

Die Kraft der Übersetzungstechnologie: Expressive Modelle in Aktion

Die Schönheit der Sprachumwandlung durch künstliche Intelligenz

• Das klingt besser als das traurige jetzt. Endlich möchte ich versuchen zu singen, nur um zu sehen, wie sich das anfühlt. Regnet es in Strömen? Bitte kauf mir eine Art Regenhut, denn die Hunde fallen auf mein Gesicht. Es ist irgendwie wie leise sprechen wie Singen, aber nicht wirklich Singen. Besser als ich dachte, ehrlich gesagt definitiv brauchbar. Lassen Sie uns zum Französischen übergehen. Matt vidpro kann tatsächlich fließend Französisch sprechen. Ich habe schon immer gewusst, wie man es spricht. Die Lippen sehen zwar nicht so aus, als würden sie sich bewegen, aber ja, ich mag diese kleinen Videos, die es erstellt. Das klang wie meine Stimme. Diese Stimmklonierung war erstaunlich. Das Französische ist eigentlich besser als das Spanische. Das klingt sehr nach meiner Stimme, es ist nicht perfekt, aber es ist verdammt nah dran. Lassen Sie uns wieder flüstern versuchen. Tut mir leid, AIs versuchen, im Obergeschoss durch meine Sachen zu wühlen, also muss ich leise sein. Das klingt wie ich. Das klingt definitiv wie ich, auch wenn die Audioqualität offensichtlich nicht großartig ist. Es hört sich absolut nach mir an, wenn ich Deutsch spreche. Oh Mann, das ist so aufregend. Probieren wir Wut auf Deutsch. Was? Du magst meine festliche Weihnachtsdekoration nicht? Dann bist du eine Schande für den Matt vidpro Kanal. Wir glauben an Festlichkeiten. Bitte, abonniere nicht ab, du kannst meine Dekorationen hassen, aber bitte...

Die Schönheit der Sprachumwandlung durch künstliche Intelligenz

Die Kunst des Übersetzens: Ein lustiges Experiment mit AI-Sprachtools

• Abmelden vom Matt vidpro-Kanal? Nein, bitte nicht! Entabonnieren Sie können meine Dekorationen hassen, aber bitte nicht den Matt Video BR-Kanal abbestellen. Es scheint, dass es bei der Übersetzung tatsächlich einen Fehler gab - es hat einfach Englisch ins Englische übersetzt. Das ist offensichtlich ein kleines Problem, das sie beheben müssen. Anscheinend funktioniert es meistens, aber das scheint nicht so häufig vorzukommen. Es hat quasi meinem Voice einen leichten deutschen Akzent verliehen. Nun möchte ich gerne Spanisch ins Englische ausprobieren. Ich spreche kein Spanisch, aber ich werde versuchen, einige spanische Wörter vorzulesen und sehen, wie sie übersetzt werden. Po po po, Gato gato gato, Casa casa casa - ja, das sind die drei spanischen Wörter, die ich kenne. Entschuldigt bitte, wenn mein Spanisch nicht perfekt ist. Ich möchte auch gerne Deutsch ausprobieren. Entschuldigung im Voraus. Es ist bemerkenswert, wie diese AI-Sprachtools mit meinen verschiedenen Sprachen umgehen können, obwohl ich die Sprachen überhaupt nicht spreche. Es ist wahrscheinlich der dickste amerikanische Akzent, den Sie je gehört haben. Ich bin wirklich beeindruckt von der Fähigkeit dieser Tools, meine furchtbaren Versuche in verschiedenen Sprachen zu verstehen. Es ist wirklich erstaunlich, wie gut sie funktionieren. Diese Technologie verändert wirklich unsere Welt! Das war eine lustige und faszinierende Erfahrung. Ich kann es nur empfehlen, es selbst auszuprobieren. Teilen Sie gerne Ihre besten Ergebnisse in unserem Discord-Server. Vielen Dank fürs Zuschauen und ich werde Sie im nächsten Video wiedersehen. Auf Wiedersehen!

Die Kunst des Übersetzens: Ein lustiges Experiment mit AI-Sprachtools

Conclusion:

Die Kombination von Echtzeit-Kommunikation, Sprachübersetzungen und Stimmenklonung durch Meta AI zeigt die fortschreitende Entwicklung der KI-Technologie. Erleben Sie die Zukunft der Kommunikationstechnologie heute.

Q & A