sync. labs ChatGPT-Plugin

Mit sync. labs in ChatGPT kannst du Videos lippensynchronisieren, Fotos sprechen lassen, Videos übersetzen und synchronisieren oder Wörter ändern und dabei die Originalstimme erhalten. Arbeite im Chat oder öffne das eingebettete Studio, um Medien auszuwählen, Eingaben zu bearbeiten, Kosten zu prüfen und Ergebnisse abzuspielen oder herunterzuladen.

Das sync. labs ChatGPT-Plugin verbinden

Für ein anderes Konto oder einen anderen Arbeitsbereich findest du unter Change account or workspace eine Anleitung. Verbinde Sync anschließend in den Verbindungseinstellungen von ChatGPT mit der gewünschten Identität neu. Eine Anmeldung in einem anderen Tab ändert diese Verbindung nicht. Öffne Sync nach einem Identitätswechsel erneut.

Einen Workflow wählen

Ein Bild oder Video lippensynchronisieren

1. Wähle lipsync video oder image to video und lade ein Bild oder Video hoch oder wähle gespeicherte Medien.
2. Füge Audio hinzu, nimm es auf, extrahiere es aus einem Video oder gib ein Skript mit einer verfügbaren Stimme ein. Höre dir erzeugte Sprache vor der Verwendung an.
3. Wähle Modell und verfügbare Einstellungen. Neue Anfragen verwenden standardmäßig sync-3; bestehende Entwürfe behalten ihre Auswahl.
4. Prüfe die Kostenschätzung und wähle Sync, um das Video zu starten.

Eine Generierung verwendet ein Bild oder Video und eine Audiodarbietung oder ein Skript. Um die gesamte Darbietung durch ein neues Skript zu ersetzen, nutze diesen Workflow und wähle eine Stimme. Die Originalstimme bleibt im separaten Workflow Edit Dialogue erhalten, der gezielte Änderungen unterstützt.

Prüfe bei unterschiedlichen Video- und Audiolängen die verfügbaren Sync-Modi. cut_off endet mit der kürzeren Eingabe; Wiederholung oder Vorwärts-/Rückwärtswiedergabe eines kurzen Videos kann längeres Audio abdecken, wenn angeboten. Bei Bildern richtet sich die Dauer nach dem Audio. Prüfe nach der Änderung die Kostenschätzung erneut.

Ein Video übersetzen und synchronisieren

Im eingebetteten Studio sind Übersetzung und finale Lippensynchronisation getrennte Aktionen:

1. Wähle translate & dub und ein Video mit Sprache. Warte auf die Audioextraktion oder wähle das zu übersetzende Ausgangsaudio.
2. Wähle über Choose language in den Audiosteuerungen eine Zielsprache. Prüfe die Übersetzungsschätzung und wähle Translate.
3. Warte, bis das übersetzte Audio gespeichert ist, und höre es dir an. Die Übersetzung allein erzeugt noch kein finales Video.
4. Prüfe Modell, Einstellungen und Lipsync-Kostenschätzung und wähle Sync, um das Video mit dem ausgewählten Bild oder Video und übersetztem Audio zu erzeugen.

Du brauchst kein übersetztes Skript. Ist die kostenlose Übersetzungsvorschau zeitlich begrenzt, kann Studio anbieten, nur den Anfang des Audios zu übersetzen. Prüfe und bestätige die verkürzte Vorschau ausdrücklich oder wähle einen Tarif für längere Eingaben. Der Rest wird nicht übersetzt; Limits und Schätzung des finalen Videos gelten weiterhin.

Im Chat kannst du stattdessen bitten: „Übersetze dieses Video ins Spanische und passe die Lippenbewegungen an. Zeige zuerst die kombinierte Kostenschätzung.“ Der Chat kann die kombinierte Aktion Translate & Dub nutzen, die Übersetzung und finales Rendering unter einer Generierungs-ID verfolgt. Bestätige Ziel- und bei Bedarf Ausgangssprache und prüfe dieselbe Generierung. Importiere Videos von unterstützten Plattformen zuerst und warte auf das gespeicherte Medium. Verwende die kombinierte Aktion nicht erneut für Audio, das bereits in Studio übersetzt wurde.

Für eine weitere Sprachversion verwende Originalvideo oder Ausgangsaudio und wähle eine neue Sprache. Prüfe vor dem Start die neuen Übersetzungs- und Videokosten.

Dialoge mit der Originalstimme bearbeiten

1. Wähle edit dialogue und ein Video mit einer einzelnen, klar verständlichen Stimme.
2. Warte auf die Transkription und ändere oder entferne Wörter im zeitlich zugeordneten Text. Nutze Rückgängig, Wiederholen oder Wiederherstellen.
3. Fordere eine Audiovorschau an und höre sie dir an. Nach Textänderungen brauchst du eine neue passende Vorschau.
4. Prüfe die Kostenschätzung für das finale Video und starte es, wenn die Vorschau bereit und für die Videogenerierung geeignet ist.

Edit Dialogue unterstützt gezielte Änderungen bestehender Sprache. Es ersetzt nicht alle Sätze durch ein beliebiges Skript und bietet weder allgemeine Bearbeitung mehrerer Stimmen noch freie Segment- oder Timeline-Bearbeitung. Kann die Vorschau in ChatGPT kein Video erzeugen, nutze Continue in Sync. Vorschau und finales Video können separat berechnet werden.

Wird die Dialogvorschau nur teilweise abgeschlossen, höre sie dir an und prüfe den Hinweis vor dem Generieren: Manche Änderungen oder Verarbeitungsschritte wurden möglicherweise nicht angewendet. Kläre oder überarbeite die Änderungen, wenn alle enthalten sein sollen.

Medien hochladen

Nutze die Upload-Funktion im eingebetteten Studio für Videos, Bilder oder Audiodateien. Du kannst auch gespeicherte Medien wählen, eine öffentlich zugängliche Medien-URL importieren oder Video/Audio aufnehmen, wenn ChatGPT und dein Browser Kamera oder Mikrofon erlauben. Prüfe Aufnahmen vor dem Speichern. Warte, bis die Datei vollständig gespeichert ist, bevor du generierst.

Chat-Anhänge sind nur nutzbar, wenn ChatGPT sie an Sync weitergeben kann. Ist ein Anhang nicht zugänglich, lade ihn direkt in Sync hoch; ein Video muss nicht an das Gespräch angehängt werden.

Über den Chat kannst du unterstützte Videos von YouTube, TikTok, Instagram und Facebook in dein Projekt importieren, wenn diese Importe für dein Konto aktiviert sind. Plattformverfügbarkeit und Importlimits gelten weiterhin. Schlägt der Link fehl, lade eine Datei hoch. Eine Webseiten-URL ist nicht unbedingt eine direkte Medien-URL, die das URL-Feld des Editors akzeptiert.

Chat und eingebettetes Studio gemeinsam nutzen

Mit verfügbaren Steuerelementen kann der Chat ein Projekt öffnen, gespeicherte Medien auswählen, bearbeitbare Modell-, Sprach- oder Skripteinstellungen ändern, Medien aktualisieren und eine bestehende Generierung im Studio anzeigen. Zum Beispiel: „Verwende das gerade hochgeladene Audio im Lipsync-Entwurf dieses Projekts, aber generiere noch nichts.“

Warte vor dem Absenden, bis Studio die Änderung anzeigt. Sie kann ausstehen, wenn der Editor geschlossen oder beschäftigt ist oder eine andere Änderung deine Aufmerksamkeit braucht. Haben Chat und Studio denselben Entwurf geändert, wähle Keep Studio changes oder Use chat changes.

Ein Ergebnis zu öffnen oder einen Entwurf zu ändern erzeugt kein weiteres Video. Ein Wechsel von Projekt, Workflow oder Ergebnis kann die aktive Editoransicht ersetzen: Prüfe Ziel und aktuellen Entwurf. Kläre laufende Uploads oder Anfragen mit ungewissem Ausgang vor dem Wechsel.

Projekte, Entwürfe und Verlauf

Erstelle ein Projekt oder suche ein bestehendes. Projektkarten zeigen Vorschauen und die Anzahl der Generierungen. Öffne ein Projekt für Medienauswahl und Verlauf. Du kannst es über den Titel umbenennen, wenn diese Funktion verfügbar ist.

Nenne bei einer Lipsync-Anfrage im Chat vor der Bestätigung das bestehende Projekt oder bitte um ein neues benanntes Projekt. Ohne Ziel kann das Tool das Standardprojekt der Integration nutzen, etwa ChatGPT generations. Prüfe das zurückgegebene Projekt, um das Ergebnis in Studio zu finden.

Gespeicherte Generierungen gehören zum Sync-Projekt. Das Öffnen eines Projekts oder Verlaufseintrags prüft den Zugriff und lädt den bestehenden Auftrag, ohne ihn erneut zu starten. Laufende Aufträge behalten ihren Status; abgeschlossene zeigen das Ergebnis.

Bearbeitbare und archivierte Entwürfe können im selben Browserprofil fortgesetzt werden, wenn lokaler Speicher verfügbar ist. Die Wiederherstellung ist an Konto und Arbeitsbereich gebunden, synchronisiert nicht zwischen Geräten oder Browserprofilen und kann beim Löschen von Browserdaten verloren gehen. Projektmedien und angenommene Generierungen sind von lokalen Entwürfen unabhängig.

Fortschritt prüfen und Ergebnis herunterladen

Verfolge den Fortschritt in Studio oder frage: „Prüfe den Status dieser Sync-Generierung.“ Nenne in einem anderen Gespräch das Projekt oder die Generierungs-ID. Prüfe den bestehenden Auftrag, statt während der Verarbeitung einen Ersatz anzufordern.

Spiele das fertige Video ab und nutze Source/Synced zum Vergleich, wenn verfügbar. Lade das Ergebnis herunter oder öffne den Videolink, wenn ChatGPT es nicht direkt herunterladen kann. Bei Wiedergabefehlern versuche es erneut oder öffne das Projekt in Sync, ohne neu zu generieren.

Nutze Edit inputs oder eine verfügbare Fortsetzungsaktion für eine neue Version. Prüfe Eingaben und eine neue Kostenschätzung vor dem Start. Manche Aktionen öffnen das vollständige Studio. Ein Ergebnis auszuwählen oder einen Entwurf vorzubereiten startet allein noch keine kostenpflichtige Arbeit.

Kosten und Kontolimits prüfen

Das Kontomenü zeigt Tarif, kostenloses Kontingent, Credits oder abgerechnete Nutzung. Mit Refresh account aktualisierst du die Anzeige. Eigentümer und Administratoren können bei entsprechender Berechtigung die Abrechnung in Sync öffnen.

• Prüfe vor jeder kostenpflichtigen Aktion die Schätzung. Sprachsynthese, Übersetzungs- und Dialogvorschauen sowie finale Videos können separate Vorgänge sein.
• Übersetzungsschätzungen erklären, ob die Übersetzung enthalten ist, von Sync oder separat von deinem Anbieter berechnet wird. Eine reine Lipsync-Schätzung ist kein Gesamtpreis für Übersetzung.
• Bei Skripten zählt die geschätzte Dauer der neuen Sprache, nicht automatisch das gesamte Ausgangsvideo. Der Preis bleibt ungefähr, bis Audio erzeugt oder gemessen wurde; Sprachsynthese wird separat ausgewiesen.
• Änderungen an Skript, Audio, Sprache, Modell oder Einstellungen können den Preis ändern. Prüfe die aktualisierte Schätzung.
• Fehlende Dauer, nicht verfügbare Preise, aufgebrauchtes Kontingent, unzureichendes Guthaben oder Tariflimits können Sync blockieren. Wähle geeignete Eingaben, wiederhole die Prüfung oder verwalte deinen Tarif. Gehe nicht davon aus, dass Vorschauen oder Stimmklone kostenlos sind.

Klare Anfragen formulieren

Frage vor der Auswahl nach verfügbaren Stimmen. Ist wiederverwendbares Stimmenklonen im Chat verfügbar, fordere es ausdrücklich mit einer eigenen oder dafür freigegebenen Probe an und bestätige Probe, Name, Kosten und Tariflimits. Die gespeicherte Stimme lässt sich später wiederverwenden. Klonen ist von Sprach- und Videogenerierung getrennt; die eingebettete Stimmenauswahl garantiert keine Funktion zum Erstellen oder Löschen von Klonen.

Aktuelle Grenzen verstehen

Die Limits deines Sync-Arbeitsbereichs für Medien, Dauer, Modelle, Sprachen, Credits und gleichzeitige Aufträge gelten auch in ChatGPT. Ein auf dem Server bereitgestelltes Tool muss gegebenenfalls erst in ChatGPT verfügbar werden.

Das Plugin bietet keine reine Untertitelausgabe, allgemeine Textübersetzung, eigenständigen MP3-Voiceover-Workflow, Edit Appearance oder vollständige Timeline zum Schneiden und Mischen von Musik. Nutze Studio für Workflows, die den vollständigen Editor erfordern. Lange Eingaben werden nicht automatisch auf das kostenlose Kontingent gekürzt.

Probleme beheben

Eigene Integrationen mit dem MCP-Server erstellen

Für andere KI-Clients oder eigene Integrationen nutze den sync. labs MCP-Server. Das offizielle Plugin verwendet OAuth; du brauchst keinen lokalen MCP-Server.