Kurzantwort: Die Gemini Omni 1.2 Flash API generiert und bearbeitet Videos von 3 bis 15 Sekunden Länge über die Interactions API unter der Modell-ID gemini-omni-1.2-flash. Um dies als Agenten-Aufgabe auszuführen, weisen Sie jedem Job einen Task zu, der das Briefing, Referenzen, die Länge und ein Versuchslimit enthält. Speichern Sie die Interaktions-ID und schalten Sie zwischen den einzelnen Durchläufen eine Prüfung durch den Menschen ein.
Google hat Gemini Omni 1.2 Flash am 5. November 2026 allgemein verfügbar gemacht. Für Teams ändert das die Fragestellung: Man muss sich nicht mehr fragen, ob sich das Modell für ein Nebenexperiment lohnt, sondern wer einen Video-Job vom Briefing bis zur Abnahme verantwortet.
Ein API-Aufruf für Video ist keine gewöhnliche Chat-Antwort: Er wird sekundengenau abgerechnet, liefert eine Datei zurück, und jemand muss diese Datei freigeben, bevor sie die Kundschaft erreicht. Wenn Ihre Agenten bereits Aufgaben aus Sharkly-Tasks übernehmen, fügt sich ein Video-Job nahtlos in dasselbe Schema ein – und dieser Leitfaden zeigt, wie das funktioniert.
Vorab eine wichtige Abgrenzung: Sharkly generiert keine Videos und bietet keine native Omni-Integration. Ihr Agent ruft die Google-API auf; Sharkly steuert die Arbeitsabläufe rund um diesen Aufruf.
So sieht ein API-Aufruf für Gemini Omni 1.2 Flash aus
Ein API-Aufruf für Gemini Omni 1.2 Flash ist eine einzelne interactions.create-Anfrage, die einen Prompt, optionale Referenzmedien und ein response_format für Auflösung und Dauer enthält. Nachfolgende Bearbeitungen greifen über previous_interaction_id auf das vorherige Ergebnis zurück, sodass Sie lediglich die gewünschte Änderung beschreiben müssen, ohne den Clip erneut hochzuladen.
Dieser Entwurf orientiert sich an der Omni-Dokumentation mit Stand vom 6. November 2026. Da wir ihn selbst noch nicht ausgeführt haben, sollten Sie ihn zunächst an einem einzelnen Clip testen.
import base64
from google import genai
client = genai.Client() # reads GEMINI_API_KEY from the environment
MODEL = "gemini-omni-1.2-flash"
# Turn 1: a cheap draft at the length the brief asks for
draft = client.interactions.create(
model=MODEL,
input="A slow 360-degree spin of a matte black water bottle on a grey plinth.",
response_format={"type": "video", "resolution": "360p", "duration": "15s"},
)
# Turn 2: edit the draft after a person reviews it
edit = client.interactions.create(
model=MODEL,
previous_interaction_id=draft.id,
input="Keep the spin. Change the plinth to pale oak.",
)
with open("clip.mp4", "wb") as f:
f.write(base64.b64decode(edit.output_video.data))
print(draft.id, edit.id) # these IDs belong on the Task
Vier Details aus der Dokumentation sind für einen Agenten besonders wichtig:
- Die Standarddauer beträgt 10 Sekunden. Legen Sie diese im
response_formatfest, da dieser Wert Vorrang vor jeder Längenangabe im Prompt hat. output_videogibt es nur im SDK. Bei direkten REST-Aufrufen wird das Video aus demsteps-Array ausgelesen.- Große Dateien erfordern die Bereitstellung per URI. Verwenden Sie bei Dateien über 4 MB
delivery: "uri"und fragen Sie den Status der Datei ab, bis erACTIVElautet. - Omni bietet kein kostenloses API-Kontingent. Auf der Preisseite ist das Modell ausschließlich für kostenpflichtige Projekte aufgeführt – mit rund 0,07 $ pro Sekunde bei 720p.
Warum ein Video-Generierungs-Task besser ist als ein Chat-Prompt
Führt man dies über ein lokales Terminal aus, verteilt sich der Job schnell auf vier verschiedene Orte: Das Briefing liegt im Chat, die Referenzen in einem Ordner, die Interaktions-ID im Log und die Freigabe im Gedächtnis eines Mitarbeiters. Diese Fragmentierung fällt bei Video aus drei Gründen viel schwerer ins Gewicht als bei Text.
Die Bearbeitungsreferenz läuft ab. Iterative Bearbeitungen (Multi-Turn Edits) hängen von einer gespeicherten Interaktion ab. Laut der Dokumentation zur Interactions API werden diese bei kostenpflichtigen Projekten standardmäßig 55 Tage lang aufbewahrt; dieser Zeitraum lässt sich auf 7, 14 oder 28 Tage verkürzen. Geht die ID verloren oder verstreicht dieses Zeitfenster, muss man wieder von vorne mit einer Neugenerierung beginnen.
Ein Performance-Tipp verhindert spätere Bearbeitungen. Googles Performance-Leitfaden empfiehlt store=false für eine schnellere Generierung. An derselben Stelle wird jedoch gewarnt, dass das Video danach nicht mehr über previous_interaction_id bearbeitet werden kann. Ein Agent, der auf maximale Geschwindigkeit optimiert wird, könnte damit genau die Funktion deaktivieren, auf die Ihre Feedbackschleife angewiesen ist.
Anfragen sind knapp bemessen. Die Seite zu den Rate-Limits weist Tier-1-Projekten 8 Anfragen pro Minute und 40 pro Tag zu. Jeder Entwurf und jede Bearbeitung verbraucht eine davon. Drei Agenten, die verschiedene Varianten ausprobieren, können dieses Kontingent schon vor der Mittagspause aufbrauchen – und niemand erkennt auf Anhieb, warum der vierte Job fehlschlägt.
Die fünf Bausteine eines Video-Jobs
Behandeln Sie einen Video-Job wie jede andere Arbeitseinheit eines Agenten: Er benötigt fünf Bestandteile, und jeder davon hat einen festen Verantwortlichen.
1. Das Briefing
Das Briefing gehört in die Task-Beschreibung. Halten Sie es so prägnant, dass sich der fertige Clip direkt daran messen lässt:
Goal: 15-second product spin for the launch page
Format: 16:9, 720p final, 15s
References: bottle-front.png, bottle-back.png, brand-colors.png
Must keep: logo text readable, matte finish, no people
Attempt cap: 4 drafts at 360p, 3 edits at 720p
Reviewer: the person who owns the launch page
Das Versuchslimit ist dabei entscheidend: Ohne eine solche Obergrenze nimmt die Anweisung „Probier mal ein paar Varianten aus“ kein Ende.
2. Die Referenz-Assets
Hängen Sie Referenzen direkt an den Task an, damit jeder Durchlauf auf dieselben Dateien zugreift. Omni akzeptiert bis zu 6 Referenzbilder pro Anfrage, mit maximal 3 Bildern pro Charakter für bis zu 2 Charaktere. Referenzvideos dürfen jeweils bis zu 3 Sekunden lang sein: eines bei Clips von 11 bis 15 Sekunden, bis zu drei bei kürzeren Clips.
Achten Sie auf eine Einschränkung: Googles Ankündigung erwähnt zwar Audio-Hinweise, laut API-Dokumentation wird das Hochladen von Audio in der aktuellen Version jedoch nicht unterstützt. Beschreiben Sie Audio-Elemente daher direkt im Prompt.
3. Der Agent, der die API aufruft
Der Agent benötigt eine Ausführungsumgebung und einen API-Schlüssel. In Sharkly verwalten die Agent-Einstellungen reguläre sowie vertrauliche Umgebungsvariablen – GEMINI_API_KEY wird dort als Secret hinterlegt. Die Aufrufe werden über Ihr eigenes Google-Konto abgerechnet, da Sharkly keine Token verkauft.
4. Die iterativen Bearbeitungen
Jede Bearbeitung ist ein neuer Durchlauf (Turn) innerhalb derselben Interaktion und erzeugt ein neues Video. Lassen Sie den Agenten nach jedem Schritt die Interaktions-ID, die Auflösung und die Dauer im Task vermerken. Der nächste Durchlauf – oder die nächste zuständige Person – kann so direkt am passenden Clip anknüpfen.
5. Die menschliche Prüfung
Halten Sie den Agenten nach der Entwurfsphase und nochmals vor dem finalen Rendering an. Das sind genau die Momente, in denen menschliches Urteilsvermögen Geld spart oder Markenfehler verhindert.
Agenten generieren, bearbeiten und berichten. Menschen erstellen das Briefing, wählen den Entwurf aus und nehmen den fertigen Clip ab.
Wie Sharkly den Ablauf steuert
Sharklys Rolle liegt in der Zuweisung von Verantwortung und in der Überprüfung. Ein Task dient als zentrales Protokoll, und Fortschritt, Trace-Events sowie das Ergebnis fließen direkt in den Task zurück.
Die Abläufe greifen nahtlos ineinander:
- Vorbereitung im Backlog. Ein dort zugewiesener Task startet noch keinen Durchlauf – so können Briefing und Referenzen in Ruhe fertiggestellt werden.
- Durchlauf starten. Sobald der Task aus dem Backlog verschoben wird, nimmt der zugewiesene Agent auf seinem Computer die Arbeit auf.
- Übergabe zur Prüfung. Der Agent markiert die Task-Unterhaltung als prüfungsbedürftig, und diese Übergabe wird im Modul „Task Chats“ sichtbar.
- Fortsetzen per Kommentar. Ein entsprechender Kommentar einer Person kann den Folge-Durchlauf für die nächste Bearbeitung auslösen.
- Abschluss. Nach dem Anhängen des Clips verschiebt eine Person den Task in seinen finalen Status.
Die Statusbezeichnungen innerhalb jeder Kategorie lassen sich organisationsspezifisch anpassen, sodass ein Team problemlos einen Status für die Clip-Prüfung ergänzen kann. Ausführungszustände wie Queued oder Running bleiben von diesen Status getrennt.
Wiederkehrende Regeln gehören in einen Skill, der Anweisungen für alle damit verknüpften Agenten bündelt. Definieren Sie die Omni-Regeln einmal zentral, und jeder Video-Task übernimmt sie automatisch. Halten Sie den API-Schlüssel aus dem Skill heraus, da vertrauliche Daten laut Dokumentation dort keinesfalls abgelegt werden sollten. Das übergeordnete Muster beschreiben wir ausführlicher im Beitrag über Freigabeschranken (Approval Gates) für Coding-Agenten.
Einschränkungen, die Sie in Ihren Skill aufnehmen sollten
Da Omni weder System-Instructions noch Temperature oder negative Prompts als Einstellungen unterstützt, müssen Ihre Vorgaben dem Modell direkt über den Prompt übermittelt werden. Die folgenden Einschränkungen stammen aus der Omni-Dokumentation.
| Einschränkung | Regel für den Agenten |
|---|---|
| 3 bis 15 Sekunden pro Generierung | duration jedes Mal angeben, in ganzen Sekunden |
| Verlängerung fügt 3 bis 10 Sekunden pro Schritt hinzu, maximal 30 Sekunden insgesamt | Längere Clips bereits vor dem ersten Entwurf als Verlängerungen planen |
| Verlängerungen können nur am Ende angehängt werden | Keinen neuen Anfang oder Mittelteil versprechen |
| Bearbeitung von Sprache/Stimmen nicht unterstützt | Neu generieren, wenn Dialoge geändert werden müssen |
| Referenzvideos funktionieren nur bei Neugenerierungen | Bei Bearbeitungen auf Referenzbilder zurückgreifen |
| Bestimmte wiedererkennbare Personen bei Uploads blockiert | Ausgangsbilder vor dem Durchlauf prüfen |
| Bearbeitung hochgeladener Videos im EWR, in der Schweiz und im Vereinigten Königreich nicht verfügbar | In diesen Regionen vom Modell generierte Clips bearbeiten |
| Nur Englisch vollständig unterstützt | Andere Sprachen für eine genauere Prüfung markieren |
Eine Lücke sollte vorab getestet werden: Die Dokumentation definiert resolution pro Anfrage und kennzeichnet 1080p sowie 4K als hochskaliert, zeigt aber kein konkretes Beispiel für das Hochskalieren eines bestehenden Clips. Googles Ankündigung beschreibt diesen Workflow zwar – überprüfen Sie den Aufruf jedoch an einem Testclip, bevor sich Ihr Skill darauf verlässt.
Wann ein Task überdimensioniert ist
Verwenden Sie einen Task, wenn ein Clip einen festen Verantwortlichen, ein Budgetlimit oder eine Freigabe erfordert. Greifen Sie auf Googles eigene Apps zurück, wenn eine Person manuell einen einzelnen Clip erstellen möchte: Flow übernimmt dabei mehrstufige Bearbeitungen und Google Vids generiert 15-Sekunden-Clips.
Nutzen Sie eine Pipeline, wenn Sie Recherche-, Skript- und Schnittphasen anstelle eines einzelnen Modellaufrufs benötigen. OpenMontage schlägt diesen Weg ein. Ein Task kann dabei weiterhin für das Gesamtergebnis eines solchen Laufs verantwortlich sein, die eigentliche Produktionslogik liegt jedoch in der Pipeline.
Praxisnahe Video-Jobs, die sich eignen
Gute Einstiegsprojekte sind kurz, wiederholbar und einfach zu beurteilen:
- Release-Clips: Ein neues Feature wird veröffentlicht und ein Agent erstellt anhand des Changelogs den Entwurf für einen 15-Sekunden-Clip, den eine Person freigeben kann.
- Produkt-Drehungen für Kataloge: Produktfotos dienen als Referenzen; laut Google bleiben Verpackungstexte und Markenfarben über verschiedene Kamerawinkel hinweg konsistent.
- Werbevarianten: Ein freigegebener Clip wird für unterschiedliche Zielgruppen angepasst, wobei jede Bearbeitung demselben Task zugeordnet bleibt.
Beginnen Sie mit dem Release-Clip: Das Ausgangsmaterial ist bereits geschrieben, und die zuständige Person für die Freigabe steht bereits fest.
Ihr nächster Schritt
Wählen Sie einen Clip aus, den Ihr Team diesen Monat benötigt, und verfassen Sie das oben gezeigte sechszeilige Briefing. Verbinden Sie anschließend einen Computer und weisen Sie einem Agenten mit Gemini-Schlüssel einen ersten risikoarmen Task zu. Setzen Sie das Limit auf zwei Entwürfe und eine Bearbeitung und prüfen Sie, ob die Interaktions-IDs im Task erfasst werden. Der Sharkly Quickstart Guide beschreibt die Einrichtung. Sobald ein Durchlauf reibungslos funktioniert, übertragen Sie die Regeln in einen Skill.
FAQ
Wie lautet die Modell-ID für die Gemini Omni 1.2 Flash API?
Sie lautet gemini-omni-1.2-flash und ist stabil. Anfragen an gemini-omni-1.1-flash werden ab dem 3. Dezember 2026 automatisch auf Version 1.2 weitergeleitet.
Wie bearbeite ich ein Video mit der Gemini Omni API?
Senden Sie eine neue interactions.create-Anfrage, bei der previous_interaction_id auf das frühere Ergebnis verweist, und beschreiben Sie die Änderung in natürlicher Sprache. Das Modell behält alle Elemente bei, die Sie nicht erwähnen.
Wie lange speichert Gemini eine Interaktion für spätere Bearbeitungen?
Bei kostenpflichtigen Projekten werden Interaktionen standardmäßig 55 Tage lang gespeichert. Dieser Zeitraum kann im AI Studio auf 7, 14 oder 28 Tage verkürzt werden; mit store=false wird die Speicherung komplett deaktiviert.
Kann ein KI-Agent die Gemini Omni API eigenständig aufrufen?
Ja. Jeder Agent, der Code ausführen und einen API-Schlüssel auslesen kann, kann den Aufruf durchführen. Die anspruchsvollere Frage ist, wo das Briefing, die Limits und die Freigaben verwaltet werden.
Bietet Sharkly eine direkte Integration für Gemini Omni?
Nein. Der Agent ruft die Google-API von seinem Computer aus mit Ihrem Schlüssel auf. Sharkly verwaltet den Task, den Skill und die Freigabeprozesse rund um diesen Aufruf.
Werden Gemini-Omni-Videos mit einem Wasserzeichen versehen?
Ja. Alle generierten Videos enthalten SynthID – ein unsichtbares Wasserzeichen, das programmatisch erkannt werden kann.
