Open-Source-Modelle mit Together AI nutzen

Kennst du das? Du willst das neueste Open-Source-Modell ausprobieren, aber jeder Provider hat seine eigene API-Struktur und Authentifizierung. Es nervt, ständig den Code anzupassen oder neue Bibliotheken zu installieren, nur um zwischen Llama, DeepSeek oder Kimi zu wechseln. Eine einheitliche Schnittstelle spart hier massiv Zeit und Nerven.

Together AI ist dafür eine hervorragende Lösung. Du bekommst Zugriff auf die besten Open-Source-Modelle über eine einzige, OpenAI-kompatible API.

Voraussetzungen

• TOGETHER_API_KEY

Schnellstart

Ich empfehle, den API-Key direkt für das Gateway zu hinterlegen, damit die Authentifizierung reibungslos läuft. In nur zwei Schritten ist alles startklar.

1. Setze den API-Key:

openclaw onboard --auth-choice together-api-key

2. Definiere ein Standard-Modell in deiner Konfiguration:

{
  agents: {
    defaults: {
      model: { primary: "together/moonshotai/Kimi-K2.5" },
    },
  },
}

Non-interactive Beispiel

Falls du die Einrichtung automatisieren möchtest, kannst du die Parameter direkt übergeben. Dieser Befehl setzt together/moonshotai/Kimi-K2.5 automatisch als Standard-Modell:

openclaw onboard --non-interactive \
  --mode local \
  --auth-choice together-api-key \
  --together-api-key "$TOGETHER_API_KEY"

Fehlerbehebung

Falls das Gateway als Daemon läuft (zum Beispiel via launchd oder systemd), kann es vorkommen, dass der Prozess den API-Key nicht findet. Stelle sicher, dass TOGETHER_API_KEY für diesen Prozess verfügbar ist. Du kannst den Key in der Datei ~/.clawdbot/.env speichern oder über env.shellEnv einbinden.

Verfügbare Modelle

Together AI bietet eine breite Auswahl an Modellen für unterschiedliche Aufgaben:

• GLM 4.7 Fp8: Das Standardmodell mit einem großen 200K Context Window.
• Llama 3.3 70B Instruct Turbo: Sehr schnell und effizient bei der Befolgung von Instruktionen.
• Llama 4 Scout: Ein Vision-Modell für Bildverständnis.
• Llama 4 Maverick: Bietet fortgeschrittene Vision-Funktionen und Reasoning.
• DeepSeek V3.1: Ein extrem leistungsstarkes Modell für Coding und komplexes Reasoning.
• DeepSeek R1: Speziell für tiefgehende Reasoning-Aufgaben entwickelt.
• Kimi K2 Instruct: Ein High-Performance-Modell mit einem 262K Context Window.

Alle diese Modelle unterstützen Standard Chat Completions und sind vollständig OpenAI API kompatibel.

Du hast Fragen zur Einrichtung? Nutze den AI Setup Assistant.

Nächste Schritte

• Gateway Konfiguration
• Model Spezifikationen