inference.eu

Chat · Meta

Llama 3.3 70B in der EU über eine OpenAI-kompatible API nutzen

Llama 3.3 70B Instruct ist Metas Textmodell mit 70 Milliarden Parametern, veröffentlicht im Dezember 2024 und bis heute eines der meistgenutzten offenen KI-Modelle. Auf inference.eu rufen Sie es im OpenAI- oder Anthropic-Format auf, die Verarbeitung erfolgt in Rechenzentren in der EU und Ihre Daten fließen nicht ins Training.

Vertrieb kontaktierenBeispielanfrage
  1. 0170B
  2. 02Rechenzentren in der EU
  3. 03Llama 3.3 Community License

Was Llama 3.3 70B ist

Llama 3.3 70B Instruct ist ein dichtes, rein textbasiertes Sprachmodell von Meta mit 70 Milliarden Parametern und einem Kontextfenster von 128.000 Tokens. Es baut auf Llama 3.1 70B auf und ist für Anweisungen und Dialoge trainiert. Offiziell unterstützt werden Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Spanisch, Hindi und Thai.

Da es kein Mixture-of-Experts-Modell ist, durchläuft jedes Token alle 70 Milliarden Parameter. Das Verhalten ist dadurch gut vorhersehbar und seit der Veröffentlichung von unzähligen Teams erprobt. Nahezu alle Frameworks, Prompt-Bibliotheken und Evaluierungswerkzeuge unterstützen das Modell ohne Anpassung.

Stärken und Grenzen

Llama 3.3 70B ist ein verlässlicher Allrounder für Chat, Zusammenfassungen, Klassifizierung, Informationsextraktion und Textentwürfe in den großen westeuropäischen Sprachen. Es hält sich zuverlässig an Systemprompts, unterstützt Tool Calling und liefert sauberes JSON. Deshalb dient es in vielen Unternehmen als Standardmodell für interne Assistenten.

Das stärkste offene Modell ist es nicht mehr. Neuere Modelle wie Qwen3, Gemma 4 oder Mistral Small 4 schlussfolgern besser, programmieren besser und verarbeiten Bilder, was Llama 3.3 nicht kann. Einen eigenen Denkmodus gibt es nicht, für mehrstufige Mathematik oder komplexe Agenten eignet sich ein Reasoning-Modell besser. Wählen Sie Llama 3.3, wenn Sie eine erprobte, stabile Basis suchen.

Llama 3.3 70B über die API aufrufen

inference.eu verwendet das OpenAI-Anfrageformat. Die offiziellen OpenAI-SDKs für Python und JavaScript, LangChain, LlamaIndex und das Vercel AI SDK funktionieren daher ohne Änderungen. Sie setzen die Base-URL auf die inference.eu-API, verwenden Ihren inference.eu-Schlüssel und tragen als Modell llama-3.3-70b-instruct ein.

Chat Completions, Streaming, Tool Calls und JSON-Modus funktionieren wie gewohnt. Nutzt Ihr Code das Anthropic-Messages-Format, steht dasselbe Modell auch dort bereit. Werkzeuge, die für Claude gebaut wurden, können so ohne Umbau auf Llama 3.3 wechseln. Prompts, Beispiele und Ihre Auswertung der Antworten bleiben unverändert.

Datenhaltung in der EU

Wenn Sie Llama 3.3 70B auf inference.eu aufrufen, werden Ihre Prompts und die Antworten des Modells in Rechenzentren in der Europäischen Union verarbeitet. Sie dienen ausschließlich der Beantwortung Ihrer Anfrage und werden nie zum Training eines Modells verwendet.

Mit jedem Kunden schließen wir einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und stellen unsere Liste der Unterauftragsverarbeiter bereit. Ihr Datenschutzbeauftragter sieht so genau, wer die Daten wo verarbeitet. Abgerechnet wird in Euro. Beachten Sie, dass die Llama 3.3 Community License eigene Bedingungen enthält, etwa eine Acceptable Use Policy und eine Pflicht zur Namensnennung.

llama-3.3-70b-instruct · Python
import os
from openai import OpenAI

client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"])

response = client.chat.completions.create(
    model="llama-3.3-70b-instruct",
    messages=[{"role": "user", "content": "Summarise this contract in five bullet points."}],
)
print(response.choices[0].message.content)

Wofür Teams es einsetzen

  • 1

    Interne KI-Assistenten

    Ein verlässliches Standardmodell für Unternehmens-Chats, die Fragen beantworten, Texte umformulieren und Dokumente zusammenfassen, auf Deutsch, Englisch, Französisch, Italienisch und Spanisch.

  • 2

    Strukturierte Datenextraktion

    Namen, Daten, Beträge und Klauseln aus E-Mails, Rechnungen und Verträgen als JSON auslesen, das Ihre Systeme direkt weiterverarbeiten.

  • 3

    Referenz bei der Migration

    Ein bekanntes Vergleichsmodell, wenn Sie eine Anwendung von einem US-Anbieter umziehen und die Qualität Modell für Modell prüfen wollen.

Llama 3.3 70B Instruct: häufige Fragen

Die Fragen, die uns Einkauf, Entwicklung und Rechtsabteilungen am häufigsten stellen. Etwas fehlt? Fragen Sie uns direkt.

Frage stellen

Verwandte Seiten

Alle Modelle

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur

Sagen Sie uns, welche Modelle Sie nutzen und wie viel Verkehr Sie ungefähr haben. Wir antworten innerhalb eines Werktags mit Preisen und nächsten Schritten.

  • Antwort innerhalb eines Werktags
  • Preise für Ihr Volumen
  • AV-Vertrag unterschriftsreif