Welche Modelle bei inference.eu verarbeiten Bilder?

Modelle mit Bildverständnis sind auf ihren Modellseiten und im Katalog gekennzeichnet, ein Beispiel ist `mistral-small-3.2-24b-instruct`. Mit `GET /v1/models` sehen Sie, was Ihr Schlüssel nutzen darf. Für dichte Dokumente oder komplexe Diagramme wählen Sie ein größeres Vision-Modell.

Ist die Vision-API mit OpenAI kompatibel?

Ja. Bilder kommen als `image_url`-Teile in Chat-Completions-Nachrichten, genau wie bei OpenAIs Vision-Modellen, und als `input_image`-Elemente in die Responses API. Das Anthropic-Messages-Format akzeptiert `image`-Blöcke. Bestehender Code funktioniert nach Änderung von Basis-URL, Schlüssel und Modell.

Kann ich eine lokale Bilddatei senden?

Ja. Lesen Sie die Datei ein, kodieren Sie sie als Base64 und senden Sie sie als Data-URL wie `data:image/png;base64,...` im Feld `image_url`. So müssen Sie das Bild auch nicht öffentlich ablegen. Große Bilder komprimieren Sie vorher, um im Größenlimit der Anfrage zu bleiben.

Wie viele Bilder passen in eine Anfrage?

Mehrere, solange alles ins Kontextfenster des Modells und ins Größenlimit der Anfrage passt. Jedes Bild verbraucht Tokens im Verhältnis zu seiner Auflösung. Die genaue Grenze pro Anfrage hängt von Modell und Tarif ab und wird mit Ihnen abgestimmt.

Bekomme ich strukturierte Daten aus einem Bild?

Ja. Kombinieren Sie das Bild mit `response_format` und einem JSON-Schema, etwa um die Felder eines Belegs oder Formulars auszulesen. Das Modell liefert JSON nach Ihrem Schema. Prüfen Sie wichtige Werte wie Summen, bevor Sie sie weiterverwenden.

Werden gesendete Bilder gespeichert oder für Training genutzt?

Nein. Bilder werden in Rechenzentren in der EU verarbeitet, um die Anfrage zu beantworten, und nie zum Training von Modellen verwendet. Das ist wichtig bei Scans von Verträgen und Rechnungen und bei Screenshots mit personenbezogenen oder vertraulichen Daten.

Warum liest das Modell Zahlen in meinem Bild falsch?

Kleiner oder unscharfer Text verliert bei der Umwandlung in Tokens Details. Senden Sie ein höher aufgelöstes oder zugeschnittenes Bild, nutzen Sie PNG für Dokumente und bitten Sie das Modell, den Text wörtlich wiederzugeben. Kritische Zahlen wandeln Sie besser in Text um oder gleichen sie mit einer anderen Quelle ab.

Vision-API für Bilder · OpenAI-kompatibel, in der EU verarbeitet

Q: Kann ein Vision-Modell PDFs lesen?

Vision-Modelle lesen Bilder, Sie müssten also jede PDF-Seite als Bild rendern. Für die meisten PDFs ist es besser, sie mit dem Werkzeug zur Dokumentkonvertierung in Markdown umzuwandeln und den Text zu senden. Vision lohnt sich für Seiten, auf denen Layout, Diagramme oder Handschrift die Bedeutung tragen.

Vision: Bilder an offene Modelle senden, verarbeitet in der EU

Vision-Modelle lesen Bilder ebenso wie Text. Sie beschreiben ein Foto, lesen einen Beleg, vergleichen zwei Screenshots, prüfen ein Formular oder beantworten Fragen zu einem Diagramm. Bilder werden in derselben Chat-Anfrage wie Text gesendet, im OpenAI- oder Anthropic-Format, und in europäischen Rechenzentren verarbeitet. Das zählt, wenn darauf Dokumente, Personen oder Kundendaten zu sehen sind.

import base64, os from openai import OpenAI client = OpenAI(base_url="https://api.inference.eu/v1", api_key=os.environ["INFERENCE_EU_API_KEY"]) with open("receipt.jpg", "rb") as f: image = base64.b64encode(f.read()).decode() reply = client.chat.completions.create( model="mistral-small-3.2-24b-instruct", messages=[{ "role": "user", "content": [ {"type": "text", "text": "List the items, the VAT rate and the total on this receipt."}, {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image}"}}, ], }], max_tokens=500, ) print(reply.choices[0].message.content)

So senden Sie ein Bild

Wählen Sie ein Modell mit Bildverständnis, etwa mistral-small-3.2-24b-instruct, und machen Sie den content der Nutzernachricht zu einer Liste von Teilen statt zu einem String. Ein text-Teil trägt Ihre Frage, ein image_url-Teil das Bild, entweder als öffentliche HTTPS-URL oder als Data-URL mit Base64-Inhalt wie im Beispiel. Mehrere Bilder und Textteile lassen sich in einer Nachricht kombinieren.

Die Antwort kommt als normaler Text in choices[0].message.content. Im Anthropic-Messages-Format nutzen Sie stattdessen einen Block image mit Quelle base64 oder url, in der Responses API ein Element input_image.

Bildgröße, Detailgrad und Tokens

Bilder werden in Tokens umgewandelt, bevor das Modell sie liest, und größere Bilder ergeben mehr Tokens. Das beeinflusst Kosten, Tempo und den verbleibenden Platz im Kontextfenster. Passen Sie Bilder an die Aufgabe an: Für eine allgemeine Beschreibung genügt ein kleines Foto, eine dichte Rechnung oder ein Tabellen-Screenshot braucht genug Auflösung, damit der Text lesbar bleibt.

Nutzen Sie JPEG für Fotos und PNG für Screenshots und Dokumente mit scharfem Text. Schneiden Sie wenn möglich auf den relevanten Bereich zu. Das Feld detail an image_url wird aus Kompatibilitätsgründen akzeptiert; wie es die Verarbeitung ändert, hängt vom Modell ab.

Bewährte Einsatzmuster

Belege und Rechnungen: Senden Sie das Bild mit einem JSON-Schema in response_format und erhalten Sie Lieferant, Datum, Positionen und Summen als strukturierte Daten. Screenshots: Lassen Sie ein Modell einen UI-Fehler beschreiben, einen Fehlerdialog lesen oder ein Design mit der umgesetzten Seite vergleichen. Qualitätskontrolle: Zeigen Sie ein Produktfoto und fragen Sie, ob ein Etikett vorhanden und lesbar ist.

Bei mehrseitigen PDFs ist es oft besser, das Dokument zuerst mit dem Werkzeug zur Dokumentkonvertierung in Markdown umzuwandeln und Text zu senden. Vision nutzen Sie nur für Seiten mit Diagrammen oder Handschrift. Text ist pro Seite günstiger und leichter zu durchsuchen, zu zitieren und zu speichern.

Fehler und Sonderfälle

Ein Bild an ein reines Textmodell ergibt einen 400-Fehler mit dem Hinweis, dass das Modell keine Bilder annimmt; prüfen Sie Modellseite oder GET /v1/models. Bild-URLs müssen öffentlich über HTTPS erreichbar sein. Private, ablaufende oder login-pflichtige Links scheitern, senden Sie dann Base64. Sehr große Dateien können das Größenlimit der Anfrage sprengen, komprimieren Sie sie vorher.

Vision-Modelle können Kleingedrucktes, Handschrift und Zahlen falsch lesen und beschreiben mitunter, was sie erwarten, statt was zu sehen ist. Bei wichtigen Werten wie Rechnungsbeträgen prüfen Sie die Ergebnisse und beziehen einen Menschen ein. Nutzen Sie Vision-Modelle nicht zur Identifizierung von Personen.

Vision: Bilder an offene Modelle senden, verarbeitet in der EU

So senden Sie ein Bild

Bildgröße, Detailgrad und Tokens

Bewährte Einsatzmuster

Fehler und Sonderfälle

Vision: häufige Fragen

Verwandte Seiten

Verlagern Sie Ihre KI-Workloads auf europäische Infrastruktur