Website-Import ohne Firecrawl

Status: angenommen. Datum: 27.10.2026.

Anlass

Die Anreicherung von Firmenprofilen aus der Unternehmenswebsite lief über Firecrawl, einen externen Extraktionsdienst. Dessen Schema war an das alte Profilmodell gebunden. Mit dem neuen Profil (eine Nachweisquelle profile_facts, Teammitglieder, Zertifikate, eigene Unternehmensseite) hätte jede Schemaänderung eine Anpassung beim Dienst erfordert. Zudem bot der Dienst keine Zusage zur Nichtspeicherung der Daten und verlangte einen eigenen API-Schlüssel samt Auftragsverarbeitung.

Entscheidung

Der Website-Import ist Teil des Agent-Service:

Seiten werden über die abgesicherten MCP-Webwerkzeuge geladen.
Eine strukturierte Extraktion mit Pydantic AI läuft direkt gegen das neue Profilschema.
Gefundene Zertifikate werden als nicht bestätigte Nachweise (derived) samt Fundstelle gespeichert und lassen sich bestätigen (self_declared) oder verwerfen; ohne Gültigkeitsdatum zeigt Fit & Gap sie als "unklar". Leistungen ergänzen leere Schlagwörter und die CPV-Codes. Beschreibung und Stammdaten bleiben Vorschläge, bis OWNER oder EDITOR sie übernehmen.

Firecrawl, sein API-Schlüssel und das zugehörige Paket entfallen.

Folgen

Keine Abhängigkeit von einem weiteren Drittanbieter, kein zusätzlicher Schlüssel.
Das Extraktionsschema entwickelt sich zusammen mit dem Profil.
Die Qualität hängt vom eigenen Prompt und von den Sprachmodellen ab; sie muss an Beispielseiten gemessen werden.
Gefundene Nachweise gelten bis zur Bestätigung als derived und sind als nicht bestätigt markiert; Beschreibung und Stammdaten werden nie ohne Übernahme geschrieben.
Die Modellanbieter erhalten Seiteninhalte; der Datenschutztext nennt Firecrawl nicht mehr.