Prompt Engineering sollte bei fast jeder LLM-Aufgabe der erste Schritt sein. Es ist kostengünstig, erfordert keine kuratierten Datensätze und hilft zu erkennen, ob die Schwächen des Modells auf fehlenden Kontext oder sein Verhalten zurückzuführen sind. Mit Prompts können Sie Ausgabeformate vereinheitlichen, klare Anweisungen geben und Beispiele direkt im Prompt ergänzen (Few-Shot), um Stil und Ausgabevorgaben festzulegen. Besonders gut eignen sich Prompt-Strategien für Zusammenfassungen, Codegenerierung, kurze Texte und regelbasierte Umformungen. Erfassen Sie die Ausgaben systematisch und prüfen Sie sie mit einfachen Heuristiken und automatisierten Tests. So lässt sich feststellen, ob Prompting die Anforderungen an Genauigkeit und Fehlerkosten erfüllt, bevor Sie in RAG oder Fine-Tuning investieren.

Setzen Sie RAG ein, wenn das Modell auf aktuelle Fakten, vertrauliche Dokumente, Verträge oder spezielles Produktwissen zugreifen muss, das nicht in seinen Trainingsdaten enthalten war. RAG erhöht die Faktentreue, indem relevante Textpassagen zur Laufzeit bereitgestellt werden, und ist oft schneller einsatzbereit als ein umfassendes Fine-Tuning. Achten Sie auf die Qualität des Abrufs, die Aktualität des Index und eine geeignete Aufteilung der Dokumente in Textabschnitte. Rechnen Sie mit höherer Latenz und zusätzlicher Infrastruktur, etwa Vektordatenbanken, Metadatenspeichern und der Optimierung des Abrufs. Wichtig: Mit RAG verlagern sich Anforderungen an die Datenverwaltung auf die Abrufebene. Sie müssen Indexierung, Anonymisierung personenbezogener Daten und Richtlinien durchsetzen, damit Kundendaten geschützt und Vorgänge nachvollziehbar bleiben.

Fine-Tuning ist der richtige Hebel, wenn es um das Verhalten des Modells geht – etwa um einheitliche Formatierung, deterministische Klassifizierung, einen fachspezifischen Schreibstil oder Muster, die sich nicht zuverlässig durch Prompts vermitteln lassen. Dafür benötigen Sie einen kuratierten Datensatz mit aussagekräftigen Beispielen und dokumentierten Fehlern, eine Evaluationssuite sowie einen Betriebsplan für erneutes Training bei geänderten Spezifikationen. Fine-Tuning lohnt sich, wenn der zusätzliche Nutzen konsistenterer Ergebnisse die Kosten für Datensatz und Bereitstellung überwiegt – zum Beispiel bei der Schwärzung juristischer Dokumente, automatisierten Kreditprüfungen oder kritischen strukturierten Ausgaben, bei denen Fehler erhebliche finanzielle oder regulatorische Folgen haben.

Viele Produktionssysteme verbinden RAG für den Wissenszugriff mit einem feinabgestimmten Modell für das gewünschte Verhalten. Diese Kombination reduziert Halluzinationen, indem sie Antworten auf Fakten stützt und zugleich sicherstellt, dass das Modell strenge Ausgabeformate und Compliance-Vorgaben einhält. Architektonisch sorgt RAG für aktuelle und unternehmenseigene Fakten; Fine-Tuning macht aufwendige Prompt-Konstruktionen weniger nötig und erhöht die Effizienz der Prompts. Ergänzen Sie eine Validierungsebene – etwa Faktenprüfungen, deterministische Parser oder Prüfungen anhand von Geschäftsregeln –, um verbleibende Fehler abzufangen. Für eine gute Wartbarkeit sollten sowohl Indexstände als auch Modellgewichte versioniert werden. Den Rhythmus für erneutes Training legen Sie anhand von Drift-Metriken und Verbesserungen beim Abruf fest.

Orientieren Sie sich an dieser praktischen Matrix: Beginnen Sie bei Aufgaben mit geringem Risiko oder schnell überprüfbaren Ergebnissen mit Prompting. Ergänzen Sie RAG, wenn Antworten auf aktuelle oder unternehmenseigene Informationen angewiesen sind. Wechseln Sie zu Fine-Tuning, wenn Format, Stil oder deterministische Klassifizierung zuverlässig gewährleistet sein müssen. Kombinieren Sie RAG und Fine-Tuning bei wichtigen Anwendungsfällen im Produktivbetrieb, die sowohl aktuelle Fakten als auch konsistentes Verhalten erfordern. Prüfen Sie bei jedem nächsten Schritt Kosten und Nutzen: Beziffern Sie die Fehlerkosten, schätzen Sie den Engineering-Aufwand, ermitteln Sie den Datenbedarf und planen Sie Datenverwaltung und Monitoring. Zum Abschluss gehören eine kontinuierliche Evaluierung und ein Rollback-Plan, falls sich Modell oder Index verschlechtern.