Beyond Prompting: Warum gute Prompts allein nicht reichen

Gute Prompts sind wichtig. Aber sie sind erst der Anfang. Prompting hat sich in den letzten zwei Jahren zur Kernkompetenz entwickelt. Frameworks wie CLEAR, Chain-of-Thought, Few-Shot-Learning: wer klarer mit KI kommuniziert, bekommt bessere Ergebnisse. Daran hat sich nichts geändert.

Aber je komplexer die Anwendungsfälle werden, desto klarer wird: Prompting ist die Grundlage, aber nicht die ganze Geschichte. Man kann den perfektesten Prompt der Welt schreiben, wenn die KI nicht die Informationen hat, die sie braucht, wird das Ergebnis trotzdem enttäuschend.

Die Erkenntnis, die sich gerade in der Branche durchsetzt: Viele KI-Fails sind gar keine Prompt-Fails. Sie sind Kontext-Fails. Die KI weiß schlicht nicht, was sie wissen müsste.

Das Missverständnis, das alle machen

Stell dir vor, du fragst einen neuen Praktikanten: „Schreib mir eine Zusammenfassung unseres Q3-Reportings." Der Praktikant ist brillant. Spricht fünf Sprachen. Hat einen 1,0-Abschluss. Aber er hat keinen Zugang zu eurem Reporting-System. Er kennt eure Kennzahlen nicht. Er weiß nicht mal, in welcher Branche ihr arbeitet.

Was passiert? Er schreibt irgendetwas. Es klingt professionell. Es ist grammatikalisch korrekt. Und es ist komplett nutzlos.

Genau das passiert jeden Tag millionenfach mit ChatGPT, Claude und Co. Wir geben der KI eine Aufgabe, aber nicht die Informationen, die sie bräuchte, um die Aufgabe zu lösen. Und dann wundern wir uns, dass der Output Müll ist.

Andrej Karpathy, einer der einflussreichsten KI-Forscher überhaupt, früher bei Tesla und OpenAI, hat das kürzlich auf den Punkt gebracht: Die neue Kernkompetenz heißt nicht Prompt Engineering. Sie heißt Context Engineering. Also: Nicht *wie* du fragst ist entscheidend, sondern *was die KI sieht*, wenn sie antwortet.

Warum „mehr Kontext" auch keine Lösung ist

Jetzt denkst du vielleicht: Okay, dann packe ich halt alles rein. Alle Dokumente. Alle Infos. Problem gelöst.

Leider nein.

Moderne Sprachmodelle haben zwar riesige Kontextfenster, Claude kann theoretisch ganze Bücher verarbeiten. Aber hier kommt der Haken: Je mehr du reinpackst, desto schlechter wird die KI darin, das Wichtige zu finden. Forscher nennen das „Context Rot". Das Modell ertrinkt in Informationen und verliert den Fokus.

Das ist wie wenn du jemandem einen 200-seitigen Ordner auf den Tisch knallst und sagst: „Irgendwo hier steht die Antwort." Technisch hast du alles geliefert. Praktisch hast du es unmöglich gemacht.

Die Kunst ist also nicht, möglichst viel Kontext zu liefern. Sondern den richtigen Kontext. Zur richtigen Zeit. In der richtigen Struktur.

Was Unternehmen falsch machen (und warum RAG allein nicht reicht)

In den letzten zwei Jahren hat sich ein Buzzword in jeder KI-Präsentation breitgemacht: RAG. Retrieval-Augmented Generation. Die Idee: Du verbindest die KI mit deiner Datenbank, und schon kann sie auf dein Firmenwissen zugreifen.

Klingt gut. Funktioniert in der Demo. Scheitert in der Realität.

Warum? Weil die meisten Unternehmen an etwas leiden, das Experten „Corporate Amnesia" nennen. Das Wissen existiert, aber es liegt in zehn verschiedenen Systemen, in veralteten SharePoint-Ordnern, in E-Mails von Leuten, die längst nicht mehr da sind. Die KI kann nur finden, was auffindbar ist. Und in den meisten Firmen ist nichts wirklich auffindbar.

McKinsey hat das gerade erst bestätigt: Die größte Hürde für KI-Erfolg ist nicht die Technologie. Es sind die Daten. Oder genauer: der Zustand der Daten.

88% der Unternehmen nutzen inzwischen irgendeine Form von KI. Aber nur 6% - sechs Prozent! - sehen echten, messbaren Business-Impact. Der Rest steckt in der ewigen Pilotphase. „Wir experimentieren noch." Seit zwei Jahren.

Der Unterschied zwischen den 6% und dem Rest? Die Gewinner haben nicht nur gute Prompts. Sie haben auch gute Datenpipelines. Sie haben ihre Systeme so aufgebaut, dass die KI tatsächlich Zugang zu relevantem, aktuellem, strukturiertem Wissen hat. Prompting und Kontext arbeiten zusammen.

Die nächste Stufe: Von Prompting zu Context Engineering

Was unterscheidet Context Engineering vom klassischen Prompting?

Beim Prompting optimierst du eine einzelne Eingabe. Du formulierst um, fügst Beispiele hinzu, gibst dem Modell eine Rolle. Das ist wichtig und bleibt wichtig. Ein schlechter Prompt führt zu einem schlechten Ergebnis, egal wie gut dein Kontext ist.

Context Engineering geht einen Schritt weiter. Es fragt: Welche Informationen braucht das Modell überhaupt, um meinen (guten) Prompt sinnvoll zu beantworten? Woher kommen diese Informationen? Wie stelle ich sicher, dass sie aktuell sind? Wie strukturiere ich sie, damit die KI sie versteht?

Denk an es so: Prompting ist wie du fragst. Context Engineering ist was die KI weiß, wenn sie antwortet. Beides zusammen ergibt das Ergebnis.

Das umfasst:

• System-Prompts: Die Grundinstruktionen, die immer gelten. Wer ist die KI? Welche Regeln gibt es?

• Wissensbasis: Die Dokumente, Datenbanken, FAQs, die bei jeder Anfrage durchsucht werden können.

• Gesprächshistorie: Was wurde vorher besprochen? Welche Entscheidungen wurden getroffen?

• Tool-Zugriff: Welche externen Systeme kann die KI nutzen? CRM? Kalender? Datenbanken?

• Aktuelle Arbeitsnotizen: Bei komplexen Aufgaben, was hat die KI bereits herausgefunden?

All das zusammen ist der Kontext. Und all das musst du designen. Nicht improvisieren.

Was in der Praxis funktioniert

Ein paar Ansätze, die sich bewährt haben:

Weniger ist mehr. Anstatt der KI zehn Dokumente zu geben, gib ihr das eine relevante. Oder noch besser: Lass ein System vorfiltern, welches Dokument für welche Frage relevant ist. Das ist, was die neuen RAG-Architekturen machen. Sie holen nicht einfach die „ähnlichsten" Texte, sondern die wirklich passenden.

Struktur schlägt Masse. Ein gut strukturiertes Dokument mit klaren Überschriften und Metadaten ist zehnmal wertvoller als ein zusammengeklatschter Textblock. Die KI versteht Hierarchien. Nutze das.

Aktualität ist nicht verhandelbar. Wenn dein Knowledge-System auf Stand von 2023 ist, werden die Antworten auf Stand von 2023 sein. Klingt offensichtlich. Passiert trotzdem ständig.

Feedback-Loops einbauen. Die besten Setups haben Mechanismen, bei denen die KI sagt: „Ich bin mir nicht sicher" oder „Ich habe dazu keine Information." Das ist kein Bug. Das ist ein Feature. Besser keine Antwort als eine falsche.

Das Halluzinationsproblem und was wirklich hilft

Apropos falsche Antworten: Halluzinationen. Das Schreckgespenst jeder KI-Anwendung.

Hier die gute Nachricht: Mit richtigem Kontext sinkt die Halluzinationsrate dramatisch. Eine aktuelle Studie zeigte, dass GPT-4 mit Zugang zu vertrauenswürdigen Quellen auf eine Halluzinationsrate von praktisch null kam - verglichen mit 40% ohne diese Anbindung.

Aber - und das ist wichtig - selbst die besten RAG-Systeme halluzinieren noch. Eine Stanford-Untersuchung zu Rechts-KIs fand Fehlerquoten von 17-34%. In Bereichen, wo Präzision zählt, bleibt ein Mensch im Loop unverzichtbar.

Eine gute Faustregel: Je wichtiger die Entscheidung, desto skeptischer sollte man bei der KI-Antwort sein. Für Brainstorming? Vertrauen. Für Rechtsfragen? Verifizieren.

Was kommt als Nächstes?

Die Entwicklung geht rasant weiter. Microsoft hat mit GraphRAG einen Ansatz vorgestellt, der Wissen nicht als Textblöcke, sondern als Netzwerk aus Konzepten versteht. Anthropic hat mit dem Model Context Protocol einen Standard geschaffen, der KI-Systeme einfacher mit Unternehmensdaten verbindet – und der gerade von Google, OpenAI und anderen übernommen wird.

Die Richtung ist klar: KI wird weniger über bessere Modelle skalieren (die sind schon ziemlich gut) und mehr über bessere Kontextsysteme. Wer heute in Dateninfrastruktur investiert und gleichzeitig seine Prompting-Skills schärft, wird morgen die besten KI-Ergebnisse haben.

Prompt Engineering bleibt die Grundlage. Context Engineering wird zur Kür. Und wer beides beherrscht, hat einen echten Vorsprung.

Der eine Gedanke, den du mitnehmen solltest

Prompt Engineering ist wie Rhetorik, die Kunst, klar zu kommunizieren. Ohne das geht gar nichts.

Context Engineering ist wie Vorbereitung. Sicherstellen, dass alle relevanten Informationen auf dem Tisch liegen. Ohne das fehlt die Substanz.

Die besten KI-Ergebnisse entstehen, wenn beides zusammenkommt: Ein klarer, durchdachter Prompt, der auf einen gut kuratierten Kontext trifft. Wer nur Prompts optimiert, lässt Potenzial liegen. Wer nur Kontext optimiert, verschenkt Präzision.

Das klingt nach mehr Aufwand. Ist es auch. Aber es ist der Unterschied zwischen „KI, die manchmal hilft" und „KI, die zuverlässig liefert".

Und zuverlässig ist, was wir brauchen.