KI-Halluzinationen und Logistik: Wenn KI die falsche Lieferung plant

Künstliche Intelligenz soll Lagerbestände prognostizieren, Aufträge priorisieren, Lieferketten optimieren und logistische Entscheidungen unterstützen. Doch was passiert, wenn eine KI eine falsche Information nicht als Fehler erkennt, sondern sie überzeugend als richtige Antwort ausgibt?

In der Logistik kann daraus mehr entstehen als eine falsche Textantwort. Eine fehlerhafte Bestandsinformation kann eine Umlagerung auslösen, eine falsche Prognose kann die Disposition beeinflussen und eine fehlerhafte Priorisierung kann den Warenfluss verändern.

Die entscheidende Frage lautet deshalb nicht nur: Kann KI Fehler machen?

Sondern: Wie verhindert ein Logistikunternehmen, dass aus einem KI-Fehler eine reale operative Fehlentscheidung wird?

Was ist eine KI-Halluzination?

Der Begriff „Halluzination“ bezeichnet bei generativer KI eine Antwort, die sachlich falsch, erfunden oder widersprüchlich sein kann und dennoch plausibel formuliert wird. Das US-amerikanische National Institute of Standards and Technology (NIST) verwendet dafür unter anderem den Begriff „Confabulation“. Gemeint sind Inhalte, die vom System erzeugt werden, obwohl sie nicht durch die zugrunde liegenden Informationen gedeckt sind.

Das unterscheidet sich von einem klassischen Softwarefehler.

Ein Warenwirtschaftssystem kann beispielsweise melden: „Datensatz nicht gefunden.“ Ein generatives KI-System kann dagegen versuchen, trotzdem eine Antwort zu formulieren.

Ein vereinfachtes Beispiel:

„Welche Menge von Artikel A ist heute in Lager Nord verfügbar?“

Die KI antwortet: „1.200 Einheiten.“

Tatsächlich befinden sich dort zwar 1.200 Einheiten, aber 400 davon sind bereits für andere Kunden reserviert.

Die Antwort ist damit nicht unbedingt frei erfunden. Sie ist trotzdem für die konkrete Entscheidung falsch.

Genau hier beginnt die besondere Herausforderung für die Logistik: Eine KI muss nicht offensichtlich falsche Informationen liefern, um eine falsche Entscheidung zu verursachen.

Warum KI in der Logistik besonders sorgfältig kontrolliert werden muss

Logistische Prozesse bestehen aus miteinander verbundenen Entscheidungen. Bestände beeinflussen die Disposition, die Disposition beeinflusst Transporte und Transporte beeinflussen wiederum Lagerkapazitäten und Liefertermine.

Ein Fehler kann sich deshalb fortpflanzen.

Besonders kritisch wird KI dort, wo ihre Ergebnisse unmittelbar oder mittelbar in operative Prozesse einfließen:

• Bestandsprognosen
• Auftragspriorisierung
• Lagerplatzzuweisung
• Nachbestellungen
• Umlagerungen
• Lieferzeitprognosen
• Transport- und Routenvorschläge
• Kapazitätsplanung

Dabei ist eine wichtige Differenzierung notwendig: Nicht jede KI kann im gleichen Sinne halluzinieren.

Ein generatives Sprachmodell arbeitet anders als ein statistisches Prognosemodell oder ein mathematischer Optimierungsalgorithmus. Bei einer klassischen Tourenoptimierung liegt das Problem beispielsweise eher in falschen Eingangsdaten, ungeeigneten Parametern oder falschen Nebenbedingungen als in einer sprachlichen Halluzination.

Für Unternehmen bedeutet das: KI-Risiken müssen immer für den konkreten Anwendungsfall bewertet werden.

Schlechte Daten sind häufig das größere Problem

Die Diskussion über KI-Halluzinationen konzentriert sich häufig auf das Modell. In der Praxis kann aber bereits die Datenbasis die entscheidende Schwachstelle sein.

Ein KI-System erhält beispielsweise aus einem WMS einen Bestand von 10.000 Einheiten. Die Zahl ist technisch korrekt – allerdings stammt der Datenstand von vor drei Stunden. Zwischenzeitlich wurden 1.500 Einheiten kommissioniert.

Die KI hat dann möglicherweise keine „Halluzination“ erzeugt. Sie hat mit einer veralteten Information gearbeitet.

Für die Logistik sind deshalb insbesondere folgende Faktoren relevant:

• Aktualität der Bestandsdaten
• vollständige Stammdaten
• eindeutige Artikelnummern
• Reservierungen und Sperrbestände
• Synchronisation zwischen ERP, WMS und TMS
• aktuelle Lieferzeiten
• dokumentierte Ausnahmeprozesse
• eindeutige Datenquellen

Eine Zahl ohne Zeitstempel ist für eine operative Entscheidung weniger aussagekräftig als eine Zahl, deren Aktualität und Herkunft nachvollziehbar sind.

NIST zählt unter anderem Datenqualität, Informationsintegrität, falsche Konfidenz und menschliche Überwachung zu den relevanten Risikobereichen generativer KI. Der NIST AI Risk Management Framework: Generative Artificial Intelligence Profile beschreibt dafür konkrete Risikomanagementmaßnahmen.

Mehr KI kann deshalb schlechte Daten nicht automatisch kompensieren.

Wann wird aus einer KI-Empfehlung eine echte Gefahr?

Nicht jede falsche KI-Antwort hat dieselben Folgen.

Eine fehlerhafte Zusammenfassung eines internen Reports kann relativ schnell korrigiert werden. Eine falsche Empfehlung, die automatisch eine physische Aktion auslöst, hat dagegen eine andere Risikodimension.

Empfehlung ist nicht gleich Entscheidung

Ein sinnvoller Unterschied besteht zwischen:

KI analysiert → Mensch entscheidet

und

KI analysiert → System führt automatisch aus

Bei der ersten Variante bleibt die KI ein Entscheidungshilfsmittel. Bei der zweiten wird sie Teil der operativen Prozesssteuerung.

Ein Beispiel:

Eine KI erkennt eine vermeintliche Unterdeckung an Standort Süd und empfiehlt, 600 Paletten aus Standort Nord umzuwälzen.

Ein Mitarbeiter prüft die Empfehlung und stellt fest, dass am Folgetag bereits 400 Paletten aus einer anderen Quelle eintreffen.

Die Umlagerung wird nicht durchgeführt.

Wäre die Empfehlung automatisch umgesetzt worden, hätte das Unternehmen möglicherweise einen unnötigen Transport organisiert, Lagerkapazität gebunden und weitere Bestandsverschiebungen verursacht.

Das Problem ist deshalb nicht allein die Frage, ob die KI richtig lag.

Entscheidend ist auch, was das System mit einer falschen Antwort machen darf.

Praxisbeispiel: Eine plausible Prognose mit falscher Konsequenz

Stellen wir uns ein Unternehmen mit drei Lagerstandorten vor. Ein KI-System prognostiziert den Bedarf der kommenden sieben Tage und schlägt automatisch Bestandsverlagerungen vor.

Für Produkt A erkennt das System eine steigende Nachfrage an Standort Süd.

Die Empfehlung lautet:

600 Einheiten von Nord nach Süd umlagern.

Die Empfehlung erscheint plausibel. Bei einer genaueren Prüfung zeigen sich jedoch drei Probleme:

1. Ein größerer Kundenauftrag wurde zwischenzeitlich storniert.
2. 200 Einheiten am Standort Nord sind bereits reserviert.
3. Die Nachfrageprognose basiert teilweise auf historischen Daten, die den aktuellen Auftragseingang nicht vollständig abbilden.

Die tatsächliche freie Menge und der tatsächliche Bedarf unterscheiden sich damit erheblich von der KI-Annahme.

Das Beispiel zeigt einen wichtigen Punkt:

Der Fehler muss nicht in einer spektakulären Halluzination liegen.

Er kann durch die Kombination aus veralteten Daten, einer fehlerhaften Prognose und fehlenden Geschäftsregeln entstehen.

In einem automatisierten System können daraus weitere Entscheidungen entstehen. Ein falscher Bestand führt zu einer falschen Umlagerung; die Umlagerung verändert den Bestand; der veränderte Bestand wird wiederum von einem anderen System verarbeitet.

Aus einem kleinen Datenfehler kann so ein Fehlerkreislauf entstehen.

Human in the Loop – Kontrolle muss tatsächlich funktionieren

„Ein Mensch kontrolliert die KI“ klingt nach einer einfachen Lösung. In der Praxis reicht das nicht immer.

Wenn ein Mitarbeiter täglich hunderte oder tausende KI-Empfehlungen prüfen soll, besteht die Gefahr, dass die Kontrolle zur reinen Formalität wird.

Der Mensch braucht deshalb mehr als einen Freigabe-Button.

Er muss erkennen können:

• welche Daten die Empfehlung ausgelöst haben,
• wie aktuell diese Daten sind,
• welche Annahmen verwendet wurden,
• ob die Empfehlung außerhalb normaler Grenzen liegt,
• welche Folgen die Entscheidung haben kann.

Besonders wichtig sind Plausibilitätsprüfungen.

Eine KI empfiehlt beispielsweise eine Umlagerung von 5.000 Einheiten. Das System sollte automatisch prüfen:

Sind 5.000 Einheiten überhaupt verfügbar?

Sind Teile davon reserviert?

Ist die Menge ungewöhnlich hoch?

Wurde derselbe Artikel bereits umgelagert?

Kann der Zielstandort die zusätzliche Menge aufnehmen?

Wenn eine solche Prüfung fehlschlägt, sollte die Empfehlung nicht automatisch ausgeführt werden.

Der EU AI Act sieht für bestimmte Hochrisiko-KI-Systeme ebenfalls Anforderungen an menschliche Aufsicht, Genauigkeit, Robustheit und Risikomanagement vor.

Human in the Loop bedeutet daher nicht:

„Der Mensch klickt am Ende auf OK.“

Es bedeutet:

„Der Mensch kann die Entscheidung verstehen, hinterfragen und tatsächlich überstimmen.“

Wie viel Autonomie sollte eine KI bekommen?

Eine interessante Frage lautet deshalb nicht nur, wie intelligent eine KI ist, sondern wie viel Entscheidungskompetenz sie erhalten sollte.

Für logistische Prozesse lässt sich eine einfache Abstufung verwenden:

Stufe 1 – Analyse

Die KI wertet Daten aus und erkennt Muster.

Der Mensch entscheidet.

Stufe 2 – Empfehlung

Die KI schlägt eine konkrete Maßnahme vor.

Der Mensch prüft und entscheidet.

Stufe 3 – Bedingte Automatisierung

Die KI darf innerhalb klar definierter Grenzen selbstständig handeln.

Beispielsweise kann eine automatische Nachbestellung erfolgen, wenn Bestand, Mindestmenge, Lieferzeit und Budget innerhalb definierter Grenzen liegen.

Stufe 4 – Hohe Autonomie

Die KI trifft weitgehend selbstständig operative Entscheidungen.

Diese Stufe erfordert besonders hohe Anforderungen an Datenqualität, Monitoring, Ausnahmeregeln, Protokollierung und Notfallmechanismen.

Die wichtigste Grenze liegt häufig zwischen Empfehlung und automatischer Ausführung.

Je näher eine KI an eine physische oder wirtschaftlich relevante Aktion kommt, desto wichtiger werden technische und organisatorische Kontrollmechanismen.

Wer ist verantwortlich, wenn die KI falsch liegt?

Eine KI trägt keine unternehmerische Verantwortung.

Deshalb sollte bereits vor dem Einsatz geklärt werden:

• Wer genehmigt den Anwendungsfall?
• Wer definiert die Entscheidungsgrenzen?
• Wer überwacht die Datenqualität?
• Wer kontrolliert die Modellleistung?
• Wer darf automatische Entscheidungen stoppen?
• Wer untersucht Fehler?
• Wer dokumentiert Änderungen am System?

Diese Fragen sind nicht nur organisatorischer Natur. Der EU AI Act sieht für bestimmte KI-Systeme unter anderem Anforderungen an Risikomanagement, Daten-Governance, Protokollierung, Genauigkeit und menschliche Aufsicht vor.

Für Unternehmen ergibt sich daraus eine praktische Grundregel:

Je größer die mögliche Auswirkung einer KI-Entscheidung, desto klarer müssen Zuständigkeiten und Kontrollmechanismen definiert sein.

Die praktische Checkliste für KI in der Logistik

Vor der Einführung einer KI-Anwendung sollten Logistikunternehmen mindestens diese Fragen beantworten:

1. Welche konkrete Entscheidung soll die KI unterstützen? Ein klar abgegrenzter Use Case ist leichter zu kontrollieren als eine allgemeine „KI für die Logistik“.

2. Welche Daten verwendet das System? Quelle, Aktualität und Qualität müssen bekannt sein.

3. Was passiert bei einer falschen Entscheidung? Die möglichen finanziellen und operativen Folgen sollten vorab bewertet werden.

4. Gibt es Plausibilitätsgrenzen? Ungewöhnliche Ergebnisse müssen automatisch erkannt werden.

5. Kann ein Mensch eingreifen? Und wichtiger: Kann er die Entscheidung tatsächlich verhindern?

6. Werden Entscheidungen protokolliert? Nur mit nachvollziehbaren Logs lassen sich Fehler später analysieren.

7. Was passiert bei fehlenden oder widersprüchlichen Daten? „Keine ausreichenden Daten“ sollte eine zulässige Systemantwort sein.

8. Ist generative KI überhaupt notwendig? Für manche logistischen Aufgaben sind klassische Optimierung, statistische Modelle oder feste Geschäftsregeln besser geeignet.

Diese letzte Frage wird häufig übersehen. Nicht jedes Problem wird dadurch besser, dass ein Large Language Model davor geschaltet wird.

KI in der Logistik braucht Grenzen – nicht nur mehr Intelligenz

KI wird in der Logistik weiter an Bedeutung gewinnen. Die entscheidende Frage ist deshalb nicht, ob Unternehmen künstliche Intelligenz einsetzen.

Die entscheidende Frage lautet:

Welche Entscheidung darf eine KI treffen – auf welcher Datenbasis und unter welchen Bedingungen?

Eine KI kann eine falsche Information erzeugen. Sie kann aber auch mit veralteten Daten arbeiten, eine Prognose falsch interpretieren oder eine korrekte Empfehlung unter den falschen Rahmenbedingungen abgeben.

Deshalb sollte das Risiko nicht allein unter dem Begriff „Halluzination“ betrachtet werden.

Eine robuste KI-Anwendung braucht eine Kette aus:

Datenqualität → Modell → Plausibilitätsprüfung → menschliche Aufsicht → technische Grenzen → Protokollierung → Verantwortlichkeit

Gerade in der Logistik ist diese Kette entscheidend. Denn ein Fehler bleibt nicht zwangsläufig auf dem Bildschirm.

Er kann in einen Auftrag, eine Umlagerung, einen Transport oder eine Bestandsentscheidung übergehen.

Die vielleicht wichtigste Frage beim Einsatz von KI lautet deshalb nicht:

„Wie intelligent ist das System?“

Sondern:

„Was passiert, wenn es falsch liegt?“

Wer diese Frage bereits bei der Planung eines KI-Prozesses beantwortet, schafft die Voraussetzung dafür, dass künstliche Intelligenz die Logistik unterstützt, ohne selbst zum unkontrollierten Risikofaktor zu werden.

Quellen

• NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (AI 600-1), 2024.
• Europäische Union, Verordnung (EU) 2024/1689 – Artificial Intelligence Act, insbesondere Art. 14 und 15.
• Europäische Kommission, Regulatory framework for artificial intelligence / AI Act.