Antworten aus eigenen Unterlagen: Bestand prüfen

Antworten aus eigenen Unterlagen sind technisch längst möglich. Der Ablauf sieht schlicht aus: eine Frage in ein Eingabefeld, eine Antwort aus den Handbüchern, Richtlinien und Protokollen des Hauses. Genau das leistet eine KI-Suche in eigenen Dokumenten, und sie funktioniert.

Der Haken liegt im Ordner. Steht dort neben der gültigen Arbeitsanweisung noch die von vorletztem Jahr, dann zitiert das System mit derselben Ruhe die falsche.

Deshalb steht in unserem Angebot ein Satz, der wie eine Ausrede aussieht und keine ist. Ohne Bestandsbefund fangen wir nicht an.

Der Befund steht am Anfang, und er sagt auch Nein

Er hält schriftlich fest, welche Quellen aufgenommen werden, welche nicht und warum.

Welche von zwei Fassungen gilt, kann das System nicht entscheiden. Deshalb wird je Dokument vermerkt, wer die gültige Fassung benannt hat. Altfassungen, die niemand benennt, bleiben draußen und werden als Ausschluss protokolliert.

Was dort ausgeschlossen ist, wird weiter wie bisher bearbeitet.

Vor der Aufnahme weiß niemand genau, was in einer über Jahre gewachsenen Ablage steckt. Der Kunde am wenigsten.

Deshalb steht im Angebot der Vorbehalt, dass nur der aufgenommene Bestand kalkuliert ist. Ohne ihn ließe sich der Aufwand für Unterlagen, die vorher niemand gesehen hat, nicht belastbar abschätzen.

Eingescanntes Papier enthält für ein Suchsystem nichts

Ein Bild-PDF ohne Textebene ist eine Fotografie von Text.

Für den Menschen lesbar, für den Index leer.

Ob ein PDF eine Textebene hat, sieht man erst, wenn man darin zu suchen versucht.

Der Bestandsbefund weist diese Dateien als Fehlmenge aus, gezählt nach Ordner und Dokumentart, damit im Angebot der aufnehmbare Umfang steht.

Der Weg zu durchsuchbarem Text führt über Texterkennung, und die ist ein eigenes Vorhaben mit eigener Prüfstrecke. Die Erkennung liefert Text mit Fehlern, und diese Fehler stehen danach im Index; die nachgelagerte Verarbeitung leidet messbar darunter (ICAART 2020). Zu jeder Erkennung gehört deshalb eine Prüfung der Erkennungsqualität, bevor die Seiten aufgenommen werden.

Die Texterkennung schreiben wir deshalb ausdrücklich in die Abgrenzung, statt sie stillschweigend als mitgeliefert vorauszusetzen.

Eine Antwort ohne ihre Quelle ist wertlos

Zu jeder Antwort stehen Dokument und Seite daneben, und die Textstelle lässt sich aufklappen.

Erst diese Dokumentensuche mit Quellenangabe macht die Auskunft weiterverwendbar: Ohne Fundstelle müsste man vor jeder Weitergabe selbst noch einmal nachschlagen, mit Fundstelle lässt sich die Antwort unmittelbar an der angegebenen Textstelle prüfen.

Dazu gehört der unbeliebtere Teil: der Fall „keine belegbare Antwort“.

Er ist eingebaut, und er wird im Prüflauf eigens gemessen.

Ein System, das immer etwas sagt, ist eine Fehlerquelle mit guter Rhetorik.

Fünfzig Fragen, die Sie vorher aufschreiben

Vor der Abnahme läuft ein Prüflauf mit fünfzig echten Fragen aus dem Betrieb, zu denen die richtige Antwort bekannt ist.

Diese Fragen kommen von Ihnen, nicht von uns, und das ist der Punkt: Fragen, die der Anbieter selbst formuliert, prüfen das System gegen seine eigene Erwartung.

Unangenehm wird ein solcher Lauf, wenn die Unterlagen die Fragen gar nicht beantworten, weil das gesuchte Wissen nie jemand aufgeschrieben hat.

Die fünfzig Fragen decken diesen Fall vor der Abnahme auf statt danach.

Was man mit der zweiten Stufe kauft

Stufe eins deckt eine überschaubare Menge an Dokumenten und eine einzige Rechtegruppe ab. Umfang, Dauer und Preis stehen im Angebot, das auf dem Bestandsbefund aufsetzt.

Für einen Betrieb, in dem alle dieselben Unterlagen sehen dürfen, ist das der vollständige Nutzen.

Ob eine zweite Stufe nötig ist, hängt vom Umfang der Ablage und von den Rechtegruppen ab; die Aufnahme klärt das.

Wer eine braucht, kauft mit ihr Haltbarkeit.

Die Nachführung zieht neue, geänderte und gelöschte Dateien nach. Sie hält dabei auch fest, wenn eine Arbeitsanweisung durch eine neue Fassung abgelöst wird: Die abgelöste Fassung verlässt den Index. Wie oft die Nachführung läuft, richtet sich danach, wie oft die Unterlagen geändert werden: bei selten gepflegten Handbüchern seltener als bei laufend geänderten Arbeitsanweisungen.

Ohne sie veraltet die Ablage still, und die Antworten klingen weiter zuversichtlich.

Ein RAG-System für Unternehmensdokumente, ausgeschrieben Retrieval-Augmented Generation, durchsucht die Unterlagen erst im Moment der Frage; in das Modell eingebaut werden sie nie. Genau deshalb schlägt eine veraltete Ablage sofort auf die Antwort durch.

Eine veraltete Ablage ist schlimmer als gar keine: Dass die Antwort falsch ist, merkt niemand. Dass ein System gar nicht antwortet, merkt jeder sofort.

Stufe drei setzt die Nachführung voraus.

Die Liste, die niemand bestellt hat

Ein solches System liefert nebenbei etwas, wonach niemand gefragt hat: die Fragen, auf die es in den Unterlagen keine Antwort gibt.

Genau das ist die Auswertung der dritten Stufe.

Die Liste sagt nichts darüber, ob das System gut ist.

Sie sagt, welche Anweisung in diesem Betrieb nie jemand aufgeschrieben hat, und sie nennt sie in der Reihenfolge, in der danach gefragt wird.

Das ist der Teil, den man vorher nicht kauft und hinterher behält.

Quellen

Quellen zuletzt geprüft am 25. August 2026.

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020, arXiv:2005.11401, eingereicht am 22. Mai 2020, Fassung 4 vom 12. April 2021. Das ist das Verfahren hinter der Suche in den eigenen Unterlagen, kurz RAG. arxiv.org/abs/2005.11401

• Know What You Don’t Know: Unanswerable Questions for SQuAD, ACL 2018, arXiv:1806.03822, eingereicht am 11. Juni 2018. Daraus der Abschnitt „keine belegbare Antwort“ als eigener, messbarer Fall: Systeme „must not only answer questions when possible, but also determine when no answer is supported by the paragraph and abstain from answering“. Der Prüfsatz enthält dafür „over 50,000 unanswerable questions written adversarially by crowdworkers to look similar to answerable ones“. Also Fragen, die beantwortbar aussehen. Das ist der Grund, warum die fünfzig Fragen vom Kunden kommen müssen. arxiv.org/abs/1806.03822

• Enabling Large Language Models to Generate Text with Citations, EMNLP 2023, arXiv:2305.14627, eingereicht am 24. Mai 2023. Daraus „eine Antwort ohne ihre Quelle ist wertlos“: Ziel ist, „to generate text with citations, improving their factual correctness and verifiability“. arxiv.org/abs/2305.14627

• Assessing the Impact of OCR Quality on Downstream NLP Tasks, ICAART 2020, Band 1: ARTIDIGH, S. 484–496, DOI 10.5220/0009169004840496. Daraus der Abschnitt zum eingescannten Papier: „We find a consistent impact resulting from OCR errors on our downstream tasks with some tasks more irredeemably harmed by OCR errors.“ Texterkennung schließt die Lücke also nicht zum Nulltarif: Sie ist ein eigenes Vorhaben, und ihre Erkennungsqualität muss selbst geprüft werden. universiteitleiden.nl, ARTIDIGH 2020 (PDF)

Was aus eigener Erfahrung stammt

Ohne Quellenbeleg, allein aus dem Betrieb eines solchen Systems: die Aufnahme vor dem Angebot, die Festlegung der gültigen Fassung je Dokument, der Anteil der Unterlagen, der nur als eingescanntes Papier vorliegt, der unangenehme Prüflauf gegen Unterlagen, in denen die Antworten fehlen, und die Liste der unbeantworteten Fragen als Nebenprodukt.

Der Prüfumfang von fünfzig Fragen ist ein eigenes Mengengerüst aus diesem Betrieb, keine Marktzahl. Die Bedingungen dazu: fünfzig vorab bekannte Frage-Antwort-Paare, zusammengestellt vor der Abnahme, bezogen auf einen Bestand in einer Rechtegruppe ohne Texterkennung.

Kundennamen werden dazu nicht genannt.