Ich tue mich immer ein wenig schwer, wenn ich nach dem „Halluzinationsproblem“ bei LLMs [Sprachmodellen] gefragt werde. Denn in einem gewissem Sinn sind Halluzinationen alles, was LLMs tun. Sie sind Traummaschinen.
Wir lenken ihre Träume mit Nutzereingaben (prompts). Sie starten den Traum, und auf der Grundlage der verschwommenen Erinnerungen des LLM an dessen Trainingsdokumente führt das Ergebnis meistens zu etwas Nützlichem.
Nur wenn die Träume in eine Richtung gehen, die als faktisch falsch angesehen wird, bezeichnen wir sie als „Halluzination“. Es sieht wie ein Fehler aus, aber es ist nur das LLM, das tut, was es immer tut.
– Andrej Karpathy
I always struggle a bit with I’m asked about the „hallucination problem“ in LLMs. Because, in some sense, hallucination is all LLMs do. They are dream machines.
We direct their dreams with prompts. The prompts start the dream, and based on the LLM’s hazy recollection of its training documents, most of the time the result goes someplace useful.
It’s only when the dreams go into deemed factually incorrect territory that we label it a „hallucination“. It looks like a bug, but it’s just the LLM doing what it always does.
— Andrej Karpathy
Quelle: Tweet