[Ibn]

Hi alle. Ich dachte ich frage mal hier nach, ob jemand mit sowas Erfahrung hat.

Kurz zur Erklärung was ich erreichen will. Ich spiele seit Jahrzehnten das Rollenspiel DSA und habe dafür diverse PDFs und Dokumente angesammelt. Jetzt war die Idee, dass man diese Dokumente doch "in ein LLM werfen" könnte um dann Fragen über diese Welt stellen zu könne. Wieviel Einwohner hat X? Erzähle mir Details über König Y.

Wenn man Dokumente in ChatGPT wirft, dann kann man damit recht gut solche Fragen stellen. Jetzt wollte ich so etwas mal lokal nachbauen. Besonders nachdem jetzt mit DeepSeek-R1 ein mächtiges Model Open Source verfügbar ist.

Ich habe gerade folgendes Setup am laufen in Docker:

Ollama - um lokale LLM Modelle betreiben zu können
Open WebUI - um eine ChatBot Umgebung zu haben für die in Ollama installierten LLMs
Tika - Um Daten aus PDFs etc. zu extrahieren.

Das Setup selbst funktioniert, aber ich bekomme es nicht auf die Reihe, dass er die Dokumente analysiert bekommt. Dafür habe ich entsprechend Knowledgebases erstellt mit den Dokumente, er liest sie auch ein. Aber wenn ich dann dazu Fragen stelle, kommt immer nur Müll raus.

Hat evtl. jemand sowas schonmal gemacht mit deutschen Dokumenten?