LLM vs. planner

Zwei offizielle Prüfungsfälle der eidgenössischen Finanzplaner-Prüfung, beide mit offiziellem Lösungsschlüssel – womit es eine objektive Referenz gibt und keine Meinung. Ein praktizierender Finanzplaner löste sie ohne KI-Werkzeuge. Ein eigens gebauter Assistent löste dieselben Fälle in einem einzigen Durchgang, ohne erlaubte Rückfragen. Keiner sah die Arbeit des anderen.

Bewertet wurde durch ein LLM als Judge, dem der offizielle Lösungsschlüssel als Referenz vorlag, über fünf Dimensionen: fachliche Richtigkeit, Rechenrichtigkeit, Vollständigkeit, Qualität der Empfehlung und strukturelle Klarheit. Jedes Resultat wurde zweimal unabhängig bewertet. Alle zwanzig Dimensionspaare stimmten über beide Läufe überein.

Sie ist der Gegenstand. Und der interessante Befund ist nicht, dass der Assistent besser abschnitt – mit zwei Fällen und einem Planer ist das eine Sondierung, kein Beleg über Maschinen und Menschen.

Worum es in der Arbeit geht, sind die Fehler. In einem Fall wendete das Modell Vorsorgeparameter von 2026 auf eine Situation von 2024 an: Es nahm die aktuelle maximale Invalidenrente aus seiner Wissensbasis, setzte sie in einem zwei Jahre älteren Fall ein und trug die Zahl in die Kinderrenten weiter. An dieser Antwort sieht alles kompetent aus. Die Struktur ist sauber, der Rechenweg offengelegt, die Zahl falsch.

Genau darum ist der Assistent bewusst schlicht gebaut – kein Retrieval, kein Agent-Loop, ein Aufruf. Was ihn trägt, ist die Wissensbasis: 62 strukturierte Dokumente aus den offiziellen Schweizer Quellen, ein Steuerdokument pro Kanton, alle gültig per 1. Januar 2026, und ein System-Prompt, geschrieben gegen die in der Literatur dokumentierten Fehlerbilder. Stimmt die Grundlage, ist das Modell nützlich. Stimmt sie knapp nicht, ist es selbstsicher und unsichtbar falsch – und das ist in der Finanzplanung schlimmer als nutzlos.