Kleine Modelle, grosse Wirkung: Warum die Zukunft spezialisierten KI-Agenten gehört

Ich beschäftige mich seit drei Jahren mit LLMs und KI-Agenten. In der Zeit habe ich vieles ausprobiert — von riesigen Cloud-Modellen bis zu kleinen lokalen Setups. Meine Einschätzung nach dieser Zeit: Ich halte die grossen Generalisten-Modelle eher für eine Übergangstechnologie. Aus meiner Sicht gehört die produktive Zukunft kleinen, spezialisierten Modellen.

Warum ich grosse Generalisten langfristig kritisch sehe

Die aktüllen Flagship-Modelle können alles ein bisschen. Code, Lyrik, Medizin, Jura — in einem Modell. Das ist beeindruckend für Demos und Prototypen. Aber für den produktiven Daürbetrieb halte ich es für das falsche Setup.

Konkret heisst das: Ein Agent, der Rechnungen verarbeitet, braucht kein Wissen über Shakespeare. Ein Kundenservice-Bot braucht keine Differentialgleichungen. Aber er bezahlt dafür — in Latenz, in Token-Kosten, in unnötigem Rauschen im Output.

Ich sehe die grossen Modelle eher als Forschungsinstrumente. Sie zeigen, was möglich ist. Für den echten Betrieb braucht man meiner Meinung nach was anderes.

Der Heise-Artikel hat recht — und greift trotzdem zu kurz

Harald Weiss hat auf heise.de einen Artikel über Agentic AI geschrieben, der die Business-Erwartungen kritisch hinterfragt. Seine Punkte: Nicht-deterministisches Verhalten macht KI-Agenten unberechenbar, die versteckten Kosten werden unterschätzt, nur 10% der Unternehmen sehen echten ROI.

Die Diagnose stimmt in vielen Punkten. Aber die Schlussfolgerung greift aus meiner Sicht zu kurz.

Menschen sind genauso nicht-deterministisch

Das Hauptargument gegen KI-Agenten ist: Sie verhalten sich nicht-deterministisch. Gleicher Input, unterschiedlicher Output. Fehler passieren.

Aber das gilt für Menschen genauso. Wenn ich einem Mitarbeiter eine Aufgabe gebe, bekomme ich nie exakt das gleiche Ergebnis wie beim letzten Mal. Menschen interpretieren unterschiedlich, haben gute und schlechte Tage, machen Flüchtigkeitsfehler. Und trotzdem laufen Unternehmen — weil die Prozesse darauf ausgelegt sind.

Was ich schwierig finde: Von KI Perfektion zu verlangen und bei Menschen andere Massstäbe anzulegen. Entweder Nicht-Determinismus ist ein Problem — dann auch beim Menschen. Oder man baut Prozesse, die damit umgehen können. Und genau da wird es interessant.

Aufgabengebiete, die zu gross gedacht werden

Bei vielen KI-Agent-Projekten, die nicht wie erhofft laufen, sehe ich ein Muster: Der Agent soll zu viel auf einmal. Manche stellen sich vor, dass ein Agent den kompletten Sachbearbeiter ersetzt — mit Browser-Navigation, E-Mail, Recherche, Entscheidungsfindung. Alles in einem.

Aus meiner Erfahrung ist das selten der beste Ansatz. Die Aufgabengebiete werden dabei oft zu gross für einen einzelnen Agenten.

Teile und Herrsche mit agentischen Teams

Was bei mir besser funktioniert hat: Agentische Teams. Jeder Agent hat seine eigene Aufgabe, sein eigenes Briefing, seinen eigenen Kontext. Kein Agent muss alles können.

Interessant daran ist: Genau so reduziert man auch das nicht-deterministische Verhalten. Wenn ein Agent nur einen kleinen, klar definierten Aufgabenbereich hat, wird der Raum für Fehler automatisch kleiner. Der Entscheidungsbereich ist begrenzt. Die Auswirkungen einer falschen Entscheidung sind begrenzt.

Und die grösseren, teureren Modelle? Die haben trotzdem ihren Platz — als Orchestratoren. Sie können die kleineren Spezialisten-Agenten koordinieren, die richtigen Aufgaben zuweisen, Ergebnisse bewerten. Aber sie müssen nicht selbst die Detailarbeit machen.

Das richtige Umfeld für Agenten

Ein Punkt, der aus meiner Sicht oft übersehen wird: Man muss für Agenten auch die richtige Umgebung schaffen. Manche stellen sich vor, dass ein KI-Agent einfach per Browser durch bestehende Oberflächen navigiert — so wie ein Mensch. Das kann in bestimmten Szenarien funktionieren, aber ich halte es nicht für den stärksten Ansatz.

Besser finde ich API-basierte Umgebungen, in denen Agenten sich sicher und effizient bewegen können. Klare Schnittstellen, definierte Eingaben und Ausgaben, abgesicherte Entscheidungsbereiche. Das erfordert Aufwand. Aber der Ertrag durch Automatisierung kann erheblich höher sein als die Kosten für menschliche Arbeit bei repetitiven Aufgaben — wo genauso Fehler passieren.

On-Premise, schnell, günstig

Kleine spezialisierte Modelle haben noch einen praktischen Vorteil: Sie können lokal laufen. Keine Cloud-Abhängigkeit, keine Datenschutz-Diskussionen, keine laufenden API-Kosten. Ein 7B-Modell, das auf eine spezifische Aufgabe feingetunt wurde, antwortet in Millisekunden und kostet quasi nichts im Betrieb.

Das Setup, das sich für mich bewährt hat: Spezialisierte kleine Modelle für die Masse der Aufgaben, ein grosses Modell als Orchestrator, klare Schnittstellen zwischen den Agenten. Jeder macht das, was er am besten kann.

Fazit

Wenn Leute sagen, Agentic AI funktioniert nicht, haben sie oft recht — bezogen auf den Ansatz, den sie beobachten. Einen grossen Generalisten auf ein komplexes Aufgabengebiet loszulassen und zu hoffen, dass er es schon richtet, funktioniert in der Praxis selten zuverlässig.

Aber das ist nicht der einzige Ansatz. Spezialisierte Agenten in kleinen, abgesicherten Bereichen, koordiniert von einem Orchestrator, mit API-basierten Schnittstellen statt Browser-Navigation — das hat bei mir funktioniert. Und ich glaube, dass es besser und günstiger wird, je kleiner und spezialisierter die Modelle werden.

Meine Richtung: Nicht ein grosser Generalist, sondern ein Team aus vielen kleinen Spezialisten.