Warum mein AI-Agent ein Second Brain hat
Ein dateibasiertes Wissenssystem für autonome Agenten, lokal gehostet und ohne Vektordatenbank.
Vor einem Jahr hätte ich gesagt: Das Speicherproblem von Agenten löst sich von selbst, sobald die Kontextfenster nur groß genug sind. Ein Jahr mit autonomen Agenten im Alltag hat mich eines Besseren belehrt.
Zuerst hat mich die Rechnung erwischt. Bei jedem Ausführungsschritt schleift der Agent seine komplette Historie erneut durchs Modell. Dann die Präzision: Needle in a Haystack ist kein theoretisches Konstrukt. Je mehr Ballast im Kontext liegt, desto öfter halluziniert der Agent oder übersieht Details, auf die es ankommt. Und irgendwann konnte ich nicht mehr rekonstruieren, auf welcher Wissensbasis eine Entscheidung überhaupt getroffen wurde. Das war für mich der Punkt, an dem ich umgebaut habe.
Denn die Größe des Speichers war nie mein eigentliches Problem. Mir ging es darum, wie gezielt der Agent auf sein Hintergrundwissen zugreift.
Was ich gebaut habe
Für meinen Hermes-Agenten läuft jetzt ein Wissenssystem auf flachen Markdown- und JSON-Strukturen. Kein Python, kein Node, keine Datenbank-Sockets. Mensch und Maschine lesen dieselben Dateien: Ich schaue über Obsidian rein, der Agent kommt per Dateizugriff.
Der Speicher ist in drei Schichten geteilt, mit klaren Rechten:
Quelldokumente und Rohdaten, unveränderlich. Der Agent liest hier nur.
Das Wissen, das der Agent selbst generiert: Erkenntnisse, Begriffsverknüpfungen, Indizes.
Verträge, Prompts, Vorlagen und Anleitungen für den Betrieb.
An der Spitze steht die VAULT.md, ein Vertrag mit festen Regeln für den Agenten. Darunter gilt eine Rangfolge: VAULT.md > AGENTS.md > CLAUDE.md > Agent-Skills. Wer welchen Ordner anfassen darf, ist damit jederzeit geklärt.
Für den Agenten funktioniert das Ganze wie das Stichwortverzeichnis eines Fachbuchs. Hunderte Dokumente Seite für Seite liest er nicht. Er wirft einen Blick in die Index-Dateien und greift punktgenau auf das richtige Kapitel zu.
Damit das Wissen nicht verrottet
Wissen veraltet schneller, als einem lieb ist. Deshalb durchläuft jede Information bei mir fünf Operationen: Ingest verarbeitet Rohdaten aus raw/, vergibt Metadaten und legt eine strukturierte Wiki-Seite an. Query holt gezielt über das Register, mit minimalem Token-Einsatz. Lint prüft automatisch auf verwaiste Links, fehlende Metadaten und Syntaxfehler. Beim Review schaue ich selbst drüber und gebe frei. Und Eval misst gegen ein Test-Set aus Golden Questions, ob der Agent wirklich das Richtige findet.
Warum ich Vektor-RAG verworfen habe
Bei Speicherproblemen greifen viele sofort zu Vektordatenbanken und Embedding-Search. Verständlich, und für unstrukturierte Massendaten bleibt RAG auch sinnvoll. Für kuratierte Wissensvaults war es für mich trotzdem das falsche Werkzeug. Vektorsuche ist unscharf. Ich habe nie sicher gewusst, warum welches Dokument kam. Und Embedden kostet Rechenkapazität ohne Not.
Ein strukturierter Index liefert mir Fakten statt Ähnlichkeitswerten. In den Logfiles steht nachvollziehbar, was der Agent gelesen hat. Weil nichts eingebettet werden muss, bleiben die Rechenkosten niedrig.
Der Praxistest
Bevor ich das System produktiv genommen habe, kam ein regelbasierter Abnahmetest mit 33 Prüfpunkten drüber: Ordnerstrukturen, JSON-Validität, Frontmatter-Standards, Verlinkungen. Erst wenn alles grün ist, gilt der Vault als einsatzbereit.
Im Produktionstest habe ich einen Vault mit mehreren Dateien und Ordnern fehlerfrei gebootstrappt. Initialer Health Score: 78 von 100. Die offenen Schwachstellen habe ich vor dem Produktivbetrieb gezielt behoben.
Datensouveränität
Alle Daten bleiben lokal auf meinem Server. Wer dazu Open-Source-LLMs selbst hostet, behält die Kontrolle über das Unternehmenswissen, ohne Cloud-Zwang und ohne Vendor-Lock-in bei Hyperscalern. Erprobt habe ich das mit dem Hermes-Agenten. Framework-agnostisch ist es trotzdem: Alles passt, was aufs Dateisystem zugreifen kann (z. B. Cursor, AutoGen, CrewAI oder LangChain).
Der nächste Schritt: ein MCP-Server
Geplant ist ein eigener MCP-Server (Model Context Protocol). Er erzwingt Validierungsregeln, Frontmatter-Standards und Protokollierung automatisch, statt darauf zu vertrauen, dass der Agent die SOPs im Prompt behält. Das Dateisystem kann er so nicht mehr beschädigen. Und das Second Brain wird damit unabhängig von Obsidian oder anderen lokalen Editoren nutzbar.
Mittlerweile schaue ich bei einem Agenten zuerst auf den Index. Wie viel Kontext er schluckt, ist mir fast egal.
Open Source Repository: github.com/nakielski/second-brain
Wie löst ihr das Speicher- und Kontext-Problem bei euren Agenten? Vektordatenbank, RAG, großes Kontextfenster, oder auch dateibasiert?