Cluster-Work

CLUSTER-FAST-MODE.md

@@ -0,0 +1,72 @@
+# Cluster/Fast-Verarbeitungsmodus
+
+Ab dieser Version besitzt das Brain zwei Backend-Verarbeitungsmodi. Der Modus kann über `BRAIN_PROCESSING_MODE` vorbelegt und zur Laufzeit im Einstellungsdialog gewechselt werden.
+
+## `precise`
+
+`precise` ist der bisherige Modus. Für jeden rotierenden AI-THINK-Anchor wird die Cosine-Ähnlichkeit gegen den gesamten zulässigen Wissensraum berechnet. Das maximiert den Recall, skaliert aber ungefähr mit `Anchors × Vektoren × Embedding-Dimensionen`.
+
+Bei etwa 21.000 Wissensvektoren und 48 Anchors entstehen pro Kandidatensuche ungefähr eine Million vollständige Cosine-Berechnungen.
+
+## `clustered`
+
+`clustered` verwendet eine zweistufige Approximate-Nearest-Neighbour-Suche:
+
+1. Aus jedem Embedding werden mehrere deterministische sparse random-projection Signaturen gebildet (Semantic Hashing / SimHash-artig).
+2. Der gesamte Wissensraum wird nur per XOR + Hamming-Distanz grob verglichen.
+3. Je Anchor werden nur die besten `BRAIN_CLUSTER_CANDIDATES_PER_ANCHOR` Kandidaten weitergereicht.
+4. Nur für diese Shortlist wird die echte Cosine-Ähnlichkeit über alle Embedding-Dimensionen berechnet.
+5. Bereits vorhandene Graph-Edges werden weiterhin ausgeschlossen; AI-Depth und Source-Filter bleiben unverändert wirksam.
+
+Mit den Defaults `48 Anchors × 96 Kandidaten` liegt das theoretische Maximum bei 4.608 vollständigen Cosine-Prüfungen pro Suchschritt statt ungefähr einer Million. Die grobe Suche durchläuft den Korpus weiterhin, verwendet aber nur sehr günstige Integer-Hamming-Operationen.
+
+## Artikelquellen
+
+Im Cluster/Fast-Modus erstellt `selectArticleSources` keinen vollständigen Graph-Snapshot mehr. Verwendet werden:
+
+- die Seed-Artikel,
+- ihre direkten nicht-taxonomischen Graph-Nachbarn,
+- bis zu `BRAIN_CLUSTER_ARTICLE_CANDIDATES` semantisch vorselektierte Wissensnodes.
+
+Die endgültige Quellenauswahl verwendet weiterhin echte Cosine-Werte, Produktionsquoten, Generation-Depth und Kategorieaffinität.
+
+## Artikelpipeline
+
+Der Generate-then-Review-Grundsatz bleibt erhalten. Der finale Claim-Review wird **nicht** durch Vektormathematik ersetzt.
+
+Im Cluster/Fast-Modus werden aber zwei teure Schritte reduziert:
+
+- Die zusätzliche KnowledgeBrief-LLM-Vorstrukturierung wird übersprungen. Sie war im Generate-then-Review-Pfad kein Freigabe-Gate mehr; stattdessen wird die deterministische Fallback-Struktur aus Artikelplan und Quellen verwendet.
+- Der Reviewer erhält einen priorisierten und domain-diversifizierten Research-Satz von maximal `BRAIN_CLUSTER_REVIEW_EVIDENCE` Quellen und pro Quellenblock höchstens `BRAIN_CLUSTER_REVIEW_CONTEXT_CHARS` Kontextzeichen.
+
+Gemma/Autor, gezielte Repair-Recherche und der abschließende Qwen/Reviewer bleiben erhalten.
+
+## Retrieval und Autonomous Research
+
+Normale semantische Retrieval-Abfragen und die Seed-Auswahl für Autonomous Research verwenden im Cluster/Fast-Modus denselben Semantic-Hash-Shortlist-Mechanismus. Im präzisen Modus bleiben sie unverändert.
+
+## Einstellungen
+
+```env
+BRAIN_PROCESSING_MODE=clustered
+BRAIN_CLUSTER_HASH_BITS=24
+BRAIN_CLUSTER_HASH_TABLES=2
+BRAIN_CLUSTER_CANDIDATES_PER_ANCHOR=96
+BRAIN_CLUSTER_ARTICLE_CANDIDATES=192
+BRAIN_CLUSTER_REVIEW_EVIDENCE=8
+BRAIN_CLUSTER_REVIEW_CONTEXT_CHARS=8000
+```
+
+Empfohlener Start für große Graphen ist `clustered`. Für Diagnose, Recall-Vergleiche oder kleine Datenbestände kann jederzeit auf `precise` zurückgeschaltet werden. Die Umschaltung über das WebUI wird in `runtime-settings.json` gespeichert.
+
+## Observability
+
+Neue Events und Metriken unterscheiden bewusst zwischen:
+
+- `coarse_comparisons`: billige Hash-/Hamming-Vergleiche,
+- `exact_comparisons`: vollständige Cosine-Berechnungen,
+- `candidate_pool`: Größe der exakten Shortlists,
+- `indexed_nodes`: Anzahl der einbezogenen Wissensvektoren,
+- `processing_mode`: `precise` oder `clustered`.
+
+Im Analysis Center werden Cluster/Fast-Läufe als `Cosine` + `Hash` statt als eine irreführende gemeinsame Vergleichszahl dargestellt.