77 lines
4.4 KiB
Markdown
77 lines
4.4 KiB
Markdown
# Cluster/Fast-Verarbeitungsmodus
|
||
|
||
Ab dieser Version besitzt das Brain zwei Backend-Verarbeitungsmodi. Der Modus kann über `BRAIN_PROCESSING_MODE` vorbelegt und zur Laufzeit im Einstellungsdialog gewechselt werden.
|
||
|
||
## `precise`
|
||
|
||
`precise` ist der bisherige Modus. Für jeden rotierenden AI-THINK-Anchor wird die Cosine-Ähnlichkeit gegen den gesamten zulässigen Wissensraum berechnet. Das maximiert den Recall, skaliert aber ungefähr mit `Anchors × Vektoren × Embedding-Dimensionen`.
|
||
|
||
Bei etwa 21.000 Wissensvektoren und 48 Anchors entstehen pro Kandidatensuche ungefähr eine Million vollständige Cosine-Berechnungen.
|
||
|
||
## `clustered`
|
||
|
||
`clustered` verwendet eine zweistufige Approximate-Nearest-Neighbour-Suche:
|
||
|
||
1. Aus jedem Embedding werden mehrere deterministische sparse random-projection Signaturen gebildet (Semantic Hashing / SimHash-artig).
|
||
2. Der gesamte Wissensraum wird nur per XOR + Hamming-Distanz grob verglichen.
|
||
3. Je Anchor werden nur die besten `BRAIN_CLUSTER_CANDIDATES_PER_ANCHOR` Kandidaten weitergereicht.
|
||
4. Nur für diese Shortlist wird die echte Cosine-Ähnlichkeit über alle Embedding-Dimensionen berechnet.
|
||
5. Bereits vorhandene Graph-Edges werden weiterhin ausgeschlossen; AI-Depth und Source-Filter bleiben unverändert wirksam.
|
||
|
||
Mit den Defaults `48 Anchors × 96 Kandidaten` liegt das theoretische Maximum bei 4.608 vollständigen Cosine-Prüfungen pro Suchschritt statt ungefähr einer Million. Die grobe Suche durchläuft den Korpus weiterhin, verwendet aber nur sehr günstige Integer-Hamming-Operationen.
|
||
|
||
## Artikelquellen
|
||
|
||
Im Cluster/Fast-Modus erstellt `selectArticleSources` keinen vollständigen Graph-Snapshot mehr. Verwendet werden:
|
||
|
||
- die Seed-Artikel,
|
||
- ihre direkten nicht-taxonomischen Graph-Nachbarn,
|
||
- bis zu `BRAIN_CLUSTER_ARTICLE_CANDIDATES` semantisch vorselektierte Wissensnodes.
|
||
|
||
Die endgültige Quellenauswahl verwendet weiterhin echte Cosine-Werte, Produktionsquoten, Generation-Depth und Kategorieaffinität.
|
||
|
||
## Artikelpipeline
|
||
|
||
Der Generate-then-Review-Grundsatz bleibt erhalten. Der finale Claim-Review wird **nicht** durch Vektormathematik ersetzt.
|
||
|
||
Im Cluster/Fast-Modus werden aber zwei teure Schritte reduziert:
|
||
|
||
- Die zusätzliche KnowledgeBrief-LLM-Vorstrukturierung wird übersprungen. Sie war im Generate-then-Review-Pfad kein Freigabe-Gate mehr; stattdessen wird die deterministische Fallback-Struktur aus Artikelplan und Quellen verwendet.
|
||
- Der Reviewer erhält einen priorisierten und domain-diversifizierten Research-Satz von maximal `BRAIN_CLUSTER_REVIEW_EVIDENCE` Quellen und pro Quellenblock höchstens `BRAIN_CLUSTER_REVIEW_CONTEXT_CHARS` Kontextzeichen.
|
||
|
||
Gemma/Autor und der abschließende Qwen/Reviewer bleiben erhalten. Zusätzlich nutzt `clustered` bei `BRAIN_ARTICLE_RESEARCH_STRATEGY=auto` die adaptive Artikelrecherche: interne Quellen/Gemma zuerst, Web nur bei Aktualitäts- oder Evidenzbedarf. Thematisch kompatible Relationen eines THINK-Zyklus können zu einem gemeinsamen Artikelauftrag gebündelt werden; Webvolltexte werden erst nach Reviewer-Grounding als Graph-Nodes materialisiert.
|
||
|
||
## Retrieval und Autonomous Research
|
||
|
||
Normale semantische Retrieval-Abfragen und die Seed-Auswahl für Autonomous Research verwenden im Cluster/Fast-Modus denselben Semantic-Hash-Shortlist-Mechanismus. Im präzisen Modus bleiben sie unverändert.
|
||
|
||
## Einstellungen
|
||
|
||
```env
|
||
BRAIN_PROCESSING_MODE=clustered
|
||
BRAIN_CLUSTER_HASH_BITS=24
|
||
BRAIN_CLUSTER_HASH_TABLES=2
|
||
BRAIN_CLUSTER_CANDIDATES_PER_ANCHOR=96
|
||
BRAIN_CLUSTER_ARTICLE_CANDIDATES=192
|
||
BRAIN_CLUSTER_REVIEW_EVIDENCE=8
|
||
BRAIN_CLUSTER_REVIEW_CONTEXT_CHARS=8000
|
||
BRAIN_CLUSTER_ARTICLE_BATCHING=true
|
||
BRAIN_ARTICLE_RESEARCH_STRATEGY=auto
|
||
BRAIN_ARTICLE_ADAPTIVE_INITIAL_QUERIES=2
|
||
BRAIN_ARTICLE_ADAPTIVE_INITIAL_FETCH=3
|
||
```
|
||
|
||
Empfohlener Start für große Graphen ist `clustered`. Für Diagnose, Recall-Vergleiche oder kleine Datenbestände kann jederzeit auf `precise` zurückgeschaltet werden. Die Umschaltung über das WebUI wird in `runtime-settings.json` gespeichert.
|
||
|
||
## Observability
|
||
|
||
Neue Events und Metriken unterscheiden bewusst zwischen:
|
||
|
||
- `coarse_comparisons`: billige Hash-/Hamming-Vergleiche,
|
||
- `exact_comparisons`: vollständige Cosine-Berechnungen,
|
||
- `candidate_pool`: Größe der exakten Shortlists,
|
||
- `indexed_nodes`: Anzahl der einbezogenen Wissensvektoren,
|
||
- `processing_mode`: `precise` oder `clustered`.
|
||
|
||
Im Analysis Center werden Cluster/Fast-Läufe als `Cosine` + `Hash` statt als eine irreführende gemeinsame Vergleichszahl dargestellt.
|