Files
glpi-neural-brain/CLUSTER-FAST-MODE.md
2026-08-07 21:54:37 +02:00

3.9 KiB
Raw Blame History

Cluster/Fast-Verarbeitungsmodus

Ab dieser Version besitzt das Brain zwei Backend-Verarbeitungsmodi. Der Modus kann über BRAIN_PROCESSING_MODE vorbelegt und zur Laufzeit im Einstellungsdialog gewechselt werden.

precise

precise ist der bisherige Modus. Für jeden rotierenden AI-THINK-Anchor wird die Cosine-Ähnlichkeit gegen den gesamten zulässigen Wissensraum berechnet. Das maximiert den Recall, skaliert aber ungefähr mit Anchors × Vektoren × Embedding-Dimensionen.

Bei etwa 21.000 Wissensvektoren und 48 Anchors entstehen pro Kandidatensuche ungefähr eine Million vollständige Cosine-Berechnungen.

clustered

clustered verwendet eine zweistufige Approximate-Nearest-Neighbour-Suche:

  1. Aus jedem Embedding werden mehrere deterministische sparse random-projection Signaturen gebildet (Semantic Hashing / SimHash-artig).
  2. Der gesamte Wissensraum wird nur per XOR + Hamming-Distanz grob verglichen.
  3. Je Anchor werden nur die besten BRAIN_CLUSTER_CANDIDATES_PER_ANCHOR Kandidaten weitergereicht.
  4. Nur für diese Shortlist wird die echte Cosine-Ähnlichkeit über alle Embedding-Dimensionen berechnet.
  5. Bereits vorhandene Graph-Edges werden weiterhin ausgeschlossen; AI-Depth und Source-Filter bleiben unverändert wirksam.

Mit den Defaults 48 Anchors × 96 Kandidaten liegt das theoretische Maximum bei 4.608 vollständigen Cosine-Prüfungen pro Suchschritt statt ungefähr einer Million. Die grobe Suche durchläuft den Korpus weiterhin, verwendet aber nur sehr günstige Integer-Hamming-Operationen.

Artikelquellen

Im Cluster/Fast-Modus erstellt selectArticleSources keinen vollständigen Graph-Snapshot mehr. Verwendet werden:

  • die Seed-Artikel,
  • ihre direkten nicht-taxonomischen Graph-Nachbarn,
  • bis zu BRAIN_CLUSTER_ARTICLE_CANDIDATES semantisch vorselektierte Wissensnodes.

Die endgültige Quellenauswahl verwendet weiterhin echte Cosine-Werte, Produktionsquoten, Generation-Depth und Kategorieaffinität.

Artikelpipeline

Der Generate-then-Review-Grundsatz bleibt erhalten. Der finale Claim-Review wird nicht durch Vektormathematik ersetzt.

Im Cluster/Fast-Modus werden aber zwei teure Schritte reduziert:

  • Die zusätzliche KnowledgeBrief-LLM-Vorstrukturierung wird übersprungen. Sie war im Generate-then-Review-Pfad kein Freigabe-Gate mehr; stattdessen wird die deterministische Fallback-Struktur aus Artikelplan und Quellen verwendet.
  • Der Reviewer erhält einen priorisierten und domain-diversifizierten Research-Satz von maximal BRAIN_CLUSTER_REVIEW_EVIDENCE Quellen und pro Quellenblock höchstens BRAIN_CLUSTER_REVIEW_CONTEXT_CHARS Kontextzeichen.

Gemma/Autor, gezielte Repair-Recherche und der abschließende Qwen/Reviewer bleiben erhalten.

Retrieval und Autonomous Research

Normale semantische Retrieval-Abfragen und die Seed-Auswahl für Autonomous Research verwenden im Cluster/Fast-Modus denselben Semantic-Hash-Shortlist-Mechanismus. Im präzisen Modus bleiben sie unverändert.

Einstellungen

BRAIN_PROCESSING_MODE=clustered
BRAIN_CLUSTER_HASH_BITS=24
BRAIN_CLUSTER_HASH_TABLES=2
BRAIN_CLUSTER_CANDIDATES_PER_ANCHOR=96
BRAIN_CLUSTER_ARTICLE_CANDIDATES=192
BRAIN_CLUSTER_REVIEW_EVIDENCE=8
BRAIN_CLUSTER_REVIEW_CONTEXT_CHARS=8000

Empfohlener Start für große Graphen ist clustered. Für Diagnose, Recall-Vergleiche oder kleine Datenbestände kann jederzeit auf precise zurückgeschaltet werden. Die Umschaltung über das WebUI wird in runtime-settings.json gespeichert.

Observability

Neue Events und Metriken unterscheiden bewusst zwischen:

  • coarse_comparisons: billige Hash-/Hamming-Vergleiche,
  • exact_comparisons: vollständige Cosine-Berechnungen,
  • candidate_pool: Größe der exakten Shortlists,
  • indexed_nodes: Anzahl der einbezogenen Wissensvektoren,
  • processing_mode: precise oder clustered.

Im Analysis Center werden Cluster/Fast-Läufe als Cosine + Hash statt als eine irreführende gemeinsame Vergleichszahl dargestellt.