Ch1

2026-08-07 08:33:41 +02:00
parent d088eb0a47
commit 246241fcda
419 changed files with 11924 additions and 203 deletions
@@ -33,7 +33,7 @@ AI-THINK bleibt `auto_reply: false`, trägt die Kategorien `AI-THINK` und `AI-St

 ## Grounded Knowledge Synthesis

-Verwandtes Wissen wird nicht direkt als Bewertungsbericht gespeichert. Das Brain konsolidiert zunächst belegte Fakten, Lösungsschritte, Widersprüche sowie kritische und optionale Wissenslücken. Kritische Unklarheiten werden iterativ über präzise deutsche und englische SearXNG-Queries recherchiert. Die besten Treffer durchlaufen ein Relevanz- und Quellenqualitäts-Gate, werden als vollständige Webseite geladen und nach einer zweiten Volltextprüfung erneut konsolidiert. Nur akzeptierte Volltextbelege werden sofort eingebettet, mit den Fachkategorien ihrer internen Quellen eingeordnet, unter `BRAIN_DATA_DIR/research-evidence/` für spätere Zyklen aufbewahrt und über `grounded_by` mit dem erzeugten Artikel verbunden. Bereits gelernte Belege werden bei verbundenen Themen erneut konsolidiert, ohne die Webseite unnötig noch einmal abzurufen. Optionale Vertiefungen blockieren keinen ansonsten belastbaren Artikel. Interne Aussagen ohne reale Referenz auf eine tatsächlich vorhandene Quelle werden verworfen. Konzept-, Referenz- und Entscheidungsartikel erhalten eine passende fachliche Struktur statt künstlich erzeugter Schrittfolgen.
+Verwandtes Wissen wird nicht direkt als Bewertungsbericht gespeichert. Das Brain konsolidiert zunächst belegte Fakten, Lösungsschritte, Widersprüche sowie kritische und optionale Wissenslücken. Kritische Unklarheiten werden iterativ über präzise deutsche und englische SearXNG-Queries recherchiert. `site:`-Filter werden grundsätzlich entfernt, damit eine vom Modell falsch zugeordnete Herstellerdomain die Treffer nicht künstlich auf null reduziert. Die besten Treffer durchlaufen ein recall-orientiertes Relevanz- und Quellenqualitäts-Gate, werden als vollständige Webseite geladen und nach einer zweiten Volltextprüfung erneut konsolidiert. Nur akzeptierte Volltextbelege werden sofort eingebettet, mit den Fachkategorien ihrer internen Quellen eingeordnet, unter `BRAIN_DATA_DIR/research-evidence/` für spätere Zyklen aufbewahrt und über `grounded_by` mit dem erzeugten Artikel verbunden. Bereits gelernte Belege werden bei verbundenen Themen erneut konsolidiert, ohne die Webseite unnötig noch einmal abzurufen. Optionale Vertiefungen blockieren keinen ansonsten belastbaren Artikel. Interne Aussagen ohne reale Referenz auf eine tatsächlich vorhandene Quelle werden verworfen. Konzept-, Referenz- und Entscheidungsartikel erhalten eine passende fachliche Struktur statt künstlich erzeugter Schrittfolgen.

 Details: [`KNOWLEDGE-SYNTHESIS.md`](KNOWLEDGE-SYNTHESIS.md) und [`ITERATIVE-GROUNDED-RESEARCH.md`](ITERATIVE-GROUNDED-RESEARCH.md).

@@ -200,7 +200,7 @@ Mehr Details: [`SOURCE-ONLY-FILTERS.md`](SOURCE-ONLY-FILTERS.md), [`VISUALIZATIO

 Die Webrecherche ist nicht mehr an einen einzelnen AI-THINK-Artikelversuch gebunden. Ein eigener Opportunity-Scanner bewertet den Graphen regelmäßig auf Widersprüche, fehlende externe Evidenz, Alter, Zentralität und schwache Verknüpfung. Qwen zerlegt geeignete Kandidaten in konkrete Forschungsfragen sowie deutsche und englische SearXNG-Queries.

-Aufgaben landen zuerst persistent in `graph.db`. Ein Low-Priority-Worker least genau eine Aufgabe, prüft Leerlauf, Tagesbudget und freie Kapazität im Ollama-Pool und verwendet danach die bestehende iterative SearXNG-/Volltext-/Evidenzpipeline. Das ist bewusst keine unkontrollierte zweite Ollama-Queue: Benutzeranfragen und normales AI-THINK behalten Vorrang, Aufgaben überleben Neustarts, werden dedupliziert und nach temporären Fehlern mit Backoff wiederholt. Der Ollama-Pool kennt zusätzlich normale und Low-Priority-Waiter; autonome Modellaufrufe dürfen bei der nächsten Node-Zuteilung keine wartende interaktive Anfrage überholen.
+Aufgaben landen zuerst persistent in `graph.db`. Ein Low-Priority-Worker least genau eine Aufgabe, prüft Leerlauf und Tagesbudget und verwendet danach die bestehende iterative SearXNG-/Volltext-/Evidenzpipeline. SearXNG-Suchen, Volltextabrufe und Ollama-Aufrufe teilen jetzt zusätzlich eine gemeinsame begrenzte Work-Queue. Semantisch äquivalente Research-Intents werden über Embeddings erkannt: läuft bereits eine gleichbedeutende Recherche, wartet der zweite Auftrag auf ihr Ergebnis; kürzlich abgeschlossene Evidenz kann ohne erneuten Webabruf wiederverwendet werden. Deutsche und englische Query-Varianten innerhalb derselben Forschungsfrage bleiben ausdrücklich erhalten.

 ```env
 BRAIN_AUTONOMOUS_RESEARCH_ENABLED=false
@@ -247,11 +247,26 @@ BRAIN_ENRICH_BATCH_SIZE=3
 BRAIN_ENRICH_STEP_DELAY=3s

 BRAIN_ARTICLE_SYNTHESIS_ENABLED=true
+BRAIN_ARTICLE_LANGUAGE=de-DE
 BRAIN_ARTICLE_MIN_SOURCES=3
 BRAIN_ARTICLE_MAX_SOURCES=8
 BRAIN_ARTICLE_MIN_PRODUCTION_RATIO=0.70
 BRAIN_ARTICLE_MAX_GENERATION_DEPTH=2
 BRAIN_ARTICLE_MIN_CONFIDENCE=0.74
+
+# offene, recall-orientierte Recherche
+BRAIN_ARTICLE_RESEARCH_RESULTS=12
+BRAIN_ARTICLE_RESEARCH_FETCH_RESULTS=6
+BRAIN_ARTICLE_RESEARCH_EXPLORATION_RESULTS=3
+BRAIN_ARTICLE_RESEARCH_PREFETCH_MIN_RELEVANCE=0.25
+BRAIN_ARTICLE_RESEARCH_MIN_RELEVANCE=0.55
+BRAIN_ARTICLE_RESEARCH_MIN_QUALITY=0.35
+
+# gemeinsame Research/Ollama-Queue und semantische Deduplizierung
+BRAIN_RESEARCH_OLLAMA_MAX_INFLIGHT=2
+BRAIN_RESEARCH_OLLAMA_QUEUE_SIZE=64
+BRAIN_RESEARCH_DEDUPE_THRESHOLD=0.92
+BRAIN_RESEARCH_DEDUPE_TTL=45m
 ```

 Details: [`KNOWLEDGE-SYNTHESIS.md`](KNOWLEDGE-SYNTHESIS.md).
@@ -327,4 +342,4 @@ Unter **FILTER → SearXNG-Diagnose** kann eine direkte Testsuche ausgeführt we
 - DNS-, Netzwerk-, TLS-, HTTP- und JSON-Fehler,
 - bei Fehlern den Antwortausschnitt von SearXNG oder Reverse Proxy.

-Die automatische Artikelrecherche zeigt zusätzlich Recherche-Runden, deutsch/englische Teilqueries, Kandidatenauswahl, Volltextabruf, Relevanz, Quellenqualität sowie akzeptierte und verworfene Belege. SearXNG-Snippets werden nicht als ausreichender Artikelbeleg verwendet. Die API-Endpunkte sind `GET /api/research/status` und `POST /api/research/test`. Details stehen in `SEARXNG-VISUALIZATION.md` und `ITERATIVE-GROUNDED-RESEARCH.md`.
+Die automatische Artikelrecherche zeigt zusätzlich Recherche-Runden, deutsch/englische Teilqueries, Deduplizierungsereignisse, Kandidatenauswahl, Volltextabruf, Relevanz, Quellenqualität sowie akzeptierte und verworfene Belege. Im Analyse-Center zeigt der Ollama-Status außerdem aktive und wartende Einträge der gemeinsamen Research/Ollama-Queue. SearXNG-Snippets werden nicht als ausreichender Artikelbeleg verwendet. Die API-Endpunkte sind `GET /api/research/status` und `POST /api/research/test`. Details stehen in `SEARXNG-VISUALIZATION.md` und `ITERATIVE-GROUNDED-RESEARCH.md`.