125 lines
6.2 KiB
Markdown
125 lines
6.2 KiB
Markdown
# Article Quality v2 und modellfreie CPU-Prüfung (v8)
|
|
|
|
## Ziel
|
|
|
|
v8 trennt die Artikelqualität in zwei unabhängige Ebenen. Der mathematische CPU-Layer verwirft offensichtlich zu kurze, redundante oder schlecht evidenzgebundene Entwürfe **vor** dem teuren LLM-Review. Qwen bleibt anschließend für Aufgaben zuständig, die reine Mathematik nicht zuverlässig lösen kann: Faktentreue, semantische Vollständigkeit, Kausalität und die Frage, ob wesentliche belegbare Inhalte fehlen.
|
|
|
|
```text
|
|
Gemma Author
|
|
↓
|
|
CPU Quality (Brain oder Agent, kein Modellaufruf)
|
|
↓ nur bei Pass
|
|
Qwen Claim + Coverage Review
|
|
↓
|
|
finale deterministische Gates
|
|
↓
|
|
Staging-Artikel
|
|
```
|
|
|
|
Der CPU-Layer ersetzt den semantischen Reviewer bewusst **nicht vollständig**.
|
|
|
|
## Mathematische Metriken
|
|
|
|
Algorithmus: `lexical-coverage-depth-v1`.
|
|
|
|
Aus sichtbarem Artikel und den bereits ausgewählten Quellen werden deterministisch berechnet:
|
|
|
|
- Wort- und Inhaltswortzahl;
|
|
- Zahl substantieller Abschnitte, Absätze und Listenpunkte;
|
|
- lexikalische Diversität;
|
|
- Absatz-Redundanz über Jaccard-Ähnlichkeit;
|
|
- evidenzgewichtete Tokenabdeckung mit IDF-artiger Gewichtung;
|
|
- Quellennutzung: Anteil der Quellen, deren spezifische Terminologie im Artikel tatsächlich auftaucht;
|
|
- technische Spezifität;
|
|
- artikeltypspezifischer Tiefenscore.
|
|
|
|
Harte Mindesttiefe:
|
|
|
|
| Typ | Mindestumfang | Mindestabschnitte |
|
|
|---|---:|---:|
|
|
| `reference` | 600 Wörter | 4 |
|
|
| `concept` | 520 Wörter | 4 |
|
|
| `decision_guide` | 520 Wörter | 4 |
|
|
| `troubleshooting` | 500 Wörter | 4 |
|
|
| `how_to` | 450 Wörter | 4 |
|
|
|
|
Bei mindestens drei Quellen muss die mathematische Quellennutzung mindestens 0,34 betragen. Evidenzalignment muss mindestens 0,48 erreichen; starke Redundanz und sehr niedrige Informationsdichte werden ebenfalls abgewiesen. Operationalen Artikeln fehlen ohne mindestens drei Schritte plus Validierung weiterhin die Voraussetzungen für einen Pass.
|
|
|
|
## Agent-Offload und Vertrauensgrenze
|
|
|
|
Ein integrierter Compute-Agent meldet zusätzlich zur Capability `vector_graph` nun `article_quality`. Das Brain kann die mathematische Prüfung auf diesen Agent auslagern.
|
|
|
|
Der Agent darf **keine** frei formulierten Rewrite-Anweisungen bestimmen. Nach Rückgabe rekonstruiert das Brain aus den begrenzten Metriken/Zählern selbst:
|
|
|
|
- Tiefenscore;
|
|
- Gesamtscore;
|
|
- harte Fehlercodes;
|
|
- Pass/Fail;
|
|
- feste Rewrite-Empfehlungen.
|
|
|
|
Dadurch können Agent-Antworten nicht als Prompt-Injection-Kanal für den Author dienen. Bei optionalem Offload verwendet das Brain denselben lokalen CPU-Code als Fallback. Weil der Agent dafür sichtbaren Artikel- und Quelltext erhält, ist der Offload aus Datenschutz-/Trust-Gründen standardmäßig deaktiviert. Für einen vertrauenswürdigen internen Worker `BRAIN_ARTICLE_CPU_QUALITY_AGENT_OFFLOAD=true` setzen.
|
|
|
|
Konfiguration:
|
|
|
|
```env
|
|
BRAIN_ARTICLE_CPU_QUALITY_ENABLED=true
|
|
BRAIN_ARTICLE_CPU_QUALITY_AGENT_OFFLOAD=false
|
|
BRAIN_ARTICLE_CPU_QUALITY_AGENT_REQUIRED=false
|
|
BRAIN_ARTICLE_CPU_QUALITY_AGENT_WAIT=20s
|
|
```
|
|
|
|
## Knowledge Article Quality v2
|
|
|
|
Das Author-Schema besitzt nun zusätzliche Inhaltsfelder:
|
|
|
|
- `technical_background`
|
|
- `technical_details`
|
|
- `mappings`
|
|
- `operational_use`
|
|
- `examples`
|
|
- `limitations`
|
|
|
|
Die sichtbaren Abschnitte hängen vom Artikeltyp ab. Eine Referenz erhält beispielsweise technischen Hintergrund, Zuordnungen, operative Nutzung, Beispiele und Grenzen statt künstlicher Symptome/Fehlerbehandlung. Der Author erhält natürliche Zielspannen von etwa 500 bis 1.300 Wörtern je Artikeltyp; künstliches Aufblähen ohne belegbaren Inhalt ist ausdrücklich untersagt.
|
|
|
|
Der Qwen-Reviewer führt zusätzlich zur Claim-Prüfung einen Coverage-Review durch. Ein Artikel kann nur akzeptiert werden, wenn `coverage_complete=true` und `coverage_score>=0.70` ist. Für wissensintensive Artikeltypen wird der Review-Kontext im Cluster-Modus adaptiv auf mindestens etwa 12k Zeichen angehoben, soweit `BRAIN_MAX_CONTEXT_CHARS` dies erlaubt.
|
|
|
|
Bei autonomer Recherche darf vorhandene Web-Evidenz nicht stillschweigend verschwinden. Wenn Web-Evidenz zum finalen Review vorliegt, aber kein Claim darauf grounded ist, muss der Reviewer ihre Nichtverwendung fachlich begründen; andernfalls scheitert der Artikel.
|
|
|
|
Die Pipeline-ID wurde auf `adaptive_generate_review/v3-quality-v2` angehoben, damit bereits erzeugte kurze v7-Artefakte die neue Synthese nicht als bereits erledigt deduplizieren.
|
|
|
|
## Regelmäßige semantische Nähe und sanfte Layout-Entzerrung
|
|
|
|
Die bestehenden Embeddings werden regelmäßig neu mathematisch bewertet, ohne einen neuen Embedding- oder Chat-Aufruf auszulösen:
|
|
|
|
```env
|
|
BRAIN_VECTOR_GRAPH_REEVALUATE_INTERVAL=30m
|
|
```
|
|
|
|
Der `semantic_neighbor`-Layer wird dabei mit demselben mutual-kNN/local-scaling-Verfahren neu berechnet. Der Job kann wie bisher über `vector_graph` auf einen Agent ausgelagert werden.
|
|
|
|
Zusätzlich kann die Visualisierung große dichte Wolken schrittweise in Richtung des semantischen 3D-Layouts bewegen:
|
|
|
|
```env
|
|
BRAIN_VECTOR_GRAPH_LAYOUT=false
|
|
BRAIN_VECTOR_GRAPH_RELAX_LAYOUT=true
|
|
BRAIN_VECTOR_GRAPH_LAYOUT_RELAX_INTERVAL=2h
|
|
BRAIN_VECTOR_GRAPH_LAYOUT_BLEND=0.08
|
|
BRAIN_VECTOR_GRAPH_LAYOUT_MAX_SHIFT=0.035
|
|
```
|
|
|
|
`BRAIN_VECTOR_GRAPH_LAYOUT=false` bedeutet weiterhin: kein harter Layout-Austausch. Die Relaxation verwendet stattdessen standardmäßig nur 8 % des Zielvektors pro Zyklus und begrenzt die maximale Positionsänderung auf 0,035. Sehr dichte räumliche Zellen werden deterministisch leicht auseinandergezogen. Bewegungen unter 0,00075 werden nicht persistiert, damit periodische Layoutpflege nicht tausende SQLite-Zeilen wegen Rundungsrauschen dirty markiert.
|
|
|
|
Die Positionspflege verändert **keine fachlichen Relationstypen**. Sie ist eine abgeleitete Visualisierungseigenschaft.
|
|
|
|
## Grenzen der CPU-Prüfung
|
|
|
|
Mathematik kann zuverlässig erkennen, dass ein Text zu kurz, redundant, strukturell flach, terminologisch dünn oder kaum mit den Quellen überlappend ist. Sie kann jedoch nicht sicher entscheiden, ob:
|
|
|
|
- eine Aussage faktisch korrekt ist;
|
|
- eine Ursache-Wirkungs-Beziehung stimmt;
|
|
- eine technische Empfehlung gefährlich oder fachlich falsch ist;
|
|
- ein wesentlicher semantischer Aspekt trotz ähnlicher Wörter fehlt;
|
|
- zwei Aussagen einander inhaltlich widersprechen.
|
|
|
|
Darum ist der CPU-Layer ein billiger Vorfilter und Qualitätsmesser, kein Ersatz für Claim-/Coverage-Review.
|