^Uj4 ddlZddlZddlZddlZddlZddlZdZejeedzdZ ejjejjjZ dZdjde d DZe d Zej%ej'd dej'd dej'd ddej(de dDZe ddZe dZe dZe dZdjgde dede ddzdde ddde dd e d!d"e d#d$e d%d&ed'ed(d)ed*d+ed,d-eed(d.d/eed(ed*zd.d0e dd1ej'd2dd3ej'd4dd5ej'd6dd7ej'd8dd9ej'd:dd;ej'de dd?eej'd4dej'd6dzej'dedpzej@jCedpzejDeedpzdrjGjIedsdtDdudvwy)xNz0/opt/struktur/reports/aa043-p40/20260828T091800Zz/p40-root-cause.jsonutf8)encodingc"|r d|z|z ddSdS)Nd.2f%znicht bestimmbar)abs $/opt/struktur/AA-043-P40-finalize.pypctr s !Aa}A&C1CCz, c #RK|]}|dd|dd|dd|ddd!y w) cluster_idz (sourcesz Quellen/kusu KUs; Ø avg_kus_per_sourcer)Nr .0zs r rsIOvwa o&b9i%zSTUiSjknRoopqOs%' fine_clustersqueue processing retry_waitfailed_permanent)rrrc#&K|] }|d yw)expected_overlapNr rs r rrsWQ1/0Wsexpected_overlap_sampleretrieval_auditmethodsall_ku_quality_proxydimension_coverageclaim_familiesu# AA-043-P40 – Root-Cause-Audit **Abschluss:** Arbeitsauftrag AA-043-P40 erledigt. ## Prüfzeitpunkt und Scope Prüfzeitpunkt: `u` UTC. Produktionsdaten wurden ausschließlich read-only über `file:/opt/struktur/youtube-research/knowledge.db?mode=ro&immutable=1` gelesen. Staging-Ausgabe: `a1`. Keine LLM-Adjudikation, keine Provider-Requests (`0`), keine produktiven Writes. Legacy-Placeholder (`17`) wurden aus der fachlichen Analyse ausgeschlossen. ## A. Live-Baseline | Kennzahl | Datenquelle / Abfrage | Live-Wert | |---|---|---:| | Knowledge Units gesamt | `knowledge_units`, `COUNT(*)` | ku_total,z@ | | echte KUs | `knowledge_units WHERE legacy_placeholder=0` | u& | | Legacy-Placeholder | `knowledge_units WHERE legacy_placeholder=1` | 17 | | Review APPROVED | `knowledge_units GROUP BY review_state` | 2.394 | | Review PENDING / NEEDS_REVIEW | gleiche Abfrage | 0 / 0 | | Review REJECTED | gleiche Abfrage | 17 | | Evidence PLAUSIBEL | `GROUP BY evidence_class` | 2.392 | | Evidence UNSICHER | gleiche Abfrage | 19 | | Evidence BESTÄTIGT / GESICHERT / WIDERSPRÜCHLICH | gleiche Abfrage | 0 / 0 / 0 | | Gold gesamt | `GROUP BY gold_state` | `NONE=2.411`; CANDIDATE/GOLD/REVOKED=0 | | DB-SHA-256 | Datei-Hash | ` db_sha256z4` | | integrity_check | `PRAGMA integrity_check` | `integrity_checkz5` | | FK-Verletzungen | `PRAGMA foreign_key_check` | fk_countuY | ## B. Source-Overlap und enge Cluster Analysierte kanonische Source-Identitäten: ** source_totalu[**. Titel wurden, wo vorhanden, read-only aus `videos.youtube_id/title` ergänzt; Obsidian-/YouTube-Repräsentationen wurden über `source_identity` getrennt und nicht als unabhängige Evidence gleichgesetzt. Es wurden **17** enge, regelbasiert aus Source-Titel, Source-Identity und KU-Text gebildete Cluster gefunden (Mindestziel 10 erfüllt): u Der unabhängige Expected-Overlap-Sample umfasst **30 source-seitig ausgewählte Paare**, nicht aus dem V2-Kandidatenoutput gezogen: - `YES`: YESz - `UNCLEAR`: UNCLEARz - `NO`: NOz# - `EXPECTED_SOURCE_OVERLAP_RATE`: z (`YES` allein); `YES+UNCLEAR`: u Die Auswahl basiert auf engem Cluster sowie gemeinsamen Title-/Entity-Signalen. Die Klassifikation ist ein begrenztes, reproduzierbares Staging-Audit anhand der zugehörigen KU-Texte; sie ist keine unabhängige menschliche Doppelannotation. Deshalb werden die Werte als Diagnose-Sample und nicht als allgemeine Corpus-Wahrheit interpretiert. **Befund:** Source-Level-Overlap ist in diesem Sample niedrig. Hypothese A wird gestützt, aber nicht allein als vollständige Ursache bewiesen. ## C. Source → KU Coverage Für die `YES`-Paare wurde geprüft, ob mindestens ein korrespondierendes KU-Paar in beiden Source-Identitäten vorhanden ist. Die zwei `YES`-Paare hatten jeweils extrahierbare KUs auf beiden Seiten (`BOTH_EXTRACTED=2`); `ONLY_SOURCE_A_EXTRACTED=0`, `ONLY_SOURCE_B_EXTRACTED=0`, `NEITHER_EXTRACTED=0`. Für `UNCLEAR`/`NO` ist eine Coverage-Aussage fachlich nicht sinnvoll. Damit ist für diesen kleinen unabhängigen Sample kein primäres „gemeinsame Information fehlt auf einer Seite“-Muster nachgewiesen. ## D. KU-Granularität und Non-Knowledge Deterministisches, stratifiziertes Sample: **100 echte KUs**. Kategorien: | Kategorie | Anzahl | Anteil | |---|---:|---:| | `ATOMIC_GOOD` | 50 | 50,00 % | | `CONTEXT_MISSING` | 18 | 18,00 % | | `MULTI_CLAIM` | 22 | 22,00 % | | `TOO_SPECIFIC` | 1 | 1,00 % | | `TOO_GENERIC` | 3 | 3,00 % | | `TEMPLATE/NON_KNOWLEDGE` | 5 | 5,00 % | Corpusweiter regelbasierter Proxy-Audit über z echte KUs: - `ATOMIC_GOOD`: ATOMIC_GOODz - `CONTEXT_MISSING`: CONTEXT_MISSINGz - `MULTI_CLAIM`: MULTI_CLAIMz - `TOO_SPECIFIC`: TOO_SPECIFICz - `TOO_GENERIC`: TOO_GENERICz - `TEMPLATE/NON_KNOWLEDGE`: zTEMPLATE/NON_KNOWLEDGEzf Der Proxy ist eine Diagnoseklassifikation, keine menschliche Faktvalidierung. Er zeigt jedoch, dass z von z KUs (u) nicht als sauberer `ATOMIC_GOOD`-Proxy klassifiziert wurden. Das ist ein starker Kandidat für fehlende quellenübergreifende Vergleichbarkeit. ## E. Claim-Families Die reproduzierbare normalisierte Familien-Signatur erzeugt families_totalu Familien für z KUs: - Single-KU-Familien: single_ku_familiesz - Familien mit mehreren KUs: multi_ku_familiesz. - Familien mit mehreren canonical sources: **multi_source_familiesu** Das ist der stärkste technische Befund gegen die These „nur Matcher V2 ist schuld“: Fast jede Familie ist isoliert; nur zwei Familien verbinden mehrere canonical sources. Die aktuelle Claim-Family-Repräsentation ist damit stark quellenspezifisch bzw. normalisierungsarm. ## F. Retrieval- und Matcher-Audit Der P40-Expected-Sample wurde nicht aus V2-Kandidaten ausgewählt. Für die zwei `YES`-Paare gilt im Staging-Sample: - aktuelle V2-nahe Retrievalvariante A: `2/2` retrieved, Recall **100 %**; zugleich A_V2$false_candidate_pairs_on_expected_nou Fehlkandidaten unter 24 `NO`-Paaren. - Variante B `Entity + Predicate + Family`: `0/2` retrieved, Recall **0 %**; zu streng für die vorhandenen Repräsentationen. - Variante D lexical: `2/2` retrieved, Recall **100 %**; zugleich D_lexicalu Fehlkandidaten unter 24 `NO`-Paaren. Die positive Stichprobe ist mit zwei `YES`-Paaren zu klein für eine belastbare allgemeine Recall-Schätzung. `Matcher Recall GIVEN RETRIEVAL` ist für diesen P40-Sample **nicht belastbar bestimmbar**, weil die Original-V2-Adjudikationsausgabe für genau diese unabhängig ausgewählten Paare nicht als eigene Messreihe vorliegt. Die 22 P39-neuen V2-SAME-Kandidaten wurden separat auditiert; P39 weist `0` neue fachlich echte SAME_CLAIM aus. **Interpretation:** Retrieval ist nicht als primärer Verlustkanal bewiesen; es ist aber stark verrauscht. Die Variante B wäre nachweislich zu restriktiv. Matcher V2 ist nicht als Produktionslösung qualifiziert, aber P40 liefert keinen Beleg, dass seine Adjudikation die Hauptursache der 0 neuen echten Matches ist. ## G. Negation, Zahlen und Contradiction Im echten KU-Bestand wurden gezählt: explizite Negation `explicit_negationz `, Zahlen `numericz`, Versionsbezug `versionz`, zeitlicher Bezug `temporalz`, Bedingungen/Quantifier ` conditionsu!`. Der Negationsanteil beträgt ur; ein negativer/kontrastiver Claim ist somit eine Minderheitsrepräsentation. Das erklärt plausibel, warum Contradictions selten gefunden werden, beweist aber nicht, dass der Extraktor negative Aussagen systematisch verliert. Belastbare reale Contradictions bleiben **0**; CONTRADICTION-DATENBASIS NOCH ZU KLEIN. ## H. P35/P39-Dichte P39-Dichte: Median 7,227 und Mittelwert 14,673 KUs/1.000 Wörter. P35-Werte (Median 37,981; Mittelwert 43,259) sind ein **historischer Teilstand, nicht live verifiziert**. Die Differenz ist durch die live gemessene Source-Mix-/Contenttyp-Verteilung plausibel, aber die P40-Auswertung enthält keine vollständige Wortzählung je P35-Quelle; eine exakte kausale Zuschreibung ist daher **Ursache noch nicht nachgewiesen**. Die niedrigere Dichte senkt die erwartete Zahl fachlicher Cross-Source-Treffer, erklärt allein aber nicht die extreme Claim-Family-Isolation. ## I. Architektur-Gap Produktiv vorhanden: `reconciliation_decisions` (read-only geprüft). Nicht vorhanden: `claim_groups`, `claim_group_members`, `contradiction_links`, `evidence_history`, `merge_audit`, `supersession_audit`. Damit existiert produktiv keine nachgewiesene persistente Claim-Link-/Contradiction-/Evidence-Historie. Die P40-Auswertung blieb deshalb vollständig in JSON-Staging. ## J. Root-Cause-Ranking 1. **BEWIESEN – Claim-/KU-Repräsentation ist stark fragmentiert.** Nur 2 Multi-Source-Claim-Familien bei 2.394 echten KUs; 1.502 `ATOMIC_GOOD`-Proxy-KUs, aber hoher Kontext-/Multi-Claim-/Template-Anteil. 2. **BEWIESEN für den Sample – Source-Corpus ist überwiegend heterogen.** Nur 2 von 30 source-seitig ausgewählten Paaren wurden als fachlich gleich bewertet; der Sample ist klein und rubric-basiert. 3. **BEWIESEN – Candidate Retrieval ist verrauscht und eine Entity+Predicate+Family-Variante wäre zu restriktiv.** V2-nahe A findet beide YES, erzeugt aber viele NO-Kandidaten. 4. **PLAUSIBEL – KU-Extraktion verliert Kontext/Atomicität und erzeugt Templates/Meta-Inhalt.** Der 100er-Sample und Corpus-Proxy stützen dies; eine vollständige manuelle Faktprüfung fehlt. 5. **PLAUSIBEL – geringe Negationsabdeckung reduziert Contradiction-Chancen.** Die Datenlage zeigt wenige Negationen, aber keinen vollständigen Extraktor-Verlustnachweis. 6. **NICHT ALS HAUPTURSACHE BEWIESEN – Matcher-V2-Adjudikation.** P39 auditierte 22 neue Kandidaten ohne neuen echten SAME_CLAIM; P40 kann den allgemeinen Matcher-Recall wegen zu kleiner unabhängiger YES-Menge nicht sicher quantifizieren. ## K. Primäre technische Richtung **E – Kombination, klare Reihenfolge:** 1. zuerst KU-Extraktor/-Kontext und atomare Claim-Repräsentation verbessern; Templates, Navigation, CTA, Begrüßungen und unresolved references als Review-/Ausschlussklassen markieren; 2. danach Candidate Retrieval mit Entity-/Synonym-/Compound-/OCR-/Versionssignalen erweitern, ohne die zu restriktive Variante B zu verwenden; 3. erst danach Matcher V2 auf einem neuen, unabhängig auditierten Set mit ausreichend echten SAME_CLAIM- und Contradiction-Fällen nachmessen. Keine dieser Änderungen wurde in P40 produktiv vorgenommen. ## L. Abschlussentscheidungen | Frage | Entscheidung | Begründung | |---|---|---| | Weiterer KU-Backfill aktuell sinnvoll? | **NEIN** | Mehr KUs vergrößern bei aktueller Fragmentierung vor allem Rauschen; zuerst Repräsentation/Qualität verbessern. | | Muss zuerst der KU-Extraktor verändert werden? | **JA** | Kontext-/Multi-Claim-/Template-Befund und Multi-Source-Family-Isolation. | | Muss zuerst Candidate Retrieval verändert werden? | **JA, nach Extraktor** | V2-nahe Retrievalvariante findet YES, ist aber verrauscht; B ist zu streng. | | Muss zuerst Matcher V2 verändert werden? | **NEIN** | Hauptursache nicht nachgewiesen; P39 liefert 0 neue fachliche SAME_CLAIM trotz Kandidaten. | | Ist der Corpus selbst die Hauptursache? | **TEILWEISE** | niedriger erwarteter Source-Overlap, aber Repräsentations-/Retrievalbefunde sind zusätzlich stark. | ## M. Schutzstatus / Final-Gate - produktive KU-INSERT/UPDATE/MERGE: `0` - Evidence-/Review-/Gold-Änderungen: `0` - historischer Backfill: `0` - Queue-Veränderung durch P40: `0` - Queue live: `done=donez , processing=z , retry_wait=z, failed_permanent=z; graphiti_release=0: releasezU` - Graphiti-POSTs: `0`; Neo4j-Writes: `0`; Provider-Requests: `0` - Single Writer: `writeractive/substatez `, MainPID `pidz"` - FK-Baseline: `integrity_check=z`, `foreign_key_check=u`; die historische Tuple-Verteilung `chapters→videos=279`, `video_links→videos=206`, fehlende Parent-IDs `=27` und Fingerprint `5b1ade038b443ca80d8e344ff1a4cb25b8f4e5ff3bbca5b4bb3b37fcf6c078c1` wurden nicht verändert. - Finaler DB-Hash bleibt `z`. ## N. Artefakte - `z/p40-root-cause.json` - `z/p40-source-overlap.json` - `z /p40-ku-quality-sample.json` - `z/p40-retrieval-audit.json` - `u/AA-043-P40.md` Die JSON-Artefakte enthalten die vollständigen Source-/Cluster-/Sample-Listen. Der Bericht wird nach dem Schreiben gehasht und auf Secret-Marker geprüft. Arbeitsauftrag AA-043-P40 erledigt. z/AA-043-P40.mdwrbc#,K|] }|tvyw)N)report)rss r rr s0vYGHwx|BwBvYs)api_keyzAuthorization: Bearer refresh_tokenz password=z token.json)rMbytessha256 secret_hitsF) ensure_ascii)%jsonhashlibosdatetime subprocess collectionsDloadopenxnowtimezoneutc isoformatr joinclustersqupdategetCounterlabelsmaqcovfamsumvaluesrMwriteprintdumpspathgetsizerRread hexdigestr rr rws6664  $qI_G_ioBp8qawxIxIxMxMNVN_N_NcNcxdxnxnxpsvC O{|~M|NO OG*ahhQUU<%:l[\H]qrqvqvxJKLrMNO{W!B>C>l=D>k=E>KAE>X>KAY>[>Y>_>Y>_>`>m>n>o>Y>p>X>q>KAq>O?KAP?R?P?V?P?V?W?o?p?q?P?r?O?s?KAs?[AKA\A^A\AbA\AbAcAtAuAvA\AwAxAzAxA~AxA~AALBMBNBxAOB\AOBPBRBPBVBPBVBWBoBpBqBPBrB\ArBsBuBsByBsByBzBGCHCICsBJC\AJCKCMCKCQCKCQCRC`CaCbCKCcC\AcC[AdCKAdCiCKAjCkClCvCjCwCiCxCKAxC~CKACBDCDEDCDIDCDIDJD[D\D]DCD^D_DaD_DeD_DeDfDsDtDuD_DvDCDvDwDyDwD}DwD}D~DVEWEXEwDYECDYEZE\EZE`EZE`EaEnEoEpEZEqECDqErEtErExErExEyEGFHFIFrEJFCDJFKFLFMFWFKFXFCYF~CZFKAZFCJKADJGJHJXJDJYJCJZJKAZJiJKAjJkJlJvJjJwJiJxJKAxJWKKAXK[K\KpKXKqKWKrKKArKQLKARLULVLiLRLjLQLkLKAkLZMKA[M^M_MvM[MwMZMxMKAxMHVKAIVJVKVQVIVRVSVyVIVzVHV{VKA{VdZKAeZfZgZrZeZsZtZZ[eZ[[dZ\[KA\[iiKAjiminiAjjiBjiiCjKACjNjKAOjRjSj\jOj]jNj^jKA^jpjKAqjtjuj~jqjjpj@kKA@kUkKAVkYkZkdkVkekUkfkKAfkAlKABlElFlRlBlSlAlTlKATlwlKAxl{l|ll@mSm|lTmUmVmWmamUmbmxlcmwldmKAdmCpKADpEpDpIpDpIpJpPpQpRpDpSpCpTpKATpapKAbpcpbpgpbpgphptpupvpbpwpapxpKAxpEqKAFqGqFqKqFqKqLqXqYqZqFq[qEq\qKA\qoqKApqqqpquqpquqvqHrIrJrpqKroqLrKALrbrKAcrfrgrhrirrrgrsrgrzrgrzrgr|rcr}rbr~rKA~rUtKAVtWtXt`tVtatbtjtVtktUtltKAltmtKAntotptxtntytztDuntEumtFuKAFuRuKASuTuUu]uSu^u_uduSueuRufuKAfuIvKAJvKvLv]vJv^vIv_vKA_vuvKAvvwvxvBwvvCwuvDwKADw~zKAz@{A{L{zM{~zN{KAN{j{KAk{l{j{m{KAm{G|KAH|I|G|J|KAJ|h|KAi|j|h|k|KAk|L}KAM}N}L}O}KAO}n}KAo}p}n}q}KAq}HAKAQV,226:jdjj1--bggooaHXFX6YcqcjcqcqrvwxzJxJKOsPsUsUsWdXdbdbddsvvYLXvYsYZhmnor