{XjF- $ ddlZddlZddlZddlZddlZdZej eedzZej eedzZ ej eedzZ ej eedzZ ej eedzZ ej eedzZ ejjejj j#Zd Zd j'gd ed ed dee dde dj+ddde dj+ddde dj+ddde dj+ddde dj+ddde dj+ddde dj+dde dj+ddze dj+ddze dj+ddze dj+ddzdee ddeee de dj+ddz ee dd ee dd!ee d"d#e dj+ddd$e d%j+d&dd'e d%j+d(dd)e d%j+ddd*ee dd+ee dee d"zd,ee dd+ee dd-e dj+ddd+e dj+ddd.ee de dj+ddz d+ee d"d/ed0d1d2e d3d4d+e d5d4d6e d3d7d+e d5d7d8e d3d9d+e d5d9d:e d3d;d+e d5d;d<ed0d1d=ed>Zeed?zd@dABj/eeej2ed?zej4j7ed?zej8eed?zdCj;j=ddDdEFy)GNz0/opt/struktur/reports/aa043-p41/20260828T094500Zz/p41-selection.jsonz/p41-v1-results.jsonz/p41-v2-results.jsonz/p41-quality-audit.jsonz!/p41-cross-source-comparison.jsonz/p41-schema-gap.jsonc"|r d|z|z ddSdS)Ndz.2f%znicht bestimmbar)abs $/opt/struktur/AA-043-P41-finalize.pypr s c!eAgc]!$ A/A Au# AA-043-P41 – Knowledge-Unit-Extraktor V2 **Abschlusszeile:** Arbeitsauftrag AA-043-P41 erledigt. ## A. Scope und Baseline Prüfzeitpunkt Abschluss: `u` UTC. Produktive Quelle: `/opt/struktur/youtube-research/knowledge.db`, read-only via `mode=ro&immutable=1`. Keine produktiven Daten wurden verändert. Live-Baseline vor P41: - Knowledge Units gesamt: **2.411** - echte fachliche KUs: **2.394** - Legacy-Placeholder: **17** - Review: `APPROVED=2.394`, `PENDING=0`, `NEEDS_REVIEW=0`, `REJECTED=17` - Evidence: `PLAUSIBEL=2.392`, `UNSICHER=19`, `BESTÄTIGT=0`, `GESICHERT=0`, `WIDERSPRÜCHLICH=0` - Gold: `NONE=2.411`, übrige Zustände `0` - KnowledgeDB-SHA-256: `e8491c9442ead7e80fcc1e1c339378bb5f13caaa34df8ca2ba4b5254d4233556` - `integrity_check=ok`; `foreign_key_check=485` - FK-Fingerprint: `5b1ade038b443ca80d8e344ff1a4cb25b8f4e5ff3bbca5b4bb3b37fcf6c078c1` V1-Writer: `/opt/struktur/knowledge-unit-pipeline/ku_writer.py` - live SHA-256: `20124f639350968136c841c5f7221c54855a8cccfc94fe3aac423167f469a605` - erwarteter SHA-256: identisch - V1 produktiv nicht verändert ## B. Qualifikationsquellen Eingefroren wurden ** source_countu canonical sources**: - YouTube/Transcript: **44** - native Obsidian: **6** - identische Quellenbasis für V1 und V2 - bekannte P37-Regressionen als zusätzliche Kontrollquellen enthalten Die vollständige Auswahl mit canonical identity, Source-Type, Content-Version, Pfad/YouTube-ID, Textlänge, V1-KU-Anzahl und Qualitätsprofil steht in `p41-selection.json`. V1-Spans im Auswahlset: **recordszL**. ## C. V1-Ergebnis | Kategorie | Anzahl | |---|---:| | `ATOMIC_GOOD` | counts ATOMIC_GOODz | | `CONTEXT_MISSING` | CONTEXT_MISSINGz | | `MULTI_CLAIM` | MULTI_CLAIMz | | `TOO_SPECIFIC` | TOO_SPECIFICz | | `TOO_GENERIC` | TOO_GENERICz | | `TEMPLATE/NON_KNOWLEDGE` | zTEMPLATE/NON_KNOWLEDGEz | Problematische V1-Spans: **z / z = u}**. ## D. V2-Architektur V2 wurde providerfrei als separate Staging-Implementierung `P41-V2-deterministic-0.1` ausgeführt. Die V2-Repräsentation trennt: - `original_span` - `canonical_statement` - begrenztes `context_window` - `source_locator` - `canonical_source_identity` - Content-Version - `knowledge_unit_identity` - Evidence-/Confidence-Metadaten - strukturierte Felder `subject`, `predicate`, `object`, `qualifiers`, `negation`, `numeric_values`, `units`, `temporal_scope`, `conditions`, `canonical_entities` Die Verarbeitung basiert in diesem P41-Lauf auf den vorhandenen V1-Source-Spans, nicht auf einer vollständigen erneuten Transkriptsegmentierung aus dem Rohcorpus. Daher ist die Rohquellen-Coverage nicht vollständig bewiesen; dies ist ein Qualifikationslimit und keine Halluzinationsbehauptung. ## E. Filter, Context und Multi-Claim V2-Ergebnis: - retained V2-KUs: **z** - Rejects mit Auditspur: **rejectedz(** - `ATOMIC_GOOD` unter retained V2: **z** - `CONTEXT_UNRESOLVED`: ** reject_countsCONTEXT_UNRESOLVEDz!** - `NON_KNOWLEDGE_TEMPLATE`: **NON_KNOWLEDGE_TEMPLATEz** - `TOO_SPECIFIC`: **u** - `FAIL_HALLUCINATION`: **0** Die retained V2-KUs sind in diesem regelbasierten Audit zu 100 % `ATOMIC_GOOD`; gleichzeitig wurden **192 von 530 relevanten V1-Spans** verworfen. Die scheinbar perfekte Retained-Qualität darf deshalb nicht ohne Coverage-Betrachtung als Produktionsreife interpretiert werden. ## F. V1/V2-Vergleich und Coverage | Kennzahl | V1 | V2 | |---|---:|---:| | alle ausgewerteten Spans | z | z | | retained/ausgegeben | z | | `ATOMIC_GOOD` | z* | | Kontext-/Template-/Spezial-Rejects | u | Coverage gegen die vorhandenen V1-Source-Spans: - fachlich relevante Source-Spans: **530** - V1 extrahiert: **530** - V2 retained/repräsentiert: **338** - V2 verworfen: **192** - V2 retained coverage auf dieser V1-Span-Basis: **iRiu** Das ist kein massiver Qualitätsgewinn ohne Coverage-Verlust. V2 verbessert die formale Retained-Qualität, ist aber aktuell zu aggressiv beim Kontext-Gate. ## G. Source-only-Gate Jede retained V2-Aussage wurde gegen Originalspan und lokales Kontextfenster geprüft. ```text FAIL_HALLUCINATION = 0 `` Es wurden keine zusätzlichen nicht belegten Tokens in die canonical statements eingeführt. ## H. Bekannte SAME_CLAIM-Regressionen Alle drei Regressionen wurden im eingefrorenen Kontrollset geprüft: - `KU 90 ↔ KU 208`: `PASS_FILTERED_NON_KNOWLEDGE` – beide sind Subscribe-/CTA-Templates und werden bewusst aus Wissensclaims ausgeschlossen. - `KU 259 ↔ KU 262`: `PASS_FILTERED_NON_KNOWLEDGE` – beide sind generische Skill-/Transcript-Erstellungsanweisungen und werden bewusst ausgeschlossen. - `KU 119 ↔ KU 128`: `PASS_REPRESENTATION_PRESERVED` – beide Aussagen bleiben in V2 repräsentiert. ```text KNOWN_SAME_REGRESSION_PASS = 3/3 ```` Die beiden gefilterten Fälle gelten nicht als verlorene fachliche Claims, weil sie nach der P41-Zieldefinition `NON_KNOWLEDGE_TEMPLATE` sind. ## I. Claim-Families Aus dem identischen Auswahlset: | Kennzahl | V1 | V2 | |---|---:|---:| | Familien gesamt | claim_families_v1families_totalclaim_families_v2z | | Single-KU-Familien | single_ku_familiesz | | Multi-KU-Familien | multi_ku_familiesz | | Multi-Source-Familien | multi_source_familiesuH | Die V2-Transformationsstufe erzeugt in diesem begrenzten Span-Setup keine neuen Multi-Source-Familien. Eine Verbesserung der Cross-Source-Familienbildung ist damit nicht nachgewiesen. ## J. Unveränderter Matcher V2 auf V1/V2-Stagingdaten Der produktive/staging Matcher-Code wurde nicht verändert. Der Vergleich basiert auf derselben unveränderten, konservativen lexikalischen Candidate-/Klassifikationsstufe: - V1: `Candidates=624`, `SAME_CLAIM=3`, `RELATED_NOT_SAME=22`, `UNCERTAIN=599`, `CONTRADICTION=0` - V2: `Candidates=357`, `SAME_CLAIM=0`, `RELATED_NOT_SAME=10`, `UNCERTAIN=347`, `CONTRADICTION=0` Diese Vergleichszahlen sind eine Staging-Proxy-Messung auf vorhandenen Spans, keine neue produktive Reconciliation. V2 reduziert Kandidaten, erzeugt aber in diesem Lauf keine neue belastbare Cross-Source-Gleichheit. ## K. Contradiction-Potenzial Die V2-Struktur bewahrt Negation, Zahlen, Einheiten, Bedingungen und Zeit-/Versionsfelder. Es wurden jedoch keine künstlichen Contradictions erzeugt. Im P41-Staging entstanden keine belastbaren realen Contradiction-Paare. `CONTRADICTION-DATENBASIS NOCH ZU KLEIN`. ## L. Schema- und Versionierungs-Gap Das produktive `knowledge_units`-Schema enthält keine vollständigen separaten Felder für `original_span`, `canonical_statement`, `context_window` und strukturierte Claims. `reconciliation_decisions` ist vorhanden; `claim_groups`, `claim_group_members`, `contradiction_links`, `evidence_history`, `merge_audit` und `supersession_audit` sind nicht nachgewiesen vorhanden. P41 führte keine Migration durch. Für einen späteren Pilot ist mindestens ein separates versioniertes Modell erforderlich, z. B.: ```text extractor_version supersedes_ku_id original_span canonical_statement context_window structured_claim_json ``` V1 darf nicht still überschrieben werden. ## M. Entscheidung **Empfehlung B – V2 verbessert die formale Qualität, benötigt aber weitere Staging-Qualifikation.** Begründung: - Source-only-Halluzinationen: `0`; - Regressionen: `3/3` bestanden; - retained V2-Qualität: stark; - Coverage auf relevanten V1-Spans: nur u; - Multi-Source-Familien: keine Verbesserung nachgewiesen; - keine neuen belastbaren SAME_CLAIMs; - Contradiction-Datenbasis weiterhin leer. Kein produktiver V2-Migrationspilot und kein Produktiv-Backfill in P41. ## N. Nächster Schritt 1. V2-Context-Auflösung mit echten lokalen Roh-Source-Fenstern qualifizieren, nicht nur mit bestehenden V1-Spans. 2. Rejects in `CONTEXT_UNRESOLVED`, `NON_KNOWLEDGE`, `REVIEW` und `LOW_CONTEXT` trennen. 3. Coverage auf fachlich relevanten Source-Claims manuell/stratifiziert nachweisen. 4. Erst danach Candidate Retrieval und unveränderten Matcher V2 erneut messen. 5. Vor jedem Produktivpilot: versioniertes Supersession-Modell und explizites Rollback-/Audit-Modell in Staging prüfen. ## O. Schutzstatus und Final-Gate ```text produktive KU-INSERTs = 0 produktive KU-UPDATEs = 0 produktive KU-DELETEs = 0 produktive V1-KUs verändert = 0 KU-Merges = 0 Evidence-Änderungen = 0 Review-Änderungen = 0 Gold-Änderungen = 0 historischer Backfill = 0 Graphiti-POSTs = 0 Neo4j-Writes = 0 Queue-Veränderungen = 0 Provider-Requests = 0 Matcher-V2 produktiv geändert = 0 Candidate Retrieval produktiv geändert = 0 ```` Final live: KnowledgeDB-SHA-256 bleibt `e8491c9442ead7e80fcc1e1c339378bb5f13caaa34df8ca2ba4b5254d4233556`; `integrity_check=ok`; `foreign_key_check=485`; FK-Fingerprint bleibt `5b1ade038b443ca80d8e344ff1a4cb25b8f4e5ff3bbca5b4bb3b37fcf6c078c1`. Queue live: `done=819`, `processing=0`, `retry_wait=199`, `failed_permanent=0/nicht vorhanden`, `graphiti_release=0` für `1.272` Queue-Zeilen. `aa043-single-writer-loop.service`: `inactive/dead`, MainPID `0`. `aa043-single-writer.timer`: `inactive/disabled`. Der allgemeine `obsidian-graphiti-import.timer` wurde nicht verändert und bleibt getrennt zu bewerten. ## P. Artefakte Remote-Verzeichnis: ```text z/ ``` Artefakte: ```text p41-selection.json p41-v1-results.json p41-v2-results.json p41-quality-audit.json p41-cross-source-comparison.json p41-schema-gap.json AA-043-P41.md ``` Arbeitsauftrag AA-043-P41 erledigt. z/AA-043-P41.mdwutf8)encodingrb)pathbytessha256 secret_hitsF) ensure_ascii)jsonhashlibosdatetime collectionsDloadopenrv1v2qacxsgnowtimezoneutc isoformatr joinlengetreportwriteprintdumpsr#getsizer%read hexdigestrr r rCs+++4  $qI^G^B_8`aeneienenostuwMuMpNfObdT]TXT]T]^bcde{c{^|T}QSBKBFBKBKLPQRSlQlLmBnAs|sws|s|}ABCDgBg}hsiprnwnrnwnwx|}~U}UxVnWkm]e]n]n]r]rs{sDsDsHsH]I]S]S]UY\Ahh nhornshs[h\]^l\m[nhn~hBCEFOCPQ~RhRdheghpeqeueuvCDEeFdGhGahbdembnbrbrsDEFbGaHhH^h_abj_k_o_op}~_@^AhAXhY[\dYeYiYijxyzY{X|h|RhSUV^S_ScScdqrsStRuhuVhWYZbWcWgWgh@ A B WC VD hD e hf h i q f r f v f v w H!I!J!f K!L!N!O!W!L!X!L!\!L!\!]!j!k!l!L!m!f m!n!p!q!y!n!z!n!~!n!~!!M"N"O"n!P"f P"Q"S"T"\"Q"]"Q"a"Q"a"b"o"p"q"Q"r"f r"s"u"v"~"s""s"C#s"C#D#\#]#^#s"_#f _#e `#h`#c#hd#g#h#j#k#t#h#u#d#v#c#w#hw#z#h{#|#}#@$A$C$D$M$A$N$}#O$P$R$S$[$P$\$P$`$P$`$a$n$o$p$P$q$}#q$r$u$v$x$y$B%v$C%r$D%{#E%z#F%hF%Y3hZ3]3^3`3a3j3^3k3Z3l3Y3m3hm3L4hM4P4Q4S4T4^4Q4_4M4`4L4a4ha4J5hK5M5N5V5K5W5K5[5K5[5\5i5j5k5K5l5J5m5hm5K6hL6N6O6^6L6_6L6c6L6c6d6x6y6z6L6{6K6|6h|6^7h_7a7b7q7_7r7_7v7_7v7w7O8P8Q8_7R8^7S8hS8k8hl8n8o8~8l88l8C9l8C9D9R9S9T9l8U9k8V9hV9?h@@C@D@F@G@P@D@Q@@@R@?S@hS@V@hW@Z@[@]@^@g@[@h@W@i@j@m@n@p@q@{@n@|@j@}@W@}@V@~@h~@ZAh[A^A_AaAbAkA_AlA[AmAZAnAhnAqAhrAuAvAxAyABBvACBrADBqAEBhEB[Bh\B^B_BgB\BhB\BlB\BlBmBzB{B|B\B}B[B~Bh~BAChBCDCECMCBCNCBCRCBCRCSC`CaCbCBCcCACdChdCODhPDSDTDVDWD`DTDaDPDbDcDeDfDnDcDoDcDsDcDsDtDAEBECEcDDEPDDEODEEhEEHEhIELEMEOEPEZEME[EIE\EHE]Eh]EOIhPIQIRIUIVIYIPIZIOI[Ih[ID]hE]G]H][]E]\]]]m]E]n]D]o]ho]r]hs]u]v]I^s]J^K^[^s]\^r]]^h]^x^hy^{^|^O_y^P_Q_e_y^f_x^g_hg_j_hk_m_n_A`k_B`C`W`k_X`j_Y`hY`s`ht`v`w`Jat`KaLa_at``as`aahaadaheagaha{aea|a}aPbeaQbdaRbhRbpbhqbsbtbGcqbHcIc`cqbacpbbchbcechfchcic|cfc}c~cUdfcVdecWdhWdLFhMFNFOFRFSFVFMFWFLFXFhXFPehQeRePeSehSe|hhQV,226:jdjj++BGGOOAFVDV4WaoahaoaoptuvxHvHIMqNqSqSqUbVb`b`bbqrsAFGHr