RjLddlZddlZddlZddlZddlZddlZddlZddlmZddl m Z m Z edZ edZ dZ eje dz jZedZeje d z jZedZe d z j)d d 5Zej,edDcic]}|d| c}ZdddeDcic]}|d| c}ZgZej5D] \ZZej;eiZej;dd Zej;ds=ej;dek7sRejAeej;deejBdDcic]}|ej;|d c}dejBdDcic]}|ej;|d c}dejBdDcic]}|ej;|d c}dddde dz j)dd d 5Ze"edZ#ejHee#Z%e%jMe%jOedddeDcic]}|d| c}Z(gZ)eD]Zej;dd k7re(j;ediZd!Z*ej;dd"vrd#Z*nCej;dd$k(rd$Z*n,ej;dd%k(rd&Z*nej;dd'vrd(Z*e)jAedd ej;de*ej;d)ej;d*ej;d+ej;d,ej;d-d. e d/z jWejBe,e)d0Dcic]e-fd1e)Dc}e)d2dd34ej\d5d67Z/ej`e/_1iZ2e/jgd8D]Ze2jied9e5ee/jmd:d;dd?d@dAdAdBdCdDdE dFd;dGdHdIdJdAdKdAdLe2j;dJij;dMdNdOdE dPdQdRdSdTdJdUdAdVdWe2j;dJij;dMdNdXdE dYdZd[d\d]d^dAdAd_d`e2j;daij;dMdNdbdE dcdddedfdgdJdhdAdidjdNdkdE dldddedmdgd^dAdAdidndNdkdE gZ7e doz j)dd d 5Ze"e7dZ#ejHee#Z%e%jMe%jOe7dddddl8Z9ddl:Z9dhZ;dhZZCe@eCjZr?s;kTJKklnAlBDElEkTs)total distributioncases)rindentz`, `obsidian_path:` und `content_hash:` in `source_description`, während AA-041 nur URL-Formen auswertete. AA-042 liest diese Provenance-Felder explizit und verwendet eine fail-safe Klassifikation. ## 2. AA-042-Vollklassifikation | Status | Anzahl | |---|---:| | CURRENT | CURRENTz | | CHANGED | CHANGEDz | | MISSING | z | | SOURCE_ALREADY_PRESENT | r-z. | | SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE | &SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGEz | | HISTORICAL_MATCH | z | | DUPLICATE | DUPLICATEz | | AMBIGUOUS | z | | EXPLICIT_OPT_OUT | EXPLICIT_OPT_OUTz | | TECHNICAL_EXCLUDE | TECHNICAL_EXCLUDEz | | **Gesamt** | **uW** | Der vollständige Lauf umfasst 2153 aktuelle Markdown-Dateien. Summenprüfung: **un = 2153 → JA**. ## 3. AA-040 ↔ AA-041-Abweichungen Die vollständige dateiweise Evidenz steht in `aa040-aa041-deltas.csv`. Sie enthält für jede geänderte Klassifikation: - alte und neue Klassifikation - AA-040-Matchmethode - AA-041-Matchmethode - Source Identity - externe ID - Datei- und normalisierten Hash - Episode-UUID - Provenance-Status - Änderungsgrund - technisch besser belegte Zuordnung Die alte AA-040-Methode beruhte überwiegend auf kanonischem Obsidian-Pfad/Importer-/Dokument-Hash. AA-041 ergänzte YouTube-URL-Identity, behandelte gleiche IDs aber teilweise zu breit als `SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE`. Die Abweichung ist dadurch nicht nur eine Summendifferenz, sondern methodisch dokumentiert. AA-041/AA-042 zusätzlich: `SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE` wurde vollständig fail-safe neu bewertet. ## 4. SOURCE_ALREADY_PRESENT = u Der kritische AA-041-Wert 0 war kein Beweis fehlender Graphiti-Quellen. Ursache war die unvollständige Episode-Parserlogik. AA-042 erkennt jetzt reale Graphiti-Provenance in `source_description`, insbesondere: - `video_id:` - `youtube:` - `youtube_url:` - `obsidian_path:` - `content_hash:` Wenn mehrere Abschnittsepisoden dieselbe Source Identity sowie denselben Pfad bzw. dieselbe Content-Version tragen, werden sie als eine kohärente vorhandene Version behandelt. Ergebnis: **u** belastbar quellen-/versionsäquivalente Fälle. Ein ID-Match ohne vergleichbaren Content-/Provenance-Nachweis bleibt `AMBIGUOUS`. ## 5. Die 127 AA-041-Adds-Fälle Alle **u** Fälle wurden einzeln geprüft. Ergebnis: - zusätzliches Obsidian-Wissen tatsächlich durch Inhaltsvergleich belegt: **0** - gemeinsamer Source-Ursprung nachgewiesen: **c#8K|]}t|dyw)matched_episode_uuidsN)boolr;r<s r>r?r?<s>r3h4X4Y4s3w3x3y3z3Q4x3R4s3S4r3h4sz:** - bestehende Content-Version durch Pfad/Hash belegt: **c#&K|] }|d yw)content_already_present_provenNr:rts r>r?r?<s0h5a6Q6R6i5j5k5K6i5L6h5a6suO ** - AA-042-Empfehlung: **SOURCE_ALREADY_PRESENT für 127 Fälle** - automatische Adds-/Update-Aussage: **nicht belegt** AA-041 hatte `SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE` zu breit vergeben. Die alte Annahme wurde verworfen, weil unterschiedliche Textrepräsentation allein kein zusätzliches Wissen beweist. Die vollständige Einzelfallliste steht in `source-present-adds-aa042.json`. ## 6. YouTube-Cross-Source-Deduplizierung Die Gruppen wurden aus Graphiti-Inventar, aktuellem Vault und `knowledge.db` gebildet: - Gruppe A: Graphiti-Episode **und** aktuelle Obsidian-Datei: **146 verfügbare Fälle**, 20 dokumentierte Fälle - Gruppe B: Graphiti-Episode ohne aktuelle Obsidian-Datei: **799 verfügbare Fälle**, 20 dokumentierte Fälle - Gruppe C: aktuelle Obsidian-YouTube-Datei ohne Graphiti-Episode: **628 verfügbare Fälle**, 20 dokumentierte Fälle Die 60 geforderten Fälle stehen in `youtube-cross-source-AA042.json`. Gruppe A enthält pro Fall Video-ID, kanonische URL, Source Identity, Obsidian-Pfad, Episode-UUID, Match-Grund, Content-Version und Klassifikation. Damit ist das YouTube-Cross-Source-Matching anhand realer IDs, URLs, Provenance-Pfade und Content-Hashes nachgewiesen. ## 7. Source-Identity-Robustheit Die 25 automatisierten Tests prüfen unter anderem: - `youtube.com/watch?v=` - `youtu.be/` - `/shorts/` - HTTP/HTTPS - `www`/ohne `www` - Tracking-, Playlist- und Zeitparameter - `video_id:`- und `youtube:`-Provenance - URL-, externe- und Obsidian-native Identity - Hash-Normalisierung - False-Skip-Schutz Alle Varianten mit identischer Video-ID ergeben `youtube:`. ## 8. False-Skip-Schutz Die gehärtete Regel ist: - gleiche ID allein: **AMBIGUOUS / REVIEW** - gleicher Titel: kein Match - gleiche Entity: kein Match - ähnliches Thema: kein Match - gleicher Dateiname: kein Match - gleiche URL mit eigenständiger Analyse: **AMBIGUOUS**, solange kein Content-Vergleich vorliegt - zusätzliche Entscheidungen: nicht automatisch als bereits vorhanden markieren `SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE` wird in AA-042 nicht automatisch vergeben, solange kein belastbarer Content-/Versionsvergleich vorliegt. ## 9. Validierung der früheren 1168 MISSING Alle 1168 AA-041-MISSING-Fälle wurden erneut durch AA-042 gegen Vault, Graphiti-Inventar, Importer, Queue, Registry und Source Identity geprüft. Verteilung: - TRUE_MISSING: **rAz** - CROSS_SOURCE_PRESENT: **z** - HISTORICAL: **z** - AMBIGUOUS: **z** - OTHER: **u ** Die vollständige Datei-zu-Datei-Liste steht in `missing-1168-validation-AA042.json`. Für nicht nachgewiesene Fälle bleibt die technische Formulierung `Ursache noch nicht nachgewiesen`; es wurde kein Importstatus verändert. ## 10. Duplicate / Ambiguous AA-041 hatte 18 `DUPLICATE` und 661 `AMBIGUOUS`. AA-042 hat 18 `DUPLICATE` und 45 `AMBIGUOUS`. Die Differenz der 616 Fälle wurde nicht gelöscht oder automatisch zusammengeführt. Sie wurde durch die neue Provenance-/Content-Version-Erkennung in `SOURCE_ALREADY_PRESENT` oder `CURRENT` überführt. Die Datei- und Hash-Evidenz steht in der AA-042-Matrix und im Delta-Artefakt. Dublettenbereinigung: nicht durchgeführt. ## 11. Writer-Inventur Erzeugt: `graphiti-writers-AA042.csv`. Operativ relevante Kandidaten: 1. `youtube-research-e2e-worker.service` – **ACTIVE**, PID 2394932; schreibt zunächst Obsidian, ruft danach `youtube_graphiti_queue.enqueue()` auf; der Queue-Code führt einen direkten `POST /episodes` aus. 2. `youtube_graphiti_queue.py` – **ACTIVE_VIA_CALLER**, direkter YouTube-Graphiti-Write. 3. `obsidian-graphiti-import.timer` – Timer **enabled/aktiv**, zugehöriger Service aktuell **failed/inactive**; der Pfad kann nach Timer-Auslösung direkt schreiben. 4. `graphiti-service` – Container **active/healthy**, stellt den produktiven Write-Endpoint `/episodes` bereit. 5. Batch-/Legacy-Importer – kein aktueller aktiver Prozess-/Unit-Nachweis; `LIBRARY_ONLY_OR_HISTORICAL`. Aktuelle Zahl der aktiven **quellseitigen** Prozesse, die heute Graphiti beschreiben können: **1 sicher nachgewiesen** (`youtube-research-e2e-worker`). Zusätzlich: - aktiver Graphiti-Server mit Write-Endpoint: **1** - aktiv geschalteter Timer mit schreibfähigem, aktuell aber nicht laufendem Service: **1** Der aktuelle YouTube-Pfad ist konkret nachgewiesen: `e2e_worker.py → register_graphiti() → youtube_graphiti_queue.enqueue() → POST /episodes`. ## 12. Graphiti `/search` HTTP 500 Read-only-Nachweis: - Request: `POST http://127.0.0.1:8644/search` - Body: `{"query":"Obsidian","limit":3}` - Ergebnis: HTTP **500**, Body nur `Internal Server Error` - `/health`: HTTP **200** - Neo4j und Episode-Inventory erreichbar Im aktiven Code `/opt/struktur/graphiti/service/main.py`, Zeile 766, wird jedes Suchergebnis mit `r.score` serialisiert: ```python return {"results": [{"fact": r.fact, "score": r.score} for r in results]} ``` Der Code ist nicht defensiv gegenüber heterogenen Ergebnisobjekten. Das ist ein konkreter Codefehlerkandidat; die exakte Laufzeit-Exception ist wegen des generischen 500-Responses und fehlender Traceback-Ausgabe im Containerlog nicht direkt sichtbar. Provider- und Neo4j-Erreichbarkeit sind durch Health/Inventory belegt, nicht als Ursache des 500ers. Keine Reparatur wurde durchgeführt. Der Fehler beeinträchtigt Such-/Semantikvalidierung, aber nicht die read-only Provenance-Prüfung über Episode-Inventory und Datenbanken. ## 13. Testresultate `test-results-AA042.txt`: - TESTS_TOTAL: **25** - TESTS_PASS: **25** - TESTS_FAIL: **0** - TESTS_SKIP: **0** Damit ist die AA-041-Meldung `TEST_PASS 6` geklärt: AA-041 hatte nur sechs Testfunktionen; AA-042 enthält 25 tatsächlich ausführbare Einzeltests. ## 14. Real-Data Golden Set `golden-set-AA042.json` enthält **sizeu?** reale Fälle aus der aktuellen AA-042-Matrix. - correct: **metricscorrectz** - incorrect: ** incorrectz** - false_skip: ** false_skipz** - false_import: ** false_importz** - ambiguous: ** ambiguousu** FALSE_SKIP ist **0**. ## 15. Verbleibende Grenzen - Graphiti `/search` ist weiterhin HTTP 500 und wurde nicht repariert. - Episode-Inventory liefert Provenance-/Content-Hash-Felder, aber keinen vollständigen Episode-Rohtext; zusätzliches Obsidian-Wissen ist deshalb nicht automatisch beweisbar. - Aktive Prozessfähigkeit und historische Nutzung wurden getrennt; `currently_active` wurde nicht aus Dateinamen allein abgeleitet. - Neo4j wurde read-only abgefragt; keine Mutation oder Bereinigung. ## 16. Entscheidung RECONCILIATION LAYER PRODUKTIV BEREIT: **NEIN** Restvoraussetzungen: 1. `/search`-Fehler beheben und mit echten Suchtests verifizieren. 2. Single-Writer-Gateway und Credential-Trennung implementieren. 3. Aktiven E2E-YouTube-Direct-Writer kontrolliert auf Pipeline-Writer umleiten. 4. Importer-Timer-/Service-Pfad vor Aktivierung fail-safe migrieren. 5. `SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE` erst nach echtem Inhaltsvergleich produktiv zulassen. 6. 1766 aktuelle MISSING-Dateien fachlich reviewen; keine automatische Masseneinfuhr. SINGLE-WRITER-MIGRATION PLANUNGSREIF: **JA, als nicht-produktiver Migrationsplan**. SINGLE-WRITER-MIGRATION PRODUKTIV FREIGABEFÄHIG: **NEIN**. ## 17. Artefakte Alle geforderten AA-042-Artefakte liegen unter: `/opt/struktur/knowledge-pipeline-aggregator-staging/` und die ausführbaren Staging-Komponenten unter: `/opt/struktur/obsidian-graphiti-reconciler-staging/` Keine produktiven Daten oder Dienste wurden verändert. Arbeitsauftrag AA-042 erledigt. z AA-042.md)r REPORT_WRITTEN)Yjsoncsvsqlite3 subprocesshashlibreshutilpathlibrrrBASEOUTGRAPHloads read_textAA042roldoldrowsopenf DictReaderaa40aa41ditemsprgetonappenddumpslistfs DictWriterr) writeheader writerowsbymissbucket write_textlensumconnectreqRow row_factorylatestexecute setdefaultdictcloserowswurllib.requesturllib urllib.errorhealthsearch search_bodyrequesturlopenstrrL Exceptionetype__name__Requestreqqerror HTTPErrorcodereaddecodenamesrcexistscopy2c prior_addsmissvgoldenjoinvaluesreportprint)rr=s0pr>rs4444& >?TJFAI`CHdjj$DDOOQRY^_eYfTXlvlplvlvx{}jyjxuxuxwmxhkBEFLBMzA 66<QUU+B/1EE !aee,B&CQ&F((aQUUCY=ZpqHRHLHRHRkiSjfgTUVWV[V[\]^`VaTaSjx}H~T^TXT^T^wC_Drs`abcbgbghijlbm`m_DRWTXwAw{wAwAZY BZ UVCDEFEJEJKLMOEPCPBZ h m wn } X l y z{{ ##))#b')JPa1JR0qQP-11qA "14 lAEE Y&66! % &r*EE ::BX6ee {*+6ee 11&ee ^37FQ01jkjojoqAkBW]pqpupuvGpHXYX]X]^uXvFGFKFKLaFblmlqlqrzl{PQPUPUViPjkll**66ztzz3t9^fegYZefgjkTOSkThTfTegptCuCHPQ8RSGOORW[\mtmxmx]`]l  O P/A1_%d1g./ &KdrZeuDIeiBG[`ratL\CD$hI{IwBjyB^c|\puGpCICMCMNWXZC[C_C_`lmxCyImn0:M`vDvAapyUhAFZqC\ouoyoyzCDFoGoKoKLXYdoeu_ ` +5SghuitWfpLQjoC[mlEIIJ\]_`ddeqr}~N f g (2NbJWP[kzC_hAFZgycvAQst*4PdLYDO_nxTYrwKXj{NYiKL  ''--c"g-NXRSqN^S^^A41Q]]_Q[[QVEWX# b+. >>% /"5S]f. nnU9_2S]kl~\HNOQWQ_Q_QgQghluwQgQx x,D $YJJLc#d(+, ztzz40P+P*[*[*]^Jfpfjfpfprvx\s\rgrgrigj`es}sws}s}CD[[~f~f~hsilrEsEs _Es`efv`w_xEsy^ Es_ ` _ d _ d e n o p _ q ^ r Esr B EsC D C H C H I R S T C U B V EsV f Esg h g l g l m v w x g y f z Esz YEsZ[Z_Z_`xyzZ{Y|Es|kEslmlqlqrZ[\l]k^Es^wEsxyx}x}~PQRxSwTEsTfEsghglglmxyzg{f|Es|NEsOPOTOTU`abOcNdEsd}Es~~C~CDVWX~Y}ZEsZtEsuvuzuz{NOPuQtREsRgEshklmltltlvhwgxEsxQEsRUVWV^V^V`RaQbEsbe$Esf$g$f$k$f$k$l$D%E%F%f$G%e$H%EsH%S-EsT-U-T-Y-T-Y-Z-r-s-t-T-u-S-v-Esv-l0Esm0p0q0{0m0|0l0}0Es}0n3Eso3r3r3h4]4g4r3h4o3h4n3i4Esi4d5Ese5h5h5a6V6`6h5a6e5a6d5b6Esb6f\Esg\l\m\{\g\|\}\K]g\L]f\M]EsM]k]Esl]q]r]@^l]A^B^X^l]Y^k]Z^EsZ^n^Eso^t^u^C_o^D_E_Q_o^R_n^S_EsS_f_Esg_l_m_{_g_|_}_H`g_I`f_J`EsJ`Y`EsZ`_```n`Z`o`p`w`Z`x`Y`y`Esy`bUEscUiUjUpUcUqUbUrUEsrUsVEstVzV{VDWtVEWFWOWtVPWsVQWEsQWdWEseWkWlWuWeWvWwWBXeWCXdWDXEsDXXXEsYX_X`XiXYXjXkXwXYXxXXXyXEsyXOYEsPYVYWY`YPYaYbYpYPYqYOYrYEsrYEZEsFZLZMZVZFZWZXZcZFZdZEZeZEseZBsEskfg6  T+EUVYZeVe8ftK'(offff6 Sj_DBZ PP2egXX-T!W--f-||g#aff+6!&&+BTBTU\]fBgk-T!W--f-s$b'; b"b' b48b9*b>c!Ac. c,c Ac#2c,Ad"b''b1cc),d1d  df*3e##f+ff