jnHdZddlmZddlZddlZddlZddlZddlZddlZddl Z ddl Z ddl m Z mZddlmZmZddlmZedZedZed Zed Zed Zd Zd dhZddhZddhZhdZej:dej<Zej:dZ dZ!dZ"dZ#dZ$d%dZ%dZ&dZ'd&dZ(dZ)dZ*d Z+d!Z,d"Z-d#Z.e/d$k(re.yy)'zBAA-041 read-only staging reconciler. No productive writes/imports.) annotationsN)Counter defaultdict)datetimetimezone)Pathz2/opt/struktur/obsidian-graphiti-reconciler-stagingz/opt/obsidian-vaultzB/opt/struktur/obsidian-graphiti-import/obsidian_graphiti_import.dbz+/opt/struktur/youtube-research/knowledge.dbz_/opt/struktur/knowledge-pipeline-aggregator-staging/obsidian-graphiti-reconciliation-AA040.jsonzhttp://127.0.0.1:8644z.gitz .obsidiancachez _pipeline.logz no-graphitizexclude-from-graphiti> 07-Archiv 00-Staging AG-CONTEXT LP-CONTEXT SYNC-LP-AG 03-Projekte AG-SPECIFIC LP-SPECIFIC06-Daily-NotesYouTube ResearchYouTube-Researchdraftarchivbackuparchiveprivatevorlagetemplate 05_SESSIONSzD(?:youtube\.com/(?:watch\?v=|shorts/)|youtu\.be/)([A-Za-z0-9_-]{6,})z6(?>!$..0 0r#c.|jddjddjdd}tjdd|j j }t j|jjS)Nutf-8replacez   z\s+ ) decoder-resubstriplowerr&r'encoder()r)ss r$normr8snhhwy!))&6>>tDIAffVC  "((*A >>!((* % / / 11r#cNtjdt|zdzdS)Nzfile:z?mode=roT)uri)sqlite3connectstr)paths r$dbr?s W__WSY%6z%AdKKr#ctj|_|j||Dcgc] }t |c}Scc}wr)r;Row row_factoryexecutedict)cqargsxs r$rowsrIs/++AM !D8I&J1tAw&JJ&Js?cV|sy|jjd}tj|}|rd|jdzSt j dd|tj }t j dd|jd }|jS) Nz`<> https://www.youtube.com/watch?v=z ^https?://zhttps://)flagsz[?#].*$/) r4 YOUTUBE_REsearchgroupr2r3Irstripr5)ums r$ canonical_urlrWs BggiooeAA21771:= =ff]:abdd3AffZ1$$S)A 779r#c\tj|xsd}|r|jdSy)NrKrM)rPrQrR)textrVs r$ youtube_idrZ's) #A  r#ct|}|rd|zStjd|xsd}|rdt|dzSd|zS)Nyoutube:zhttps?://[^\s`)>]+rKzurl:rz obsidian:)rZr2findallrW)rYr> source_typeyurlss r$source_identityra+sNA 1  )$*" 5D 6-Q00 0 t r#c@ tjjtdzd5}t j |j cdddS#1swYyxYw#t$r1}gt|jdzt|zdcYd}~Sd}~wwxYw)N/episodes/inventoryZ)timeout: )episodeserror) urllibrequesturlopenGRAPHITIjsonloadsread Exceptiontype__name__r=)res r$graphiti_inventoryru2s{V ^^ # #H-B$B2 # NoRS[_[e[efgflflfn[oooo URQ8H8H8McRSf8T!UUUs:(A##A A#A A# A## B,&BBBct|tr&djd|jDSt|trdjd|DSt |S)Nr0c32K|]}t|ywrflatten.0vs r$ zflatten..7s*J!71:*Jc32K|]}t|ywrrxrzs r$r}zflatten..8s*A!71:*Ar~) isinstancerDjoinvalueslistr=)rHs r$ryry6sM!D#((*Jqxxz*J"JJ!D#((*Aq*A"AA q6Mr#c `g}|jdgD]}t|}ttj |}|j t |jddt |jddt |jdd|t|d|S)NrguuidrKnamesource_description)rrrrY youtube_ids)getrysetrPr]appendr=sorted)invoutrtrYidss r$ episode_infor:s C WWZ #o QZ  ""4( ) 3quuVB/0AEE&.Fs )a1 > )s)TECHNICAL_EXCLUDEztechnical metadata directoryc3tK|]0}tD]%}|j|jk('2ywr) TECH_PATTERNSr5)r{rrHs r$r}z%classify_exclusion..Gs. FA F11779aggi  F  Fs68)rztechnical cache/log patternc3^K|]$}|jjv&ywr)r5)r{rHrs r$r}z%classify_exclusion..Is"8!qwwyAGGI%8s*-)EXPLICIT_OPT_OUTzexplicit no-graphiti markerz1legacy/fachlicher pattern not used as exclusion: ,)NrK) r-splitr5anyrstemEXPLICIT FACH_PATTERNSr)relpartslowrHmatchesrs @r$classify_exclusionrCs ++d3  % %c *E C )5 ))2d F FFPA DINN# #r 8x8 8Aqr% :1c)9Q :G :dNsxxX_O````  ;s C1Cc tjtj}|j dij dgDcic]}|j d|}}||fScc}w#t $riifcYSwxYw)Nobsidianwithout_graphiti relative_path)rmrnAA40 read_textrrp)rHrsolds r$load_oldrNsy" 4>>#$a-.UU:b-A-E-EFXY[-\ ]155 !! # ]c ] sUl ^ !BrE\!s$A A1 A,&A1,A11 BBc<tjddt}t\}}t t }t t }t|d}t|d}t|d}t|d}|D cic]} | d|  } } tt} |D])} | | jdxsd j| +tt} |D])} | | jd xsd j| +t}t|}tt}|D] }|d D]}||j|"g}tt}tt}ttj!d D]f}|j#tj%}|j'}|j)d d}t+|}t-|}t/||}t1|}|}t3|\}}|r|j|gng} | j|ix}!}"| j|g}#| j|g}$t5|jdijdt6r2|jdijdij|ini}%|r |}&d}'d}(d})n||j|||j||%jddk(xs|%jddk(}*|*r d}&d}'d}(d})n| r,t9|dk\rdnd}&|&j;drdnd}'d }(d!})ns|!r|!jd"|k(r d}&d}'d}(d#})nT|!r.|!jd"r|!jd"|k7r d$}&d}'d}(d%})n$|%jdd&vr d'}&d(}'d }(d)})nd*}&d+}'d }(d,})id-t+|j=dd.d/|d0|j>d1|d2|d3t9|d4tAjB|jEjFtHjJjMd5|rd6ndd7|d8|d9|rd:|znd d;|rd|!jd"d d?|!rd@tO|!jdAzn#|$r dBtO|$dCjdAznd dD| s|%jddk(rdEndFdG|)dH| r| dCdIn|!jdHd idJt9| xs|!jdHrdKndCdL|%jdMd dNtQ|%jdNxsdCdOd dP| r|nd dQ*s|!r|!jd"|k(rdRn| rdSndTdU|dV|!jdWd dX|!jdXd dY|'dZ|xs| rd[nd d\|(d]|&d^|xs|)d_|d`z|zda|!s|$s| rdEndb}+|j|+i|D]x} | d]dcvr)t9|| d2dKkDrdd| d]<d(| dY<d| d\<de| d^<3| d]dcvs;t9|| d7dKkDsP| d7jSdfsedg| d]<d(| dY<d | d\<dh| d^<z|rt|dCng},tdiz jUdjd d k5}-tWjX|-|,l}.|.j[|.j]|dddt_dm|D<|dtOttOt tOt t`dnztOtbdot7<|t7t_dp|Dt7t_dq|Dt9||jdrd teds|Ddtted|3ztO|dd6tO|jvrd6nddSd|5vsd|5jvrdRnddSddRdd |2D6cic]}6|6d|6 }2}6tdz }7|7jUdjd d k5}-|2r9ttt|2jgjndg}8tWjX|-|8l}.|.j[|.j]|2jgddd|D cgc] } | d5d6k(s | c} dd}9tdz jitkjl|9dxdyzd {dj.}s9AA&'9src)vault import_db knowledge_dbrubaselinec3@K|]}|jddyw)graphiti_statusrKNr)r{rFs r$r}zmain..~sELxmnMNMRMRSdegMhLxsc 3K|]H}dj|jdd|jdd|jddgJyw)|artifact_statusrKquality_statusrN)rrrs r$r}zmain..~sXE|}Y\YaYacdchchiz{}c~@DDEUVXYZ[Z_Z_`qrtZubvYwXEsAArhc38K|]}t|dyw)rN)bool)r{rts r$r}zmain..~s>mR I J nrstuB sC nD mR s) episode_countinventory_erroryoutube_episode_count)sum_equals_markdownmarkdown_totalclassified_totalnot_a_productive_import) probe_time_utc read_onlysourcessummaryrI queue_statusregistry_statusgraphiti integrityz+obsidian-graphiti-reconciliation-AA041.jsonF) ensure_asciiindent)r)z/opt/struktur/graphitiz&/opt/struktur/obsidian-graphiti-importz/opt/struktur/youtube-researchz/opt/struktur/runnersz/etc/systemd/systemzL(?:/episodes|graphiti_url|GRAPHITI|graphiti-import|graphiti_import|Graphiti)*)z.pyz.shz.servicez.timerz.ymlz.yamlignore)errorszdiscovered via z@systemd/timer/manual/importer/API (needs ownership confirmation)zobsidian/variousz /episodes graphiti_url potentialzonly pipeline_writerz direct bypass or duplicate write) writer_nameservice code_pathtriggerr^writes_to_obsidian_firstdirect_graphiti_writecurrently_active target_statemigration_requiredriskr(zgraphiti-writers-AA041.csvr&z!youtube-representative-AA041.jsonr.c3NK|]}d|dj|dyw)z- rfrNr)r{krs r$r}zmain..s0par!Bw{{1Q/01ps"%) rrrrrrrrrruM# AA-041 – Reconciliation-/Single-Writer-Zielarchitektur Prüfzeitpunkt: `uL` (UTC). ## A Executive Summary AA-041 ist ein read-only Staging-Lauf. Der fachliche Eingang wird künftig Obsidian; der Import darf ausschließlich über einen logischen Pipeline-Writer erfolgen. Die Implementierung berechnet Aktionen, führt aber keinen Import und keine Mutation aus. ## B Ist-Architektur und Quellen - Vault: `u#`; vollständiger Markdown-Lauf: **z** Dateien. - Importer-DB: `z%`, Tabelle `files`; Queue/Registry: `zY`, Tabellen `graphiti_import_queue`, `source_processing_registry`. - Graphiti-Inventar: `uk/episodes/inventory` (GET-only). Neo4j wurde für diesen Lauf nicht mutiert; direkte Passwortabfrage war nicht erfolgreich, daher sind Neo4j-Zahlen aus AA-040 historische Baseline und nicht live verifiziert. - AA-040 bleibt historische Baseline, nicht Live-Status. ## C/D Graphiti-Writer Die vollständige Pfadmatrix steht in `graphiti-writers-AA041.csv`. Gefundene direkte/potenzielle Schreiber umfassen Obsidian-Importer, allgemeine Graphiti-Importskripte, YouTube-Graphiti-Queue/-Batch-Importer, Runner, Service- und Containerpfade. Für jeden Eintrag sind Aktivität und letzte Nutzung separat zu verifizieren; `currently_active=unknown` ist bewusst kein Aktivitätsnachweis. ## E YouTube-Writer Die 1.785 YouTube-Episoden aus AA-040 sind **historischer Teilstand**. Der Erzeuger ist anhand der vorhandenen Queue-/Batch-/Graphiti-Codepfade plausibel als YouTube-Graphiti-Queue/Batch-Importer dokumentiert; eine ID-genaue historische Kausalität ist aus dem read-only Staging-Lauf nicht vollständig nachgewiesen. Die aktuelle Graphiti-Inventory-Zahl ist separat in `obsidian-graphiti-reconciliation-AA041.json`. ## F–K Zielarchitektur / Single Writer `Quelle → kanonischer ObsidianRecord → ReconciliationRecord → Importentscheidung → Business-/Wissenspipeline → pipeline_writer → Graphiti → Neo4j`. `source_identity` priorisiert externe ID, kanonische URL, Provenance, Graphiti-ID, kanonischen Pfad, Hash. `import_identity = source_identity + ':' + normalized_content_sha256`. Der Writer benötigt Idempotenzprüfung, Provenance, Version, Auditlog, Fail-Stop und begrenzte Retry-Regel. Technische Durchsetzung: Graphiti loopback/internal, separater Writer-Service-Account/Credential-Pfad, Gateway mit Schreibroute nur für Writer, read-only Reader-Routen, Netzwerkpolicy, Docker-Netzwerkregeln und Auditlogs. Noch nicht produktiv umgesetzt. ## L Vollständige Klassifikation u Summenprüfung: `z == u ` → **{'JA' if sum(summary.values())==len(current) else 'NEIN'}**. Jede aktuelle Markdown-Datei hat exakt einen Hauptstatus; fachliche Ordner wurden nicht pauschal ausgeschlossen. ## W/X Cross-Source Die frühere AA-040-Klasse `NOT_IN_GRAPHITI` wird nicht als endgültiges Fehlen übernommen. YouTube-IDs werden canonicalisiert und gegen Graphiti-Inventory abgeglichen. Die belastbare aktuelle Auswertung steht in der JSON-Matrix: `SOURCE_ALREADY_PRESENT` plus `SOURCE_PRESENT_OBSIDIAN_ADDS_KNOWLEDGE` sind cross-source Treffer; `MISSING` sind nicht nachgewiesen. Ohne inhaltliche Episodenpayloads bleibt Content-Äquivalenz bei Cross-Source-Treffern teilweise `unknown`; keine automatische Skip-Entscheidung daraus. ## Y YouTube-Stichprobe 20 Fälle (soweit vorhanden) liegen in `youtube-representative-AA041.json`; Felder für Video-ID, URL, Episode, Obsidian-Datei, Source Identity, Content-Äquivalenz, Zusatzwissen, Klassifikation und Aktion sind enthalten. ## Z Dubletten AA-040: 928 aktuelle `DUPLICATE_OR_INCONSISTENT` und 929 Pfadgruppen sind **historische Teilstände**. AA-041 markiert nur belastbare identische normalisierte Inhalte bzw. kollidierende stabile YouTube-Identitäten als `DUPLICATE`/`AMBIGUOUS`; keine Löschung oder automatische Zusammenführung. Restursachen: `Ursache noch nicht nachgewiesen`. ## AA–AC Denylist Technische/explizite Marker bleiben zulässig. Fachliche Ordnerpatterns wie YouTube-Research, Projekte, Daily Notes, Archiv und Sessions dürfen nach Einführung des Reconciliation-Layers nicht mehr als harte Wissensausschlüsse dienen; sie sind Legacy-/Review-Regeln. Keine produktive Regel wurde geändert. ## AD–AF Migration, Deployment, Rollback Siehe `migration-plan-AA041.md`, `deployment-plan-AA041.md`, `rollback-plan-AA041.md`. Phasen: beobachten → Writer inventarisieren → Quellen nach Obsidian → Pipeline-Writer → Direct Writer sperren → kontrollierte Importe → Provenance-Lücken → Review-Dubletten → Monitoring. Jede Phase ist backup-, fail-stop- und rollback-gated. ## AG Tests / AH Risiken / AI Betreiberfreigaben Unit-/Mock-Tests decken 25 verlangte Fälle ab. Risiken: unvollständige Neo4j-Live-Verbindung, historische Writer-Kausalität, Provenance-Lücken, Content-Vergleich ohne Episode-Rohpayload, kollidierende Pfade und bestehende Direct Writes. Betreiberfreigabe ist erforderlich für jede produktive Code-/Config-/Service-/Queue-/Datenänderung. ## AJ Sicherheit Keine produktiven Daten, Queue-Status, Graphiti-/Neo4j-Daten, Dienste, Timer, Cronjobs, Konfigurationen oder Denylists verändert. Keine Recovery, kein Import, keine Episode erzeugt/gelöscht. ## Entscheidungsmatrix - RECONCILIATION LAYER PRODUKTIV BEREIT: **NEIN** – Staging-only; Review und produktiver Pilot fehlen. - SINGLE-WRITER-ARCHITEKTUR PRODUKTIV BEREIT: **NEIN** – Writer-Gateway/Credentials/Audit noch nicht eingeführt. - DIRECT-WRITER-MIGRATION BEREIT: **NEIN** – vollständige Aktivitäts-/Kausalitätsbeweise und Betreiberfreigabe fehlen. - AUTOMATISCHER IMPORT FEHLENDER OBSIDIAN-DATEN BEREIT: **NEIN** – Review, Provenance und kontrollierter Pilot fehlen. - DUBLETTEN-BEREINIGUNG BEREIT: **NEIN** – 928/929 Fälle benötigen Review; keine automatische Mutation. Arbeitsauftrag AA-041 erledigt. z AA-041.md)proberIr episodes_livewriterssum_okbase)r)FBASEmkdirrrr?IMPDBKDBrIrrrrrurrVAULTrglob relative_toas_posix read_bytesr1r*r8rarZrrrDlenendswithr6rr fromtimestampstatst_mtimerr r!r=int startswithopencsv DictWriter writeheader writerowsrrlrsumr write_textrmdumpsr2compilerSrexistsis_filesuffixrrQr5nextiterkeysrprint)=r3 old_bundle old_missingicr2impqueueregvidsrsimp_by q_by_pathrF reg_by_pathrepseps_by_yrtr_current hash_groups sid_groupsrrr)rYcsnssidextexre_matchip imp_by_pathqsrsrclsactionconfgtypesame_oldrowfieldsfrdatatargetspatternsr5rootrpr7rHwffsytcountsreportrs= @r$mainrUsJJtTJ*#%EPXPZ9OK %yBBsG! R%&Cd15Z.[aefgiSbT]`[_`abx[yVZ*- .QAo q .F .+d:K D9QUU?39r:AA!DDD!K DQUU?39r:AA!DDC,s"3ck$>OX 65! 2 21 556 GK- +d:Kz EKK' ( --  ' ' )cQ\\^1!((7S\B]Tbefgbh_amqrsmtjl{JKOPS{TvyXbcgXhVWnojm"3'ibqa1CbZZB''bIMM#b,AkooVYZ\F]2IST^TbTbcmnpTqTuTuvUABFJG*..B ' + +Ib 9 = =c" EMOc SOV&T %Bs#Z_%;%;C%@/0/ArSWWMjEkmrEr S6F4F_ :=d)S.6Nf#FIFRFRS^F_pBekhnrzmqBX|A BFF>*B.IfvSYdam[` BFF>*rvvn/Er/Iy3asZ`{AuyI]CH WW+ ,0] ]cu_bGw}NVIM^wX]c$6VX[u C=SZZ\*3B/ C0I# CjYZY_Y_ C`pqs CuPQS CT`adefag ChopxpFpFGHGMGMGOGXGXYaYeYepfpppppr Cs@NOAJU_ C`qru CvJKN CO^HI`BCD`DOQ CSd{|ewBR CShikioiop~AiB CCOnpPXY\]_]c]cdh]iYjPj[ ] wB C F G I J K G L G P G P Q U G V C W wW c e Cg ~ L S W Z W ^ W ^ _ u W v x G W G  H M U CV k l q Cr I ` g J Q R S J T U [ J \ m o m s m s t K L N m O CP h i l m t i u i f A E EF] ^z { de Cg~BFFG]^`a Cb{|@C@G@GHa@b@gfg|h Ci@AC CD^fm_bsu CvJU]bdikioiop~iACiCLQX_KTei Ck@E CFXY[Y_Y_`mnpYq CrDEGEKEKL^_aEb Ccwx~ CNOUO_OVZK\^ C`lmq CrBCF CGOPVP_Z_ C`qruvyryz|r| C}P_aegkrQZyB Cc nnS%(q  $L LQTU`abc~aVARBCDRD' +?)@[a1\?phcdemcn  &N NSVWabcdubvWwSxyzSz@ABS@T@_@_`j@k' +?)@[c1\?rqefgoep q '4 BF ; ; A A#bZa A bSfg qF+aQ]]_akk'>RS 99 9G TSZ\_`e\fvyz}v~U]^sUsBCGH=ITXY`Taip@DELLxrwLxEx@yLPQXXEADXEQELFcfgjck~A~E~EFMNP~QjmmR N Q mR jR RS w z { B { I { I { K w L N Q R Y N Z w Z l o p w l x L O P W P ^ P ^ P ` L a | @ ` A B D 77CCDJJtafnoDp{BCC _G ZZghjhlhl mHwyovO db YY[xx}O! ))+!((&VVkkk*A ??1  qvv8I$8N[^_`[amoKTX[\]X^XdXdXfKf~Gl~ZcEPTUEUYgklkrkrktYt|AzEYbrH^ckMN O OO(/ /!Q{^A  /G /D9U4U R 1dQ6=d4()*//1 2M?bVYVdVdefrtVuTUvwwDwDwFGHGRGRSZSaSaScGdd:aa . 9:3B?B --99$**RUZbc:dnu9v 99prsH"FFFF,' >? ! OP 67 kl  +  ' / 0B 2::]^`^b^b c bjjRS 802LKV "BTF Zr#