+ ʔjjHRt^RIt^RIt^RIHt^RIHt^RIHt^RI H t ^RI H t ]P!]4tRtRR ltR tR R ltR RltRRltRtRtRRltRRltR!RRlltR"RRlltRRltR#RRlltRR ltR#)$uEstado actual do grafo: quem detém o quê hoje, e quem já saiu. Duas regras, uma por família de facto, e a diferença entre elas é a única coisa que aqui importa entender. **Quotas — a fotografia mais recente vale por inteiro.** Os actos de cap table (`SÓCIOS E QUOTAS:`) publicam a estrutura *completa* da sociedade, não o delta. Portanto a cap table actual de uma empresa é exactamente o conjunto de arestas do acto mais recente em que o parser **encontrou** titulares. Não se reconstrói por deltas, e não se faz merge entre actos: é o mesmo princípio já defendido no `mj_company_enrichment.merge_company_fields` para a identidade e a morada, e a propriedade merece-o mais ainda. A elegibilidade é `parse_quotas > 0`, **nunca o título do acto**. Umas "alterações ao contrato" que só mudaram a sede não têm titulares; tratá-las como fotografia vazia apagaria os sócios da empresa em silêncio, e ficaria com aspecto normal. **Cargos — base mais última palavra por par.** A constituição lista o órgão completo e serve de base; cada acto posterior sobrepõe-se apenas ao par `(pessoa, empresa, tipo)` que menciona. Uma designação abre a aresta, uma cessação fecha-a. Um acto em falta corrompe só os pares que esse acto mencionava, nunca o quadro todo — que é a razão para não replicar aqui a lógica de deltas. Nada nesta camada apaga arestas. O histórico é o produto: só o reparse apaga, por `source_act_id`, e reinsere. N)Any)UUID)text) DBAPIError) AsyncSession40P01c0V^8dQhR\R\/#)erroreturn) BaseExceptionbool)formats"&backend/app/services/registry_graph.py __annotate__r*sNN]NtNc@\\VRR4RR4\8H#)origNsqlstate)getattr_IMPASSE)r s&r _e_impasser*s 74. D AX MMrg?clV^8dQhR\R\R\\\3,R,/#)r sessionnipcr Nrstrdictr)rs"rrr3s.$$$S$T#s(^d=R$rc"RFipV'dRMRpVP\RV R24RV/4GRjxL P4P4pV'gK^\ V4u# R#L;5i)uJO acto que define a estrutura actual, em dois degraus. Primeiro o mais recente **elegível**: com titulares, todos com valor e nenhuma quota órfã. Uma quota que a fonte lista sem nomear o titular desqualifica o acto para este efeito — foi o caso do `510036899`, onde usar o acto mais recente fazia a empresa perder o maior sócio (213.684,21 em três titulares passava a 10.685,21 em dois) sem nada parecer errado. Se nenhum for elegível, usa-se o mais recente com quotas e a estrutura fica marcada como incompleta. Mais vale uma estrutura declaradamente parcial do que nenhuma. zAND parse_captable_eligiblea SELECT id::text, COALESCE(parse_effective_date, act_date) AS act_date, parse_capital, parse_captable_complete, parse_quota_orphans, parse_quota_orphan_total, COALESCE(parse_captable_eligible, FALSE) AS eligible FROM registry_acts WHERE nipc = :nipc AND COALESCE(parse_quotas, 0) > 0 z ORDER BY COALESCE(parse_effective_date, act_date) DESC NULLS LAST, first_seen_at DESC LIMIT 1 rN)TF)executermappingsfirstr)rr eligible_onlyclauserows&& r _captable_actr&3s' 2?.R//JKQR   " (*UUW% & 39 -'. ) s6A6A4%A6#A6cHV^8dQhR\R\R\R\/#)r rrusedr )rrr)rs"rrrZs)##L##3#SV#rc"VfR#VP\R4RVRV/4GRjxL P4pV'd V^,#R#L%5i)uData do acto com quotas mais recente que o que foi usado, se houver. É o que permite dizer "estrutura verificada a 2020-05-12, com alterações posteriores em 2023-07-31" em vez de mostrar uma data sozinha e deixar quem lê a assumir que é o presente. Na SELECT max(COALESCE(parse_effective_date, act_date)) FROM registry_acts WHERE nipc = :nipc AND COALESCE(parse_quotas, 0) > 0 AND COALESCE(parse_effective_date, act_date) > CAST(:used AS DATE) rr()r rr")rrr(r%s&&& r_newer_captable_act_dater*Zsa |oo  T64 (   eg3q6"d" s)AAA Ac V^8dQhR\\\3,R\R,R\\R,\R,3,/#)r act identifiedNr )rrrfloattuple)rs"rrrrsC33T#s(^33%PT V[^bVbHbBc3rcVfR#VPR4pVPR4pVe$\V4R,V8d \V4pMVeV\V4,pMVR3#\WA, ^4pYER8dV3#R3#)uSobre o que se calculam as percentagens, e quanto fica por explicar. Por ordem de preferência: 1. **o capital declarado no acto**, quando é maior ou igual à soma das quotas com titular. É o denominador certo: o que falta é capital de alguém que a publicação não nomeia, não capital que não existe; 2. **a soma das quotas com titular mais as órfãs**, quando o capital não aparece no acto mas as quotas anónimas têm valor; 3. **só o que foi identificado**, quando não há mais nada. A guarda do primeiro caso importa: em actos de aumento, o `parse_capital` é por vezes o *montante do aumento* e não o capital final. Aí é menor que a soma das quotas, e usá-lo daria percentagens acima de 100. N parse_capitalparse_quota_orphan_totalg{Gz?)NN)getr.round)r,r-capital orphan_totalbasefaltas&& r _share_baser9rs ggo&G7756LuW~4 BW~  !E,//4 $#Q 'E 4<% 22T 22rz#AND subject_id = CAST(:sid AS UUID)u WITH alcance AS ( SELECT id, subject_id, holder_id, edge_type, role_label, valid_from, valid_to, source_act_id, snapshot_seq FROM registry_edges WHERE edge_type NOT IN ('holds_quota', 'spouse_of') {scope} ), -- Quando a fonte não repete o cargo não há texto para classificar e a aresta -- cai em `other`: é família **desconhecida**, não uma família diferente. Vale -- nos dois sentidos — uma cessação `other` fecha qualquer designação anterior -- do mesmo par, e uma designação `other` é fechada por qualquer cessação -- posterior. Na IGPS PROTEK são as duas pontas do mesmo caso: a renúncia do -- Luís veio sem cargo, e a designação do Carlos também. fecho AS ( SELECT subject_id, holder_id, max(valid_to) FILTER (WHERE edge_type = 'other') AS ate_other, max(valid_to) AS ate_qualquer FROM alcance WHERE valid_to IS NOT NULL GROUP BY subject_id, holder_id ), ranked AS ( SELECT id, subject_id, holder_id, edge_type, valid_from, valid_to, dense_rank() OVER ( PARTITION BY subject_id, holder_id, edge_type ORDER BY valid_from DESC NULLS LAST, (valid_to IS NOT NULL) DESC, source_act_id ) AS rn, -- Dentro do acto vencedor, uma linha por cargo distinto. Sem isto -- as repetições exactas — o mesmo acto que nomeia a mesma pessoa -- duas vezes, com `snapshot_seq` 0 e 1 — ficavam ambas em funções e -- a ficha da empresa mostrava a pessoa a dobrar. row_number() OVER ( PARTITION BY subject_id, holder_id, edge_type, COALESCE(role_label, '') ORDER BY valid_from DESC NULLS LAST, (valid_to IS NOT NULL) DESC, source_act_id, snapshot_seq ) AS rn_cargo FROM alcance ), veredicto AS ( SELECT r.id, (r.rn = 1 AND r.rn_cargo = 1 AND r.valid_to IS NULL AND (f.ate_other IS NULL OR r.valid_from IS NULL OR f.ate_other <= r.valid_from) AND (r.edge_type <> 'other' OR f.ate_qualquer IS NULL OR r.valid_from IS NULL OR f.ate_qualquer <= r.valid_from)) AS actual FROM ranked r LEFT JOIN fecho f ON f.subject_id = r.subject_id AND f.holder_id = r.holder_id ) UPDATE registry_edges e SET is_current = v.actual FROM veredicto v WHERE e.id = v.id AND e.is_current IS DISTINCT FROM v.actual c0V^8dQhR\R\/#r rr rint)rs"rrrs   <  C  rc"VP\\PRR744GRjxL pVP;'g^#L5i)u.O mesmo cálculo de `recompute_current`, mas para toda a base de uma vez. São 276 mil empresas com arestas de cargo: um ciclo a chamar `recompute_current` uma vez por empresa não acabaria em tempo útil. Escreve só as linhas que mudam, portanto correr duas vezes seguidas não faz nada à segunda. rscopeN)r r_ROLES_CURRENT_SQLrrowcount)rresults& rrecompute_rolesrDsD??4(:(A(A(A(K#LM MF ??  aNs2AAA Ac jV^8dQhR\R\R\R\\\3,/#)r r subject_idrr r)rs"rrrs;ww\wsw#wRVWZ\_W_R`wrcR"RRR^RR/pVP\R4RV/4GRjxL P4P4p\ W4GRjxL pV'EdmVP\R4RVR VR ,R VR ,/4GRjxL VP\R 4RV/4GRjxL P4P4pV'dVR,'dV'dVR,^8Hp\ VR,;'g^4^8;'d;\ VR,;'g^4\ VR,4\ ,8pV'g V'dCRVR&\PRW$R,VR,VR,VR,VR ,4V'd"VR,'d\ VR,4MRp V'dVR,^8Xd VR,MRp \WVR ,4GRjxL p \WY4wrVP\R4RVR VR ,R VR ,RV RV RV RV RV RVR,/ 4GRjxL WR&WR&VP\R4R VR ,RV /4GRjxL VR ,VR&V'd VR,M^VR&VP\\P\R74RV/4GRjxL V#ELELELEL]LLLuL5i)z4Recalcula `is_current` de uma entidade. Idempotente.captable_act_idN quota_edgeswipeoutFz SELECT COALESCE(sum(quota_amount), 0) AS total, count(*) AS n FROM registry_edges WHERE subject_id = CAST(:sid AS UUID) AND edge_type = 'holds_quota' AND is_current sida UPDATE registry_edges SET is_current = (source_act_id = CAST(:aid AS UUID)), valid_to = CASE WHEN source_act_id = CAST(:aid AS UUID) THEN NULL ELSE COALESCE(valid_to, CAST(:adate AS DATE)) END WHERE subject_id = CAST(:sid AS UUID) AND edge_type = 'holds_quota' aididadateact_datea SELECT COALESCE(sum(quota_amount), 0) AS total, count(*) AS n, count(DISTINCT currency) AS moedas, min(currency) AS currency FROM registry_edges WHERE subject_id = CAST(:sid AS UUID) AND edge_type = 'holds_quota' AND is_current ntotalTzBcap table de %s encolheu: %s holders/%s -> %s holders/%s (acto %s)moedascurrencyaV UPDATE registry_entities SET captable_act_id = CAST(:aid AS UUID), captable_as_of = CAST(:adate AS DATE), captable_newer_act_date = CAST(:newer AS DATE), captable_total = :total, captable_base = :base, captable_unidentified = :unidentified, captable_currency = :currency, captable_complete = COALESCE(:complete, FALSE), updated_at = now() WHERE id = CAST(:sid AS UUID) newerr7 unidentifiedcompleteparse_captable_completenewer_act_dateaF UPDATE registry_edges e SET quota_share = ROUND( (e.quota_amount / NULLIF(CAST(:base AS NUMERIC), 0))::numeric, 4) WHERE e.source_act_id = CAST(:aid AS UUID) AND e.edge_type = 'holds_quota' AND e.quota_amount IS NOT NULL r?)r rr!r"r&r. WIPEOUT_RATIOloggererrorr*r9rAr_ROLES_SCOPE_ONE)rrFroutbeforer,afterlost_all lost_halfrQrSrTr7rUs&&& rrecompute_currentrbs,dM1iQVWCoo  J   hj g, ,C soo  Js4y'3z? K  //  #   (*UUW & fSkkeSzQHfWo**+a/XX%.--A.vg1G-1WW 9!%I X+vgc E'NTWX\T] */5::eGn%4(-%/Q2F5$D.wc*oNN(4oo    z5#d)Wc*onlHC 9:  !   0!& *Noo  CIvt ,  "%T +0U3ZaM //$188?O8PQTY[eSf ggg Je  -  BO @ "hs)L'L.L'L L'(2L'L$L'?L'L'(L'7L'? L' L'1L',L'4L' 0.02 ORDER BY por_explicar DESC LIMIT :lim limN)r rr!allr)rrxrowsrs&& rwipeout_candidatesr~sgoo  "EN%  (hj+ ," "TDGT ""+ * #s!!A&A$A&A!A&!A&cRV^8dQhR\R\\\3,/#r;)rrrr)rs"rrrs"777$sCx.7rc"VP\R44GRjxL P4P4pV'd \ V4M/pRF]wr4pVP V4;'g^pVP V4;'g^pV'd\ Wv, ^4MRW% R2&K_ \VP R4;'g^R8;'gVP R4;'g^R84VR&V#L5i) u8Sinais de parser morto. O defeito que motivou toda esta fase — uma regex que exigia `NIF/NIPC:` colado ao fim de linha — devolveu zero durante meses sem nada acusar. Daí `parse_quotas` ser INT: "parseei e não encontrei" tem de se distinguir de "nunca parseei", e é a primeira que tem de disparar alarme. a SELECT count(*) FILTER (WHERE body IS NOT NULL) AS com_corpo, count(*) FILTER (WHERE body IS NOT NULL AND length(body) < 400) AS corpos_truncados, count(*) FILTER (WHERE body IS NOT NULL AND parse_version = 0) AS por_parsear, count(*) FILTER (WHERE act_class = 'constituicao' AND body ILIKE '%%QUOTA%%') AS constituicoes, count(*) FILTER (WHERE act_class = 'constituicao' AND body ILIKE '%%QUOTA%%' AND parse_quotas = 0) AS constituicoes_vazias, count(*) FILTER (WHERE act_class IN ('designacao','cessacao') AND body ILIKE '%%NIF/NIPC%%') AS actos_orgaos, count(*) FILTER (WHERE act_class IN ('designacao','cessacao') AND body ILIKE '%%NIF/NIPC%%' AND parse_people = 0) AS orgaos_vazios, count(*) FILTER (WHERE parse_error IS NOT NULL) AS com_nota FROM registry_acts N _taxa_vaziaconstituicao_taxa_vaziag?orgaos_taxa_vaziaalarme)) constituicoesconstituicoes_vazias constituicao) actos_orgaos orgaos_vaziosorgaos)r rr!r"rr3r4r )rr%stats total_key empty_keynamerQemptys& r parser_healthrs oo    ,hj/0DI"E'" d )$)) )$))AFeEM1&=Dk"# ' , - 2 2d: 8 8 II) * / /a4 7E(O LO s9D D 'D  ,D 6D  D 9D  D #D <D c<V^8dQhR\R\R\/#rwr<)rs"rrrs+yGyG,yGsyGSyGrc"VP\R4RV/4GRjxL pVP;'g^pVP\R44GRjxL pVP\R44GRjxL pY4P;'g^,VP;'g^,#LL_L?5i)u,Candidatos a fundir um nó sem NIF com o nó com NIF da mesma pessoa. O problema é da fonte: o bloco de quotas de muitos actos está em prosa e não traz NIF nenhum, enquanto a secção dos órgãos sociais do **mesmo acto** dá o NIF de cada membro. A pessoa fica com dois nós, e o que detém a quota não leva a lado nenhum. Três evidências, por ordem de força: * **`nome+empresa`** (0.95) — nome exacto e as duas pontas ligadas à mesma empresa. É o caso da GARCIA,GARCIA & CA, onde quatro dos cinco sócios sem NIF são administradores com NIF da própria empresa; * **`nome+rua+cp`** (0.90) — nome exacto e a **morada completa** igual. Medido em 5.356 pares: a morada tem 45 caracteres em média e 5.348 deles trazem número de porta ou lote. Não é "a mesma rua", é a mesma casa; * **`nome+cp`** (0.60) — código postal sem rua. Fica sempre para revisão: um código postal chega para um bairro inteiro. As duas primeiras confirmam-se sozinhas, **mas só quando o nó sem NIF tem um único candidato**. Com dois, escolher seria tirar à sorte, e esses continuam a precisar de uma pessoa — são 3 nós em 5.353. **Só nome não gera sugestão.** São 10.323 pares no índice e homónimos foi exactamente o que estragou as relações antigas — uma lista dessas não se revê, ignora-se. a WITH pares AS ( SELECT DISTINCT u.id AS unknown_id, c.id AS candidate_id, CASE WHEN EXISTS ( SELECT 1 FROM registry_edges r1 JOIN registry_edges r2 ON r2.subject_id = r1.subject_id WHERE r1.holder_id = u.id AND r2.holder_id = c.id ) THEN 'nome+empresa' WHEN u.address_norm IS NOT NULL AND u.address_norm = c.address_norm THEN 'nome+rua+cp' WHEN u.codigo_postal IS NOT NULL AND u.codigo_postal = c.codigo_postal THEN 'nome+cp' END AS evidence FROM registry_entities u JOIN registry_entities c ON c.name_norm = u.name_norm AND c.nif IS NOT NULL AND c.kind = 'person' AND c.id <> u.id WHERE u.nif IS NULL AND u.merged_into IS NULL AND length(u.name_norm) >= 10 ), contadas AS ( SELECT p.*, count(*) OVER (PARTITION BY p.unknown_id) AS candidatos FROM pares p WHERE p.evidence IS NOT NULL ) INSERT INTO registry_identity_links (unknown_id, candidate_id, evidence, score, confirmed_at) SELECT unknown_id, candidate_id, evidence, CASE evidence WHEN 'nome+empresa' THEN 0.95 WHEN 'nome+rua+cp' THEN 0.90 ELSE 0.60 END, CASE WHEN candidatos = 1 AND evidence IN ('nome+empresa', 'nome+rua+cp') THEN now() END FROM contadas LIMIT :lim ON CONFLICT (unknown_id, candidate_id) DO NOTHING rzNa- UPDATE registry_identity_links l SET evidence = 'nome+empresa', score = 0.95, confirmed_at = now() WHERE l.confirmed_at IS NULL AND l.rejected_at IS NULL AND l.evidence <> 'nome+empresa' AND EXISTS ( SELECT 1 FROM registry_edges r1 JOIN registry_edges r2 ON r2.subject_id = r1.subject_id WHERE r1.holder_id = l.unknown_id AND r2.holder_id = l.candidate_id ) a UPDATE registry_identity_links l SET confirmed_at = now() WHERE l.confirmed_at IS NULL AND l.rejected_at IS NULL AND l.evidence = 'nome+rua+cp' AND NOT EXISTS ( SELECT 1 FROM registry_identity_links o WHERE o.unknown_id = l.unknown_id AND o.id <> l.id AND o.rejected_at IS NULL ) )r rrB)rrxrCrQ promovidosmoradas&& rsuggest_identity_linksrs<?? ( * V Y--F\ OO qE    J,??   F" '',,1 -1E1EA FFw-h,sD!B?B9B? B?B;!B?=B=>B?B?0 B?;B?=B?cRV^8dQhR\R\\\3,/#r;)rrrr=)rs"rrrws&ddd$sCx.drc"R^R^R^/p\4pVP\R44GRjxL P4pVFwrEVP\R4RVRV/4GRjxL pTR;;,VP;'g^, uu&VP\R 4RVRV/4GRjxL pTR;;,VP;'g^, uu&VP\R 4RVRV/4GRjxL VR;;,^, uu&VP V4K VR,'doVP\R 4R \ V4/4GRjxL P4pVFwr\W V 4GRjxL K \V4GRjxL \PR V4V#ELELgELLLgL@L+5i)u3Aponta as arestas dos nós absorvidos para a identidade confirmada. Não apaga nada. O nó sem NIF continua a existir com o nome que o acto publicou — é um facto da fonte, e é o que permite desfazer — mas as arestas dele passam a sair do nó com NIF, que é a mesma pessoa. É isto que liga a quota de 235.000 € da Teresa Maria ao resto do grafo em vez de a deixar num beco. Uma aresta que ao ser reapontada colidisse com uma já existente (o mesmo acto, o mesmo par, o mesmo tipo) é apagada em vez de reapontada: seria a mesma afirmação duas vezes. nosarestas duplicadasaP SELECT l.unknown_id::text, l.candidate_id::text FROM registry_identity_links l JOIN registry_entities u ON u.id = l.unknown_id WHERE l.confirmed_at IS NOT NULL AND l.rejected_at IS NULL AND u.merged_into IS NULL Na DELETE FROM registry_edges e WHERE e.holder_id = CAST(:u AS UUID) AND EXISTS ( SELECT 1 FROM registry_edges o WHERE o.source_act_id = e.source_act_id AND o.holder_id = CAST(:c AS UUID) AND o.subject_id = e.subject_id AND o.edge_type = e.edge_type AND o.snapshot_seq = e.snapshot_seq ) ucz UPDATE registry_edges SET holder_id = CAST(:c AS UUID) WHERE holder_id = CAST(:u AS UUID) AND subject_id <> CAST(:c AS UUID) zkUPDATE registry_entities SET merged_into = CAST(:c AS UUID), updated_at = now() WHERE id = CAST(:u AS UUID)a- SELECT DISTINCT s.id::text, s.nif FROM registry_edges r JOIN registry_entities s ON s.id = r.subject_id WHERE r.holder_id = ANY(CAST(:ids AS UUID[])) AND s.nif IS NOT NULL rgufusões de identidade: %s) setr rr{rBaddsortedrbrurZinfo) rr] absorventespares unknown_id candidate_iddupmoved afectadasrFrs & rapply_identity_mergesrws !Y< 3CEKoo     ce %* OO   *c< 0  " LS\\..Q.oo  *c< 0    I%..--A-oo B *c< 0     E a  %Q%*T 5zz//{+,   #% !* J#G> > >!*g&&& KK+S1 Ji  &   *  ?&s0G#G;G#.G/ G#.G#>G? G# .G#Grs4%/   8 $ N  $N#03Z9:z  wt8 v#D7tyGxdr