+ qj>GRt^RIt^RIt^RIt^RIt^RIHtHt^RIHt^RI H t ^RI H t ^RI Ht^RIHt^RIHtHt^R IHt^R IHtHt^R IHtHtHt]P:!]4t!R R ] 4t!RRlt"RRlt#R^RRR^/RRllt$RRRRR^RR/RRllt%RRlt&R*RRllt'R+R R!llt(^t)R,R"R#llt*R$RR%R/R&R'llt+R-R(R)llt,R#).urRecolha do registo comercial: histórico por NIPC e expansão pelo grafo. Duas vias, com objectivos diferentes e que se complementam: * **Por NIPC** (aqui). O `publications_for_nif` do IRN é ilimitado no tempo, portanto dá o **histórico completo** de uma entidade — incluindo a constituição de 2008 que nenhum varrimento dos últimos anos encontraria. É a via das entidades que nos interessam: as monitorizadas e, em BFS, cada empresa descoberta como titular ou participada. * **Nacional, dia a dia** (`registry_sweep.py`). A única forma de responder à pergunta inversa — "em que outras empresas é que esta pessoa é sócia" — porque o IRN **não** permite pesquisar pelo NIF de uma pessoa: com o NIF de um indivíduo devolve zero, medido. As pessoas nunca se expandem por NIPC, por essa mesma razão. O BFS segue apenas sócios que sejam entidades. N)datedatetime)Any)text) AsyncSession)settings) RateLimiter)IrnVersionChanged MjIrnClient) html_to_text) parse_act wants_content) apply_parseenqueue_entity upsert_actc]tRt^&tRtRtR#) RateLimiteduDO IRN respondeu 429/403. Para o pool inteiro, não só quem apanhou.N)__name__ __module__ __qualname____firstlineno____doc____static_attributes__rapp/services/registry_sync.pyrr&sNrrcLV^8dQhR\R,R\R,/#)valueNreturn)strr)formats"r __annotate__r"*s"sTzdTkrcV'gR#\P!VR,R4P4# \dR#i;i)N:N Nz%Y-%m-%d)rstrptimer ValueError)rs&r _parse_dater'*s?   sZ8==?? s+8 AAcV^8dQhR\R\R\R\R\R\\\ 3,R\\\ 3,R,/#) rsessionclientlimiteract_idnipcpubrN)rr rr dictrint)r!s"rr"r"3sc00 0 00  0  0 c3h0 #s(^d0rc R"VP^4GRjxL VPV4GRjxL pV'd \V4MRpV'g(VP\ R4RV/4GRjxL R#\ VP R44pVP\ R4RVRVR\P!VP44P4/4GRjxL \WuP R44p \WWIVR 7GRjxL #ELLLL;L 5i) uCAbre o conteúdo de um acto e grava nós e arestas. 3 pedidos HTTP.Nz UPDATE registry_acts SET content_status = 'empty', content_attempts = content_attempts + 1, content_fetched_at = now() WHERE id = CAST(:aid AS UUID) aidDatea UPDATE registry_acts SET body = :body, body_sha256 = :sha, body_source = 'irn', body_truncated = FALSE, content_status = 'fetched', content_fetched_at = now(), content_attempts = content_attempts + 1, parse_error = NULL WHERE id = CAST(:aid AS UUID) bodyshaAct_Fact)r,r-parsedact_date) acquire content_forr executerr'gethashlibsha256encode hexdigestr r) r)r*r+r,r-r.htmlr4r8r7s &&&$$$ r_fetch_and_parserB3s //! ##C( (D!%< 4D oo  FO  3776?+H //    eW^^DKKM-J-T-T-VW "tWWZ0 1FT8 I ( $ saD'DD'D D'D' D'2D!3A4D''D#(/D'D%D'D'!D'#D'%D'priority fetch_contentTdepthcV^8dQhR\R\R\R\R\R\ R\R\ \\3,/#) rr)r*r+r-rCrDrEr)rr rr r0boolr/)r!s"rr"r"fs`        #s(^rc "VP4GRjxL VPV4GRjxL p\WVWWER7GRjxL #L4LL5i)u Histórico completo de um NIPC, com conteúdo dos actos que trazem pessoas. Só se abre o conteúdo do que ainda não temos: a listagem é uma chamada, o conteúdo são três. Prestações de contas — mais de metade do volume de uma entidade — nunca se abrem. N)r*r+rCrD)r9publications_for_nifingest_publications)r)r*r+r-rCrDrEpubss&&&&$$$ r sync_nipcrLfsT // ,,T2 2D$t  2 s1AA AA AAA AAr*r+cV^8dQhR\R\R\\\\3,,R\ R,R\ R,R\R\R \\\3,/#) rr)r-rKr*Nr+rCrDr) rr listr/rr rr0rG)r!s"rr"r"sYY Y Y tCH~ Y $  Y 4  YYY #s(^Yrc"R\V4R^R^R^R^/pV'g(VP\R4RV/4GRjxL V#VP\R 4RV/4GRjxL P4Uu0uFpV^,'gKV^,kK p pVEFcp \ V P R 44p \ VVV V P R 4\V P R 44V P R 4V V P R4V P R4VR7 GRjxL wrV 'gKVR;;,\V 4, uu&V'd VeVfKW9dK\V P R 44'gK\WWLWR7GRjxL pVR;;,^, uu&V'gEK+VR;;,VR,, uu&VR;;,VR,, uu&EKf VP\R4RV/4GRjxL V#ELELuupiELLL5i)uGrava a listagem de um NIPC. Não vai à rede se `fetch_content` for falso. Está separada do `sync_nipc` porque a listagem passou a poder chegar de duas origens: o CT, que a vai buscar ele próprio, e o trabalhador remoto, que a entrega já buscada. O que é escasso no IRN é o IP, não o processador — mas o que escreve na base de dados tem de ser um só, senão duas versões da mesma regra divergem em silêncio na primeira alteração. É a mesma razão pela qual o parser nunca saiu daqui. listadosnovos conteudosquotascargosz]UPDATE registry_entities SET history_fetched_at = now(), updated_at = now() WHERE nif = :nipcr-NzTSELECT irn_publication_id FROM registry_acts WHERE nipc = :nipc AND body IS NOT NULLIdr6r3EntityDistrictCouncil) r-irn_idact_typer8 entity_namelistingdistrictcouncilrC)r,r-r.officersz UPDATE registry_entities SET history_fetched_at = now(), updated_at = now() WHERE nif = :nipc ) lenr;rallr r<rr'r0r rB)r)r-rKr*r+rCrDstatsr known_bodiesr.pub_idr,is_newcountss&&&$$$$ rrJrJs:&TGQ Q!XWX YE oo 8 TN     //?   #% A Q44 ! SWWT]#) WWZ( 1)WWZ(GGI&    g#f+%'/   ! SWWZ011 ' W$   ka 6 (Ovh/ /O (Ovj1 1OAD //     LE     0 st>IH2&I'H5(I<H8 H8BI-H=.A;I)I*IAI+I,I5I8IIIc0V^8dQhR\R\/#)rr)rrr0)r!s"rr"r"s,3rc "VP\R44GRjxL P4p^pVF<wr4T\\ WP 4RV 2^R7GRjxL 4, pK> V#LXL5i)ulPõe na fila **todas** as empresas monitorizadas, os cinco tipos. O `run_mj_irn` corre só sobre internal/competitor/client, e é por isso que as 7 de análise têm `registry_fetched_at` a NULL — zero informação de registo — e que as 17 `related` (descobertas como sócias) nunca são sincronizadas, o que trava o grafo no primeiro hop. Aqui entram as 205. aY SELECT nif, monitoring_type FROM companies WHERE active = TRUE AND length(trim(nif)) = 9 ORDER BY CASE monitoring_type WHEN 'internal' THEN 0 WHEN 'client' THEN 1 WHEN 'competitor' THEN 2 WHEN 'analysis' THEN 3 ELSE 4 END Nz monitored:)nifreasonrE)r;rrar0rstrip)r)rowsaddedrkmtypes& rseed_monitoredrqsoo     ce  E  >'yy{ZX]W^K_ghiijj L js"A=A9AA=$A; %A=;A=c<V^8dQhR\R\R\/#)rr)rErri)r!s"rr"r"s!  l 3 s rc"VP\R4RV/4GRjxL pVP;'g^#L5i)uPõe na fila **todas** as entidades colectivas do país sem histórico próprio. A listagem diária do IRN não é um índice completo: numa amostra de 30 empresas, **28 tinham actos que nunca vimos** — 379 no total, 83 deles de estrutura. A JOIN THE MOMENT tinha 4 actos no nosso índice e 30 na fonte. Entra a `depth = 9`, muito acima dos 0–3 da vizinhança, porque o `take_from_queue` ordena por `depth, requested_at`: as monitorizadas e os seus sócios continuam a ser servidos primeiro e o resto do país vem atrás sem lhes passar à frente. O `DO NOTHING` preserva quem já lá esteja mais perto. Uma só instrução, não 507 mil chamadas ao `enqueue_entity`. a INSERT INTO registry_entity_fetch (nif, depth, reason) SELECT e.nif, :depth, 'nacional' FROM registry_entities e WHERE e.merged_into IS NULL AND e.nif IS NOT NULL AND e.kind IN ('company', 'public', 'foreign') AND e.history_fetched_at IS NULL ON CONFLICT (nif) DO NOTHING rEN)r;rrowcount)r)rEresults&& rseed_all_companiesrvsJ??    %F ??  as!A>AAcJV^8dQhR\R\R,R\/#)rr) max_depthNrri)r!s"rr"r"s&22 2t2_b2rc @"VeTM\PpVP\R4RV/4GRjxL P 4p^pVFDwrEpT\ \ WP4R\ V4VR7GRjxL 4, pKF V#L`L5i)u"Alarga a fila às empresas ligadas ao que já temos. Só entidades: um sócio pessoa não se expande porque o IRN não pesquisa por NIF de pessoa. A profundidade de uma entrada nunca aumenta — um NIPC pedido como cliente não passa a hop 2 por aparecer também como sócio de um sócio. NaH WITH known AS ( SELECT f.nif, f.depth FROM registry_entity_fetch f ) SELECT DISTINCT other.nif, min(k.depth) + 1 AS depth, min(k.nif) AS seed FROM registry_edges e JOIN registry_entities subj ON subj.id = e.subject_id JOIN registry_entities other ON other.id = e.holder_id JOIN known k ON k.nif = subj.nif WHERE e.is_current AND other.nif IS NOT NULL AND other.kind IN ('company','public','foreign') AND other.history_fetched_at IS NULL AND k.depth < :maxd GROUP BY other.nif UNION SELECT DISTINCT subj.nif, min(k.depth) + 1, min(k.nif) FROM registry_edges e JOIN registry_entities holder ON holder.id = e.holder_id JOIN registry_entities subj ON subj.id = e.subject_id JOIN known k ON k.nif = holder.nif WHERE e.is_current AND subj.nif IS NOT NULL AND subj.kind IN ('company','public','foreign') AND subj.history_fetched_at IS NULL AND k.depth < :maxd GROUP BY subj.nif maxdz socio-empresa)rkrlrEseed_nif)rREGISTRY_MAX_DEPTHr;rrar0rrm)r)rxrnrorkrEseeds&& renqueue_corporate_neighboursr~s'2 8S8SIoo  <Y ?  B ceE F E D  YY[E ]a   ! LS J s"7BBA BB BBc tV^8dQhR\R\R\\\\ 3,,/#)rr)limitr)rr0rNr/r r)r!s"rr"r"Qs4%P%P<%P%PT$sTWx.EY%Prc "VP\R\ R24RV/4GRjxL P4pVUu.uF.pRV^,P 4RV^,RV^,/NK0 up#LMuupi5i)uTira trabalho da fila, do mais perto do nosso universo para o mais longe. `FOR UPDATE SKIP LOCKED` para dois trabalhadores nunca pegarem no mesmo NIPC. **E recupera reclamações penduradas.** Enquanto só o CT consumia esta fila, em processo único, um restart levava tudo consigo e não havia nada preso. Com o trabalhador remoto pela frente — noutra máquina, noutra linha — um processo que morra deixaria entidades em `running` para sempre, invisíveis à fila. Com 507 mil na fila, ninguém daria por elas. aX WITH picked AS ( SELECT nif FROM registry_entity_fetch WHERE attempts < 3 AND (status IN ('pending','error') OR (status = 'running' AND claimed_at < now() - interval 'a minutes')) ORDER BY depth, requested_at FOR UPDATE SKIP LOCKED LIMIT :lim ) UPDATE registry_entity_fetch f SET status = 'running', attempts = f.attempts + 1, claimed_at = now() FROM picked p WHERE f.nif = p.nif RETURNING f.nif, f.depth, f.reason limNrkrErl)r;rSTALE_CLAIM_MINUTESrarm)r)rrnrcs&& rtake_from_queuerQsoo 9:M8M N *EN-  0 ce3 4KO O$QUAaDJJL'1Q41Q4 @$ OO3 2 Ps!)BA9B4A;6B;Brberrorc V^8dQhR\R\R\R\\\3,R,R\R,RR/#)rr)rkstatusrbNrr)rr r/r0)r!s"rr"r"ysO  #03<@cNT.__annotate__s----C--D--rc^ <"\4;_uu_4GRjxL pSP4'Eg\P!4S 8EdS ;_uu_4GRjxL SR,S 8d$RRR4GRjxL RRR4GRjxL R#RRR4GRjxL S!4;_uu_4GRjxL p\ V^R7GRjxL pVP 4GRjxL RRR4GRjxL X'gRRR4GRjxL R#V^,pS!4;_uu_4GRjxL p\ Y!S VR,VR,^8Xd^M^ VR,S R7GRjxL p\W$R,RVR7GRjxL VP 4GRjxL RRR4GRjxL S ;_uu_4GRjxL SR;;,^, uu&RF(pSV;;,XPV^4, uu&K* RRR4GRjxL EKRRR4GRjxL R#ELELELELEL +GRjxL 'giEL;iELELEL{ELn +GRjxL 'giEL;iELuELTEL ELLL +GRjxL 'giL;iLL +GRjxL 'giEK;i \dS!4;_uu_4GRjxL p\Y$R,RR R 7GRjxL TP 4GRjxL RRR4GRjxL M +GRjxL 'giM;iSP4h\Edp\PR TR,T4S!4;_uu_4GRjxL p\Y$R,R \T4R ,R 7GRjxL TP 4GRjxL RRR4GRjxL M +GRjxL 'giM;iS ;_uu_4GRjxL SR;;,^, uu&RRR4GRjxL Rp?EKD +GRjxL 'giRp?EKc;iRp?ii;iELf +GRjxL 'giR#;i5i)Nr)rrkrE)rCrErDok)rrbpendingr )rrzregisto nif=%s falhou: %sr:NiNr)rPrQrRrSrT)r is_settime monotonicrcommitrLrr<r set Exceptionloggerwarningr )rr*r)batchitemrbkeyerdeadlinerDr+lockrstoptotalss& rworkerprocess_queue..workers===Fkkmm(88(C44k*i7 4!==4-...'"1'"CCE!..***/.!==Qx!-0222g&/#Wd5k*.w-1*U QO0222g/#%[At &nn... 322222 $ttw1, $tttttt-I!===shR-H.R-R)RH1 R#H= 3 R>H4?R R-H7R- R H:!R8I 9R<I& I I& %I &I& * R5I#6 RR R-JR- RK2J 3K63J )J *J J J J J # K.J/KJ/ KAJ3 KJ1KR R-'R (R-1R4R7R-:R=I I I I  RI& I& #R&J ,I/- J 8J : RR-K J J J KJ, J J, %J, ' K1K3K 9J<: K K K RKR /K20R 4L> LL> &L)'L> , R 7L: 8R >MM MM"R 5R 61R'N*(R,)P OP .O1/P 4 R?P RP P PPR0P31R5Q# RQ RR#R)Q,* R5R7R;RRR  R R-R* R R* "R* $ R-c34<"TF pS!V4xK R#5iNr).0irs& r process_queue..s=n6!99nsNpedidos) app.dbrrREGISTRY_WORKERSrrrasyncioLockEventgatherrangeacquired) rrrrDrrr+rrrrs f&&f@@@@@@@r process_queuers$)2222GmG~~+-H1j!Waa8Q4F <<>D ==?D----^ ..=eGn= >>>((F9 M?sB;CCC) r))2g @NT)-rrr=loggingrrrtypingr sqlalchemyrsqlalchemy.ext.asyncior app.configrapp.scrapers.baserapp.scrapers.mj_irnr r "app.services.mj_company_enrichmentr app.services.registry_act_parserr r app.services.registry_ingestrrr getLoggerrr RuntimeErrorrr'rBrLrJrqrvr~rrrrrrrrs" #/)>;EPP   8 $O,O0f  2Y "& Y #' YYYx6 B2n%PPTX0MMr