+ >pj_D2Rt^RIt^RIt^RIHt^RIHt^RIHt^RI H t ^RI H t ^RI Ht^RIHtHt^R IHt^R IHt^R IHtHt]P2!]4tR tR RltRRltRRltRRlt RRlt!RRlt"RRRllt#RRRR/RRllt$R#) uArquivo nacional da Distribuição do CITIUS: ingestão e cruzamento. A varredura sempre descarregou o país inteiro — a consulta é feita sem filtro de parte — mas guardava só o que dava match e deitava o resto fora em memória. Como a fonte só serve ~180 dias, isso era informação a perder-se todos os dias. Aqui a ordem inverte-se: **primeiro guarda-se, depois cruza-se**. É a mesma forma do `cire_announcement_ingest` + `insolvency_matching`, e a razão é a mesma: um cruzamento que vive à parte pode voltar a correr. Quando entra um cliente novo, ou quando a regra melhora, reaplica-se ao arquivo — em vez de valer só daí para a frente, que é o que acontece hoje com uma correspondência falhada. **Dois critérios, com pesos diferentes.** O NIF é o bom: o `insolvency_matching` já escolheu só esse porque um falso positivo custa caro — alguém vai agir convencido de que um cliente está em tribunal. Mas a Distribuição não publica NIF, só nomes. O que o arquivo permite é ir buscá-lo ao grafo do registo comercial, que tem 1,27 milhões de entidades com nome e NIF. O que não resolver fica com o critério antigo, o distintivo, marcado como tal no `match_kind` para se poder rever depois só o que é frágil. N)date)Any)fuzz)text) AsyncSession)settings)build_distintivos_mapmatch_row_to_companies) filing_hash)upsert_process)normalize_name parse_moneyicV^8dQhR\R\\\3,R\\\ 3,/#)sessionrowreturn)rdictstrrtuplebool)formats"app/services/court_filings.py __annotate__r,s8F(F(F(DcNF(uSRVYGWF(c"VPR4p\VPR4VPR4V4p\VPR44wrEVP4UUu/uFwrgVR9gKWgbK pppTP \ R4RVPR4;'gRP 4RVPR4;'gRP 4R VPR 4R VPR 4R VPR4RVR VR VPR4RVPR4R\P!VR\R7RV/ 4GRjxL p V P4wrV 'dVPR4;'g.Fp V PR4;'gRP 4p V 'gK6TP \ R4RT RV R,R\V 4R,RV PR4;'gRP 4R,;'gR/4GRjxL K \V 4\V 43#uuppiEL L'5i)u4Grava uma linha da Distribuição e as suas partes. Devolve (id, é_nova). O `raw` **não leva as partes** — elas têm tabela própria. É a lição que o `processes.raw` deu ao duplicá-las e custar 7,7 kB por linha; a esta escala, ~230 mil processos por ano a 6 partes cada, seriam ~80 MB/ano por nada. data_distribuicao_dprocess_numbertribunalvalorpartiesdata_entrada_du INSERT INTO court_filings ( process_number, tribunal, unorganica, especie, valor_raw, valor, data_distribuicao, data_entrada, observacoes, raw, dedup_hash ) VALUES ( :process_number, :tribunal, :unorganica, :especie, :valor_raw, :valor, :data_distribuicao, :data_entrada, :observacoes, CAST(:raw AS JSONB), :hash ) ON CONFLICT (dedup_hash) DO UPDATE SET last_seen_at = now(), -- Só se enriquece: uma re-observação não apaga o que já se sabia. unorganica = COALESCE(EXCLUDED.unorganica, court_filings.unorganica), especie = COALESCE(EXCLUDED.especie, court_filings.especie), valor = COALESCE(EXCLUDED.valor, court_filings.valor), observacoes = COALESCE(EXCLUDED.observacoes, court_filings.observacoes) RETURNING id::text, (xmax = 0) AS is_new unorganicaespecie valor_rawdata_distribuicao data_entrada observacoesrawF ensure_asciidefaulthashNnamez INSERT INTO court_filing_parties (filing_id, name, name_norm, role) VALUES (:fid, :name, :norm, :role) fid:NiNnormrole:NdN)r rr!) getr r itemsexecuterstripjsondumpsrfirstr r)rr data_disthr_moedakvr)result filing_idis_newpr.s&& r upsert_filingrC,s3-.ICGG,-swwz/BINA 01MEIIK iKDA14h+h414KC i??   ( sww'78>>BEEG ,2299; #'',/ swwy) ) U  CGG$45 377=1 4::csC A )!!FD I #))r)AEE&M''R..0D//9DJN406QUU6]00b779$?GG4   ** y>4< ''y j!R sbA,I>. I3>I30I>5(I>BI>/I905I>&I>I>A I>*I> I>I<%I><I>cRV^8dQhR\R\\,R\/#rr filing_idsrrlistrint)rs"rrrus%* * l* S * c* rc"VP\R4RV/4GRjxL pVP;'g^#L5i)uDá NIF às partes que o grafo do registo consegue identificar sem dúvida. **Só entidades colectivas.** Uma pessoa singular com nome raro podia ser única no registo e ainda assim não ser a pessoa que está em tribunal — o nome não chega para identificar gente, e é a mesma razão pela qual o `is_company_party` do scraper exige forma societária. **E só quando não há ambiguidade.** Se dois NIPCs partilham o nome normalizado, não há como escolher e fica por resolver: preferimos falhar um match a inventar um. a WITH alvo AS ( SELECT DISTINCT p.name_norm FROM court_filing_parties p WHERE p.nif IS NULL AND p.name_norm <> '' AND p.filing_id = ANY(CAST(:ids AS UUID[])) ), resolvidas AS ( SELECT a.name_norm, min(e.nif) AS nif FROM alvo a JOIN registry_entities e ON e.name_norm = a.name_norm WHERE e.nif IS NOT NULL AND e.merged_into IS NULL AND e.kind IN ('company', 'public', 'foreign') GROUP BY a.name_norm HAVING count(*) = 1 ) UPDATE court_filing_parties p SET nif = r.nif, nif_source = 'grafo' FROM resolvidas r WHERE p.name_norm = r.name_norm AND p.nif IS NULL AND p.filing_id = ANY(CAST(:ids AS UUID[])) idsN)r5rrowcount)rrFr?s&& rresolve_party_nifsrMusJ??   6  9F< ??  a=s!A>AAchV^8dQhR\R\\,R\\,/#rE)rrHr)rs"rrrs)   49 c rc"VP\R4RV/4GRjxL P4pVUu.uF q3^,NK up#L*uupi5i)z=Acertos pelo NIF resolvido. Devolve os ids dos acertos novos.a INSERT INTO court_filing_hits ( filing_id, party_id, company_id, watchlist_id, matched_nif, matched_name, matched_role, match_kind, score ) SELECT p.filing_id, p.id, c.id, w.id, p.nif, COALESCE(c.legal_name, w.name, p.name), p.role, 'nif', 1.0 FROM court_filing_parties p LEFT JOIN companies c ON c.nif = p.nif LEFT JOIN insolvency_watchlist w ON w.nif = p.nif AND w.active WHERE p.filing_id = ANY(CAST(:ids AS UUID[])) AND p.nif IS NOT NULL AND (c.id IS NOT NULL OR w.id IS NOT NULL) ON CONFLICT DO NOTHING RETURNING id::text rKN)r5rall)rrFrowsrs&& r _hits_por_nifrSsboo  $J '  * ce- . $QaDD$ - , s !AAAA AAc V^8dQhR\R\\,R\\\\\3,3,R\\,/#)rrrF distintivosr)rrHrrr)rs"rrrsMUU U'+CyU?CCcSVhDW?XU #YUrc"VP\R4RV/4GRjxL P4p/pVF0wrVrxp VPV.4P RVRVRVRV /4K2 .p VP 4EFwr[\ RV /V4EFwrV PR4;'gR P4pV PR4;'gR P4pV'd W8wdKh\P!V PR4;'gR P4V PR 4;'gR P44R , pV\P8dKTP\R 4R TRV R,RV R,RV PR 4;'gV PR4RV PR4R\V^4/4GRjxL P4pV'gEKV P V^,4EK EK V #ELLD5i)u Acertos pelo nome, para o que o NIF não resolveu — com duas guardas. O `match_row_to_companies` compara o **prefixo** de duas palavras. Sozinho, isso atribuiu 316 processos e, das 119 vezes em que houve NIF para conferir, **errou 119** — nem uma acertou. "Centro de Jardinagem Vila Jasmim" ia parar ao Centro de Cultura e Desporto de Ronfe, e os processos da Prosegur Logística, da Prosegur Alarmes e até da Prosegur *Seguros* eram todos carimbados à Prosegur - Companhia de Segurança. Por isso o prefixo passa a ser só o primeiro crivo, seguido de dois: 1. **O NIF manda, quando existe.** Se a parte foi resolvida para um NIF e ele não é o da empresa, a correspondência está provada errada. Não é uma suspeita, é uma contradição. 2. **O nome inteiro tem de parecer-se**, não só o princípio — o mesmo `token_set_ratio` a `FUZZY_MATCH_THRESHOLD` que o caminho por empresa já usava. É o que separa "Prosegur - Companhia de Segurança, Lda." de "Prosegur - Logística e Tratamento de Valores". z SELECT p.filing_id::text, p.id::text, p.name, p.role, p.nif FROM court_filing_parties p WHERE p.filing_id = ANY(CAST(:ids AS UUID[])) ORDER BY p.filing_id rKNidr.r1nifr r" legal_namegY@a INSERT INTO court_filing_hits ( filing_id, party_id, company_id, matched_name, matched_role, match_kind, score ) VALUES ( CAST(:fid AS UUID), CAST(:pid AS UUID), CAST(:cid AS UUID), :name, :role, 'nome', :score ) ON CONFLICT DO NOTHING RETURNING id::text r/pidcidscore)r5rrP setdefaultappendr4r r3r6rtoken_set_ratiolowerrFUZZY_MATCH_THRESHOLDroundr9)rrFrUpartes por_processor@party_idr.r1rXnovosr companyparty nif_parte nif_empresar\rs&&& r_hits_por_nomerks.oo  J    ce 57L06, T 2.55 8VT64 D 17 E*002 4i5I;WNG5)//R668I";;u-33::PVWi+ j. &H7!5i3385+DJJu5#ND   f AQ&9.4: O_ ( X sQ+D7D*?D7-D,.D7 D7D. 0%D73D7 D5 D7D7,D7.D7ctV^8dQhR\R\\\\\3,3,/#)rrr)rrrr)rs"rrrSs, > > >c4S>>Q9R >rc"VP\R44GRjxL P4P4p\ VUu.uFp\ V4NK up4#LDuupi5i)u<O mapa de distintivos das empresas activas. Fica à parte para se construir **uma vez por corrida**, não uma vez por lote: o `build_distintivos_map` avisa a cada nome ambíguo que encontra ("freguesia de", "associação desportiva") e, chamado por tribunal e por dia, enterrava o log em milhares de avisos iguais. z