Acervo financeiro de Mesquita/RJ

Servidor MCP sobre o financeiro do Município, montado a partir de três fontes independentes. Segue o método de legis-mesquita/GUIA-NOVO-ACERVO.md.

python coletar_siconfi.py      # série oficial do Tesouro
python coletar_pncp.py         # o que foi divulgado no PNCP
python coletar_portal.py       # patrimônio, obras e o mapa do portal
python construir_acervo.py     # dados_brutos/ → dados/acervo.db
python cruzar_dom.py           # mede a lacuna do PNCP contra o Diário
.venv\Scripts\python -m pytest tests
.venv\Scripts\python -m financas          # servidor MCP (stdio)
.venv\Scripts\python empacotar_mcpb.py    # extensão do Claude Desktop

Para publicar — extensão, servidor local ou Render —, veja HOSPEDAGEM.md.

O que há dentro

Tabela	Linhas	Fonte	Alcance
relatorio_linha	2.905.100	relatórios do portal	30 relatórios, 2015-2026
relatorio_derivado	14.127.503	derivado do conteúdo	CNPJ, data, valor, link
siconfi_linha	126.466	SICONFI/Tesouro	RREO, RGF e DCA, 2013-2026
patrimonio_bem	69.792	API do portal	fotografia única
portal_tela	1.375	API do portal	mapa de 883 telas
pncp_documento	71	PNCP	50 editais, 20 contratos, 1 ata
obra	46	API do portal	2021-2025

Os relatórios são a exportação "Dados Abertos" que o próprio portal oferece em cada tela, acionada pela regra que ele usa no botão "Relatório":

POST /webrun/executeRule.do?action=executeRule&pType=2
     &ruleName=<regra>&sys=LAI&formID=464569294&P_<n>=7
  → caminho de WFRReports\Generated\<GUID>.CSV
  → servido em /ver20240713/WFRReports/Generated/<GUID>.CSV

São 37 regras, mapeadas por descobrir_relatorios.py a partir do próprio pacote de regras do portal; 30 devolveram dados. Entre elas a despesa nota a nota com favorecido e CNPJ, receita, contratos, avisos e editais, dispensas, diárias, cargos e folha.

O risco desta base

Nos outros acervos o risco é a proveniência (jurisprudência), a vigência (legislação) ou a republicação (diário oficial). Aqui é a divergência entre fontes sobre o mesmo fato: o mesmo contrato pode ser extrato no Diário, registro no PNCP, empenho na tela de despesas e bem no patrimônio, com valores e datas que não batem. Nenhuma fonte é "a verdade"; cada uma é uma declaração datada. Por isso toda linha carrega coletado_em, e conciliar_fornecedor põe as versões lado a lado sem escolher entre elas.

Quatro armadilhas medidas

1. A hierarquia do SICONFI só existe na ordem das linhas. No RREO-Anexo 02, "Administração Geral" aparece sete vezes no mesmo anexo e coluna, sob funções diferentes, de R$ 30 mil a R$ 59,9 milhões. Nada no registro diz de quem é filha. Daí o campo ordem, e daí despesa_por_funcao só agregar onde a soma das subfunções fecha com a função — 3.587 linhas ficam declaradamente sem vínculo em vez de ganharem um pai inventado.

2. Comparar colunas diferentes produz resultado impecável e errado. A primeira versão de despesa_por_funcao filtrava a coluna com LIKE, o que casava "No Bimestre" e "Até o Bimestre" ao mesmo tempo: a função Legislativa de 2025 fechava em R$ 10,97 mi contra subfunções somando R$ 1,82 mi. Hoje a coluna é comparada por igualdade exata, e coluna inexistente devolve a lista do que há em vez de vazio silencioso.

3. O parâmetro ano do portal é ignorado em silêncio. Pedir patrimonio de 2021 a 2026 devolveu seis arquivos byte a byte idênticos — mesmo sha256. Não há série patrimonial; quem montasse uma concluiria que o patrimônio não mudou em cinco anos, achado inteiramente fabricado pela coleta.

4. O somatório do patrimônio é R$ 32,7 bilhões — 48× a receita anual. 68 bens (0,1%) respondem por 60% disso, imóveis e obras avaliados na casa das centenas de milhões, contra mediana de R$ 7.239. Pode ser critério contábil, pode ser erro de cadastro. O acervo não escolhe: devolve o total sempre acompanhado da concentração.

Os relatórios não têm nome de coluna

Medido nos 115 arquivos coletados: nenhum traz cabeçalho, a primeira linha é dado, e a largura varia dentro do mesmo relatório — a despesa tem 34 colunas em 30.685 linhas e 17 em dez.

Sem cabeçalho, nomear coluna por posição é chute, e chute aqui não produz lacuna: produz erro de atribuição. Uma coluna rotulada "valor" que é outra coisa sai bem formatada e passa em qualquer conferência de contagem. Por isso a linha é guardada posicional e sem nome, e o servidor diz isso a quem pergunta.

O que se afirma é o que o formato do conteúdo prova — CNPJ, data, valor, link — e cada derivado guarda a posição de onde saiu, para conferência na linha crua. Um teste garante que o valor derivado esteja mesmo naquela posição.

Uma armadilha medida: o portal escreve documento dos dois jeitos, 33683111000107 em contratos e 26.651.036/0001-29 na despesa. Exigir dígitos puros derivava 13.994 documentos em 2,9 milhões de linhas — cego justamente na despesa, que é onde está o pagamento. Aceitando as duas formas e guardando só os dígitos, são 43.293.

O que NÃO está aqui

Sete das 37 regras de relatório não respondem sem parâmetro específico e não foram coletadas. O Diário Oficial é acervo à parte, com servidor próprio (diarios-mesquita).

O captcha não fecha o financeiro — ele está na entrada do formulário de Despesas, e a exportação sai por outra rota. Este README afirmou o contrário até 05/08/2026.

A lacuna do PNCP, medida contra o Diário

cruzar_dom.py confronta o que o Município publicou no seu próprio Diário Oficial com o que divulgou no PNCP. Dos 42 contratos que declaram a Lei 14.133 entre 2024 e 2026, 15 estão no PNCP e 27 não estão — lacuna mínima de 8 (2024), 12 (2025) e 7 (2026).

O bruto (216 contratos e atas no Diário contra 20 no PNCP) não se sustenta: mistura a transição de regime com o dever de divulgar. Em 2024 o Município assinou 100 contratos sob a Lei 8.666 contra 8 sob a 14.133, e contrato da 8.666 não ia ao PNCP. O regime sai do "FUNDAMENTO LEGAL" do próprio extrato.

Três coisas que o extrator aprendeu apanhando, e que valem para qualquer cruzamento assim:

• A conferência de sentido inverso é que acha o erro. Perguntar "o que está no PNCP aparece no Diário?" revelou 7 de 18 faltando — e a causa era o regex do número, que não admitia Nº. 034/2025. Corrigido, ficou 18 de 18.
• Abater por subtração de totais desloca a conta. Dos 20 registros de contrato no PNCP, 2 são notas de empenho (art. 95 da 14.133 dispensa o termo) e 3 correspondem a contratos que no Diário declaram 8.666 ou nada.
• O vocabulário do extrato tem 172 formas. "extrato de contrato" acha 162 páginas; a dominante é "EXTRATO DE TERMO DE CONTRATO", com 650. E "EXTRATO NO DIÁRIO OFICIAL…" é cláusula de dentro do contrato — contá-la exagera a lacuna, erro que favorece a conclusão desejada.

Sobre o PNCP

O Município está cadastrado e validado desde 28/07/2021 e publicou 41 editais e 20 contratos ao todo — a Câmara, 9 editais e 1 ata. É pouco perto do volume do portal e do Diário no mesmo período, e a divulgação é exigida pela Lei 14.133/2021. É achado de conformidade, não falha de coleta, e a ausência de um contrato lá não prova que ele não exista.

Duas armadilhas de acesso: a API documentada /api/consulta/v1/ responde 504 de forma crônica, e a que funciona (/api/search/) ignora o filtro por CNPJ e devolve 200 com o Brasil inteiro. O coletor aborta se aparecer órgão de fora.