STF - Controle Concentrado: Gerador de Banco de Dados
Combinação de dois algoritmos em Python que realizam (i) a extração de ações de controle concentrado e (ii) a sua organização em uma tabela. Esses dados são coletados a partir dos resultados das pesquisas na página ADI, ADC, ADO e ADPF, sendo gravados arquivos com os dados de cada processo, que podem ser convertidos em um arquivo .csv pelo segundo programa.
Tutorial do código de extração: Extrator Básico de Dados Judiciais.
Tutorial do código de geração de CSV: Organização dos dados em tabelas.
1. Módulo Extrator
1.1 Código em Python (versão 1.1, de 3/10/2020)
import requests
# Definição dos parâmetros de busca
Classe = "ADI"
NumeroInicial = 5500
NumeroFinal = 6000
for n in range (NumeroFinal-NumeroInicial+1):
# Módulo de geração de URLs
NumProcesso = str(NumeroFinal-n)
url = ('http://www.stf.jus.br/portal/peticaoInicial/'
+ 'verPeticaoInicial.asp?base='
+ Classe
+ '&documento=&s1=1&numProcesso='
+ NumProcesso)
print (url)
# Módulo básico de extração
html = requests.get(url).text
# redução do texto às variáveis
inicio = html.find('processo/verProcessoAndamento.asp?')
html = html[inicio:]
# Módulo básico de gravação
nomedoarquivo = ('ADIhtml\\teste'
+ Classe
+ str(0)*(4-len(NumProcesso))
+ NumProcesso
+ '.html')
arquivo = open(nomedoarquivo, 'w', encoding='utf-8')
arquivo.write(url + ">>>> \n" + html)2. Descrição do programa
Observando com cuidado a página de pesquisa que é automatizada por este algoritmo, você perceberá que se trata de uma página no formato antigo do site, que é diferente do layout que você acessa hoje no www.stf.jus.br.
Esta pesquisa envolve as bases ADI, ADC, ADO e ADPF. Além disso, ela tem uma base BJMC, que tem REs com repercussão geral e alguns outros processos. A realização de buscas nessa página conduz a páginas com metadados acerca dos processos.
As informações não são completas, mas ela contém alguns campos que não estão disponíveis em outras buscas, como o dispositivo legal impugnado e uma classificação dos resultados.
Além disso, essa é uma página em que os dados estão condensados em blocos, o que torna a sua extração mais simples, motivo pelo qual ela é um ótimo ponto de partida para desenvolver habilidades de extração e de organização de dados.
Para extrair os dados dessa página, você pode utilizar o seguinte algoritmo em Python. Para compreender bem os seus termos, leia o tutorial Extrator Básico de Dados Judiciais. Esse é um programa que não gera uma tabela organizada (para isso há outro programa), mas uma conjunto de arquivos, com os dados de cada processo, gravados no diretório ADIhtml (ou em qualquer outro que você definir, adaptando o programa).
Para informações básicas sobre programação em Python e sobre os programas que é necessário instalar para poder utilizar esse código, acesse o Curso de Programação para Juristas.
2. Módulo Gerador de CSV
2.1 Código: versão 1.2 (1/11/20)
# importação de bibliotecas
import os
import csv
# módulo ListaDeArquivos: gera a lista de processoss no diretório
relacao = os.listdir("ADIhtml")
# módulo FunçãoExtrair: define a função extrair, para extrair um trecho de uma string, a partir de um marcador de início e um marcador de fim
def extrair(fonte,MarcadorInicio, MarcadorFim):
inicio = fonte.find(MarcadorInicio)
inicio = inicio + len(MarcadorInicio)
fim = fonte.find(MarcadorFim, inicio)
return fonte[inicio:fim]
# funções de limpeza
def limpar(fonte): # útil para textos em LN. retira parágrafos iniciais e converte quebras de linha em '//'
fonte = fonte.strip(' ')
fonte = fonte.strip('\n')
fonte = fonte.strip('\n')
fonte = fonte.strip('\n')
fonte = fonte.strip('\n')
fonte = fonte.strip(' ')
fonte = fonte.strip('\n')
fonte = fonte.strip('\n')
fonte = fonte.strip('\n')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
fonte = fonte.replace('\n','//')
fonte = fonte.replace(' ',' ')
return fonte
def limpar2(fonte): #útil para campos com início com espaços. exclui quebras de linha.
fonte = fonte.replace('\n','')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
fonte = fonte.strip('-')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
fonte = fonte.strip(' ')
return fonte
# módulo de iteração: define um sistema de iteração para analisar os os processos listados no diretório
for n in range (len(relacao)):
# módulo básico de leitura, gerando a string html
nomedoarquivo = relacao.pop()
arquivo = open('ADIhtml\\'+nomedoarquivo, 'r', encoding='utf-8')
html = arquivo.read()
arquivo.close()
# definição das variáveis dos campos a serem extraídos e atribuição de valor vazio a todas elas, para que que, caso não sejam encontrados valores no documento, sejam gravados valores 'NA' (Not Available)
classe = 'NA'
liminar = 'NA'
numero = 'NA'
origem = 'NA'
entrada = 'NA'
distribuicao = 'NA'
requerente = 'NA'
requerido = 'NA'
dispositivoquestionado ='NA'
resultadoliminar = 'NA'
resultadofinal = 'NA'
decisaomonofinal = 'NA'
fundamento = 'NA'
indexacao = 'NA'
# módulo de extração das variáveis
## exclusão dos processos sem dados
processoexistente = html.find('<div><h3><strong>')
if processoexistente == -1:
print (nomedoarquivo + ',Processo inexistente')
else:
##extrai classe+numero
classeenumero = extrair(html,'<div><h3><strong>','</strong>')
## definição de campo: número
classeenumero_split = classeenumero.split(' - ')
numero = classeenumero_split[1]
### definição de campo: com liminar (S/N)
if 'Liminar' in classeenumero:
liminar = 's'
else:
liminar = 'n'
## definição de campo: classe
classe = classeenumero_split[0].split(' (')
classe = classe[0]
classe = classe.replace('AÇÃO DIRETA DE INCONSTITUCIONALIDADE', 'ADI')
classe = classe.replace('ACAO DIRETA DE INCONSTITUCIONALIDADE', 'ADI')
## definição de campo: incidente
incidente = extrair(html, 'incidente=', '"')
## definição de campo: origem
origem = extrair(html,'Origem:</td><td><strong>','</strong>')
## definição de campo: incidente
entrada = extrair(html,'Entrada no STF:</td><td><strong>','</strong>')
## definição de campo: relator
relator = extrair(html,'Relator:</td><td><strong>','</strong>')
relator = relator.replace('MINISTRO','')
relator = relator.replace('MINISTRA','')
## definição de campo: distribuição
distribuicao = extrair(html,'Distribuído:</td><td><strong>','</strong>')
## definição de campo: requerente
requerente = extrair(html,'Requerente: <strong>','</strong>')
if '(CF 103, ' in requerente:
requerentesplit = requerente.split('(CF 103, ')
requerente = requerentesplit[0]
requerente = requerente.strip()
requerentetipo = requerentesplit[1]
requerentetipo = requerentetipo.replace(')','')
requerentetipo = requerentetipo.replace('0','')
else:
requerentetipo = 'NA'
## definição de campo: requerido
requerido = extrair(html,'Requerido :<strong>','</strong>')
## definição de campo: dispositivo questionado
dispositivoquestionado = extrair(html,'Dispositivo Legal Questionado</b></strong><br /><pre>','</pre>')
dispositivoquestionado = limpar(dispositivoquestionado)
## definição de campo: resultado da liminar
resultadoliminar = extrair(html,'Resultado da Liminar</b></strong><br /><br />','<br />')
## definição de campo: resultado final
resultadofinal = extrair(html,'Resultado Final</b></strong><br /><br />','<br />')
## definição de campo: decisão monocrática final
if 'Decisão Monocrática Final</b></strong><br /><pre>' in html:
decisaomonofinal = extrair(html,'Decisão Monocrática Final</b></strong><br /><pre>','</pre>')
decisaomonofinal = limpar(decisaomonofinal)
else:
decisaomonofinal = 'NA'
## definição de campo: fundamento
if 'Fundamentação Constitucional</b></strong><br /><pre>' in html:
fundamento = extrair(html,'Fundamentação Constitucional</b></strong><br /><pre>','</pre>')
fundamento = limpar2(fundamento)
else:
fundamento = 'NA'
## definição de campo: fundamento
if 'Indexação</b></strong><br /><pre>' in html:
indexacao = extrair(html,'Indexação</b></strong><br /><pre>','</pre>')
indexacao = limpar2(indexacao)
else:
indexacao = 'NA'
### criação da variável dados extraídos, com uma lista de dados
dados = [classe, numero, incidente, liminar, origem, entrada, relator, distribuicao, requerente, requerentetipo, requerido, dispositivoquestionado, resultadoliminar, resultadofinal, decisaomonofinal, fundamento, indexacao]
campos = 'classe, numero, incidente, liminar, origem, entrada, relator, distribuicao, requerente, requerentetipo, requerido, dispositivoquestionado, resultadoliminar, resultadofinal, decisaomonofinal, fundamento, indexacao' #inserir aqui o conteúdo da lista acima, trocando [] por ''
## módulo gravação do cabeçalho
if n == 0:
arquivoaberto = open("ADI.csv", mode='w', encoding="utf-8", newline='')
arquivoaberto_csv = csv.writer(arquivoaberto, delimiter=',')
campos = campos.split(',')
arquivoaberto_csv.writerow(campos)
arquivoaberto.close()
## módulo gravação dos dados
arquivoaberto = open("ADI.csv", mode='a+', encoding="utf-8", newline='')
arquivoaberto_csv = csv.writer(arquivoaberto, delimiter=',')
arquivoaberto_csv.writerow(dados)
arquivoaberto.close()
print (nomedoarquivo + ',Dados processados')
print ("Gravado arquivo ADI.csv, com todos os dados contidos no seu diretório ADIhtml, no diretório em que você executou o presente extrator")2.2 Descrição do programa
Este programa parte do pressuposto de que você gravou os dados obtidos com o Módulo de Extração em um diretório, que deve ter somente os arquivos extraídos (a presença de outros arquivos impede o funcionamento adequado do programa).
Este algoritmo organizará os dados daqueles arquivos em uma tabela consolidada, promovendo já uma limpeza preliminar da maioria dos campos. Para compreender as funcionalidades usadas neste módulo, leia o seguinte tutorial com o passo a passo de construção de um módulo gerador de CSV: Organização dos dados em tabelas.