Direito e Evidência: em busca de padrões

Pesquisa experimental e Pesquisa observacional

Indução e experimentos

As pesquisas científicas são voltadas analisar fatos existentes no mundo, a partir de observações ou experimentos. A observação dos fatos pode nos oferecer evidências no sentido de comprovar ou refutar as hipóteses explicativas que formulamos.

Como já esclarecemos antes, a ciência não é um processo de observação de fatos, mas um processo de produção de explicações. Essas explicações não se limitam a indicar precisamente os fatos que aconteceram: elas precisam ir além das descrições, estabelecendo conexões entre esses fatos, que permitam a identificação de padrões. Portanto, a ciência parte da observação de uma série de fatos concretos particulares, e a partir deles ela produz afirmações de caráter geral, que devem ser válidas para uma classe de fenômenos (e não apenas para os fatos concretos que foram observados pelo pesquisador).

Essa passagem da descrição de fenômenos particulares para a formulação de explicações gerais é o que chamamos de indução. O direito normalmente opera no sentido oposto: partimos de certas regras gerais, que pressupomos como sendo válidas, e buscamos deduzir dessas prescrições abstratas as consequências que elas imputam aos fatos particulares.

Mas ocorre que, há séculos, temos plena consciência de a indução é um processo sujeito a muitos problemas, especialmente porque nós nunca podemos observar diretamente os padrões que descrevermos. Explicações não são descobertas, não são observadas, não são percebidas: elas são formuladas, por meio de inferências. Essas inferências representam um salto importante, mas arriscado: usar o conhecimento que temos sobre fatos particulares que conhecemos, para projetar conclusões relativamente a toda uma classe de fenômenos (composto majoritariamente por fatos que não conhecemos). Mas ocorre que nossas inferências muitas vezes nos levam a generalizações equivocadas.

Por serem treinados a operar um discurso dedutivo, os juristas muitas vezes não têm instrumentos para compreender o potencial (e os limites) dos discursos indutivos da ciência. Não deve, pois, causar espanto que Epstein e King, ao analisarem a produção acadêmica em direito nos EUA no início do século XXI, tenham afirmado:

Nossa proposta era identificar onde os problemas estavam. Nossa resposta? Em todos os lugares. Descobrimos que graves problemas de inferência e de metodologia constam em abundância em todos os lugares onde achamos pesquisa empírica em periódicos jurídicos e artigos escritos por membros da comunidade jurídica. (Epstein e King 2013)

Embora essa dificuldade seja particularmente grande no campo jurídico, não se tata de um problema exclusivo dos juristas nem de uma questão nova. É conhecido o exemplo de que os europeus observaram as aves e concluíram que os cisnes são aves brancas, um conhecimento que era compatível com a experiência europeia de observação de aves. Porém, quando os europeus chegaram à Austrália, descobriram a existência de cisnes negros. Esse é um caso simples, mas que ilustra a nossa grande dificuldade em construir um conhecimento sólido a partir de observações que são sempre limitadas e contextuais. Desde os textos seminais de David Hume, no final do seculo XVIII, todo pesquisador é levado a se perguntar sempre: que conclusões eu posso efetivamente retirar dos fatos que eu observo?

No campo da física, esse é um problema sério, mas que é relativamente equacionado porque que os cientistas supõem (sem poderem demonstrar) que as relações naturais entre fatos são regulares. Quando se observa o tempo que uma maçã leva para cair de uma árvore, espera-se que esse tempo não varie se todas as condições forem mantidas.

Essa crença na regularidade é a intuição que nos faz desenvolver experimentos: se conseguirmos repetir consistentemente certos atos, esperamos que os resultados das nossas condutas sejam idênticos. Porém, se conseguirmos praticar atos que sejam iguais em tudo, exceto em um determinado ponto no qual inserimos intencionalmente uma diferença, conseguiremos avaliar o impacto dessa diferença nos resultados alcançados.

Isso é o que chamamos de isolar as influências de um determinado fator: quando criamos artificialmente série de fenômenos que são idênticos, exceto na variação que inserimos neles, nós conseguimos isolar os efeitos dessa variação. Por esse motivo, a noção de ceteris paribus é fundamental na ciência, que normalmente opera buscando identificar qual seria o resultado da variação de um determinado elemento, quando todos os outros elementos de um fenômeno (ceteris) permanecem constantes (paribus).

Esses eventos artificialmente desenhados e rigorosamente controlados são o que chamamos de experimentos, e são eles nossa principal ferramenta para testar os efeitos de cada variação específica: no peso de um bola que é arremessada, na quantidade de ácido que colocamos em uma reação química, dos estímulos que são feitos a certas pessoas.

As ciências experimentais, como a medicina, desenvolveram uma série de estratégias voltadas a realizar esse isolamento de variáveis, de forma a permitir que se avalie com precisão qual é o impacto de um determinado fator (como a administração de um fármaco) em um determinado sistema (como a saúde de uma pessoa).

Ocorre, porém, que a dificuldade de realizar esse tipo de isolamento é gigantesca. Vários experimentos foram feitos, no contexto da pandemia de Covid-19, para avaliar a eficácia de certos tratamentos, mas a interpretação dos dados obtidos é desafiadora, pois cada ser humano é particular. O ótimo seria poder comparar qual é o desenvolvimento de um quadro clínico com e sem a administração do fármaco, mas isso é impossível, visto que não se pode tratar e não tratar um determinado paciente.

Essa impossibilidade faz com que a medicina use uma outra forma de abordagem, baseada na estatística: como não é possível comparar as consequências da aplicação e da não aplicação de um fármaco a um indivíduo, o que se faz é aplicar o tratamento a um grande grupo de pessoas e comparar o seu desenvolvimento com outro grupo de pessoas (o chamado grupo de controle), que não recebe o mesmo estímulo. Essa estratégia não é capaz de distinguir o impacto do remédio em cada caso concreto, mas pode nos revelar o impacto predominante do tratamento. Sabermos que cada pessoa reage de modo particular aos tratamentos, mas usamos essa estratégia porque entendemos que, se fizermos essa aplicação em uma população suficientemente grande, poderemos saber qual é o impacto médio do tratamento estudado.

Se o grupo que receber o remédio for muito pequeno, não saberemos em que medida o resultado final será determinado por situações particulares de cada indivíduo. Se esse grupo for muito homogêneo com relação a certas características (por exemplo, composto só por mulheres ou por pessoas de uma família), não saberemos se o mesmo resultado ocorreria em outros grupos (que tivessem um componente genérico ou ambiental diferente). Porém, como não é viável fazer esses experimentos com todas as pessoas ao mesmo tempo, resta-nos apenas escolher amostras representativas, que nos permitam inferir que os resultados alcançados em um grupo restrito (a amostra) são próximos aos que são esperados para o universo total dos casos possíveis.

Essa abordagem supõe que um conhecimento sólido somente pode ser alcançado a partir de experimentos feitos com grandes números de pessoas, divididas em grupos heterogêneos, e que os resultados devem ser comparados com os de um grupo de controle que tenha uma composição similar. Além disso, como sabemos que a realização de um tratamento pode influenciar psicologicamente as pessoas, entendemos que o grupo de controle deve receber um placebo, sem saber se recebe o remédio ou uma substância sem efeitos farmacológicos.

Essa estratégia de abordagem (ou seja, essa metodologia) nos oferece a possibilidade de ter o conhecimento mais sólido atualmente disponível acerca da efetividade de tratamentos médicos. Podemos pensar em outras possibilidades, como a criação de conjuntos de células idênticos, para que seja possível comparar os resultados em um organismo similar do tratamento com o fármaco e do tratamento com o placebo. Podemos inclusive clonar organismos, para avaliar o impacto em organismos idênticos, e não apenas e em conjuntos de células.

Mas uma coisa é pensar nas melhores estratégias em um mundo sem constrangimentos, e outra coisa é se esse métodos são viáveis:

em termos financeiros, pois a pesquisa é uma atividade muito cara e existe uma necessidade de obter a melhor relação custo-benefício entre certeza e investimento)
em termos de tempo, pois muitas vezes precisamos tomar decisões que não podem esperar o tempo necessário para uma pesquisa metodologicamente sólida (como tem sido o caso no enfrentamento da Covid-19, pois os pacientes infectados precisam receber tratamento imediato);
em termos éticos, pois há situações em que os experimentos não podem ser iniciados ou precisam ser abandonados (como um experimento com fármacos que dão indícios de uma mortalidade muito grande no grupo que recebia o tratamento ou que dêem resultados provisórios tão positivos que não seja ético manter um grupo recebendo placebo).

Assim, por mais que certos métodos garantam conhecimentos mais sólidos, é muito comum que pesquisadores optem por abordagens que geram resultados menos confiáveis, mas que são as abordagens possíveis, dados os constrangimentos reais do mundo.

Conhecimento observacional

Em vastas áreas do conhecimento humano, a estratégia de realizar experimentos é simplesmente inviável, como ocorre na maior parte das ciências sociais. Poderia ser interessante distribuir a mesma ação para um grupo de juízes homens e para um grupo de juízas mulheres, para avaliar as diferenças nos padrões de julgamento. Mas esse é um experimento que violaria as leis do país, pois não podemos distribuir casos fictícios nem podemos distribuir o mesmo caso para vários magistrados.

Na pesquisa jurídica, especialmente nos estudos judiciários, praticamente não nos é dado criar experimentos voltados a isolar variáveis. O que podemos fazer é observar os fatos que ocorrem, e usar estratégias de abordagem que permitam compreender se certos fatores poderiam ou não influir nos resultados.

Podemos comparar os processos julgados por homens e mulheres. Podemos selecionar grupos de processos suficientemente parecidos para que eventuais diferenças no padrão de julgamento sejam atribuíveis ao gênero e não a outros fatores. Porém, toda pesquisa observacional tem limitações muito grandes em termos de isolamento de variáveis, visto que é sempre muito difícil identificar relações de causalidade.

Já identificamos que as ADIs ajuizadas por partidos políticos têm uma maior incidência de decisões de prejudicialidade (Costa e Benvindo 2013, Costa e Costa 2018). Isso é um fato. Mas qual é a explicação para esse fato? Pode estar no tipo de assunto que os partidos levam ao STF, pode estar no tipo de lei impugnada, pode estar no fato de a impugnação ser feita por partidos de oposição, pode ser que os partidos tenham estratégias políticas que favoreçam esse resultado, pode ser que os ministros decidam de forma diferentes ações propostas por partidos. Pode ser que todos esses fatores atuem simultaneamente e que tenham diferente peso nos processos de cada estado, ou de cada matéria.

A tentativa de estabelecer modelos explicativos a partir de pesquisas observacionais (que partem da descrição de um conjunto de fenômenos) exige dos juristas uma série de cuidados que normalmente eles não são treinados para ter. O modelo de pareceres estimula os juristas a identificar uma tese e a defendê-la, mesmo que não haja evidência sólidas. Inclusive, boa parte dos argumentos dos juristas é avesso a qualquer evidência, pois a discussão sobre a interpretação correta de uma norma pode ser pouco influenciável por questões de fato.

No que toca à metodologia, a grande dificuldade dos juristas é o de limitar-se a extrair dos fatos aquilo que é razoável, em vez de fazer todos os esforços argumentativos possíveis no sentido de manter a hipótese explicativa sustentada pelo pesquisador.

Metodologia e inferência

Toda pesquisa empírica envolve um problema, uma questão a ser abordada a partir da análise de dados obtidos pela observação de experimentos controlados ou de situações não controladas.

Se a sua pesquisa se pergunta sobre a interpretação correta de uma norma, ela não tem um objeto empírico, porque não podemos identificar uma interpretação correta a partir de evidências factuais. O que torna uma interpretação correta não é a sua correspondência a certos fatos observáveis, mas a sua adequação a certos parâmetros dogmáticos, a certos cânones de interpretação.

Todavia, na dogmática jurídica contemporânea, são usados critérios hermenêuticos que se vinculam a elementos empíricos. Por exemplo, existe responsabilidade civil de indenizar danos, independentemente de culpa, "quando a atividade normalmente desenvolvida pelo autor do dano implicar, por sua natureza, risco para os direitos de outrem" (CC, art. 927). Por mais que o conceito normativo de risco seja um construto da hermenêutica jurídica, são viáveis pesquisas que busquem mensurar os danos que são causados tipicamente pela prática de certas atividades, pois esse elemento quantitativo (danos causados) pode ser entendido como um indicador do risco.

Uma pesquisa que se volte a identificar a interpretação correta do vocábulo "risco", no contexto da responsabilidade civil, não se pergunta sobre fatos do mundo, mas sobre o significado jurídico de uma palavra. Formulado dessa forma, o problema não aponta para uma pergunta que possa ser respondida tomando como referência evidências identificadas em uma pesquisa. Porém, quando buscamos identificar e mensurar os danos causados a terceiros por uma certa atividade (como mineração ou transporte público), nós fazemos uma pergunta empírica cujo resultado tende a influenciar na interpretação acerca da responsabilidade civil das pessoas que praticam essa atividade.

Se fenômenos empíricos não forem relevantes para a resposta à sua questão (como é o caso normalmente das perguntas dogmáticas), você não tem propriamente um problema de pesquisa. Você pode ter um tema de estudo, pode ter uma tese a ser defendida, mas não tem um elemento que justifique a realização de uma pesquisa. Todavia, existe muito espaço para que você formule questões empíricas cuja resposta é viável e que podem ter impacto em questões hermenêuticas e dogmáticas.

Isso ocorre porque a pesquisa precisa ser uma abertura ao mundo: é preciso que as suas observações da realidade possam influenciar na resposta da questão que você se propôs. É preciso que a sua metodologia estabeleça uma estratégia de abordagem capaz de utilizar certas observações factuais em critérios de avaliação das hipóteses, ou de atingimento dos objetivos dos trabalhos.

Pesquisas experimentais normalmente estão ligadas a testar uma hipótese, visto que o experimento é construído justamente para servir como esse teste. Pesquisas observacionais normalmente não têm como testar hipóteses de forma tão direta, mas elas precisam estar ligadas com o desenvolvimento de estratégias capazes de alcançar certos objetivos que contribuam para um conhecimento mais adequado dos objetos de pesquisa:

Pode se tratar de uma coleta de dados que permita a formulação de hipóteses posteriores (o que ocorre em uma pesquisa exploratória);
Esses dados podem ser inseridos em modelos descritivos, que permitirão eventualmente a construção de explicações plausíveis (o que ocorre em uma pesquisa que tem um problema descritivo);
Pode-se chegar ao ponto de fazer inferências a partir dos dados obtidos na pesquisa (ou em outras coletas de dados já realizadas)

Portanto, seja experimental ou observacional, a pesquisa deve estar ligada à questão da inferência: o que os fatos observados pelo pesquisador permitem inferir acerca do seu objeto de pesquisa? De que forma a observação de certos elementos particulares permite a identificação de um padrão? A causalidade é um dos padrões possíveis, mas a identificação de correlações é um passo muito importante para entender como os fenômenos efetivamente ocorrem.

Estratégias quantitativas e qualitativas

No exercício da construção de explicações que deem sentido aos dados coletados, identificando padrões nos fatos empíricos, existem basicamente dois tipos de estratégias:

Interpretar os dados a partir do seu significado, em estratégias chamadas de qualitativas
Interpretar os dados a partir de suas quantidades medidas, nas estratégias chamadas de quantitativas

Metodologias quantitativas

Quando descrevemos os dados, podemos focar em realizar medições, que atribuem aos dados grandezas quantificáveis: número de ocorrências, tempo gasto nos julgamentos, número de citações, duração de processos. Essas grandezas numéricas possibilitam que os dados sejam compreendidos dentro de estruturas matemáticas e estatísticas, que comparam essas quantidades com certos padrões (médias, medianas, totais, desvios, etc.) e, com isso, possibilitam uma interpretação dos fenômenos com base em informações numéricas.

As abordagens quantitativas são concentradas levantar dados que contenham medidas, e as técnicas de estatística inferencial (conclusões baseadas em metodologias estatísticas) tipicamente utilizam a comparação entre os padrões de variação de duas ou mais variáveis.

Por exemplo, pode ser que o tempo de julgamento de uma ação criminal varie no mesmo sentido que a renda média dos réus. Essa variação coordenada de duas variáveis é chamada de correlação. Nesse caso específico, seria uma correlação positiva, pois o aumento no número de páginas estaria associado com um aumento no tempo de julgamento. Em outros casos, pode haver uma correlação negativa, o que indica que duas variáveis se movem em relação oposta: pode ser que descubramos empiricamente que, quanto maior a idade do réu, menores são os tempos de pena privativa de liberdade.

O problema das correlações é que elas não indicam claramente qual a relação entre os fatores relacionados. Pode ser que a renda média impacte no tempo de julgamento porque o acesso a advogados mais preparados custe caro e que eles sejam capazes de adiar o fim dos processos. Essa é uma hipótese que supõe a existência de relação causal entre o custo dos advogados e o tempo do processo, mas essa é uma causalidade que não é fácil demonstrar.

Por mais tentadora que seja essa interpretação, pode ser que os réus de alta renda estejam concentrados em tipos de crime que geram processos mais lentos, independentemente do perfil dos advogados envolvidos. E pode ser uma combinação desses dois fatores (e de outros mais), que não geram uma variação suficientemente coordenada para que identifiquemos um impacto causal entre esses fatores.

Talvez os réus mais velhos cometam crimes menos violentos e isso seja a causa de eventuais penas menores, o que faria com que não houvesse relação causal entre as idades e as penas, mas apenas entre os graus de violência e o tamanho das penas. Nesse caso, a correlação entre a idade dos réus e o tamanho das penas seria espúria, já que crimes violentos cometidos por réus mais velhos poderiam ter duração tão grande (ou maior) do que crimes violentos praticados por pessoas mais jovens.

Quando entendemos adequadamente o nosso objeto de pesquisa, somos capazes de fazer um desenho que teste a nossa hipótese e também as interpretações alternativas: por exemplo, podemos propor uma pesquisa que levante dados sobre a renda dos réus, o custo dos advogados e o tempo de julgamento de dois tipos diferentes de crimes (homicídio e tráfico de drogas, por exemplo). Se os padrões de variação do tempo de julgamento se mostrarem semelhantes, nos dois tipos de crimes, pode-se sugerir que a nossa hipótese original (de relação causal entre a renda dos réus e o tempo de julgamento) seria compatível com os fatos.

Em todos esses casos, trata-se de abordagens quantitativas porque é a variação nas quantidades (de tempo, de renda, de páginas, de citações) que nos serve como critério para interpretar os dados e enxergar padrões.

Metodologias qualitativas

Nas estratégias qualitativas, o foco não está em interpretar grandezas numéricas, mas em compreender o significado de certos acontecimentos. Quando estudamos uma decisão paradigmática, podemos nos perguntar qual são os argumentos determinantes da decisão.

A resposta a essa pergunta vai depender de uma leitura crítica do caso, de uma identificação dos argumentos utilizados, de uma análise do impacto que eles parecem ter tido na formulação dos termos do acórdão e da ementa. As estratégias aqui estão voltadas para identificar argumentos relevantes, sendo que essa relevância não é mensurável em termos numéricos. Não é o fato de uma palavra ter sido repetida mais vezes, ou de um autor ter sido citado mais vezes, que lhes garante um papel central na estrutura retórica de um voto.

Quando nos perguntamos sobre o modo como a Assembleia Constituinte tratou a questão indígena, somos levados a fazer uma leitura crítica dos Anais da ANC, buscando elementos que nos permitam compreender os variados discursos e os modos como eles se articularam. Pode não importar muito qual foi a quantidade de referências, sendo muito comum que os vários discursos sejam avaliados em termos de relevância ou centralidade, por critérios que dependem de fatores não quantificáveis.

Uma das metodologias qualitativas típicas é o estudo de caso, no qual uma determinada situação é avaliada em uma multiplicidade de dimensões (histórica, econômica, antropológica, etc.), com o objetivo de possibilitar uma descrição rica dos vários elementos que contribuem para que determinada situação (o caso estudado) tenha uma configuração específica.

Quando buscamos compreender qual é o modo pelo qual os contratos de locação tratam as obrigações tributárias (como o pagamento de IPTU), a questão não é a de medir quantidades, mas de compreender as várias maneiras pelas quais os contratos podem tratar essa questão. Nesse caso, uma estratégia comum é a de definir uma classificação, estabelecendo que certos contratos vão ser consideradas como de um determinado tipo, enquanto outros contratos serão qualificados de forma diversa.

Classificações e categorias teóricas

Os procedimentos de classificação merecem uma análise mais detida, pois eles são centrais em toda pesquisa. A classificação dos dados se dá quando o pesquisador insere conceitos capazes de promover uma segmentação dos fenômenos em diferentes classes, que precisam ser tratadas de forma independente para que a explicação faça sentido. Buscar explicações totalizantes para fenômenos diferentes termina nos levando a becos sem saída, em que não somos capazes de visualizar padrão algum ou no qual identificamos padrões equivocados.

A formulação de classificações adequadas é provavelmente o ponto mais delicado das pesquisas qualitativas, e é também a sua principal interface com o referencial teórico, que é a fonte de várias classificações:

tipos de processo,
tipos de sentença,
tipos de contratos,
tipos de partes,
tipos de interações

Os tipos não existem empiricamente: eles são classificações linguísticas por meio das quais nós qualificamos os objetos estudados. Por serem construções linguísticas, esses tipos são parte integrantes das teorias, ou seja, dos modelos que usamos para descrever e explicar.

Teorias diversas nos dão modos diferentes de classificar os objetos, de hierarquizar as preocupações, de estabelecer conexões causais. As teorias nos oferecem os modelos pelos quais convertemos as nossas observações empíricas em uma descrição significativa. Isso faz com que, por mais que as pesquisas nos coloquem diretamente em contato com as evidências, não podemos perder de vista que esse contato é mediado pelas categorias teóricas que conformam as nossas formas de ver o mundo.

Conexão entre perspectivas qualitativas e quantitativas

Por mais que a diferença entre abordagens quantitativas e qualitativas contribua para a nossa compreensão das pesquisas, o fato é que na maior parte delas esses elementos aparecem de forma combinada.

Por exemplo, temos uma pesquisa sobre ADIs no STF que busca traçar um perfil dos impetrantes, dividindo-os em demandantes de grande porte, de médio porte e de pequeno porte. Essa é uma distinção qualitativa (que usa 3 categorias), mas que usa critérios quantitativos (número de ações ajuizadas por ano) para poder classificar os demandantes.

Esse caso particular pode ser compreendido a partir de um fenômeno mais amplo: muitas das categorias qualitativas, que usamos para classificar os dados, são realizadas a partir de elementos quantitativos: idade dos envolvidos, número de processos ajuizados, número de votos divergentes, etc.

Enquanto muitas estratégias estatísticas comparam variações de quantidades numéricas, o direito muitas vezes precisa comparar elementos propriamente quantitativos (como o número de interrupções feitas ao foto do relator) com distinções qualitativas (como o gênero do relator ou sua cor). A busca de compreender o impacto de certas categorias qualitativas em variáveis quantitativas nos leva a ter de trabalhar muito bem com esses dois mundos, e de incluir nessa equação também os elementos teóricos que estão na base dessas classificações.

Por isso, ainda que seja importante compreender as metodologias quantitativas e qualitativas, é bastante provável que a sua pesquisa exija alguma combinação de grandezas numéricas e elementos categoriais, que geram modelos que precisam combinar essas duas perspectivas.

Requisitos de uma classificação robusta

Confiabiliade

Toda classificação robusta precisa ter critérios de classificação que sejam confiáveis, ou seja, que sejam passíveis de gerar os mesmos resultados caso sejam aplicados par pessoas diferentes, em tempos diferentes (Epstein e King 2013).

Se fazemos uma pesquisa em que buscamos identificar a prevalência de certos assuntos nas decisões liminares concedidas pelo STJ, precisamos contar com uma tabela de classificação de assuntos que tenha critérios suficientemente precisos e claros, para que os resultados sejam confiáveis. Uma impessoalidade absoluta pode ser quimérica, mas a falta de explicação adequada dos critérios pode fazer com que pessoas diferentes façam classificações tão díspares que o resultado da classificação não seja confiável.

Na pesquisa "A quem interessa o controle de constitucionalidade?", buscamos desenvolver categorias que identificassem quem eram as pessoas beneficiadas pelas decisões de ADI julgadas pelo STF, mas o fato é que não conseguimos desenvolver um sistema confiável de classificação. Em alguns casos, essa apreciação era simples (como quando um grupo de servidores recebia benefícios salarias), mas em outros ela era tão imprecisa (quando um determinado benefício era anulado) que não conseguimos estabelecer um critério de classificação minimamente satisfatório. Isso fez com que a pergunta fundamental do trabalho não fosse respondida de forma direta.

Porém, devemos conceder que mesmo as classificações que usamos não eram totalmente confiáveis, porque nos baseamos em distinções conceituais que não são totalmente definidas. Nós buscamos classificar os fundamentos da decisão, mas em muitos casos esses fundamentos eram múltiplos, o que dificultava identificar um fundamento único. Além disso, havia decisões que declaravam a inconstitucionalidade de vários dispositivos, por motivos diferentes, o que impedia uma classificação totalmente consistente. Para completar, havia casos em que as próprias decisões não eram muito consistentes, como na aplicação do princípio da simetria.

Uma dificuldade especial é que esses critérios de classificação tinham grandes impactos quantitativos, visto que nossa interpretação da atuação do STF dependia da verificação da predominância de certos tipos de decisões. Com isso, toda imprecisão conceitual gerava uma classificação imprecisa, e esta gerava medidas que incorporavam o mesmo grau de imprecisão.

Toda classificação prática precisa enfrentar esses desafios e alcançar um alto grau de confiabilidade é um objetivo difícil, embora deva pautar os esforços da pesquisa. De toda forma, a pesquisa precisa ser transparente quanto às suas próprias limitações: cabe esclarecer os critérios que foram efetivamente utilizados, para que os leitores possam avaliar a solidez dos diagnósticos e das explicações.

Validade

Uma classificação pode ser confiável (no sentido de ser precisa o suficiente para se tornar repetível), mas conduzir a resultados inválidos. Uma dificuldade que localizamos nas pesquisas sobre controle concentrado foi a de que muitas delas buscam fazer inferências a partir de todos os casos de ADIs, sem levar em consideração que os padrões de ajuizamento e de julgamento de ações diretas contra atos estaduais (ADEs) são muito diferentes das ações contra atos federas (ADFs).

Isso faz com que a contagem do número de decisões de procedência em ADIs conduza a resultados confiáveis, mas inválidos, na medida em que a falta de distinção entre a impugnação de atos federais e estaduais torna essa contagem de decisões um dados sem muito sentido prático.

Outro exemplo de medida inválida, de corrente de classificações inválidas, seriam as tentativas de utilizar a ideologia dos presidentes que indicaram os ministros do STF como indicadores de suas preferências ideológicas pessoais. Nos EUA, é comum que o grupo dos ministros indicados pelo Partido Republicano sejam considerados como ideologicamente diversos do grupo dos ministros indicados pelo Partido Democrata. Porém, esse é um tipo de ligação muito tênue em nosso presidencialismo de coalização, o que faz com que a busca de aplicar no Brasil metodologias que diferenciam os ministros em termos da presidência que os nomeou tende a gerar resultados inválidos.

Para além dos rótulos

Em muitos projetos de pesquisa, um equívoco fundamental é a busca de esclarecer a metodologia por meio de alguns rótulos: método indutivo, método dedutivo, método histórico, ou qualquer outro título que não mostra muito sobre as efetivas estratégias que serão utilizadas. O uso dessas referências gerais, sem qualquer esclarecimento, normalmente indica um projeto que não foi suficientemente desenvolvido.

No projeto que você realiza, importa pouco o nome que você dá ao seu método. O que importa é a sua capacidade de estabelecer claramente estratégias de enfrentamento do seu problema.

Se você faz uma pergunta descritiva (por exemplo, sobre o modo como o STJ decide certas questões), a estratégia de abordagem deve indicar o modo como você pretende coletar os dados, classificá-los e organizá-los de modo a poder realizar o mapeamento que o seu problema propõe.

Se você cria uma hipótese a ser testada (por exemplo, que são concedidos mais mandados de segurança em certas condições), você precisa também explicar que dados vai levantar, como vai organizá-los e que a que tipo de testes a sua hipótese pode ser submetida.

O importante não é dizer se você vai adotar uma perspectiva qualitativa ou quantitativa. O que é mais relevante é você indicar que tipo de classificação você pretende realizar (tipos de decisões, tipos de argumentos, tipos de petições) e que quais são as grandezas você pretende medir (número de decisões de procedência, média de tempos de julgamento, etc.), com o objetivo de construir uma resposta adequada ao seu problema.