A história mais ouvida é aquela contada pelos vencedores. E todos buscamos vencer, inclusive motivados pelo sonho de entrar para a História. Mas nosso senso de justiça, por mínimo que seja, exige que a disputa tenha regras claras, que sejam aplicadas igualmente a todos e, principalmente, que o campeão seja aclamado sem manipulações. Na ausência de um desses critérios, qualquer campeonato perde a credibilidade. Na política, porém, a artimanha é rotina, sobretudo no que diz respeito à manipulação de dados durante a corrida eleitoral. Vamos analisar esse fenômeno a partir do que foi feito com os resultados do Índice de Desenvolvimento da Educação Básica (IDEB).

No último dia 8 de setembro, o IDEB 2015 foi oficialmente divulgado. Pernambuco e São Paulo apareceram empatados na primeira colocação do Ensino Médio Regular. A notícia repercutiu muito nos meios de comunicação do estado nordestino. No mesmo dia, o mais antigo jornal local publicou uma matéria em que o Secretário-Executivo de Educação Profissional, Paulo Dutra, e alguns gestores comemoravam o feito inédito. Similarmente, o outro grande jornal do estado estampou a manchete “Ideb: Pernambuco passa a ter a melhor educação pública do Brasil”. Mas a ênfase dada na divulgação da informação não veio acompanhada de qualquer análise mais acurada dos dados.

Quando temos a iniciativa de investigar a consistência do Índice vários elementos suspeitos pairam no ar. Primeiramente, a amostra utilizada para mensurar o teste de avaliação de desempenho não é aleatória. Por isso, os resultados não são generalizáveis para as demais escolas do estado. Todo graduando em Estatística sabe disso. Está na hora da população saber também. Segundo, a taxa de aprovação dos alunos é intencionalmente sobrestimada, o que infla artificialmente a magnitude do IDEB. Terceiro, a nota do IDEB está apenas moderadamente correlacionada com o ENEM, o que é estranho já que ambos os indicadores supostamente mensuram a mesma dimensão: qualidade da educação. Quarto, é curioso o mesmo estado despontar em um nível de ensino e apresentar desempenho medíocre em outros. Pernambuco fez isso. Por fim, a adoção de uma casa decimal pelo próprio Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) posiciona, de forma equivocada, Pernambuco em primeiro lugar. Em conjunto, essas limitações justificam uma dúvida razoável sobre a conclusão de que a educação em nosso estado é campeã.

Seguindo a análise para a metodologia da avaliação que lastreia o Índice, sabe-se que a Secretaria de Educação de Pernambuco conhece previamente quais são as escolas que participarão dos testes de proficiência em Português e Matemática. O governo se realiza aulas de reforço de forma seletiva em alguns estabelecimentos educacionais. A preparação diferenciada de determinadas escolas viola o pressuposto da aleatoriedade da amostra, que fundamenta a confiabilidade da generalização estatística. Ou seja, os resultados simplesmente não têm validade para o estado como um todo. Essa opção pedagógica, além de impactar de maneira artificial sobre o Índice, reduz arbitrariamente o tempo de aula de outras disciplinas da grade curricular.

Podemos também esquadrinhar a validade do escore final de Pernambuco observando a correlação entre o resultado do IDEB e a nota do Exame Nacional do Ensino Médio (ENEM), que é uma avaliação externa de larga escala, sem interferência de gestores da educação no Estado. Entretanto, os dados oficiais demonstram que não é o caso. No Enem de 2015 Pernambuco ficou na 9ª posição com uma média de 487, diferente de São Paulo que ocupou o 1º lugar, com escore de 506. Ou seja, o aparente sucesso do IDEB de Pernambuco não reflete o resultado do ENEM. O gráfico 1 ilustra a relação entre essas variáveis.

As linhas pontilhadas representam as médias. Como pode ser observado, existe uma correlação positiva moderada entre o rendimento do ENEM e a nota do IDEB (2015). Ou seja, em média, quanto maior o IDEB, maior o Enem. Estranhamente, Pernambuco está muito próximo da média do ENEM, mas muito acima da média do IDEB.

Em particular, ao se considerar os componentes de desempenho do próprio IDEB, Pernambuco ficou na 10ª posição em Matemática. Em Português, o estado assumiu a 7ª colocação no ranking nacional. Na média das duas disciplinas, a unidade federativa amargou o 8º lugar (N = 4,35). E como explicar a disparidade entre as medidas de desempenho e o resultado final do IDEB? Enquanto que a taxa nacional de aprovação média se aproxima de 80%, Pernambuco aprova 89% dos seus estudantes. Os professores ganham bônus monetários quando a taxa de reprovação é baixa, e sobre eles recai forte pressão para aprovação mesmo quando os estudantes apresentam performances pífias nas avaliações internas. Ademais, Pernambuco apresenta também níveis inacreditavelmente baixos de evasão. Ou seja, tem-se mais um motivo para desconfiar da validade dos resultados divulgados já que o alto nível de aprovação infla artificialmente o IDEB.

Até o simples fato de comparar graficamente a evolução dos estados de São Paulo e Pernambuco também nos fornece outra boa evidência de algo não parece certo. Ao examinar a série histórica com seus escores finais no IDEB, salta aos olhos o movimento ascendente excêntrico realizado pelo estado dito campeão. O IDEB em São Paulo passou de 3,3 em 2005 para 3,9 em 2015, isto é, um aumento de 18,2% em 10 anos. Já Pernambuco passou de 2,7 para 3,9 no mesmo período, ou seja, um incremento abrupto de 44,44%, enquanto a média de crescimento nacional foi de 16,33%. Isso quer dizer que o estado é bem diferente dos demais quando o assunto é melhorar a qualidade no IDEB, mas tão diferente que precisa ser profundamente estudado. O gráfico 2 ilustra a evolução do IDEB dos estados entre 2005 e 2015:

Como se não bastasse tudo isso, existe uma forte incoerência entre o desempenho de Pernambuco no IDEB entre os diferentes níveis de ensino. Em relação aos Anos Iniciais, Pernambuco aparece na 18ª posição, enquanto São Paulo aparece em primeiro lugar. Para os Anos Finais, Pernambuco aparece em 11ª posição, já São Paulo aparece novamente liderando o ranking. É preciso muita fé para acreditar que o Ensino Médio pernambucano esteja empatado com o campeão. Afinal, da onde vieram esses estudantes senão da própria rede pública que apresenta uma performance medíocre?

Por fim, na questão do arredondamento, o indicador de rendimento médio, que indica o fluxo escolar, de São Paulo e Pernambuco foi exatamente o mesmo: 0,89. Todavia, a nota média padronizada de desempenho foi diferente. Enquanto São Paulo teve 4,41, Pernambuco obteve 4,35, o que torna o empate tecnicamente impossível. Ao ajustar os resultados a partir dos dados oficiais, tem-se São Paulo com IDEB de 3,94 e Pernambuco com 3,89.

Como se deduz dos dados, estamos diante de uma vitória questionável, sem graça. O peso das evidências exige que sejamos mais prudentes, que ajustemos nosso bom senso mais pela ciência e menos pelo marketing. Não existem milagres em educação. Em 1954, Darrell Huff publicou o best-seller “Com mentir com Estatística”, que como o próprio título indica, serve de manual sobre como utilizar dados para confundir, atrapalhar e enganar. Os dados finais do IDEB não refletem a situação atual da qualidade educacional em Pernambuco. Defender o contrário é sinônimo de ignorância honesta ou má-fé deliberada. Maquiavel dizia que “todos veem o que você parece ser, mas poucos sabem o que você realmente é”. Todos querem cantar vitória, mas poucos reúnem os subsídios adequados para contá-la da maneira correta.

Dalson Figueiredo (Prof. Dr. do dpt. de Ciência Política da UFPE)

Erinaldo Carmo (Prof. do Colégio de Aplicação da UFPE e Dr. em Ciência Política)

Romero Maia (Analista de Planejamento e Estatística do IBGE)