A construção de um teste de larga escala deve estar sempre pautada na combinação entre dois aspectos: o juízo pedagógico, que define os níveis de proficiência e os descritores das competências, e os dados empíricos, que determinam pontuações de corte, questões âncora e dão confiabilidade técnica aos testes. A opinião é do professor Jesús Jornet Meliá, doutor em Filosofia e Ciências da Educação pela Universitat de València-Estudi General (UVEG), onde é docente do Departamento de Métodos de Investigação e de Diagnóstico da Educação desde 1984 e, desde 2007, catedrático de Medição e Avaliação Educativa do mesmo departamento.

O espanhol foi um dos palestrantes do Seminário Internacional Devolutivas das Avaliações de Larga Escala, que ocorreu no dia 12 de março, em Brasília, na sede do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). O evento foi uma realização do Inep, do movimento Todos Pela Educação e da Associação Brasileira de Avaliação Educacional (Abave).

Para atender ao primeiro aspecto, Meliá sugere que é essencial a formação de comitês que tenham a participação de especialistas em pedagogia, em currículo e professores que sejam capazes de trazer ao plano geral da avaliação toda a diversidade cultural, étnica e social do país. Somente com essa composição será possível conquistar validade para a avaliação e, em consequência, dar a ela utilidade na tomada de decisões e na definição ou na alteração de políticas educacionais.

Para o segundo aspecto, Meliá afirma que já se avançou muito. “Temos bons modelos psicométricos, temos ferramentas boas. O desafio é ampliar esse olhar, pois continuamos com o problema clássico de esquecer a validade”, argumenta o especialista.

Meliá usa como exemplo a própria avaliação tradicional comum nas escolas, que traça uma média e afirma: os que estão acima estão aprovados, os que estão abaixo, reprovados. Estes sabem, estes não sabem. “Esse critério absoluto de qualidade não nos serve”, pondera o pesquisador. “A taxonomia proposta por Lorin Anderson é uma excelente maneira de começar a quebrar esse critério absoluto”, diz.

Além disso, segundo o pesquisador, os tipos de padrões a ser desenvolvidos devem estar coerentes com os objetivos do plano geral da avaliação em questão. "Quando falamos de métodos e da determinação de padrões, temos que nos concentrar em quais deles devemos usar para não haver confusão. Um padrão que serve para avaliar o estudante não serve para avaliar uma rede de ensino", afirma o professor. Segundo ele, a finalidade de um processo de determinação de padrões é fornecer um sistema de interpretação das pontuações das provas que esteja “a serviço da tomada de decisões e da comunicação dos resultados”.

Conclui o pesquisador: “Precisamos partir do pressuposto que Educação é para todos. Nas provas de larga escala, fazemos uma redução muito forte no plano de avaliação. O sistema está bem ou o sistema está mal. Miramos apenas o produto. Mas a Educação se dá em muitos cenários. Os formais e informais, os étnico-raciais, a matiz social, tudo está incluindo e precisa ser considerado na hora de avaliar. Não podemos perseguir um padrão fechado, mas contextualizado. Os padrões serão melhores se representam a diversidade”.