Exames nacionais: o que devemos e não devemos fazer com os resultados

Na Educação, em Portugal, o verão inicia-se quase sempre em data próxima e invariavelmente da mesma maneira. Há exames. E, sobre eles, são gerados os mais diversos comentários, sobre a sua correção, a sua maior ou menor dificuldade ou a sua adequação aos alunos, acompanhados, algumas horas depois da sua divulgação, de prognósticos sobre os esperados resultados. E aqui começa um primeiro equívoco. Anunciar-se, de forma puramente especulativa, que os resultados vão subir ou descer, é um exercício totalmente inútil porquanto a imprevisibilidade das variações dos resultados, da sua amplitude e sentido, ascendente ou descendente, mostra, ano após ano, a irrelevância de tais previsões.

Apesar de a probabilidade de acerto de quem «aposta» na subida ou, em alternativa, na descida ser quase de 50% (existe ainda uma remota possibilidade de o resultado ser igual ao do ano anterior), não raras vezes tais previsões revelam-se infundadas. Havendo ainda quem por vezes «aposte» nas duas opções, descia e subida, criando explicações para sustentar uma e outra, e assim acerta-se quase de certeza, quando são publicados os resultados e as profecias não se concretizam, os profetas evaporam-se, ficam mudos, remetidos a um silêncio sepulcral, lidando cada um à sua maneira com o desencanto do seu rotundo falhanço.

Em boa verdade, em cada ano, os resultados dos exames, analisados de forma rigorosa e séria, permitem-nos formular juízos de valor sobre os desempenhos dos alunos, em contexto de avaliação externa, pelo que deveríamos gastar as nossas energias a interpretá-los (depois de serem publicados, claro) e, de seguida, pensar quais as melhores estratégias para, nos anos seguintes, apoiar os alunos na superação das suas fragilidades.

Em vez disso, surgem elaboradas teses que visam convencer os portugueses de que a leve brisa de fim de tarde é, na verdade, um poderoso furacão. Refiro-me à caricata tentativa de encontrar explicações para variações de resultados que, a exemplo deste ano, nos exames das disciplinas com mais de 2500 candidatos, oscilaram menos de 1 valor (10 pontos) numa escala de 20. Noticiar e tentar justificar tais oscilações é tão desprovido de sentido como se alguém quisesse encontrar uma explicação para uma notícia do género: «Hoje o vento soprou a menos de 1km/h».

Aquela abordagem, fomentada por diversos interlocutores, repetida ano após ano, constitui uma «não notícia», mas que habitualmente ganha foros de manchete em muitos jornais e telejornais. Reportar com grande destaque, como se observou este ano, a «queda a Português e a Matemática», quando estamos a falar da descida de 1 e de 6 ponto, respetivamente, em 200, dispensa qualquer comentário. E ainda que tais oscilações merecessem qualquer notícia, a mesma estaria minada por uma inexplicável falta de isenção: a subida de 7 pontos na Física e Química e de 6 pontos na Biologia e Geologia parece que não ter acontecido, ou pelo menos à mesma não foi dado idêntico destaque.

Mas a questão, de facto, é de outra dimensão, técnica e, infelizmente, não percebida por quem a deveria conhecer. Os exames nacionais não são instrumentos desenhados para fomentar comparações anuais de resultados e, muito menos, para aferir o desempenho de um sistema educativo. São provas públicas, todos os anos concebidas de raiz, e o seu primeiro propósito é o de certificar as aprendizagens num fim de um ciclo, neste caso, no fim da escolaridade obrigatória.

Como as provas são concebidas em função do programa de cada disciplina, e nenhuma prova conhece a luz do dia sem ter passado pelo crivo apertado de validação pedagógica, científica e técnica de um painel de especialistas de base pluridisciplinar e, desde 2014, também pela validação das associações de professores e sociedades científicas que representam no Conselho Científico do IAVE as diversas disciplinas, constituem uma boa medida para assegurar a tal certificação das aprendizagens dos alunos. E não devemos esquecer que essa certificação faz-se respeitando uma adequada valorização das propostas de classificação interna, fruto do trabalho continuado e de interação quase quotidiana entre alunos e professores, que pesa 70%, conferindo à avaliação externa, circunstancial e que ocorre num único momento, o peso de 30%. Ou seja, é um sistema equilibrado.

As razões da inutilidade das tradicionais comparações de resultados entre dois ou mais anos percebem-se bem se tivermos em conta as condições em que são concebidas e aplicadas as provas em cada ano. Todos os anos os exames de cada disciplina mudam. Mudam os enunciados das provas, os alunos que as realizam (ou a sua grande maioria), o momento em que o exame é realizado e mudam ainda os professores classificadores (pelo menos em parte). Logo, noticiar que os resultados mudam é, por isso, uma «não notícia». É normal serem diferentes. Bastaria ter em conta apenas um das variáveis atrás referidas para estarmos em presença de uma quase impossibilidade estatística: em dois anos consecutivos os resultados nos exames de uma mesma disciplina, em pontos (numa escala de 0 a 200), não mudarem. Isso, sim, deveria ser notícia!

Por isso, reportar em quantas disciplinas subiram ou desceram os resultados em cada ano tem o mesmo valor do que noticiar, com o destaque que conhecemos, a direção e a intensidade do vento num dado dia e num dado local. Alguém quer imaginar quais seriam os títulos das notícias se num dado ano as notas de todos os exames a subissem 1 ponto (em 200) ... ou, ao contrário, descessem 1 ponto?

Mas, ainda que uma prova de exame aplicada em anos diferentes fosse a mesma, e não pública (por exemplo, como nos testes PISA), mudando os alunos, mudará sempre o resultado. O mesmo é verdade no caso de uma mesma prova aplicada aos mesmos alunos com um intervalo de dias, semanas. Seria o bastante para termos resultados diferentes. Ou basta mudar o elenco dos professores classificadores, que, por sinal, muda de um ano para o outro, para que algum impacto nos resultados pudesse acontecer.

De facto, para aferir o desempenho do sistema a partir dos resultados dos alunos temos provas de aferição, que, embora públicas, nos dão informação relevante para ficarmos a conhecer as fragilidades de aprendizagem dos nossos alunos, que são muitas, algumas persistentes, e que ocorrem bem cedo no percurso escolar dos alunos. Para tal não precisamos de uma «nota». Para esse efeito podemos também recorrer às informações que os resultados dos estudos internacionais PISA, TIMSS, PIRLS, ICILS nos proporcionam. É por isso que o país neles participa.

Retomando a questão dos resultados dos exames, era notório que este ano alguém estaria à espera de um qualquer «desastre» que, afinal, não aconteceu. Mas quando a constatação desta evidência era já um dado adquirido, a perspetiva do «desastre» foi retomada, tendo como centro das atenções a disciplina de História A.

«Afinal, se houve desastre nos exames este aconteceu na disciplina de História», noticiava-se há dias. Estávamos perante o fabricar de uma explicação para «um não desastre». A descida de 8 pontos nos resultados da disciplina de História A teria ficado a dever-se a uma alteração não anunciada da distribuição das cotações pelas perguntas no exame. Como não foi anunciada, não foi possível «formatar» os alunos para responderem às questões. Ou seja, a lógica seria a de convencer-nos de que pelo facto de uma questão valer 50 pontos, até 2017, ter agora passado a valer 20, os alunos teriam «apagado o seu ficheiro de memória», teriam «perdido» os seus conhecimentos, capacidades e competências. Claro, porque a primeira coisa que os alunos fazem quando lhes colocam o enunciado à frente é ir verificar as cotações das perguntas! Nem vale a pena comentar.

A lógica que sustenta o atirar de culpas para a descida de 8 pontos ao IAVE é assaz interessante. As alterações da distribuição das cotações explicam a descida conhecida na disciplina de História A, mas a mesmíssima medida, aplicada aos exames de todas as outras disciplinas, terá contribuído para gerar uma subida de 7 pontos na disciplina de História B, bem como em muitas outras (Filosofia, Física e Química, Geografia, só para dar alguns exemplos). Ou seja, as alterações na distribuição das cotações, medida técnica que visa unicamente assegurar maior equidade entre os alunos na forma como se distribuem os resultados, nunca contribui, por si, só para a sua descida.

Ainda sobre a prova de História A, alguém também nos quis convencer de que então a «culpa» da descida estaria na extensão da prova. Pois o exame de História A, como aliás nenhum outro, teve a sua extensão, dificuldade ou complexidade aumentada no ano em curso. Por acaso, o exame de História A deste ano tem o mesmo número de questões que os de anos anteriores, mas em todas as questões que requerem a produção de respostas de composição se exigem menos elementos para que uma resposta possa ter a pontuação total: ou seja, este ano o exame foi menos complexo.

Na verdade a explicação para as descidas e subidas, apesar de tão pequenas e estatisticamente não significativas, como atrás foi mostrado, implica sempre ignorar a média nacional e olhar atentamente para os resultados do nível de acerto médio em cada questão. Afinal, em 2016, a média de História A já tinha sido 9,5. Neste caso, basta uma radiografia rápida sobre os níveis de acerto de algumas questões para encontrar explicações plausíveis, factuais e objetivas para a oscilação observada: apenas o resultado de uma questão, que implicava a mobilização de informação extraída de um gráfico, a sua interpretação e posterior integração na resposta, que atento o nível de dificuldade e de complexidade em questões similares de anos anteriores apontava para um acerto médio da ordem dos 60%, traduziu-se, este ano, num acerto médio de apenas 26%. Assim, 6 pontos dos 8 pontos de descida são explicados pelo desempenho dos alunos em uma única questão.

Retomo a questão de partida. Deveríamos estar a debater, de forma séria e serena, o facto de as dificuldades inesperadas que os alunos manifestaram na resposta à questão atrás referida estarem há muito identificadas e continuarem a persistir. Algo que há cerca de uma década começou a ser referido em todos os relatórios que o IAVE tem produzido sobre os resultados dos exames, ou pode ser conhecido através da análise e interpretação dos resultados do acerto em cada questão, que todos os anos são enviados para as escolas.

Então, o foco do debate, que estamos sempre a adiar e a deixar para o ano seguinte, deveria estar centrado na urgência em abandonar a convicção de que «treinar» para o exame constitui a melhor estratégia para o sucesso. Está provado que não. Resolver muitos exames, em especial nos dias ou semanas que antecedem a sua realização, não chega. Condicionar o ensino, a aprendizagem, ou a forma de estudar, ao calendário dos testes é a melhor receita para não se alcançar o sucesso que cada um ambiciona. Estudar para os testes ou para os exames não significa aprender, ou pelo menos não garante, longe disso, a concretização de aprendizagens significativas, profundas e duradouras.

Para que tal aconteça o foco do trabalho de professores e alunos, não podendo deixar de fora a consciencialização das famílias de que é este o caminho, tem de estar centrado no desenvolvimento de ferramentas que capacitem os alunos para a análise, para a articulação e integração, em cada resposta, da informação que é fornecida no enunciado das provas. Em suma, desenvolver pensamento crítico que permita mobilizar o que se aprendeu (algo muito diferente de algo que se tenha apenas memorizado) para aplicar no momento certo e de forma adequada na produção de uma resposta.

Este é o desafio, no qual os professores não podem estar sozinhos: alunos e famílias têm de estar alinhados numa estratégia que, conduzida pelos professores, implica pensar de modo diferente a forma de ensinar, mas também de aprender. Implica uma predisposição para se aprender pelo valor do que se aprende e não apenas tendo como objetivo alcançar uma determinada «nota».

Este é o debate que daqui em diante deveríamos estar a ter. Talvez na rentrée do ano escolar. Digo eu e diz a OCDE, que bem recentemente nos veio relembrar que a nossa escola, em especial no ensino secundário, precisa urgentemente de «começar a ensinar», deixando de lado o treino para o teste e a preparação para o exame como processos centrais do trabalho de três anos, que afinal são cruciais na formação dos nossos jovens.

Presidente do Conselho Diretivo do IAVE, I.P.

Mais Notícias