O que sua escola tem a ver com o Pisa?
Analise o desempenho dos alunos, identifique os pontos críticos e invista na formação de professores
POR: Elisângela Fernandes
Não é novidade o Brasil aparecer mal colocado na Educação em comparação a outros países. No Programa Internacional de Avaliação de Alunos (Pisa, na sigla em inglês), edição de 2012, cujos resultados foram divulgados no fim do ano passado, o país ocupou a 55ª posição em leitura, a 58ª em Matemática e a 59ª em Ciência - em um universo de 65 países participantes. Contudo, a avaliação pode trazer, além do ranking, informações importantes para a coordenação pedagógica. A análise das respostas pode dar pistas sobre o que os alunos já sabem e o que precisam aprender.
Nessa edição do exame, em que o foco foi a Matemática, as áreas com desempenho mais crítico foram Números e Operações e Espaço e Forma (veja a tabela abaixo): 70% dos estudantes ficaram no nível 1 ou abaixo dele (conheça as habilidades esperadas em cada nível na última página). Duas perguntas podem ajudar a entender os resultados: esses conteúdos estão sendo contemplados no currículo? A equipe docente tem a formação adequada para ensiná-los?
Espaço e Forma é um eixo da Matemática que recebe pouca atenção nas aulas, segundo o artigo A Geometria no Ensino Fundamental: Reflexões sobre uma Experiência de Formação Envolvendo Professores e Alunos, dos pesquisadores Saddo Ag Almouloud, Ana Lucia Manrique, Maria José Ferreira da Silva, Tânia Maria Mendonça Campos, todos da Pontifícia Universidade Católica de São Paulo (PUC-SP). A equipe gestora, portanto, precisa garantir que nenhuma das quatro subáreas seja negligenciada.
Contudo, não basta assegurar o cumprimento do currículo. Prova disso é que Números e Operações é o eixo mais trabalhado em aula, como aponta o estudo Concepções de Ensino da Matemática que Emergem da Prática Docente, de Mônica Cerbella Freire Mandarino, professora da pós-graduação da Universidade Federal do Estado do Rio de Janeiro (Unirio) e da Universidade Federal do Rio de Janeiro (UFRJ). Por isso, o plano de formação também deve priorizar os conteúdos com piores indicadores de aprendizagem.
Para identificá-los, os resultados do Pisa e de outras avaliações externas, como a Prova Brasil, não podem ser os únicos parâmetros. Eles trazem um panorama geral das aprendizagens em determinadas situações e áreas do conhecimento, mas é preciso estar alerta a alguns riscos na interpretação dos dados. "O país não tem um currículo obrigatório e nem sempre os conteúdos cobrados nesses exames foram ensinados. Além disso, a forma como as questões são elaboradas e a familiaridade dos alunos com o tipo de problema são fatores que impactam os resultados", observa Célia Maria Carolino Pires, professora do Departamento de Matemática e do Programa de Estudos Pós-Graduados em Educação Matemática da Pontifícia Universidade Católica de São Paulo (PUC-SP).
Para Stella Maris Lemos Nunes, professora do Departamento de Matemática e Estatística da Universidade Federal dos Vales do Jequitinhonha e Mucuri (UFVJM), Campus Diamantina, em Minas Gerais, o fraco desempenho na área mais trabalhada de Matemática pode ser explicado pelo fato de as questões de aritmética abordadas nas salas de aula brasileiras enfatizarem mais as operações do que a resolução de problemas.
Por esse motivo, o gestor deve levar em consideração também as avaliações internas ao planejar a formação continuada. Isso requer acompanhamento constante e diagnóstico preciso da aprendizagem em cada área. Os professores, junto com a coordenação pedagógica, devem tabular os resultados dos exames, analisar periodicamente as produções dos estudantes e comparar com o plano de ensino para definir os pontos a ser discutidos durante os encontros com os docentes.
Feita essa ressalva, a análise do desempenho dos estudantes em cada questão cobrada serve de inspiração e de modelo para que os educadores investiguem os erros mais comuns nas atividades propostas na própria escola e, com isso, proponham situações de ensino mais efetivas para superar as lacunas (veja algumas questões cobradas nas áreas avaliadas pelo Pisa). Vale lembrar que o Pisa avalia alunos na faixa dos 15 anos. Espera-se que os conteúdos e habilidades cobrados no exame tenham sido desenvolvidos ao longo dos nove primeiros anos de escolarização. Por isso, a análise dos resultados interessa a todos, inclusive os educadores aos anos iniciais do Ensino Fundamental.
Pesquisa aponta desafios para o ensino da Matemática
No Brasil, ainda são poucos os estudos que interpretam pedagogicamente os resultados das avaliações externas. Uma das poucas exceções é a tese de doutorado A Proficiência Matemática dos Alunos Brasileiros no Pisa 2003: Uma Análise dos Itens de Incerteza, defendida em 2013 por Stella Maris. A pesquisadora se debruçou sobre o de- sempenho dos alunos no Pisa, especificamente os conteúdos de Incerteza - que aqui no país são chamados de Tratamento da Informação e abordam conhecimentos relativos à leitura e interpretação de gráficos e tabelas, por exemplo.
Uma das principais conclusões da pesquisa é que, nessa subárea, os brasileiros têm dificuldades em resolver itens de conexão e reflexão. "De modo geral, os alunos brasileiros conseguem solucionar principalmente itens do grupo de competências de reprodução, que exigem processos cognitivos mais elementares", conclui a pesquisadora (leia sobre os grifos no quadro abaixo).
A análise dos itens feita por Stella Maris pode servir de modelo para que, durante as reuniões pedagógicas, o coordenador tematize junto com os docentes o desempenho dos alunos nas demais áreas da Matemática.
Durante a pesquisa, a professora também comparou os objetivos e as questões do Pisa com as da Prova Brasil e os dos Conteúdos Básicos Comuns (CBC), que orientam a avaliação realizada pela rede estadual de Minas Gerais. Ela demonstra que há diferenças estruturais entre as iniciativas. A avaliação internacional cobra habilidades cognitivas relacionadas a situações cotidianas ou do mercado de trabalho. Já os exames nacionais enfatizam mais o conteúdo, ainda que utilizem itens que apresentam a Matemática por meio de situações-problema.
Investigações como as que foram feitas por Stella Maris são importantes não só para obter um panorama geral dos erros e dificuldades mais comuns dos alunos brasileiros em cada área da Matemática como também para apontar falhas e apresentar sugestões de aperfeiçoamento das avaliações. Segundo ela, a própria matriz da Prova Brasil não enfatiza os conteúdos de Incerteza.
"Apesar de necessário, o uso pedagógico das avaliações ainda é restrito", critica José Francisco Soares, professor titular aposentado da Universidade Federal de Minas Gerais (UFMG), em entrevista concedida à GESTÃO antes de assumir a presidência do Inep. É a quinta edição em que o Brasil participa do Pisa, contudo ainda são poucas as informações que chegam aos educadores. Até o fechamento desta edição, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), responsável pela coordenação do exame no país, não havia divulgado o relatório pedagógico com o detalhamento da edição do Pisa 2012 no país. Esses documentos trazem exemplos de questões cobradas no exame, discriminam as habilidades e os conteúdos envolvidos e o desempenho dos estudantes em cada um deles.
Conexão As competências de conexão "exigem processos cognitivos relacionados à resolução de problemas (de resolução direta) para situações não rotineiras, embora em contextos familiares ou bem próximos disso".
Reflexão As competências de reflexão são aquelas em que há a integração de "habilidades necessárias para a resolução de problemas que carecem de um pensamento matemático mais amplo, que geralmente ocorrem em situações mais distantes da vida do aluno, como as situações científicas".
Reprodução As competências de reprodução cobradas no Pisa são aquelas que "compreendem a repetição de conhecimentos familiares, frequentemente testados em avaliações padronizadas e em testes de sala de aula (operações matemáticas simples). As habilidades estão ligadas de maneira muito próxima ao que é entendido como conteúdo. A aprendizagem do conteúdo, apesar de necessária, constitui-se apenas como o passo inicial no processo de aquisição da competência matemática."
Questões comentadas
Questão 1 - Conexão
Um repórter de TV apresentou o gráfico abaixo e disse: o gráfico mostra que, de 1997 para 1999, houve um grande aumento no número de assaltos.
Você considera que a informação do repórter é uma interpretação razoável do gráfico? Dê uma explicação que justifique sua resposta.
Resposta esperada
Plenamente correta: as que indicam "Não, não é razoável" e demonstram que a figura mostra apenas uma pequena parte do gráfico, ou contêm argumentos corretos em termos de aumento de razão ou de porcentagem, ou referem-se à exigência de dados sobre tendências antes de fazer uma avaliação.
Parcialmente correta: as que indicam "Não, não é razoável", mas trazem explicações sem detalhes (focaliza APENAS um aumento expresso pelo número preciso de roubos, mas não compara esse número com o total), ou com método correto, porém com pequenos erros de cálculo.
Vale lembrar ainda que no Pisa uma mesma questão pode avaliar mais de uma habilidade, por isso a resposta do aluno pode se enquadrar em diferentes níveis da escala.
Comentário
A questão acima, classificada pelo Pisa como um item de resposta construída aberta, exige duas habilidades para a sua solução: argumentação na interpretação dos dados e comunicação/explicação para justificar o que acontece.
O aluno deve perceber que, embora os números apresentem informações corretas, o truncamento das barras pode levar a uma interpretação errada, pois a figura mostra apenas parte do gráfico, passando a ideia de que houve um imenso aumento no número de roubos. Se a figura mostrasse o gráfico completo, a leitura seria outra.
O item requer conhecimento da área de Incerteza (Tratamento da Informação) que, segundo o modelo teórico do Pisa, explora uma situação pública e ajuda a verificar o domínio do grupo de competências de conexão.
Entre os itens de Incerteza divulgados pelo Inep, esse foi o item em que o Brasil obteve o seu pior desempenho. Apenas 4% dos alunos brasileiros foram capazes de resolvê-lo. Isso nos mostra que as habilidades de "utilizar argumentação rigorosa baseada em insight na interpretação de dados" e "comunicar argumentos e explicações complexos" se mostram pouco consolidadas para os alunos de 15 anos de idade. Em contraste, 41,5% do grupo da OCDE foram capazes de resolvê- los.
Questão 2 - Reflexão
Para uma atividade escolar sobre meio ambiente, os alunos coletaram informações sobre o tempo de decomposição de vários tipos de lixo que as pessoas jogam fora:
Um aluno pretende mostrar os resultados em um gráfico de barras.
Dê uma justificativa para o fato de que o gráfico de barras não é o mais adequado para representar esses dados.
Resposta esperada
A justificativa se baseia na grande variação dos dados: as diferenças de comprimento das barras do gráfico de barras seriam muito grandes. Se colocarmos uma barra com 10 centímetros de comprimento para o plástico, a barra das caixas de papelão mediria 0,05 centímetro. Outra justificativa possível é aquela que se baseia na variabilidade dos dados para determinadas categorias: o comprimento da barra correspondente aos copos de plástico é indeterminado. Não se pode representar uma barra para de 1 a 3 anos, ou uma barra para de 20 a 25 anos.
Comentário
Nesse item, o aluno deve ser capaz de ler dados em uma tabela e apresentar argumentos matemáticos válidos para justificar que um gráfico de barras é inadequado para representar os dados específicos desse item. Para isso, terá de perceber a variação entre os dados e entender que algumas categorias não podem ser adequadamente representadas por uma barra.
A questão envolve a compreensão de uma situação teórica e se enquadra no grupo de competências de reflexão, segundo o modelo teórico do Pisa.
Somente 17% dos brasileiros acertaram o item. A maioria não desenvolveu habilidades de "mostrar insight em relação a aspectos de dados em tabelas e gráficos" e "extrair informações de uma tabela e comunicar um argumento simples baseado nessas informações". Entre os países do Grupo de Referência, Portugal e Espanha se destacaram com mais de 50% de acerto nesse item. O grupo da OCDE obteve 52% de acerto.
O conteúdo matemático exigido para a solução está de acordo com a matriz de referência do SAEB e com o currículo básico comum de Minas Gerais. Isso nos leva a crer que esse conteúdo está sendo ensinado nas escolas brasileiras, mas explorando apenas competências do grupo de reprodução - o que não possibilita ao aluno resolver um item que exige uma competência de reflexão.
Questão 3 - Reprodução
Exportações:
Os gráficos abaixo fornecem informações relacionadas às exportações da Zedelândia, um país que utiliza o zed como moeda corrente.
Qual foi o valor total (em milhões de zeds) das exportações da Zedelândia em 1998?
Resposta esperada
27,1 milhões de zeds ou 27.100.000 zeds ou simplesmente 27,1. Também foi aceito o arredondamento para 27.
Comentário
A questão, apesar de não ser de múltipla escolha, é classificada pelo Pisa como um item de resposta construída fechada, ou seja, dada a resposta, é possível transformá-la simplesmente em certa ou errada. A solução exige apenas que o aluno seja capaz de fazer a leitura ou de reconhecer um valor em um gráfico de barras. Como o item traz dois gráficos, o estudante deverá ser capaz de identificar qual deles revela as informações para o problema apresentado. Isso pode ser feito simplesmente por meio da leitura do título dos gráficos.
O item possui enunciado claro e preciso, com gráficos nítidos, bem-posicionados e boa tradução. Há nele palavras desconhecidas, como Zedelândia (país fictício) e zed (moeda fictícia). Entretanto, por se tratar de uma avaliação internacional, é comum a utilização desse tipo de recurso no Pisa, visando não privilegiar alunos de um determinado país.
A mídia utiliza, com bastante frequência, esse tipo de gráfico para ilustrar as informações por ela veiculadas e para chamar a atenção do leitor. A leitura e a compreensão do tipo de informação contida no item, que apresenta uma situação pública em um contexto atual e interessante, qual seja, o de exportações, são componentes essenciais do letramento matemático. Para resolver esse item, são necessários procedimentos rotineiros que se enquadram no grupo de competências de reprodução.
Entre os itens de Incerteza de divulgação autorizada (na época da pesquisa) esse foi o item em que o Brasil apresentou o seu maior porcentual de acertos, com um valor de 66%. Essa informação nos possibilita concluir que a maioria dos alunos brasileiros desenvolveu a habilidade de "ler valores diretamente em um quadro conhecido de dados, como um gráfico de barras". Isso se repetiu nos outros países. Tanto o Grupo de Referência (composto dos seguintes países: Brasil, Espanha, Estados Unidos, México, Portugal e Uruguai) como as nações da OCDE tiveram nesse item o maior porcentual de acertos.
O que é o Pisa e Níveis de competências e habilidades
Sobre o Pisa
O que é Avaliação internacional com objetivo de verificar se os estudantes na faixa dos 15 anos estão preparados para exercer a cidadania na sociedade contemporânea. O Pisa é realizado pela Organização para Cooperação e Desenvolvimento Econômico (OCDE) em parceria com os países participantes.
Quem participa Alunos de 34 países membros da OCDE, de 31 países convidados (como é o caso do Brasil) e de Hong Kong, Macau, Xangai e Taiwan. A cada edição, é feito um sorteio para definir quais escolas do país participarão do exame, segundo a amostra elabora pelo Inep.
Periodicidade A cada três anos, sendo que em cada edição uma das áreas do conhecimento avaliada tem maior ênfase. Em 2012, o foco foi a Matemática. A primeira edição foi em 2000.
O que é avaliado Leitura, Matemática e Ciências. As matrizes de referência - documentos que orientam a elaboração das questões (itens) - podem ser consultadas aqui.
Resultados do Brasil Abaixo, a pontuação média do país em cada área nas cinco edições do exame*:
* Alguns especialistas em avaliação consideram que a comparação dos resultados do Pisa só é possível entre os anos 2003 e 2006 e entre 2009 e 2012. Isso porque, ao longo das edições, houve mudanças no tamanho e na composição da amostra de escolas que participaram do exame.
Escala do Pisa
Níveis de competências e habilidades
Fonte: Pisa