Introdução Organização da Questão Armadilhas Comuns Distratores Tipos de Questões Checklist de Qualidade Uso ético de IAs

Elaboração de Questões no Padrão ENADE

Guia de Boas Práticas, Erros a Evitar e uso ético de IAs,

Prof Dr Jason Gomes
Endereço para Lattes: http://lattes.cnpq.br/1288762186101461

Este conteúdo contou com apoio de Google Gemini e V0.

Introdução aos Erros Comuns na Elaboração de Questões

A elaboração de questões de múltipla escolha exige atenção a detalhes para que a avaliação seja justa e eficaz. Questões bem elaboradas avaliam as habilidades, conhecimentos e competências adquiridas pelo aluno.

Este guia apresenta erros comuns que devem ser evitados na elaboração de questões em conformidade com as diretrizes do Banco Nacional de Questões do ENADE.

A organização de uma questão bem feita

Uma questão bem elaborada é fundamental na avaliação. Sua estrutura deve ser lógica e coesa, guiando o raciocínio do aluno sem ambiguidades.

A estrutura ideal segue um fluxo claro, comum às bancas de concursos e instituições como o INEP, onde cada parte tem uma função específica.

1

Texto-Base

Contextualiza e apresenta a situação-problema (texto, caso, notícia, gráfico, imagem).

2

Enunciado

Fornece o comando claro e objetivo da tarefa a ser executada.

3

Alternativas

Contém a resposta correta (gabarito) e as incorretas mas plausíveis, chamadas de distratores.

Armadilhas Comuns: O Que Evitar?

❌ Erros no Texto-Base

  • Falta de alinhamento: O texto não possui relação com o objetivo da questão.
  • Excesso de informação: Informações redundantes ou desnecessárias que confundem o aluno, textos excessivamente longos.
  • Estímulos múltiplos e desconexos: Usar várias imagens ou textos que não se complementam.

❌ Erros no Enunciado

  • Comando ambíguo: Não deixa claro o que o aluno deve fazer. Ex: "Assinale a mais adequada".
  • Linguagem pessoal: Usar "você" ou "sua opinião" em vez de uma abordagem impessoal.
  • Uso de negativas: Comandos como "Assinale a incorreta", "a alternativa que não representa" podem induzir ao erro.

Exemplos:

Exemplo de comando ambíguo: "Considerando o caso, assinale a opção mais adequada para a intervenção considerando a perspectiva da autora (...)."

Exemplo de enunciado em negativa: "Assinale a opção que NÃO se relaciona com o conceito de X."

A Ciência dos Distratores e Alternativas

Fontes para Distratores Eficazes

Identificar bons distratores é crucial para a qualidade da questão. Eles devem refletir erros comuns, compreensões parciais do conteúdo ou aplicação inadequada de conceitos. Nem sempre é fácil pensar em um bom distrator, por isso seguem algumas dicas:

  • Respostas inadequadas de alunos: Analise questões discursivas de provas já aplicadas onde os alunos demonstraram uma compreensão errada ou uma análise incompleta do tema.
  • Perguntas de alunos em aula: Observe as dúvidas e perguntas feitas pelos alunos durante as aulas. Aquelas que revelam uma análise inadequada ou uma compreensão equivocada do conteúdo são excelentes fontes de distratores.
  • Erros conceituais comuns: Pesquise sobre os equívocos mais frequentes que os estudantes cometem em relação ao tópico abordado.
  • Alternativas plausíveis, mas incorretas: inclua uma aplicação inadequada de conceito ou um erro conceitual inquestionável.
  • ⚠️ Atenção: erro inquestionável não é o mesmo que erro crasso ou muito óbvio.

Alternativas e Distratores Ineficazes

  • Contêm opções como "todas corretas" ou "todas incorretas" (uso proibido no ENADE).
  • Solicitam a identificação da alternativa "mais adequada", o que é contra as regras do ENADE por não garantir uma única resposta inquestionável.
  • Possuem extensão muito desigual, o que pode influenciar o aluno a escolher a opção mais longa, acreditando ser a correta.
  • Absurdos ou ilógicos: Opções que são obviamente falsas ou não têm relação com o tema.
  • Parcialmente corretos: Afirmações que contêm uma parte de verdade, gerando ambiguidade.
  • Baseados em "pegadinhas": Foco em exceções ou detalhes triviais em vez de conhecimento conceitual.
  • Exemplo de distrator óbvio: Uma questão com uma alternativa incorreta que é cientificamente absurda e facilmente descartável.
  • Exemplo de alternativa "Todas as anteriores": Uma das opções de resposta é "Todas as alternativas anteriores estão corretas".

Formatos Principais de Questões no Padrão ENADE

O Exame Nacional de Desempenho dos Estudantes (ENADE) utiliza diferentes formatos de itens para avaliar as competências e habilidades dos estudantes. Compreender a estrutura e os objetivos de cada tipo é fundamental para a elaboração de questões de alta qualidade técnico-pedagógica.

1. Itens de Múltipla Escolha (Resposta Direta)

Este é o formato mais comum de questão objetiva, onde o estudante deve selecionar a única resposta correta entre as opções apresentadas.

  • Estrutura: Texto-base, Enunciado, Alternativas (A, B, C, D, E).
  • Objetivo: Avaliar a capacidade de identificar a resposta correta entre opções plausíveis, demonstrando compreensão e aplicação de conceitos.
  • Características: Exige clareza e concisão no enunciado; distratores bem elaborados; apenas uma resposta correta.

Exemplo (ENADE 2022):

1)"Quando Ametista levava situações de racismo sofrido por ela para a terapia, sua terapeuta branca tentava convencê-la de que "somos todos um, que somos todos iguais...". Ao ser entrevistada, Ametista verbalizou: "todas as experiências (com psicoterapeutas) que eu tive sempre confirmaram as críticas de que a Psicologia não daria conta das especificidades das vivências raciais" e completou: "Parece que as pessoas não ouviam o que eu estava falando e afirmavam uma universalidade da experiência". DAMASCENO, M. G.; ZANELLO, V. Psicoterapia, raça e racismo no contexto brasileiro: experiências e percepções de mulheres negras. Psicologia em Estudo, v. 24, p. 1-15, 2019 (adaptado).

A partir do texto e considerando as vivências da população negra em razão do racismo, assinale a opção correta.

a) As teorias psicológicas, em sua maioria, abordam as relações raciais como constituintes do sofrimento psíquico, não corroborando com o silenciamento de vítimas de racismo, como Ametista.

b) O racismo estrutural observado nas relações sociais cotidianas não é facilmente observado no contexto terapêutico, uma vez que apenas uma pequena parcela de pacientes apresenta essa demanda na psicoterapia.

c) As questões raciais devem ser abordadas pelo paciente durante a sessão, cabendo ao terapeuta conduzir o processo a partir do discurso que lhe foi trazido e, se avaliar que é clinicamente relevante, incluir a problemática no processo terapêutico.

d) A percepção de Ametista sobre seu processo terapêutico está equivocada, pois não há necessidade de tratar a relação e a aliança terapêutica de modo específico, com foco nas relações raciais, uma vez que isso pode gerar um obstáculo ao processo terapêutico.

e) A profissional que atendia Ametista deveria abordar o assunto das relações raciais durante o processo terapêutico de modo direto ou dando continuidade ao relato dela, podendo, assim, aumentar a chance de estabelecer um vínculo e proporcionar maior progresso da psicoterapia.

2. Itens de Resposta Múltipla (com Afirmações)

Estes itens apresentam uma situação-estímulo e um conjunto de afirmações que devem ser avaliadas. É crucial que o comando seja claro e as alternativas sigam um padrão.

  • Estrutura: Texto-base, Enunciado, Afirmações (I, II, III, etc.), Comando Final.
  • Objetivo: Avaliar a análise crítica de múltiplas proposições e identificação de relações.
  • Características: Aborda diferentes aspectos de um conceito; afirmações independentes mas relacionadas; comando final inequívoco; padrão das alternativas consistente.

Exemplo (ENADE 2022):

2) causa dos transtornos de ansiedade infantojuvenil é, muitas vezes, desconhecida e inclui fatores diversos. Até a década de 1980, havia a crença de que os medos durante a infância eram passageiros e benignos. Atualmente se reconhece que os medos podem constituir transtornos bastante frequentes, causando sofrimento e disfunção à criança ou ao adolescente. A identificação precoce dos transtornos de ansiedade pode evitar repercussões negativas na vida da criança e dos adolescentes, tais como a evasão escolar, a utilização demasiada de serviços de saúde por queixas somáticas associadas à ansiedade e, possivelmente, a ocorrência de problemas psiquiátricos na vida adulta. CASTILLO, A. R. G. L. et al. Transtornos de ansiedade. Revista Brasileira de Psiquiatria. n. 22, p. 20-23, 2000 (adaptado).

Considerando as informações apresentadas no texto e o contexto dos transtornos de ansiedade em crianças e adolescentes, avalie as afirmações a seguir.

Afirmações:

I. Os sintomas de ansiedade na adolescência são difíceis de se identificar, uma vez que podem ser confundidos com comportamentos comumente reconhecidos como típicos dessa fase da vida.

II. O desenvolvimento emocional, as relações familiares e o ambiente incidem sobre as causas e a maneira como se manifestam os medos considerados patológicos, em crianças e adolescentes.

III. O transtorno de ansiedade em crianças e adolescentes tende a ser transitório, sendo superado no curso do desenvolvimento, uma vez que medos e preocupações são comuns nessa etapa da vida.

IV. A avaliação e o planejamento da intervenção psicológica são fundamentais para obter uma história detalhada sobre início dos sintomas, possíveis fatores desencadeantes, tipo de apego, estilo parental e significado da experiência para a criança ou o adolescente.

É correto apenas o que se afirma em:

a) I.

b) II e III.

c) III e IV.

d) I, II e III.

e) I, II e IV

3. Itens do Tipo Asserção-Razão

Este formato avalia habilidades complexas, exigindo a análise da veracidade de duas proposições e a relação de causalidade entre elas.

  • Estrutura: Primeira Asserção (I), Conectivo (PORQUE), Segunda Asserção (II), Alternativas Padrão.
  • Objetivo: Avaliar raciocínio lógico, relações de causa e efeito, e justificativa entre conceitos.
  • Características: Análise em duas etapas (veracidade individual e relação lógica); alternativas de resposta fixas e definidas.

Exemplo (ENADE 2022):

"É inegável o fato de a Internet ser uma invenção tecnológica que transformou os pensamentos e comportamentos humanos. Essa ferramenta tem criado um ambiente multifacetado, provendo para seus usuários as diversas possibilidades que oferece um sistema com características de alta velocidade e hiperconexão em uma rede de informação global. Portanto, um processo de mudanças e adaptações a essa realidade na cognição humana vem delimitando a aprendizagem dos sujeitos. Estudos das diversas mudanças biológicas produzidas pelo uso comum dessas tecnologias têm sido crescentes, evidenciando impactos, tanto positivos como negativos, no nível das funções cognitivas. PEREIRA, F. C. et al. Funções cognitivas e os impactos das tecnologias digitais na memória. Temas em Saúde. v. 18, n. 4, p. 197-217, João Pessoa, 2018 (adaptado).

Considerando as informações apresentadas no texto, avalie as asserções a seguir e a relação proposta entre elas.

Asserção I: Indivíduos da chamada 'Geração Google', ou seja, nascidos após 1993, estão apresentando uma memória de trabalho mais restrita e menos confiável que as gerações anteriores, ou seja, tendem a não se lembrar do conteúdo da informação.

PORQUE

Asserção II: A função cognitiva da memória vem sofrendo prejuízos, uma vez que se confia na tecnologia como uma fonte de memória externa que não requer esforços para apreender o conteúdo da informação, que pode ser facilmente recuperável a qualquer momento.

A respeito dessas asserções, assinale a opção correta.

a) As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta da I.

b) As asserções I e II são proposições verdadeiras, mas a II não é uma justificativa correta da I.

c) A asserção I é uma proposição verdadeira, e a II é uma proposição falsa.

d) A asserção I é uma proposição falsa, e a II é uma proposição verdadeira.

e) As asserções I e II são proposições falsas

4. Questões Discursivas

Esses itens exigem que o estudante produza sua própria resposta a partir de uma situação-estímulo, focando na articulação de ideias e coerência.

  • Estrutura: Texto-base, Comando.
  • Objetivo: Avaliar síntese, análise crítica, argumentação e expressão escrita.
  • Características: Permite avaliar profundidade da compreensão; correção baseada em padrão de resposta definido.

Exemplo (ENADE 2022):

O patriarcado (ou dominação masculina) é composto por diferentes estruturas que se conectam na reprodução das desvantagens e da vulnerabilidade das mulheres nas sociedades contemporâneas. A violência sexual é uma delas; a exclusão política é outra. Embora essas não esgotem todas as estruturas de dominação, são elas que, em conjunto com a divisão sexual do trabalho, são mais determinantes. Ambas se alimentam e, ao mesmo tempo, ativam estereótipos de gênero em que o feminino convencional está associado à domesticidade e à aceitação, pelas mulheres, da autoridade masculina. Algumas farsas ocupam papel importante na justificação da violência contra as mulheres, tanto na violência da exclusão política quanto na sexual. Uma dessas farsas é a de que as mulheres não se interessam pela política. Nesse sentido, estaríamos diante da autoexclusão. A outra é que as mulheres seriam as culpadas pela violência sexual que sofrem sistematicamente. Aqui, o problema seria que elas estão onde não deveriam estar, se vestem como não deveriam, isto é, se comportam como se fossem livres.

BIROLI, F. Mulheres, política e violência. Disponível em: https://blogdaboitempo.com.br. Acesso em: 18 jul. 2022 (adaptado).

Com base no texto apresentado, faça o que se pede nos itens a seguir.

a) Discorra sobre a relação entre o patriarcado estrutural e a desigualdade entre homens e mulheres. (valor: 5,0 pontos)

b) Proponha duas ações do Estado para o enfrentamento dos diferentes tipos de violência contra a mulher. (valor: 5,0 pontos)

Checklist de Qualidade: Boas Práticas na Elaboração

Recomendações Essenciais

Para garantir a qualidade das questões, siga estas boas práticas:

✓

Apresentar apenas as informações necessárias, eliminando excessos linguísticos e redundâncias.

✓

Redigir o enunciado de forma impessoal, clara, direta e precisa, com um comando explícito.

✓

Elaborar distratores que sejam plausíveis e coerentes com o tema, representando hipóteses de raciocínio reais dos alunos.

✓

Garantir que as alternativas tenham, aproximadamente, a mesma extensão.

✓

Verificar a objetividade, concisão e adequação ao nível de dificuldade estabelecido para a questão.

Uso ético de IAs: recomendações

Orientações para o Uso Ético e Responsável de IA na Elaboração de Questões para Avaliação

Caso decida fazer uso de IA, é altamente recomendável que conheça as limitações dessa tecnologia, bem como dê preferência para aplicar essa ferramenta como forma de melhorar e aperfeiçoar seus materiais já elaborados. A supervisão e revisão do professor é inegociável e crucial em todo processo que utilize IA.

A Inteligência Artificial (IA) é uma ferramenta que também pode agilizar o processo de criação de questões, facilitando o trabalho inicial. Mas esse uso requer muita cautela! Pense nela como uma espécie de "estagiário" capaz de gerar sugestões iniciais e rascunhos rapidamente mas que requer supervisão e revisão redobradas pois não tem domínio técnico-científico, nem experiência para atuar com autonomia.

O produto final deve ser sempre resultado de uma cuidadosa revisão do professor. Por isso, o uso de IA deve ser limitado às áreas de pleno domínio do professor, para que as inevitáveis distorções sejam identificadas e corrigidas.

O professor é o responsável intelectual pela elaboração e pelo produto final.

1. Professor no Controle

  • Criação do Prompt (instrução/comando): Formule a solicitação para a IA com clareza, especificando o tema, o formato da questão (padrão ENADE), a competência e o nível de dificuldade desejado, solicite também o barema (chave de resposta) da questão. É importante fornecer referências teóricas ou bibliográficas para orientar a IA. Você pode, por exemplo, enviar o texto que deseja como referência e/ou a notícia que quer como disparadora da questão.
  • Geração do Rascunho pela IA: A IA pode produzir um rascunho de questão, do barema e dos distratores.
  • Análise Crítica e Revisão Humana: Este é o passo mais importante. O professor deve analisar e refinar cada elemento da questão gerada, confrontando-a com seu conhecimento especializado. Analisar o barema e a justificativa dos distratores é essencial pois eles mostram o raciocínio que a IA fez para produzir a questão, é possível identificar erros, distorções e desvios.
  • Validação e Finalização: O professor reescreve ou ajusta o que for necessário, adequando ao seu estilo e valida a questão, garantindo sua qualidade, originalidade e aderência às diretrizes pedagógicas e técnicas.

2. Os Riscos Ocultos da IA: Porque a Revisão é Inegociável

Os modelos de IA, embora sofisticados, não pensam nem compreendem o mundo como os seres humanos. Eles operam com base em padrões de dados e, por isso, estão sujeitos a falhas graves. É crucial revisar atentamente, reconhecer e corrigir esses possíveis problemas. Lembre-se: a IA é um estagiário que apenas acelera o trabalho inicial mas não se pode confiar no que ela produz.

  • Distorções e Extrapolações Conceituais: A IA pode misturar conceitos de diferentes teorias ou contextos, gerando proposições que parecem corretas superficialmente ou aos olhos de leigos no tema, mas que na realidade são uma mistura de ideias incompatíveis. Por exemplo, pode aplicar uma teoria de forma inadequada ou usar conceitos em contextos para os quais não foram desenvolvidos. Elas podem, ainda, distorcer e até mesmo criar conceitos inexistentes mas apresentando em uma escrita coesa e sofisticada que dificilmente alguém sem conhecimento técnico-científico perceberia.
  • Desvios Ideológicos e Vieses: Os dados de treinamento da IA podem conter vieses culturais, ideológicos ou históricos extremamente problemáticos. A IA pode, por vezes, reproduzir visões preconceituosas, estigmatizadas ou estereotipadas de pessoas e grupos, principalmente aqueles já vulnerabilizados em nossa sociedade.
  • Inconsistências e Falhas Lógicas: A IA pode criar questões com mais de uma resposta correta, ou com um gabarito que não se sustenta à luz da proposição ou à luz da teoria trabalhada. Os distratores, por sua vez, podem ser obviamente incorretos ou, pior, incorretos por uma falha de raciocínio que não se baseia em um erro conceitual comum do estudante, mas sim em um erro da própria IA. Por exemplo: a IA pode misturar concepções teóricas incompatíveis, misturar legislações em vigor com legislações sem validade, criar dados inexistentes, etc.
  • Descontextualização e Desatualização: A IA pode não ter acesso às discussões mais recentes, a leis ou regulamentações específicas ou a fatos históricos recentes. A questão gerada pode, por exemplo, referir-se a dados ou terminologias ultrapassadas, o que compromete sua validade pedagógica.
  • Geração de Informações Falsas (Alucinações): A IA pode fabricar dados, referências, conceitos ou eventos fictícios. O professor deve verificar todas as informações factuais contidas nas questões geradas para evitar a disseminação de conteúdo incorreto e falso.3. Checklist de Revisão Essencial: A Qualidade ENADE-INEP

    Sua revisão deve seguir as diretrizes do Guia de Elaboração e Revisão de Itens do INEP para garantir a qualidade de uma questão no padrão ENADE.

    Recomendações Gerais:

    • Originalidade/Ineditismo: A questão deve ser original. Assegure-se de que não é uma reprodução de itens existentes.
    • Clareza e Precisão: Verifique se o enunciado e as opções de resposta são objetivos, concisos e sem ambiguidades.
    • Impessoalidade: Mantenha uma linguagem formal e impessoal, seguindo a norma-padrão da língua portuguesa.
    • Fontes Confiáveis: Certifique-se de que o texto-base e os conceitos abordados são de fontes primárias e confiáveis.

    Recomendações para Questões de Múltipla Escolha:

    • Gabarito Único: Confirme que há uma e somente uma resposta correta, e que ela não pode ser questionada por vieses ou interpretações alternativas.
    • Distratores Plausíveis: Os distratores devem ser atraentes para o estudante que não domina completamente o conteúdo, mas são inequivocamente incorretos. Eles devem ser baseados em erros conceituais comuns.
    • Homogeneidade: As opções de resposta devem ter estrutura e extensão similares, evitando que o gabarito se destaque visualmente.
    • Justificativas: O barema deve justificar a resposta correta e explicar por que cada um dos distratores está incorreto, identificando a falha conceitual.

    4. Ética e Alinhamento Pedagógico

    • Identificação de Competências: A questão deve estar alinhada com as competências e habilidades esperadas para a área de conhecimento. Cabe ao professor garantir essa aderência.
    • Plágio: Evite usar textos ou ideias geradas pela IA que possam ser consideradas plágio. Sempre revise e cite as fontes originais adequadamente.
    • Responsabilidade Intelectual: O professor é o responsável final pelo conteúdo e pela qualidade da avaliação. A IA é uma ferramenta, não uma desculpa para a falta de rigor acadêmico.