TCT e TRI: conheça as diferenças entre os tipos de avaliações

A TCT (Teoria Clássica dos Testes) e a TRI (Teoria de Resposta ao Item) são dois métodos de correção aplicados a provas, simulados e demais exames. Ambas possuem suas particularidades. Por isso, a melhor opção dependerá do objetivo do próprio exame.

Em exames nacionais com grande volume de participantes, a TRI é o padrão mais utilizado hoje em dia. É o caso do ENEM no Brasil e de avaliações internacionais como o TOEFL e o GMAT nos Estados Unidos. Trata-se de um método que considera a coerência e o padrão das respostas do candidato em determinadas áreas de conhecimento. Um exemplo é a prova do ENEM, na qual os assuntos estão distribuídos em Matemática e suas Tecnologias, Linguagens e Códigos, Ciências da Natureza e Ciências Humanas.

Confira a seguir as características e as principais diferenças entre esses dois tipos de avaliação.

A Teoria Clássica dos Testes (TCT)

A Teoria Clássica dos Testes considera a nota final da avaliação, em que o total de acertos representa o domínio do aluno nos assuntos abordados. Ou seja, trata-se de uma medida quantitativa. Neste método, a soma das questões certas, considerando os seus respectivos pesos (pontos por questão), define o score do candidato. É um método útil quando se deseja aplicar um exame em que o objetivo é avaliar um determinado conhecimento em uma única prova. Geralmente, as provas escolares mensais e bimestrais são avaliadas usando o TCT.

Uma outra característica implícita desse método está no modelo matemático utilizado, onde cada questão possui parâmetros descritivos.

Principais parâmetros utilizados no TCT

• Índice de dificuldade do item (questão): refere-se ao índice (percentual) de acertos do item e pode variar entre zero (nenhum acerto) e 1 (todos acertaram). É calculado a partir da razão entre {total de acertos} / {total de estudantes que responderam}. Esse índice permite identificar as questões fáceis, medianas e difíceis.
  
• Índice de discriminação do item (questão): refere-se ao percentual de acertos da questão entre dois grupos principais: alunos com melhor desempenho (grupo A) e pior desempenho (grupo B). Trata-se da diferença entre os índices de dificuldade de cada um desses grupos. Ou seja, os acertos de uma questão no grupo A deve ser melhor que aqueles no grupo B. Quando isso não ocorre é um sinal de que a questão foi mal elaborada.
  
• Porcentagem de marcação por alternativa: permite avaliar a qualidade das alternativas erradas em cada questão. Por exemplo, em um item com 5 alternativas (1 certa e 4 erradas), se uma das alternativas erradas (distratores) tiver um índice de escolha muito abaixo das demais, significa que é uma alternativa muito óbvia e que precisa ser reformulada. Caso contrário, pode comprometer a avaliação. Outra informação que esse item sugere é que a marcação de alternativas com baixa porcentagem de seleção (obviamente erradas) indicam uma escolha aleatória ou “chute”.

Pré-requisitos da TCT

Outra característica da TCT é que esta possui dois pré-requisitos: estudos de validade e estudos de fidedignidade.

Uma prova é considerada fidedigna quando, após aplicada repetidas vezes, apresentar sempre o mesmo resultado na amostra (é o caso da média da turma).

Já a validade de uma prova é a sua competência em medir aquilo que lhe é proposto. Por exemplo, se o objetivo é avaliar a leitura de um estudante, então, a prova deve realmente avaliar a capacidade de leitura de alguém. Uma forma de verificar a qualidade dessa avaliação é fazer a correta análise dos índices já citados acima.

Problemas identificados no modelo TCT

O modelo TCT mede o número de questões corretas da prova, e não necessariamente a proficiência em determinada área de conhecimento. Isso pode ser um problema quando aplicado a um universo muito grande de alunos (comum em exames nacionais, como o ENEM).

Por usar como métrica o número de acertos de uma determinada prova, este método não permite comparar o desempenho entre provas diferentes. O principal motivo é que a dificuldade de cada avaliação poderá interferir diretamente na pontuação de cada um, mesmo entre alunos com habilidades semelhantes.

Outro ponto negativo deste modelo é que um participante pode acertar questões difíceis ao “chutar” a resposta e tirar uma boa nota.

A TRI surgiu como forma de mitigar esses problemas. Continue lendo para entender melhor como funciona a Teoria de Resposta ao Item.

Teoria de Resposta ao Item (TRI)

Esta é uma teoria estatística que usa um modelo matemático próprio para elaborar provas e testes.

A TRI funciona com questões que possuem níveis de dificuldade explícitos (fácil, médio e difícil). Com isso, o algoritmo detecta pelo padrão de respostas do estudante, se ele realmente possui domínio do assunto ao responder à questão ou se “chutou”.

Segundo o INEP (instituto Nacional de Estudos e Pesquisas Educacionais), a TRI é:

“Um modelo em que cada questão é um item e o cálculo da nota considera a consistência da resposta segundo o grau de dificuldade de cada questão”.

Principais vantagens da TRI em relação ao TCT

1. Permite avaliar a proficiência real do candidato em cada área do conhecimento;
2. Permite priorizar a avaliação de habilidades reflexivas e analíticas, ao invés da memorização de conteúdo;
3. Baseia-se em avaliações com o mesmo grau de dificuldade, permitindo comparar resultados ao longo do tempo. São calculados na mesma escala a partir de uma única matriz de competências (INEP).
4. Empates em exames como o SISU (Sistema de Seleção Unificada) são menos prováveis, uma vez que as notas utilizam critérios que medem a proficiência do candidato. Ou seja, o TRI avalia muito mais do que apenas o número de acertos de questões.

Cálculo do TRI

Antes de tudo, é preciso entender os três principais conceitos envolvidos:

• Item: Refere-se a uma questão da prova.
• Parâmetros: são informações que permitem avaliar a qualidade do item. O ENEM, por exemplo, considera três parâmetros: Discriminação (capacidade de cada item em diferenciar candidatos que dominam a habilidade avaliada), Dificuldade (grau de dificuldade da questão) e acerto casual (probabilidade de “chute”).
• Escala de proficiência: criada pelo INEP, é utilizada para medir a proficiência dos candidatos, considerando o perfil das respostas no conjunto de questões em cada área avaliada na prova.

Logo, no modelo TRI a coerência das respostas é levada em consideração. Espera-se que candidatos que acertem questões difíceis, acertem também as fáceis. Por isso, dois candidatos que tiveram o mesmo número de acertos, sendo que um deles acertou apenas as questões difíceis, este terá uma nota menor do que o primeiro. Isso ocorre porque é avaliado o parâmetro casual (“chute”).

Com base no propósito abordado, é necessário que a prova seja formada por questões fáceis, intermediárias e difíceis para que exista isonomia na avaliação.

Em resumo, podemos dizer que o resultado da prova não depende apenas de quantos acertos o estudante teve. Mas sim, da quantidade de erros e acertos em relação à dificuldade que a questão apresenta.

Conclusão sobre os métodos TCT e TRI

Vimos as particularidades dos dois métodos e podemos dizer que a principal diferença entre o TCT e o TRI são os níveis de complexidade que cada um oferece. No método TRI, entre os candidatos que acertarem o mesmo número de questões, a maior nota será daqueles que apresentarem coerência pedagógica nas respostas.

Ao contrário do TRI, o método TCT não permite que duas avaliações sejam comparadas, porque não há uma única régua de precisão das questões. No entanto, esse é o modelo mais adequado e mais prático se o objetivo é avaliar assuntos específicos, como ocorre nas instituições de ensino de modo geral.

O grau de complexidade para calcular a nota pela TRI é muito mais alto, e por isso é mais difícil de ser aplicado em ambientes escolares. Este método é indicado para exames que ocorrem com regularidade e com grande número de participantes, uma vez que permitem comparação entre provas diferentes.

TCT na plataforma Exametric

E aí, precisando elaborar provas e simulados? Então, experimente a nossa plataforma. O serviço que oferecemos permite aplicar correções no modelo TCT, o mais comum em provas e avaliações que abordam temas específicos.

A Exametric possui uma solução completa para você criar e aplicar avaliações nos formatos online e presencial (prova impressa). Utilize questões prontas ou, se preferir, faça o seu próprio acervo, ative recursos anticola, crie versões da mesma prova, acompanhe a evolução individual ou da turma e muito mais.

Consulte outros artigos relacionados:

• A educação do futuro é agora! Saiba como motivar professores e alunos
• Learning Analytics: benefícios para a educação
• Correção de provas e simulados – conheça as melhores práticas