Aplicaçãode testes de progresso emescolasde MedicinaPsicometria é a área do conhecimento na qual...

Aplicação de testes de progresso

em escolas de Medicina

Carlos Fernando Collares, MD, MSc, DSc

FHML – Dept. of Educational Development and Research – School of Health Professions Education

Termômetro mede a temperatura


Relógio mede o tempo


Como se mede a competência do médico?


Miller GE. The assessment of clinical skills/competence/performance.Academic Medicine (Supplement) 1990; 65: S63-S7.

Pirâmide de Miller


Avaliação em educação médica

• Avaliação de competências.

• Uso de diversos instrumentos.

• Boas propriedades psicométricas (validade e confiabilidade).

• Exequibilidade.

• Consonância com os objetivos de aprendizagem.

• Contexto e ambiente.

• Pacientes e outros profissionais como avaliadores.

(Dijkstra et al., 2009; Norcini et al., 2011)


Teste de progresso

• Abrange todos os domínios do conhecimento médico.

• Aplicado duas a quatro vezes por ano em estudantes detodos os semestres/anos acadêmicos.

• Utilizado por escolas tradicionais e de metodologias ativasde ensino-aprendizagem.

• Graduação e pós-graduação (residência).

• Composto por questões de múltipla escolha.

• De 50 a 200 questões (4 a 8 horas).

(Dijksterhuis, 2009; Van der Vleuten et al., 1996)


Aspectos positivos

• Evita a avaliação de informações meramente memorizadaspara “passar na prova”.

• Permite a avaliação da aprendizagem significativa (“life-longlearning”) do conhecimento funcional.

• Registro da evolução discente.

• Detecção precoce de estudantes com baixo desempenho.

• Proporciona feedback aos testandos e às instituições.

• Melhora o comportamento dos estudantes.

• Melhora a qualidade dos currículos.

• Melhora a validade preditiva da avaliação.

(Van der Vleuten et al., 1996)


70

50

95

155

percentil:

Escore do estudante

“forte”

“satisfatório”

“fraco”

“pobre”

“excelente”





Aspectos negativos

• Risco de seleção inadequada de questões.

• Risco de mensuração de baixos níveis taxonômicos.

• Subestimação do raciocínio clínico.

• Dificuldade do teste variável.

• Pouca confiabilidade para ingressantes.

• Tempo longo para testagem causa fadiga nos estudantes.

• Testes curtos diminuem a validade de conteúdo.

• Exequibilidade para aplicação simultânea.

(Nendaz and Tekian, 1999; Van der Vleuten et al., 1996)


Teste de progresso X Residência

• Provas de residência também são de múltipla escolha,assim como o teste de progresso

• Estudantes com escores altos no teste de progressoteriam melhores resultados nos processos seletivospara residência médica

• Teste de progresso usado como “simulado”

• O uso de testes de progresso para predição daaprovação em programas de residência ainda carecede evidências

(Hamdy et al., 2006)


IFoM

• International Foundations of Medicine.

• NBME (National Board of Medical Examiners).• FAIMER (Foundation for the Advancement of

International Medical Education and Research).• Exame criado para atender escolas médicas de todo

o mundo.• Parâmetro para autoavaliação.• Certificação internacional.• Correlação com os exames do NBME.


Perguntas

• O teste de progresso é um instrumentopsicometricamente confiável?

• O teste de progresso apresenta qual grau decorrelação com o IFoM?

• É possível utilizar os resultados do teste de progressopara predizer a aprovação em programas de residênciamédica?


Objetivos

• Avaliar as propriedades psicométricas de um teste de

progresso aplicado em algumas escolas médicas

brasileiras, particularmente:

- Confiabilidade

- Validade concorrente

- Validade preditiva


Participantes

Nesta pesquisa foram estudados.

• Teste de progresso: 462 estudantes de todos o curso

• IFoM: 84 estudantes do último ano

• Concluintes: 43 estudantes do último semestre


Instrumentos

• Teste de progresso individual (TPI)� 120 questões de múltipla escolha� Variedade de níveis taxonômicos e graus de dificuldade� Blueprinting

• IFoM� 200 questões de múltipla escolha� Elevado coeficiente de confiabilidade (> 0,90),

apropriado para exames decisivos


• A confiabilidade do TPI foi avaliada pelo coeficiente deconsistência interna, medido pelo alfa de Cronbach, epela precisão local, calculada de acordo com o escoretheta (escore pela teoria de resposta ao item).

• A validade concorrente do TPI foi avaliada por meio dacorrelação com escores do IFoM

• A validade preditiva do TPI foi avaliada por meio daregressão logística entre os escores bruto e theta emfunção da seleção para a residência.

• SPSS 17, ITEMAN 4, XCALIBRE 4, WINSTEPS 3.7

Análise de dados


Intermezzos teóricos

eResultados


Psicometria é a área do conhecimento na qual a

estatística é aplicada para uso na Psicologia e na

Educação.


Dois conceitos importantes

• Confiabilidade: o instrumento de avaliação

mede de forma precisa o que se propõe a

medir?

• Validade: o instrumento de avaliação mede

realmente aquilo que se propõe a medir?


Escore real

• Se o estudante pudesse realizar infinitas provas

simultaneamente, todas elas com as mesmas

características, teríamos seu “escore real”.

• Escore observado = Escore real + erro de medida.

• Quanto menor a confiabilidade, maior o erro de medida.

• O baixo grau de confiabilidade limita a validade.

• Todavia, um instrumento confiável nem sempre é

válido.


Três correntes psicométricas

• Teoria clássica dos testes

• Teoria de resposta ao item

• Teoria da generalizabilidade


Teoria clássica dos testes

• Usa o número ou a proporção de acertos como escore(escore bruto).

• Confiabilidade e erro padrão de medida são calculados para aprova como um todo.

• Dificuldade das questões é calculada apenas pelo percentualde erros.

• Poder discriminativo das questões pode ser calculado pelascorrelações entre o item e a nota total (correlações bisseriale ponto-bisserial) ou por meio da diferença no percentual deacertos na questão entre os testandos com nota total alta enota total baixa.


Análise gráfica de uma questão pela teoria clássica dos testes

Pro

po

rção

de

resp

on

den

tes e

m c

ad

a

alt

ern

ati

va

Grupos de testandos em ordem crescente de escores


Pro

po

rção

de

resp

on

den

tes e

m c

ad

a

alt

ern

ati

va

Grupos de testandos em ordem crescente de escores

Análise gráfica pela teoria clássica dos testes de uma questão problemática


Teoria de resposta ao item (TRI)

• Conjunto de modelos probabilísticos que relacionam aprobabilidade de acerto em cada questão (item) com ograu de habilidade dos testandos (theta).

Escore observado = escore real + erro de medida

• Nas análises pela teoria de resposta ao item, onde se lêescore observado, leia-se “tau” e onde se lê “escore real”,leia-se “theta”.

Tau = theta + erro de medida

• Por conta disso, a TRI também é conhecida como “truescore theory”(“teoria do escore verdadeiro”).


A teoria de resposta ao item consiste na modelagem matemática

de uma variável latente, não-observada, a partir dos

comportamentos observados(escores brutos)

(Pasquali, 2007)


Uma das vantagens da TRI é que, ao contrário da teoria clássica, os níveis de confiabilidade e erro de medida são calculados não para a

prova como um todo, mas ao longo do espectro de habilidade (“theta”).


Modelo logístico de 3 parâmetros (usado no teste de progresso)

a = discriminaçãob = dificuldadec = acerto ao acaso

Modelo logístico de 1 parâmetro – Rasch(usado no IFoM)

b = dificuldade


A teoria de resposta ao item leva em consideração a dificuldade de cada questão para dar a nota final

do testando.

Traduzindo …


Análise gráfica de uma questão pela teoria de resposta ao item

Pro

bab

ilid

ad

e d

e a

cert

o


Análise gráfica de uma questão de má qualidade psicométrica pela TRI

Pro

bab

ilid

ad

e d

e a

cert

o


VALIDADE


• Para ter um elevado grau de validade, uma prova precisa ser constituída por questões que representem uma boa amostragem do conteúdo que se pretende medir.

• Uma estratégia útil para assegurar a validade de conteúdo de instrumentos de avaliação: blueprinting

Validade de conteúdo



Validade concorrente

• Um instrumento de avaliação de um determinado domínio do conhecimento deve ter alto grau de correlação com outro instrumento que objetive avaliar o mesmo domínio.

• O instrumento cujas propriedades psicométricas são conhecidas e que é correlacionado com o instrumento que se deseja estudar é considerado o instrumento “critério”.


Validade preditiva

• Da mesma forma que o simulado de prova de residência deve prever quem terá maior probabilidade de ser aprovado em um processo real...

• ... Um processo seletivo real para um programa de residência deve prever quais serão os residentes com maior aptidão às atividades exigidas no programa.


O modelo de regressão logística para predição de aprovação na residência médica em função dos

escores do teste de progresso pela teoria de resposta ao item prediz corretamente até 84% dos

resultados na residência.

Odds ratio = 5,240; p = 0,004


“A validade é um problema que exige escalar a pirâmide.”

(van der Vleuten, 2001)


Validade de construto

• Possibilita determinar a característica

educacional que explica a variância

encontrada no teste.

• Identificação da dimensionalidade

• Análise fatorial exploratória

• Análise fatorial confirmatória por modelagem

de equações estruturais


Teste de progresso possui unidimensionalidadeanálise de componentes principais x análise paralela


“Determinar a validade é um processo que consiste emreunir múltiplas fontes de evidência para argumentar

racionalmente sobre o que os resultados do testepermitem inferir. A validade de um teste depende do uso

que se faz dele.”

(Messick, 1989; Kane, 2001)

“Validade é uma questão de grau.”(Zumbo et al., 2007)

“Validação é um processo de monitorização contínua aolongo do tempo. Um instrumento nunca poderá ser

considerado finalmente validado.”(Shepard, 1983)


“A validade de uma provadepende da boa garantiade qualidade em torno daconstrução das questões.”

(Verhoeven et al., 1999)


Diagramas de distribuição ( boxplots) da proporção de acertos conforme a presença de inadequação na redação do it em

p = 0,025Cohen’s d = 0,2

(Collares et al., 2012)


Diagramas de distribuição ( boxplots) da discriminação pela TRI (“a”) conforme a presença de inadequação na redação do item

p < 0,001Cohen’s d = 0,5

(Collares et al., 2012)


Correlação entre IFoM e teste de progresso

r = 0,637 (p < 0,001)


Correlação entre IFoM e teste de progresso (escores theta)

r = 0,626

(p < 0,001)


CONFIABILIDADE


Confiabilidade dos testes

• Confiabilidade ou fidedignidade (do inglês “reliability”) designa a propriedade de um instrumento medir com precisão o que quer que esteja sendo medido.

• Descreve a consistência e/ou reprodutibilidade da mensuração.

• Portanto há uma relação inversamente proporcional entre o erro de mensuração e o coeficiente de confiabilidade.


Métodos de estimação da confiabilidade

• teste-reteste• formas equivalentes (split-half)• concordância entre avaliadores (kappa de Cohen

ou coeficiente de correlação intraclasse)• precisão local• consistência interna (Kuder Richardson e alfa de

Cronbach)


Fatores que influenciam a confiabilidade

• Extensão do instrumento de avaliação (i.e., número de itens/questões)

• Relação entre dificuldade dos itens de e o grau de habilidade dos testandos

• Heterogeneidade da dificuldade dos itens• Número de testandos• Número de avaliadores


Fórmulas envolvendo a confiabilidade


Interpretação do coeficiente de confiabilidade

• Coeficientes maiores que 0,6 são satisfatórios;maiores que 0,7 são bons; maiores que 0,8 sãoótimos; e maiores que 0,9 são excelentes.

• Um coeficiente de confiabilidade menor que 0,5significa que provavelmente mais da metade davariância observada nos escores da prova sedeve a erro de mensuração, ao invés dediferenças reais no desempenho dos testandos.







Uma prova com elevado nível de confiabilidade tem...

...notas baixas, médias e altas

e questões fáceis, médias e difíceis...


Confiabilidade do teste de progressoC

on

fiab

ilid

ad

e (

pre

cis

ão

) l

ocal

Escore theta

alfa de

Cronbach = 0,80

Precisão local > 0,90 para testandos de nível mais elevado

Precisão local > 0,50 para testandos de nível mais baixo


Conclusões

• Este estudo traz evidências de que o teste deprogresso é um instrumento de avaliaçãocom elevado grau de confiabilidade, validadeconcorrente e validade preditiva.

• A teoria de resposta ao item, além produzirescores mais confiáveis, também permite seu usocomo um instrumento de predição para aaprovação na residência médica.


E o futuro?


Não seria bom poder emparelharautomaticamente o nível de conhecimento dos

alunos com a dificuldade da prova?


• Computerized adaptive testing.

• Utiliza algoritmos baseados na TRI.

• Ajuste dinâmico ao nível de habilidade de cada testando aolongo do teste.

• Avalia todos os testandos com o mesmo grau de precisão.

• Extremos do espectro do nível de habilidade (theta).

• Minimiza problemas de segurança (sigilo das questões).

• GRE, GMAT, Microsoft CP, Canada Medical Council, AustralianMedical Council, NBME em estudos.

Isto é possível com a testagemadaptativa computadorizada (CAT)


• CATs são capazes de reduzir a extensão de um teste em50% ou mais (Weiss & Kingsbury, 1984).

• CATs oferecem maior segurança:

•Se o mesmo teste é aplicado a todos, as questões setornam conhecidas rapidamente.

•Esta possibilidade é reduzida se todos recebem umconjunto diferente de itens.

• Retestagem pode ser mais frequente.

•Havendo mudança no nível de conhecimento, aoreteste á pessoa muito provavelmente receberá umaprova totalmente distinta.

Vantagens da CAT


• Aumento da motivação do testando.

• Estudantes de desempenho elevado não perdemtempo com questões fáceis.

• Estudantes de baixo desempenho não sãodesencorajados por questões difíceis, permitindo suaevolução gradual.

• Testando sabe sua nota imediatamente após o término daprova.

• Meio de administração facilita o uso de áudio, vídeo eimagens de alta qualidade.

Mais vantagens da CAT


CAT já está disponível


A duração do exame é variável, conforme o nível de erro de medida

(SEM) desejado (ex.: 0,2)


Exemplo de resultado imediato


A confiabilidade das avaliações tem comomelhorar ainda mais?


Teoria da generalizabilidade

• “Mistura de teoria clássica com ANOVA”.

• Permite discernir entre diferentes fontes de errode medida de instrumentos de avaliação.

• Inevitavelmente mostra que repetidas medidassão necessárias para melhor confiabilidade deinstrumentos de avaliação.

• Importância da avaliação seriada, longitudinal.


Latent growth models(modelos de crescimento latente)


E as consequências que a testagem traz para a

sociedade?


Tipos de validade

• Validade de conteúdo

• Validade de critério concorrente

• Validade de critério preditiva

• Validade de construto

• Validade consequencial


• Equanimidade de condições• Test Fairness• Claridade das instruções• Segurança da prova• Definição do método dos escores (clássica, TRI)• Determinação da nota de corte (ex. Angoff)• “Quanto melhor a nota, melhor o profissional?”


Efeito da avaliação longitudinal sobre o profissionalismo médico

• Responsabilidade: a vida profissional domédico não deve começar após a colação degrau, mas desde o primeiro dia de aula.

• Exames seriados promovem a aprendizagemdo estudante.

• Exames seriados fornecem informações para amelhoria da qualidade as escolas.


• Testes decisivos podem melhoraros níveis de desempenho emotivação dos estudantes.

• Problemas de saúde mental(ansiedade e depressão) podempiorar ou serem deflagrados.

• A tradição dos testes préviosdefinirá o que é abordado noscurrículos.

• A autoridade controladora doteste controlará os currículos.

• A importância do teste podecorrompê-lo.


Lei de Goodhart

Quando uma medida (p. ex., a nota em um teste) se torna um objetivo

sobre o qual se conduz uma determinada política (aprovação, promoção), tal medida tende a

rapidamente perder qualidade no conteúdo informativo que a qualifica

para desempenhar esse papel.


Avaliar os médicos do futuro é um desafio...

... que exige evidências.



Prof. Dr. Cees van der Vleuten

Karolinska Institutet Prize for Research in Medical Education 2012


School of Health Professions Education (SHE)

SHE Collaborates


GRATO!

[email protected]

http://www.maastrichtuniversity.nl/she

Date post:	05-Feb-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Aplicaçãode testes de progresso emescolasde MedicinaPsicometria é a área do conhecimento na qual...

Documents