Creación y jueceo de ítems
ChatGPT como diseñador y juez
Bibliographic Data
| ID | 4151029 |
|---|---|
| Authors | Karla Karina Ruiz Mendoza (0000-0001-8978-8364, Universidad Autónoma de Baja California), Luis Horacio Pedroza Zúñiga (0000-0002-5256-2967, Universidad Autónoma de Baja California), Alma Yadhira López García (0000-0002-7474-5799, TheLearning Bar, Canadá) |
| Year | 2024 |
| Volume | 17 |
| Publication date | 2024-01-01 |
| Open Access | Yes |
| Type | ARTICLE |
| Venue | Texto Livre Linguagem e Tecnologia (JOURNAL) |
| Journal identifiers | ISSN: 1983-3652 • E-ISSN: 1983-3652 |
| Publisher | FapUNIFESP (SciELO) (PUBLISHER) |
| DOI | 10.1590/1983-3652.2024.51222 |
| OpenAlex | W4400475566 |
| SciELO | S1983-36522024000100216 |
| Language | ES |
| Citations received | 2 |
| References cited | 12 |
El fin de este estudio fue evaluar la efectividad de la inteligencia artificial (IA), representada por ChatGPT 4.0, comparada con diseñadores humanos en la creación de ítems para un examen para el ingreso a la educación superior en el área de Lengua Escrita. Se utilizó un enfoque mixto, combinando metodologías clásicas y contemporáneas en evaluación educativa, incluyendo el juicio de expertos. ChatGPT y cuatro diseñadores humanos desarrollaron 84 ítems, siguiendo la Taxonomía de Anderson y Krathwohl para establecer el nivel de demanda cognitiva. Los ítems fueron evaluados por dos jueces humanos y ChatGPT, utilizando una rúbrica detallada que incluye claridad, neutralidad, formato, alineación curricular y redacción. Los resultados mostraron una alta tasa de aceptación sin cambios tanto para ítems de ChatGPT como para los humanos, indicando una buena alineación con los estándares de evaluación. Sin embargo, se observaron diferencias en la necesidad de cambios menores y mayores propuestos por la rúbrica. El estudio concluye que tanto la IA como los diseñadores humanos son capaces de generar ítems de alta calidad, resaltando el potencial de la IA en el diseño de ítems educativos
Art · Humanities · Physics · Artificial Intelligence in Healthcare and Education · Artificial Intelligence in Law · Law, Ethics, and AI Impact
Generative AI
A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment
Validity
Current Concerns in Validity Theory
Validating the Interpretations and Uses of Test Scores
Determination and Quantification Of Content Validity
What if the devil is my guardian angel
Interrater reliability
El uso de ChatGPT 4.0 para la elaboración de exámenes
The Research Act
Answering the Call for a Standard Reliability Measure for Coding Data
| Citations per year | 2 |
|---|---|
| Citation span | 2025 - 2026 (2) |
| Highly cited | No |