Tu director o directora lo dijo en la última reunión: «el cuestionario tiene que pasar por juicio de expertos antes de aplicarlo». Y vos quedaste con la duda de siempre: ¿a quiénes les pido que lo evalúen, qué les doy para completar, cómo se calcula eso de la V de Aiken y qué se escribe después en la tesina? Es una de las tareas donde más estudiantes de Ciencias de la Educación pierden semanas, porque nadie la explica de punta a punta y porque hay mucha información contradictoria sobre cuántos jueces se necesitan y qué valor es «aceptable».
Esta guía te lleva por el procedimiento completo, con una planilla modelo y un ejemplo numérico resuelto a mano para que puedas comprobar tus propios cálculos. Todo está pensado para un cuestionario típico de una tesina de grado en Educación, pero el método sirve para cualquier instrumento.
Qué es el juicio de expertos y qué valida
El juicio de expertos es un procedimiento para estimar la validez de contenido de un instrumento: consiste en pedirle a un grupo de personas con conocimiento del tema que evalúen si los ítems representan de manera adecuada lo que querés medir. No prueba que el instrumento sea confiable (eso se estudia aparte, por ejemplo con el alfa de Cronbach en una prueba piloto) ni que mida bien en tu muestra; lo que respalda es que los ítems son claros, pertinentes y suficientes respecto de la variable que definiste.
Por eso es un paso que viene después de definir tu variable y sus dimensiones, y antes de aplicar el cuestionario a los participantes. Si tu operacionalización todavía está en borrador, los jueces van a terminar evaluando una estructura que vas a cambiar. Si necesitás repasar cómo se llega a los ítems, mirá cómo hacer un cuestionario de investigación.
Paso 1: preparar el instrumento y una matriz de ítems
Antes de convocar a nadie, armá una matriz que muestre, para cada ítem: la dimensión que pretende medir, el indicador, el texto del ítem y la escala de respuesta. Ejemplo ilustrativo para un cuestionario sobre estrategias de comprensión lectora en estudiantes de primer año de secundaria:
- Dimensión: estrategias antes de leer.
- Indicador: activa conocimientos previos.
- Ítem: «Antes de leer un texto, pienso qué sé sobre el tema».
- Escala: nunca, a veces, casi siempre, siempre.
Si la escala todavía no está definida, repasá cómo diseñar una escala de Likert; los jueces también tienen que poder opinar sobre las categorías de respuesta.
Paso 2: elegir a los jueces
Los jueces tienen que ser personas que sepan más que vos sobre el tema o sobre la medición. En una tesina de Educación suelen combinarse perfiles:
- Docentes de la carrera con experiencia en el tema del instrumento (por ejemplo, alfabetización, evaluación o psicología educacional).
- Especialistas en metodología de la investigación o en construcción de instrumentos.
- Profesionales del nivel donde vas a aplicarlo (una directora, un profesor de secundaria) para opinar sobre claridad y pertinencia en el contexto real.
Sobre la cantidad: no existe una cifra única. En la literatura metodológica sobre validez de contenido se suele citar a Lynn (1986, Nursing Research, 35[6], 382-386) como referencia para decidir el tamaño del panel; elegí una referencia, citála y justificá tu decisión. Lo que sí podés asegurar es que tenés que informar cuántos jueces fueron, su perfil (sin datos personales innecesarios) y por qué los seleccionaste. Un estudio que adaptó el inventario de estrés académico SISCO SV publicado en Socialium (2020), por ejemplo, convocó a 20 expertos en psicología, educación, investigación y estadística para la validez de contenido; es un ejemplo de cómo se describe el panel, no un número que debas copiar.
Un consejo práctico: invitá a más jueces de los que necesitás, porque algunos no van a responder. Y evitá que tu director o directora sea uno de ellos, salvo que tu facultad lo permita expresamente, para que la evaluación sea independiente.
Paso 3: armar la planilla de validación
La planilla es el documento que recibe cada juez. Tiene que incluir:
- Una carta breve con el título de la tesina, el objetivo del instrumento, la variable y sus dimensiones definidas.
- La matriz de ítems, con una fila por ítem.
- Los criterios de evaluación con su definición. Los más usados son claridad (el ítem se entiende), coherencia (guarda relación con la dimensión) y relevancia (es importante para medirla).
- Una escala de calificación, por ejemplo de 1 a 4 (1 = no cumple, 2 = bajo nivel, 3 = moderado nivel, 4 = alto nivel).
- Un espacio para observaciones y para sugerir ítems que faltan.
- Los datos del juez (nombre, título, institución) y su firma, o el formato que pida tu facultad.
Ofrecé siempre la posibilidad de agregar comentarios: muchas veces las observaciones cualitativas («este ítem tiene dos preguntas en una») valen más que el número.
Paso 4: calcular la V de Aiken, con un ejemplo
El coeficiente V de Aiken fue propuesto por Lewis R. Aiken y descripto en su artículo «Three Coefficients for Analyzing the Reliability and Validity of Ratings», publicado en Educational and Psychological Measurement (1985, volumen 45, número 1, pp. 131-142). Se calcula para cada ítem con esta fórmula:
V = S / [n × (c − 1)]
donde S es la suma de las diferencias entre cada puntuación de los jueces y la puntuación más baja posible de la escala, n es el número de jueces y c es el número de categorías de la escala. Los valores van de 0 a 1.
Ejemplo ilustrativo con 5 jueces, una escala de 1 a 4 (c = 4, la puntuación mínima es 1) y el criterio de relevancia:
| Ítem | Juez 1 | Juez 2 | Juez 3 | Juez 4 | Juez 5 | S | V |
|---|---|---|---|---|---|---|---|
| 1 | 4 | 4 | 3 | 4 | 4 | 14 | 0,93 |
| 2 | 4 | 3 | 3 | 4 | 3 | 12 | 0,80 |
| 3 | 3 | 2 | 3 | 2 | 3 | 8 | 0,53 |
| 4 | 4 | 4 | 4 | 4 | 3 | 14 | 0,93 |
| 5 | 2 | 3 | 2 | 2 | 3 | 7 | 0,47 |
Cómo se obtuvo cada número: para el ítem 1, restamos 1 a cada puntaje (3, 3, 2, 3, 3) y sumamos: S = 14. El denominador es 5 × (4 − 1) = 15. Entonces V = 14 / 15 = 0,93. Para el ítem 3: (2 + 1 + 2 + 1 + 2) = 8, y V = 8 / 15 = 0,53. El promedio de las cinco V es 55 / 75 = 0,73 (la suma de todas las S es 14 + 12 + 8 + 14 + 7 = 55, y el denominador total es 5 × 15 = 75).
Los datos son inventados con fines didácticos: no representan ningún estudio real.
Paso 5: decidir qué ítems conservar
Acá es donde más dudas aparecen: ¿cuál es el valor mínimo? La respuesta honesta es que depende del criterio que adoptes y justifiques. Algunos estudios consideran aceptables valores de V iguales o mayores que 0,70 u 0,80; el estudio de adaptación del SISCO SV mencionado antes consideró que valores por encima de 0,75 indicaban validez excelente. Si citás un umbral, citá también de dónde lo tomás. En nuestro ejemplo, con un umbral de 0,80 se conservarían los ítems 1, 2 y 4; el 3 y el 5 se reformularían o se eliminarían y, si son importantes para la dimensión, volverían a una segunda ronda de evaluación.
Es recomendable combinar el número con las observaciones cualitativas. Un ítem con V alta pero con comentarios repetidos sobre ambigüedad igualmente se ajusta. Registrá todos los cambios en una tabla: ítem original, observación, modificación realizada.
También existe otro indicador, la razón de validez de contenido (CVR) de Lawshe, que usa una escala de «esencial / útil pero no esencial / no necesario» y se calcula como (ne − N/2) / (N/2), donde ne es la cantidad de jueces que califican el ítem como esencial y N el total de jueces. Se describe en Lawshe (1975), Personnel Psychology, 28(4), 563-575. Por ejemplo, con 8 jueces y 7 que lo consideran esencial: (7 − 4) / 4 = 0,75. Para interpretar el valor, contrastalo con la tabla de valores críticos del artículo original.
Paso 6: qué escribir en la metodología
En el capítulo metodológico, la sección de validez tiene que responder cinco preguntas, en este orden:
- ¿Qué tipo de validez evaluaste? (de contenido, por juicio de expertos).
- ¿Quiénes fueron los jueces, cuántos y con qué criterio los elegiste?
- ¿Qué criterios y qué escala usaron para evaluar?
- ¿Qué coeficiente calculaste, con qué fórmula y qué umbral adoptaste (citando la fuente)?
- ¿Qué resultados obtuviste y qué cambios hiciste al instrumento?
Ponés la tabla resumen en el cuerpo (o en el anexo, si es larga) y la planilla original firmada por los jueces en los anexos. Después viene la prueba piloto y el cálculo de la confiabilidad. Para ordenar el marco conceptual donde justificás las dimensiones, podés guiarte con la guía de marco teórico para Ciencias de la Educación, y si buscás instrumentos ya validados antes de armar uno nuevo, revisá el listado de escalas y cuestionarios validados en español.
Errores frecuentes que ya conviene evitar
- Confundir validez con confiabilidad. El juicio de expertos habla de contenido; el alfa de Cronbach, de consistencia interna. Son dos pasos distintos.
- Pedir a los jueces que evalúen sin definir la variable. Si no entienden qué querés medir, no pueden juzgar los ítems.
- Usar un solo criterio. Claridad, coherencia y relevancia dan información diferente.
- No guardar evidencia. Si el jurado pide ver las planillas, tenés que tenerlas firmadas.
- Calcular la V sobre una escala distinta a la que mostrás. El valor de c en la fórmula tiene que coincidir con las categorías de la planilla.
- Aplicar el instrumento sin incorporar las correcciones. Después del juicio, el cuestionario tiene que ser la versión modificada.
Si tu tesina es de Educación y trabaja con una variable como el rendimiento, mirá cómo se construyen los indicadores en la guía de tesina sobre rendimiento académico, y para definir el universo al que vas a aplicar el instrumento, revisá población y muestra.
Preguntas frecuentes
¿Cuántos jueces necesito para el juicio de expertos?
No hay una cifra única que sirva para todas las tesinas. Elegí una referencia metodológica, citala y justificá tu decisión; lo que el jurado evalúa es la coherencia entre la cantidad de jueces, su perfil y el criterio que seguiste.
¿Qué valor de V de Aiken es aceptable?
Depende del umbral que adoptes y cites. Varios trabajos usan 0,70 o 0,80 como mínimo; otros, como el de adaptación del SISCO SV, consideran excelente un valor superior a 0,75. Lo importante es que lo declares antes de analizar y lo apliques a todos los ítems.
¿El juicio de expertos reemplaza a la prueba piloto?
No. El juicio de expertos respalda la validez de contenido; la prueba piloto sirve para verificar que los ítems se entienden en la población real y para estimar la confiabilidad. En una tesina bien armada se hacen las dos.
¿Puede ser juez mi director o directora de tesis?
Depende de lo que establezca tu facultad y de su criterio. En general conviene que los jueces sean independientes de quien dirige el trabajo, para que la evaluación aporte una mirada externa.
¿Y si un ítem queda con V baja pero lo considero esencial?
Reformulalo según las observaciones de los jueces y, si es posible, sometelo a una segunda ronda. Si lo mantenés sin cambios, tenés que justificar por qué en el texto.
Ordená la validación de tu instrumento con Tesify
Tesify es la plataforma con la que escribís tu propia tesina, capítulo por capítulo: más de 9.000 estudiantes ya escribieron más de 15.000 capítulos con ella, y el texto final queda 100% escrito por vos. Te acompaña para estructurar el capítulo de metodología y la sección de validez de tu instrumento, sin reemplazar tu criterio.