I. PISA, las pruebas invisibles para Ecuador

Las pruebas PISA son una forma de evaluación educativa internacional, que Ecuador la hizo en el 2018. Luego nunca más se participó porque, según las autoridades educativas de ese entonces, no era adecuado compararse con estándares internacionales. En diciembre del 2022, Ecuador firmó una carta de intención para volver a participar.

PISA es una evaluación internacional de las destrezas de los estudiantes, no es de contenidos. En el 2018 hubo un debate sobre el tema. Un grupo de docentes decía que para qué nos vamos a comparar con otros países, si ya sabemos que estamos mal. Hubo mucha resistencia a participar luego en evaluaciones internacionales. Ahora se sostiene que al ser una evaluación de habilidades, no de contenido, no se necesita “repasar” la materia, o estudiar. Las evaluaciones en lectura hablan sobre comprender, interpretar, analizar textos variados. No interesa saber la estructura gramatical. En matemáticas se evalúa resolver problemas prácticos de la vida real. En ciencias se evalúa la comprensión de conceptos científicos y razonar desde lo experimental. La OCDE, que es la entidad mundial que apadrina las pruebas, adicionó para el 2025 el componente de aprendizaje digital, que mide la capacidad de resolver problemas con medios digitales. Es importante, según Susana Araujo porque con ello se puede diagnosticar y medir los aprendizajes en sectores con poco acceso digital, sobre todo en la ruralidad.

Los materiales para las pruebas PISA están en inglés y francés. En el 2023, el Ineval hizo el trabajo de traducción a la vez que adaptó algunas preguntas al contexto nacional. Ecuador contó con el apoyo de Chile, que lleva algunos años en estos procesos. Hubo dos encuentros mundiales (en Portugal e Indonesia) de los gerentes nacionales de las pruebas PISA a los que asistió Ecuador en el 2023. Una de las ventajas de estos encuentros para Ecuador fue que se conocieron formatos de evaluación. Para el 28 de mayo del 2024, el Ineval proyecta empezar un proceso piloto de prueba PISA en 50 instituciones educativas. Esto servirá para calibrar los instrumentos de evaluación, saber si los estudiantes comprenden las preguntas, y aquellas están en contexto. Es un entrenamiento. Serán unos 2000 estudiantes, una muestra, según el Ineval, representativa. También se alista un portal para informar el proceso. La muestra de instituciones de la prueba piloto no se escoge en el Ecuador, sino en una entidad con sede en Australia, el Congreso Australiano para la Investigación Educativa, la cual recibe del país el lista de los colegios y hacen la elección.

Esta es la novena edición de PISA y participan 91 países, incluido Ecuador, dice José Flores, director general técnico del Ineval y gerente nacional de PISA.  Esta prueba evalúa ciencias, lectura, matemáticas y en esta edición también innovación digital. Los cuestionarios también son para las instituciones educativas, lo cual ayuda a determinar un índice socioeconómico de los estudiantes.

PISA, dice el experto, es una mirada al sistema nacional de educación y el resultado es saber qué sucede en las instituciones fiscales, particulares, municipales y fiscomisionales. El contexto de los estudiantes y las instituciones es el impacto de la pobreza, el acceso a la tecnología y cómo influye en los aprendizajes. También se sabrá qué sucede con los aprendizajes en los regímenes de Sierra/Amazonía y Costa/Galápagos. También en las zonas rurales y urbanas. El marco muestral está entregado por el Ministerio de Educación, que es analizado por el Ineval y la selección de la muestra lo hace el Consejo Australiano. Así se tendrá una fotografía actualizada de la realidad de la educación en el Ecuador.

Serán 8.000 los estudiantes y 300 instituciones educativas, escogidos para la prueba PISA 2025 y los resultados se esperan para el año 2026.

No es la única evaluación internacional para el sector educativo. Desde 1997, el Ecuador participa en las pruebas del Laboratorio Latinoamericano de Evaluación de la Calidad Educativa, de la UNESCO-Santiago de Chile y se ha participado en las ediciones 1997-2006-2013-2019 y se participará también en el 2025. Esta es una evaluación de contenidos curriculares. Son 18 países latinoamericanos los que coordinan los contenidos básicos mínimos y establecen marcos comunes. De esa manera, se tendrán dos evaluaciones, esta y la de PISA, en cuanto a contenidos y habilidades respectivamente.

II. Ser Estudiante, los resultados estremecedores

Ser Estudiante es una muestra estratificada en la que participaron 1084 instituciones, 36.000 estudiantes de cuarto, séptimo grados y tercero de bachillerato. En los cuatro grupos: fiscal, municipal, fiscomisional y particular. Costa y Sierra, urbano y rural. Los resultados no son halagüeños, pero para el Ineval son mejores que las pruebas anteriores. Susana Araujo cree que la pandemia dejó una brecha de entre 6 y 24 puntos en los diferentes niveles que bajaron, del 2020 al 2021 y ahora se estaría recuperando un promedio de entre 2 y 15 puntos de acuerdo a la materia, el nivel y el área. Lo curioso en esta ocasión es los promedios en Ciencias Naturales cayeron. Quizá, piensa Araujo, porque se buscó “atender” las áreas que siempre han tenido la mayor repercusión, como Lengua y Matemáticas. O que, cuando se estaba en pandemia el Ministerio de Educación entregó fichas en las cuatro áreas, de modo multidisciplinario y se dio más fuerza en Lengua y Matemáticas.

Susana Araujo, directora general del Ineval, y José Flores, director Técnico, durante la entrevista con Plan V . Foto: Juan Carlos Calderón

El puntaje mínimo en las pruebas es de 400 y el máximo es 1000. El nivel mínimo de competencia en todas las áreas es de 700 puntos. En los años 20 y 21 se un tuvo  un promedio de 699 puntos, uno menos para el nivel mínimo, pero en el 2023 cayó a 659 puntos. En el 23 casi todas las áreas tuvieron subidas mínimas de puntaje. Pero entre el 20 al 23 las caídas fueron muy fuertes.

El resultado de las pruebas Ser Estudiante 2023 fueron presentados públicamente. Visitar el sitio

Las autoridades educativas también hicieron un documento de análisis cualitativo de los resultados de las pruebas. Ver PDF

José Flores explica que el marco de evaluación son los niveles establecidos por el Ministerio de Educación. A partir de los estándares educativos se hace un análisis cualitativo y cuantitativo: es la relación entre las habilidades y los contenidos que se deben abordar. Se establece una métrica que va de los 400 a los 1000 puntos. Si un estudiante llega o alcanza los 1000 puntos quiere decir que alcanza las habilidades de los contenidos que están establecidos en los estándares de aprendizaje, que reflejan el pensum nacional. Lo que hemos visto entre el 2021, 2022 y 2023 es que los estudiantes se acercan a los 700 puntos, pero no llegan a tener las habilidades mínimas. En el 2023 se empezó a detener la curva de caída. Estos promedios no significan que no haya estudiantes que hayan sobrepasado los 700 puntos. En el área de Matemáticas, del 2023, por ejemplo, tenemos que un 6.3% de estudiantes que rindieron la prueba tienen niveles de excelencia, que se acercan a los 1000 puntos. Pero vemos que hay un 24.5% de estudiantes que tienen satisfactorio, que superan los 700 puntos. Pero también se muestra que el 57%, y el 11.4%, están en niveles de logro elemental e insuficiente, lo que da cuenta de estudiantes que están por debajo de los 700 puntos. Pero hay menos estudiantes en el nivel de logro insuficiente, respecto al año anterior.

En matemáticas, los estudiantes de nivel insuficiente, en el 2021, eran el 12%, luego sube al 21% en el 2022 (una caída enorme) pero en el 2023 son el 11%. Quiere decir que un 10% de estudiantes pasaron al nivel superior, el de logro elemental, pero que no llegan al puntaje mínimo de 700 puntos. Hay una gran caída, sin embargo, entre los estudiantes de cuarto de básica, en los niveles de excelencia: del 17.4% en el 2021, pasamos 8.3% en el 2022 y luego al 6% en el 2023.

Alumnos realizaron la evaluación Ser Estudiante del Ineval, cuya aplicación fue aleatoria. Foto referencial. Archivo / El Universo

Al conocer los resultados de las pruebas, el Ministerio de Educación está haciendo una valoración cualitativa. Una de estas es la relación de los colegios mejor puntuados, para investigar por qué están con buenas calificaciones; qué están haciendo para tener buenos resultados, y cómo el Ministerio puede reproducir las buenas prácticas en las áreas más deprimidas. También para saber qué pasa con los colegios que tienen un promedio de 400 puntos y cómo sacarlos adelante.

Ciertos grupos han dicho que no hay que definir a la calidad educativa, porque nadie se va a poner de acuerdo. De manera intencional, hace unos ocho o nueve años se dejó de debatir sobre la calidad de la educación. En el periodo de la ministra María Brown se hicieron varias mesas sobre el tema de la calidad. Pero hubo discrepancias sobre la diversidad de conceptos. Susana Araujo cree que pueden haber discrepancias pero es necesario tener líneas básicas sobre qué quiere el país alcanzar en estándares de educación. Por ejemplo, tener claro lo que sucede en las aulas con los aprendizajes de los maestros y estudiantes. Cuáles son los estándares de aprendizaje que el ministerio de Educación ha planteado en sus planes, y cuáles se alcanzaron y cuáles no, se pregunta la Dra. Araujo. Discrepa con María Brown en el sentido de que los maestros estaban demasiado apegados a los textos. Ella, en cambio, cree el hecho de tener un libro en clase ha dado a muchos docentes la ruta para saber por dónde caminar. El texto no es malo en sí mismo, dice, pero se debe instruir en cómo usar el texto sin que sea una camisa de fuerza. Ella cree que unos buenos materiales de apoyo, —inversión en laboratorios, textos escolares, programas de lectura— son fundamentales y es fundamental aumentar la inversión en ese sentido. Pero de qué sirve tener un laboratorio con 40 computadoras, si la política del colegio es no usarlas porque «si se dañan nos cobran a nosotros» o tener recubiertos de plástico los laboratorios de química y los instrumentos «porque la pipeta cuesta cincuenta dólares y puede romperse». Y el laboratorio no funciona porque “hay que cuidarlo”. O los textos escolares no se los usa porque en algún momento se dijo que no hay como escribir en los mismos. Hay que formar a los maestros, dice Araujo.

Susana Araujo dice que en el sistema educativo se sigue evaluando como en el siglo pasado: la lección, el trabajo en casa… Por sus años de experiencia en evaluación dice que hay que evaluar continuamente, y reforzar esa etapa. El Ineval tiene un proyecto que espera recursos: trabajar en una plataforma de evaluación educativa, en la cual haya opciones de tipos de evaluación, que permita al docente armar el menú de evaluación a lo largo del año lectivo. El punto es: ¿cómo sabemos que los estudiantes están aprendiendo?, se pregunta Araujo: se envían tareas, se toman lecciones, se sorprende con la prueba flash… Pero, además de las preguntas cuyas respuestas deben corresponder al texto de clase ¿qué se tiene ahora?

Ella cuenta una reciente experiencia de haber preguntado a sus alumnos de una maestría educativa sobre qué sistema usaban para evaluar a sus estudiantes de matemáticas, y la respuesta fue la revisión de cuadernos. ¿Cuáles eran los criterios de evaluación?, les preguntó. El criterio fue, en su mayoría: que tenga la firma de revisión del docente, «porque es una forma de verificar que hicieron los deberes». Son, concluye, hábitos arraigados de evaluación y se requiere un cambio en ese sentido.

III. ¿Qué hacer con los resultados de Ser Estudiante?

Los resultados debieran conducir a varias acciones. Por ahora, dice Susana Araujo, el Ministerio de Educación está reflexionando sobre las acciones a tomar. Pero, independientemente del gobierno que sea, el gran porcentaje de recursos se va en los sueldos de los maestros, mantenimiento de las instalaciones y alimentación escolar. Peor para cambiar la realidad de los resultados de las pruebas de evaluación, se requiere definir metas para mejorar el desempeño estudiantil  y docente en las áreas evaluadas: matemáticas, lengua y ciencias. En el 2024, el Ministerio de Educación planteó al Ineval trabajar en un indicador, y así construyeron en el Plan Nacional de Desarrollo Nuevo Ecuador 24-25 el indicador de: incrementar el porcentaje de estudiantes  del subnivel de Básica Superior que han alcanzado el nivel mínimo de competencias en los campos de lengua y matemáticas. Esto es, pasar del 46.9% en el 2022 al 47.8% en el 2025. El techo tiene que ver con la tendencia de histórica de crecimiento y con metodologías rigurosas se pueden hacer esas proyecciones. No es una meta ambiciosa, pero es la primera vez que una meta así consta en un Plan Nacional de Desarrollo de un gobierno. No es lo único positivo: en el Reglamento de la Ley Orgánica de Educación Intercultural, LOEI, consta que el Ministerio de Educación debe entregar al Ineval una política nacional de evaluación. La misión de la institución es evaluar el aprendizaje de los estudiantes, docentes y gestión escolar. Araujo reconoce que el Ineval tiene una deuda con la evaluación de establecimientos educativos, porque se ha evaluado desde las necesidades que por lo general han sido coyunturales.

En el 2022 se hizo una evaluación a las personas que buscaban entrar al magisterio. Y sumaron 57.000 aspirantes, docentes de toda condición, para 13 áreas de conocimiento. El Ineval no sabía cuántos sería escogidos. El operativo costó USD 200.000 pero se debió apelar a la Secretaría de Planificación y al Ministerio de Economía para obtenerlos. Se hizo la evaluación y los resultados reposan más de un año en manos del Ministerio de Educación y, por lo menos en el Ineval y en el resto del Ecuador nadie sabe qué pasó con eso. Según la ex ministra de Educación María Brown, lo que se tiene es una base de datos de maestros calificados, pero no se puede llenar al menos 4000 vacantes porque el dinero se va en los aumentos salariales obtenidos por los maestros.

Nadie puede decir que los docentes no trabajan, cuando hay aulas de 50 y más estudiantes. Araujo relata que en un aula del colegio Rita Lecumberri, de Guayaquil, había estudiantes tomando clases en los pasillos, porque no cabían en el aula. Peor también hay aulas sin maestros, y con maestros que logran dar clases dos veces a la semana.

La política nacional de evaluación, que debe entregar Educación al Ineval, podría ser un camino para saber hacia dónde va la evaluación. Está en una disposición del reglamento a la LOEI.

La pobreza en el aprendizaje no es patrimonio del Ecuador, ni siquiera de América Latina. Tanto el Banco Mundial, como el BID tratan el tema con la máxima seriedad luego de evaluar los impactos de la pandemia en los sistemas educativos. Estos organismos dicen que alrededor de 3 a 4 estudiantes de cada 10, realmente aprenden, como resultado de PISA 2022. El Ecuador no estuvo en esa edición de PISA, pero no está fuera de esa realidad. No somos los mejores, pero tampoco los peores, dice Susana Araujo.

El informe El aprendizaje no puede esperar, del BID y el BM, dice en uno de sus resúmenes ejecutivo del informe que:

“Esta ronda de PISA contó con la participación de 14 países (de América Latina y El Caribe), el mayor número de países de ALC que participaron en la evaluación desde su creación en 2000. Entre los aportes más importantes de la evidencia documentada en este informe se destaca que: demasiados estudiantes de ALC no adquieren competencias básicas; las oportunidades educativas son muy desiguales; las tendencias de aprendizaje no van en la dirección correcta; y los países de la región deben atender las disparidades en el desempeño y la equidad, y también dedicar más recursos al uso de la tecnología como herramienta educativa”.

El BID y el Banco Mundial lanzaron un esrtudio sobre los resultados de las pruebas PISA. Visitar sitio

La funcionaria cree que, a diferencia de otros años, existe preocupación de los organismos regionales de financiamiento. En la presentación última del ministro de Educación del Ecuador sobre el plan para los próximos 15 años, la CAF ha dicho que el componente educativo será fundamental para los futuros programas de financiamiento.