Sociedad

Hay vida más allá de los rankings, o breve análisis de los resultados del PIAAC

14 Oct, 2013 -

Por Queralt Capsada.

Desgraciadamente, muchos medios de comunicación buscan la inmediatez y el impacto por encima de la información y el análisis. Esto hace que muchas veces lo que entendemos como actualidad tenga una naturaleza más de tipo negativo y destructivo que positivo y propositivo. Nos hemos acostumbrado a entender las noticias como desastres y no siempre hay espacio para las felicitaciones. Un buen ejemplo son las primeras informaciones referentes a la publicación de la primera encuesta del PIAAC, ya popularizada como PISA para adultos. Tal y como ha pasado con todas las ediciones del PISA, las primeras reacciones por parte de la mayoría de los medios de comunicación (y las que han tenido más eco) se han enfocado en los rankings y en subrayar el “suspenso” de España en comprensión lectora y matemática.

 

¿Qué es el PIAAC?

Creo que no hay que empezar la casa por el tejado, sino que más vale empezar explicando qué es el tan citado PIAAC. El PIAAC (por sus siglas en inglés, Programme for International Assessment of Adult Competences) es un proyecto de la OCDE que incluye como producto estrella la encuesta sobre la evaluación de las competencias de la población adulta de 16 a 65 años. Las competencias que se evalúan son la lectora, la matemática y la de resolución de problemas en ambientes tecnológicos (en esta última España no participó). Para evaluar estas competencias los encuestados tienen que responder una serie de pruebas/situaciones de la vida cotidiana. El nivel de las pruebas va aumentando para poder determinar a partir de qué punto la persona encuestada presenta dificultades para responder. En el caso de la competencia lectora se empieza mostrando textos simples en los cuales se tiene que identificar una información. El tema se va complicando a partir de la combinación de más de un texto, más densos y donde hay que relacionarlos y redactar para responder a las preguntas. En el caso de la competencia matemática se presentan situaciones de la vida cotidiana que hay que interpretar (gráficos, valoraciones de ofertas del supermercado, lectura de un termómetro…) para responder a preguntas que también van aumentando en su nivel de sofisticación.

 

¿Para qué nos sirven estos datos (aparte de para deprimirnos)?

Esta es la pregunta práctica y obvia que se le ocurriría al ciudadano medio. La intención del PIAAC es proporcionar información a los 23 países participantes sobre lo que su población adulta sabe y es capaz de hacer. Mediante la comparación con otros países cada cual puede situarse y detectar cuál es la población que tiene más problemas y en la que debería focalizar las políticas educativas y de formación. Hasta el momento sólo disponíamos de información sobre el nivel de cualificaciones de las personas (estudios primarios, secundarios, superiores…), pero los datos sobre cualificaciones y títulos tienen algunas limitaciones que el PIAAC nos resuelve, pues bien podría ser que:

  1. Dos personas con el mismo nivel de cualificación tuvieran competencias diferentes (uno supiera hacer más cosas que el otro, a pesar de tener el mismo título).
  2. Dos personas con cualificaciones diferentes tuvieran el mismo nivel de competencias (una no tiene una titulación reconocida, pero sabe hacer lo mismo que el que sí la tiene).

 

¿Qué NO es el PIAAC?

El PIAAC no es un sistema de evaluación de la evolución y efectividad de las políticas educativas de un país. La encuesta se ha hecho en un periodo concreto a una serie de personas (cross-sectional), de forma que proporciona una fotografía del estado de las competencias de los adultos en aquel momento del tiempo y según aquella composición. Es arriesgado y poco riguroso – para no decir otras cosas – asegurar que algunas reformas educativas han sido la causa principal para frenar el progreso educativo. La encuesta da información y proporciona elementos para el análisis, pero no permite valorar los efectos de las diferentes reformas educativas a lo largo del tiempo. Una de las finalidades de la OCDE es proporcionar datos que permitan compararse con otros países para hacer un ejercicio de benchmarking y detectar causas de problemas, pero la OCDE no propone soluciones, esto lo tienen que hacer los estados. Es una lástima que actualmente se instrumentalicen datos de calidad para promover cambios legislativos no basados en la evidencia.

 

¿Qué informaciones tenemos más allá del ranking?

Aunque hace falta tiempo para realizar análisis más elaborados y sofisticadas para sacarle todo el jugo a la encuesta, los primeros informes proporcionados por la OCDE nos permiten ir más allá de la simple clasificación de las puntuaciones. El resultado general más destacable, y a la vez esperanzador, es que España sigue las tendencias internacionales. A pesar de que el nivel de partida es más bajo, si comparamos España (en verde) con Japón (en rojo) y la media de la OCDE (en azul), vemos que a más edad menor es el nivel de competencias, mientras que a mayor nivel educativo y ocupacional, más elevado es el nivel de competencias de las personas.

Overall performance

PerfByAge

byoccupation

Fuente: PIAAC/OECD interactive charts.

Dentro de esta tendencia internacional, algunos de los principales puntos a destacar para el caso español son:

  • España ha conseguido un gran progreso educativo. Después de Corea, España es el país que presenta una mejora más grande entre la competencia de la población mayor (55-64 años) y la más joven (16-24 años). De forma que, contrariamente al discurso muchas veces presente, no parece que la educación “de antes” fuera mejor que la actual, sino más bien lo contrario. A diferencia de las generaciones mayores, los jóvenes han tenido acceso a un sistema educativo más inclusivo y equitativo, el cual les ha proporcionado un nivel de competencias mayor.
  • El sistema educativo no tiene la culpa de todo. Aunque las competencias básicas y transversales se aprenden en el sistema educativo formal, se mantienen y mejoran a lo largo de la vida. El aprendizaje a lo largo de la vida es un tema pendiente en España. Para conseguir que las personas se sigan formando más allá de la escuela no sólo hay que mejorar la escuela, sino que también hace falta la implicación de los agentes sociales, puesto que el aprendizaje continúa tanto en el puesto de trabajo como fuera de él. La familia también es un lugar importante de aprendizaje. A medida que aumenten las competencias de las nuevas generaciones, también lo harán las de sus descendientes.
  • Las competencias que no se utilizan se atrofian. Si una cosa demuestra el informe es que las competencias que no se usan se van perdiendo. Este resultado pone en cuestión el debate sobre la llamada “fuga de cerebros”. Quizás es mejor que la gente formada se marche y pueda utilizar sus competencias – y así mantenerlas o incluso mejorarlas – en lugar de perderlas si no las utiliza.
  • El paro afecta más a las personas con bajo nivel de competencias. Aunque en todos los países se observa una clara diferencia entre la tasa de paro de las personas con niveles más altos y más bajos de competencias, en el caso de España esta diferencia es más acentuada. Un alto nivel de competencias parece ser un buen seguro para tener un puesto de trabajo.
  • La sobrecualificación es un fenómeno preocupante. Hasta el momento otras fuentes mostraban que en España un porcentaje importante de personas están sobrecualificadas. La encuesta del PIAAC no sólo confirma este dato, sino que también muestra que la mayor parte de estas personas tienen más competencias de las que requiere su puesto de trabajo. De forma que el mercado de trabajo español está desaprovechando buena parte del talento que tiene a su disposición. Los sobrecualificados pueden tener incentivos para marcharse a otros países donde el mercado de trabajo les ofrezca una mejor posición.

De forma que sí, España se sitúa en la última parte del ranking y queda mucho trabajo por hacer. Pero España se encuentra en un ranking de “buenos estudiantes” y al parecer sigue el mismo camino que el resto, aunque a unos pasos de distancia. Los 22 países con los cuales estamos comparando España (y a los cuales se quiere acercar) son el grupo de países con mejores niveles educativos del mundo. Vale más ser cola de merluza que cabeza de sardina, ¿o no?

 

Este artículo fue publicado originalmente en catalán en el Cercle Gerrymandering.

 


27 comentarios

  1. […] Hay vida más allá de los rankings de educación […]

  2. fulano dice:

    Menos mal que no todo el mundo se deja llevar por el discurso apocalíptico.

  3. Drissang dice:

    Gracias por el análisis.

    Cuando vi la noticia ya me pareció extraño, dado el rango de edades que se contempla, que le echaran la culpa a una u otra política educativa. ¿como puede afectar la LOGSE a gente que no la vivió, por ejemplo?.

    Por otro lado, tengo la impresión de que la gente lee muy poco, y en general, los adultos muestran poco interés por aprender cosas nuevas. Pero, como digo, es una impresión que tengo, quizás no se ajuste a la realidad…

  4. Alatriste dice:

    «Vale más ser cola de merluza que cabeza de sardina, ¿o no?»

    Al menos en mi pueblo se estila más «mejor cabeza de ratón que cola de león»… pero en este caso estoy de acuerdo contigo, mejor estar entre los 23 del pelotón de cabeza, aunque sea en la retaguardia.

    Y otro comentario: me gustaría ver un ranking de la juventud de los 23 países implicados, a ver cómo quedábamos en ése.

    • Queralt dice:

      ohh!! gracias por al frase! Ya sabía yo que esto de merluza y sardina era una catalanada, pero no encontraba el equivalente en castellano!

      En referencia al ranking de jóvenes, de lo único que se tienen datos similares de competencias es el PISA: http://www.oecd.org/pisa/46643496.pdf
      En 2009 el foco era en Lectura, y efectivamente no estamos muy bien respeto a la «cabeza del león». Pero si miras el simple ránking verás que no somos los últimos.
      En diciembre salen los resutlados del PISA2012, tendremos que estar atentos al ranking!

      • Jorge dice:

        En el informe viene una clasificacion aparte para el grupo entre 16 y 25 años y España sale ligeramente mejor parada: adelantamos a EEUU y Reino Unido.

        Perdon por la ausencia de tildes, teclado extranjero.

        • FE dice:

          Inglaterra es el único país en el que las competencias de la generación de 16 a 24 años tiene menores competencias que la de 55 a 65. Ahí sí que tienen un problema.

          http://www.theguardian.com/education/2013/oct/08/england-young-people-league-table-basic-skills-oecd
          Por lo demás, esta es la enésima confirmación del espeluznant

          • FE dice:

            … espeluznante efecto de la dictadura franquista sobre la educación de la población española.

            • Pablo F.H. dice:

              Me sorprende cada vez mas la poca calidad de algunos artículos de Politikon. La actitud del «no estamos tan mal» «los rankings no importan tanto» ya ha sido comentada como algunos dicen en NeG con sentido común.

              Dejando aparte algunas perlitas que suelta este artículo, respondo este comentario porque una de las falacias que el 80% o más de la población en España tiene en educación es esto de que la ley franquista es culpa de nuestro retraso y la logse y sucedáneos están mejorándolo (que ya hay que ser tonto o muy ideologizado para afirmar esto último) y da la casualidad que uno de los autores hace tiempo dio un link a un tipo que es experto y estudia la educación es España, tiene un artículo que es: Cambiamos una de los mejores sistemas educativos (sí, el franquista de 1970!) por el peor (bingo, la logse) link: http://blogdelifie.blogspot.com.es/2011/09/cambiamos-uno-de-los-mejores-sistemas.html#comment-form

              Así que hoy me voy un poco deprimido después de esto 🙁

  5. Demangeon dice:

    Bueno, creo que hay cosas que matizar. En uno de los estudios del tomo 2 del informe español sí se encuentra una evidencia ligera de que la LOGSE haya podido afectar negativamente a las competencias. Literalmente» La identificación de la probabilidad de que un individuo haya sido educado bajo la LOGSE nos  ha  permitido  estimar  un  efecto  negativo  en  las  habilidades  de  cálculo  y  lectura. Aunque  la  significatividad  de  este  efecto  varía  con  la  especificación  de  diferentes tendencias». Por lo tanto es cierto que no se pueden hacer lecturas apocalíptica pero también es cierto que en los últimos años el avance en competencias se ha estancado lo cuál es preocupante dado que otros países (Corea por ejemplo) han mejorado mucho.

    Un saludo

    • Jorge dice:

      No se a que estudio te refieres, pero todos los datos que he visto confirman precisamente lo contrario. Empezando por los graficos representados en este post.

      • Demangeon dice:

        El link es este:

        http://www.mecd.gob.es/dctm/inee/internacional/piaac/piaac2013vol2.pdf?documentId=0901e72b81736785 (pag 165).

        Sobre el estancamiento de los jóvenes más formados también hablan hoy en Nadaesgratis.es

        Un saludo

        • Jorge dice:

          Gracias, Demangeon.

          El post de NadaEsGratis solo confirma que cualquier cenutrio puede sacarse una carrera de medio pelo, cosa que antes no sucedia. Eso no tiene nada que ver con la LOGSE.

          Saludos.

          • Ernesto dice:

            @ Jorge: no ha leído el link que le ha sugerido demangeon, que no tiene nada q ver con neg.

            @ sr capsada, felicidades por el post, es estupendo que alguien nos recuerde que comparar a personas nacidas en en distintos momentos haciendo un test a edades distintas es complicado.

            No obstante, no cree que los mismos problemas existen a la hora de establecer mejoras entre cohortes? Con la info disponible, alguien podria decir que todas las cohortes hubieran tenido el mismo resultado si el test se hubiera hecho a la misma edad, y q sus gráficos muestran q las capacidades se deprecian a lo largo de la vida. Y no encuentraria una manera obvia de rebatirle.

            Me cuesta encontrar motivos para el optimismo. Países con tercio de renta por hogar que España lo hacen bastante mejor, en todas las edades.

            Perdonen la falta de acentos

            • Jorge dice:

              Ernesto, no, no me he leido el link que me ha sugerido Demangeon, por eso solo comento el post que menciona, que si me lo he leido.

              El unico motivo para el optimismo es que nuestros jovenes se acercan mas a la media de la OCDE que nuestros mayores. De hecho, tras Corea, somos el pais que mas reduce el gap con la media relativo entre mayores y jovenes.

            • Queralt dice:

              Ernesto, lo que apuntas en cierta manera es verdad, y puede que no lo haya expresado con claridad en el texto. A lo que me refiero es que se observa en las cohortes más mayores que el nivel de competencias es mayor entre aquellos que trabajan que entre aquellos que no y se «asume» que es porque unos las siguen utilizando mientras que otros no. Tienes razón en que puede que ya tuvieran menos competencias de entrada, pero como el patrón es consistente entre países y a otras edades (aunque entre mayores más acentuado) parece una hipótesis plausible. Lo ideal sería tener datos longitudinales, pero no es el caso. Espero haberlo explicado algo mejor. Sra. Capsada

  6. Manuel Cruz dice:

    Que los jóvenes puntúen mejor que los viejos no es porque la LOGSE sea mejor, lo cual es a todas luces falso (es un modelo de educación reconocidamente nefasto, calco del modelo educativo laboral británico de los años 60 que a su vez fue desastroso), sino por estos otros factores:
    – No puedes comparar tasas de escolarización de posguerra con las de la democracia que son del 99.7%
    – A los jóvenes todavía no se les ha olvidado todo lo que han estudiado. Ésperate a unos años y verás el bajón que pegan en los resultados.

    Lo que sí que ha revelado el informe, es que la gente incompetente de ahora, que no sabe leer y sumar, tiene titulaciones universitarias. Fíjate en la extraña forma de parábola que tiene nuestro país en la gráfica basada en el nivel de estudios, y que además tiene un sentido inverso al de la gráfica basada en las exigencias del puesto de trabajo.

    En todo caso, ya te aviso que los resultados de alfabetización que arroja Japón son falsos. En este examen no se nota al usar vocabulario básico y con furigana, pero más allá de eso muchos japoneses son incapaces de leer textos complejos en su propio idioma o de seguir los noticieros. De hecho, se calcula un 30% de analfabetos funcionales basados en los resultados anuales del examen que hacen los japoneses al terminar la educación obligatoria.

  7. fnava dice:

    En cualquier estadística o métrica en España no se puede ignorar la distribución por edades por la enorme transformación sufrida en el último medio siglo. Aquí hay otro estudio sobre el mismo tema, quizás os interese http://www.fedeablogs.net/economia/?p=33217

  8. Jorge dice:

    Otra explicacion a los resultados podria deberse a que en España la poblacion adulta recibe menos formacion continua y/o lee menos, por lo que sus capacidades empeoran mas rapido.

  9. ortega dice:

    «España aparece mejor posicionada en los rankings internacionales cuando se considera la proporción de jóvenes que tienen titulación universitaria que cuando se evalúa el nivel de comprensión lectora o habilidad aritmética en esa misma edad. En promedio, los jóvenes japoneses y holandeses que han cursado estudios de postsecundaria superan fácilmente a los graduados universitarios españoles y más de un tercio de los graduados universitarios españoles no obtienen una puntuación más alta del nivel dos en la prueba de comprensión lectora. Por tanto, no están suficientemente preparados para lo que sus puestos de trabajo les exigen.»

    Andreas Schleicher es subdirector de la OCDE para temas educativos.

    Vía:

    http://elcafedeocata.blogspot.com.es/

    • Queralt dice:

      Lo que bien citas y dice Andreas es verdad. Actualmente los jóvenes japoneses y holandeses con un nivel de cualificación ISCED 3-4 tienen un mayor nivel de competencias que el de los jóvenes españoles con nivel ISCED 5-6. Este es uno de los tipos comparaciones que permite el PIAAC (entre países), pero también nos permite comparar dentro del mismo páis diferentes generaciones. Y como he intentado explicar en el post, milagros a Lourdes! No todas las comeptencias se transmiten via sistema educativo, también lo ahcen familia y mercado de trabajo. Si nuestros padres tienen un nviel de competencias bajo, no podrán transferir muchos. Si los padres holandeses tienen un nivel de competencias muy alto, pueden transferir bastante.
      Además, la distancia respeto otros países siempre es difícil de reducir, pues los demás no se quedan parados, sinó que siguen avanzando.

      • ortega dice:

        A lo que usted bien dice, contribuyen no poco los principios educativos actuales, para decirlo rápido, el constructivismo.
        Resulta chocante, que las teorías que se presentan como progresistas tengan como consecuencia el favorecer a aquellos que pueden adquirir los conocimientos de forma extra-escolar, porque los tienen, por ejemplo, en casa. Queda así considerablemente anulada una posibilidad de promoción para los menos favorecidos.

        • Aloe dice:

          Pero ¿qué construcitivismo ni qué niño muerto?

          Me paso la vida leyendo sobre el constructivismo y sus perniciosos efectos, y yo, que he arrastrado como he podido a dos hijos a lo largo de la secundaria en tiempos recientes (y antes a lo largo de la primaria) no he visto el menor constructivismo por ninguna parte.
          Ni en su pŕactica de aula, ni en las normas educativas del día a día de la Consejería, ni en las evaluaciones, ni en los programas, ni en los demás centros de gente que conozco, ni en los libros de texto, ni en los deberes, ni en las conversaciones con profesores, ni en ninguna parte.

          Lo que he visto es que la cosa educativa sigue el mismo método, los mismos presupuestos, la misma forma de hacer las cosas y los mismos curriculos (aumentados a casi el doble de asignaturas, eso sí) que cuando yo hacía secundaria.

          De haber algún cambio, es a menos constructivismo, y no a más. Porque yo tuve laboratorios de ciencias y ellos no han tenido ni una hora de tal cosa. Yo colaboré en un periodiquillo de alumnos y ellos no han hecho absolutamente nada no curricular. Yo tenía tiempo libre entre clases para actividades, con biblioteca abierta, teatro, etc., y ellos solo clases de pizarra seis horas intensivas al día.

          Dejen ya los mantras del hombre del saco constructivista imaginario, hombre. ¿Qué constructivismo hay fuera de los majestuosos preámbulos de las super-leyes, llenos de declaraciones grandilocuentes que nunca se ponen en práctica?

          No tenemos ni idea de si con más constructivismo la cosa hubiera ido mejor o peor. Igual había ido peor, no digo que no.
          Pero hasta ahora no hay ninguna prueba empírica de ello, porque no ha habido más cambio educativo en la secundaria que el horario (a peor) el número de asignaturas (a casi el doble) y los años obligatorios (dos más). Ningún otro.

  10. […] Continuar leyendo: Hay vida más allá de los rankings de #educación […]

  11. Pedro Ramos dice:

    Completamente cierto: el análisis catastrofista que culpa de todo a la LOGSE me parece bastante infundado, pero está claro que estamos en un país bipolar. La interpretación tan benóvola que hace el artículo me parece igualmente desenfocada. ¿Cómo se interpreta desde esta visión optimista que España esté a la cola de Europa en conocimientos matemáticos de los niños de 4º de primaria en el estudio TIMSS-2011 (y casi a la cola en lectura)?

Comments are closed.