El programa bilingüe de la comunidad de Madrid es un programa implementado a gran escala que afecta a muchísimas personas más allá de los estudiantes. Iniciado en 2004 con 25 colegios, en el curso 2015/2016 ya había 353 colegios públicos, 181 centros concertados y 110 institutos bajo el  programa  bilingüe.  Entre  los  agentes  directamente  involucrados  encontramos  alumnos  y  sus preocupados padres, los colegios e institutos encargados de implementar la enseñanza bilingüe, partidos  políticos  haciendo  campaña  a  golpe  de  política  educativa  (cómo  no)  e  investigadores y  expertos  interesados  en  el  impacto  de  semejante  programa  educativo.  Quizá  por  sus  grandes dimensiones,  el  programa  levanta  siempre  mucho  interés  y  mucha  polémica.  Para  seguir  mejorando este programa, es importante poder evaluarlo y así entender mejor su impacto sobre el aprendizaje de los alumnos buscando poder ofrecer una enseñanza de la máxima calidad.

Los  resultados  mostrados  a  continuación  deben  interpretarse  con  prudencia  y  teniendo  en cuenta las limitaciones a las que se enfrenta el análisis. En concreto, se encuentra que la dificultad añadida de estudiar en un idioma extranjero tiene un impacto negativo sobre el aprendizaje de contenido.  Este  resultado  no  implica  necesariamente  que  el  programa  bilingüe  falle,  sino  que hay evidencia de lo que podría ser una consecuencia intrínseca de este tipo de programas. Este impacto negativo debería contrastarse con la potencial ganancia en el aprendizaje de inglés que es el principal objetivo del programa. El efecto negativo encontrado se concentra alrededor del estudiante en la mediana de la distribución de alumnos por colegio. Por la disponibilidad de datos, el estudio se limita a la enseñanza bilingüe en educación primaria. En este artículo, después de una introducción al programa bilingüe, se presentarán tres resultados: El efecto medio del programa sobre matemáticas, lengua y cultura general, el efecto medio sobre cultura general desglosado por componentes y por último el efecto del programa sobre la distribución del alumnos por colegio. La descripción del programa, datos y resultados están resumidos y simplificados pero la versión completa se puede encontrar aquí.[1]

Madrid Comunidad Bilingüe es un programa español – inglés que tiene como objetivo que los alumnos  adquieran  competencias  en  inglés  utilizando  directamente  el  idioma  como  medio  de comunicación  en  asignaturas  que  de  otra  forma  se  impartirían  en  castellano.  La  idea  es  que los alumnos se expresen en inglés y se familiaricen con su uso de una manera más práctica sin valorar tanto los aspectos gramaticales como sería el caso en la clase de inglés y centrándose más en conseguir comunicarse. En la práctica, los alumnos de los colegios bilingües tienen todas las clases en inglés salvo matemáticas y lengua. En las asignaturas impartidas en inglés los profesores cuentan con un ayudante nativo de un país  de habla anglosajona.

Para  evaluar  el  efecto  de  la  dificultad  añadida  de  aprender  en  un  idioma  que  no  es  el  materno, se utilizan los resultados del test estandarizado Conocimientos y Destrezas Indispensables (CDI). Este test lo hacen todos los alumnos de sexto de primaria de la comunidad de Madrid independientemente del tipo de centro al que pertenecen: público, concertado, privado; bilingüe o  no.  El  test  tiene  3  partes,  una  de  lengua  y  dictado,  otra  de  matemáticas  y  otra  de  cultura general. El contenido de esta última parte se cubre en las asignaturas que se imparten en inglés en el programa bilingüe. Todos los alumnos realizan todas las partes del CDI en castellano.

Los resultados del análisis del efecto medio muestran que los alumnos del programa bilingüe lo hacen peor que el resto en la parte de cultura general. El efecto encontrado es pequeño pero significativo: los alumnos obtienen de media 0.233 puntos menos sobre una escala de 10 en cultura general. El mismo análisis no encuentra efectos significativos en matemáticas o lengua. El  análisis  utiliza  una  metodología  de  diferencia-en-diferencias  con  efectos  fijos  de  colegio.  El efecto estimado, obtenido utilizando datos de 2013 y 2015, es prácticamente igual en magnitud al efecto encontrado por Anghel, Cabrales and Carro (2015) utilizando datos de 2009 y 2010.

Los alumnos de centros bilingües, como el resto de alumnos de la comunidad, hacen el CDI en  castellano,  pero  han  aprendido  el  contenido  de  cultura  general  en  inglés.  Podría  ser  que  el efecto obtenido estuviera reflejando eso y no un conocimiento menor en ese campo. Puesto que    se dispone de acceso a la nota de cada pregunta, se extraen diversos subgrupos de preguntas para construir  notas  diferentes  dentro  de  la  parte  de  cultura  general.  En  particular,  a  continuación se presentan dos notas de cultural general alternativas: Una nota en cultura general excluyendo aquellas preguntas con un vocabulario difícil con el que los alumnos que lo hubieran estudiado en inglés pudieran verse en desventaja y otra nota con los resultados en los contenidos de geografía. Los resultados muestran indicios de que el efecto obtenido no refleja que los alumnos de centros bilingües  lo  hagan  peor  en  cultura  general  por  hacer  el  examen  en  castellano  y  estudiar  su contenido en inglés.

El efecto medio nos da una información limitada acerca del efecto de esta política puesto que agrega en un solo número las conclusiones a sacar al respecto. Sería muy interesante y útil ver cómo  afecta  esta  política  a  toda  la  distribución  de  alumnos  por  colegio.  Es  de  esperar  que  el efecto no sea idéntico para todos los alumnos por lo cual, una reforma guiada por la información de una receta general, estará´ menos informada que una reforma guiada por unos resultados que estiman el efecto de esta política sobre los distintos tipos de alumnos. Afortunadamente, una modificación a la metodología propuesta por Chetverikov, Larsen and Palmer (2016) permite hacer esta estimación. Los resultados muestran que el efecto negativo encontrado en cultura general se concentra alrededor de la mediana, sin que haya un efecto significativo en los cuantiles inferiores y  superiores  de  la  distribución.  Intuitivamente,  el  impacto  negativo  se  concentra  alrededor  del estudiante medio sin que haya un efecto significativo sobre el resto de alumnos: Los alumnos que van muy bien o muy mal no se ven afectados.

En  aras  de  seguir  mejorando  todo  lo  posible  el  programa  bilingüe  existente,  su  medición  y posterior  evaluación  es  una  necesidad  de  primer  orden.  Vivimos  años  donde  parece  existir  en algunos círculos un terror sistemático a la evaluación de los docentes y a los test estandarizados. No obstante, el empuje por evitar estas evaluaciones parece ser promovido por el miedo a la incorrecta  o  deshonesta  utilización  de  la  información  recaudada.  La  presentación  interesada  o como  herramienta  política  de  datos  no  es  un  fenómeno  nuevo  y  es  responsabilidad  de  todos entender con frialdad la evidencia estadística encontrada y ser críticos para de verdad entender qué significan los datos y resultados que se nos presentan. Todo análisis esta´ sujeto a limitaciones. En el caso de los profesionales de la educación, el uso responsable de estos resultados puede guiar su política por ejemplo resaltando aspectos particulares del programa donde insistir para intentar mejorarlo.

En  el  caso  del  programa  bilingüe  de  la  comunidad  de  Madrid,  existen  muchas  dificultades a la hora de evaluar el programa educativo. Algunas de estas dificultades ponen de manifiesto la importancia de diseñar una buena implementación que facilite la evaluación del programa en cuestión.  Por  ejemplo,  una  vez  se  aceptan  los  colegios  que  cumplen  los  requisitos  para  entrar en el programa bilingüe en un determinado año, se podría seleccionar la mitad de estos colegios para  que  accedieran  al  programa  un  año  después  y  puedan  utilizarse  como  colegios  de  control adecuados.  Esta  implementación  permitiría  eliminar  sesgos  de  selección  de  alumnos  a  colegios bilingües. Otras dificultades son consecuencia de los datos disponibles. A estas alturas del artículo,  debería  sorprender  que  tratándose  de  un  programa  bilingüe,  todavía  no  hayamos  hablado precisamente de cómo van las cosas en el aprendizaje ¡del inglés! Aunque los alumnos dentro del programa bilingüe hagan exámenes de inglés para evaluar su progresión, dado que los alumnos de los centros no bilingües no son sometidos a estos exámenes no es posible, en principio, hacer un análisis riguroso al respecto. No obstante, los últimos exámenes de PISA y TIMSS tienen una muestra  más  amplia  de  centros  bilingües  que  seguro  harán  posible  más  análisis  del  programa bilingüe dada la riqueza de estos datos.

Los  efectos  a  largo  plazo  de  este  programa  educativo  siguen  siendo  de  gran  interés  pero carecemos de indicadores adecuados para medirlos. En Junio de 2016, la primera promoción de alumnos del programa bilingüe hizo el último examen de selectividad. Si pudiéramos identificar el centro del que provienen estos alumnos tanto en primaria como en secundaria podríamos estimar el  efecto  de  la  política  sobre  todas  las  mediciones  que  nos  da  el  examen  de  selectividad.  Con datos  suficientemente  precisos,  podríamos  evaluar  también  los  dos  tipos  de  programa  bilingüe que existen en secundaria. Esta información, nos daría evidencia estadística sobre cual es la mejor edad a la que implementar el programa bilingüe.

Por otro lado, sería muy positivo hacer unas jornadas de formación para los asistentes nativos a su llegada a Madrid más allá de la orientación que se hace actualmente. Una formación básica y una clara definición de las funciones en el aula de los asistentes nativos a su llegada a Madrid podría beneficiar a los alumnos.

En conclusión, se confirma el efecto negativo de pequeña magnitud encontrado por Anghel, Cabrales and Carro (2015) en el aprendizaje del contenido que se imparte en inglés en el programa bilingüe  de  la  comunidad  de  Madrid.  Este  efecto  esta´  concentrado  alrededor  de  la  mediana  de la  distribución  de  estudiantes  por  colegio.  Las  estimaciones  del  impacto  sobre  cultura  general deberían  contrastarse  con  la  magnitud  de  la  mejora  en  las  competencias  en  inglés  que  es  el objetivo del programa. De los estudios sobre el programa Madrid Comunidad Bilingüe podemos también aprender mucho de las  limitaciones  innecesarias  a la que el análisis esta´ sometido. En primer lugar debido a una implementación que no facilita la evaluación del programa y segundo por una disponibilidad de datos lejos de ser óptima.

[1] Bilingual Education: Experience from Madrid es una tesina del Master en Economía y Finanzas del CEMFI. Esta tesina estudia el impacto de la educación bilingüe en el aprendizaje de contenido en las asignaturas impartidas en  inglés  con  su  consecuente  extra  de  dificultad.  Para  este  objetivo  se  utiliza  el  programa  Madrid  Comunidad Bilingüe y datos de la prueba CDI.