Economía

Selección de empleados públicos y oposiciones: ¿qué nos dice la evidencia?

19 Nov, 2014 - - @politikon_es

Cuando nos hablan de selección de personal seguramente nos venga a la cabeza un señor muy serio con corbata, en un despacho de una empresa, haciéndole una entrevista a un directivo, un comercial o un contable. Puede que creamos que su trabajo puede tener algún efecto en la cuenta de resultados de la empresa, o no, si somos escépticos respecto a la utilidad real de sus procedimientos para seleccionar a la persona más idónea para el puesto. Probablemente no pensemos que su trabajo pueda ser de gran importancia para la sociedad o para nosotros. Sin embargo, seguramente desearemos que el piloto que va a aterrizar nuestro avión o el cirujano que va a operar a nuestro hijo haya sido seleccionado mediante métodos que garanticen que su desempeño va a ser alto. Pero no hace falta ponerse tan dramáticos: la selección de personal puede tener un gran efecto en la sociedad si pensamos en la selección de los empleados públicos. Todos estaremos de acuerdo en la importancia que tiene para el país el desempeño de jueces, fiscales, profesores, médicos, policías, inspectores de sanidad, de hacienda, de trabajo, etcétera. Y es que, pese a que algunas personas sostengan la creencia de que “todo el mundo trabaja más o menos bien”, lo cierto es que los estudios han demostrado que existen grandes diferencias entre individuos en el desempeño laborali.

Antes hacía referencia a la posibilidad de “creamos” o “seamos escépticos” respecto a la utilidad de diferentes procedimientos de selección de personal. Por suerte, no necesitamos confiar en la intuición, hemos inventado la ciencia y los estudios empíricos para ayudarnos a tomar las decisiones correctas (por ejemplo, ¿es mejor usar antibióticos o untar el pecho con vick vaporub para tratar la neumonía?). Pues bien, lo cierto es que existe una ciencia de la selección de personal, una especialidad de la psicología, que a lo largo de 100 años de investigaciones empíricas, utilizando miles de muestras y estudios diferentes, con una muestra acumulada de ─posiblemente─ millones de personas, ha determinado cuáles son los mejores instrumentos, técnicas y medidas que se pueden utilizar para predecir cuál será el desempeño laboral de un candidato.

El objetivo de esta disciplina científica es, por tanto, la predicción del futuro desempeño laboral. Para ello, los diferentes instrumentos de selección son calificados mediante un coeficiente, la validez predictiva, que varía teóricamente entre 0 (ninguna capacidad predictiva, e.g. el horóscopo) y 1 (validez total y perfecta, imposible en la práctica). Esta validez se determina matemáticamente —estadísticamente— partiendo de un coeficiente de correlación entre las puntuaciones de los evaluados en el instrumento de selección y el desempeño laboral. Esta correlación se refina luego mediante la aplicación de otras fórmulas (e.g. corrección por atenuación en el criterio, corrección por restricción en el rangoii) para obtener el coeficiente de validez.

Existe otro tipo de validez, llamada la validez aparente (face validity en la literatura anglosajona). Esta validez no se deriva de ningún cálculo ni investigación, es simplemente la validez que “parece” que tiene un instrumento de selección, que intuitivamente nos parece que va a funcionar. Este criterio es el que dirige muchas de las decisiones en materia de selección de personal. Pensemos por ejemplo en las oposiciones para acceder a la función pública. Nadie ha estudiado su validez como método de seleccióniii. Están ahí porque “parece” que van a funcionar. Esto, en pleno siglo XXI, no tiene mucho sentido.

Pue bien, ¿qué es lo que nos dice la ciencia de la selección de personal? ¿Cuál es el mejor instrumento de selección que existe? Soy consciente de que la siguiente afirmación le va a sorprender a mucha gente, pero los datos de las investigaciones son firmes y concluyentes: El mejor predictor del desempeño laboral es la inteligencia, medida por los test de inteligencia psicométricos. Es la mejor tanto por puro poder predictivo como por los bajos costes que conlleva su aplicación, tanto para el candidato como para la organización evaluadora. La validez predictiva de los test de inteligencia está en torno a .65iv, calculada mediante meta-análisis que reúnen los resultados de cientos de estudios individuales con muestras acumuladas enormes. Esta validez es mayor cuanto más complejo sea el puesto y disminuye en puestos poco complejos, por lo que el valor de .65 es para puestos de complejidad media (que son sobre el 63% de los puestos totales existentes en la sociedad). En aquellos puestos de alta complejidad (el 17%) la validez sube a cerca de .75; en los de baja complejidad (el 18%) está en torno a .55. Incluso en aquellos puestos de muy baja complejidad (solo el 3% de los puestos existentes) la validez aún se mantiene en torno a .40v

Algún lector se estará preguntando cómo se mide el desempeño laboral a la hora de realizar estos cálculos. Bien, existen diferentes medidas del desempeño laboral que van desde las más sencillas (pedir una valoración global del empleado a su supervisor directo) a las más complejas (e.g. escalas multidimensionales de valoración del desempeño que requieren una observación directa), pasando por medidas objetivas de productividad (número de ventas, expedientes tramitados), valoraciones de compañeros o clientes, etcétera. La diferente precisión o “calidad” de estas medidas (que se mide mediante el coeficiente de fiabilidad) puede tener unas importantes repercusiones para el trabajador y la organización (promociones, despidos…) pero no para la selección. Esto es debido a que el error generado por una medida poco fiable es error aleatorio, no correlacionado, por lo que se puede eliminar mediante la aplicación de unas fórmulas matemáticas (la corrección por atenuación en el criterio mencionada anteriormente). Se ha demostrado que, para medidas globales del desempeño, los test de inteligencia (al igual que otros instrumentos de selección) ofrecen índices muy similares de validez independientemente del tipo de medida del desempeño empleadavi.

Los cuestionarios de inteligencia no son los únicos instrumentos de selección con una buena validez predictiva. Existen otros buenos instrumentos con una validez que se acerca a la de los test de inteligencia. Por ejemplo, las simulaciones del trabajo llevado a cabo en el puesto (work sample test o test de muestras de trabajo) tienen una validez de .55. Las entrevistas estructuradas de descripción de conducta, un tipo de entrevista de selección muy sofisticado que requiere la confección de unas preguntas que evalúen el comportamiento del candidato en una serie de dimensiones identificadas como importantes para el puesto, tienen una validez en torno a .50vii. La diferencia radica en el coste de desarrollo y aplicación del instrumento. Existen decenas de buenos test psicométricos en el mercado capaces de evaluar la inteligencia por unos pocos cientos de euros. El coste de aplicación es muy escaso, puedes evaluar a varios candidatos a la vez en tan solo media hora (aproximadamente), el tiempo en que tardan en cubrir el test. Comparemos esto con los costes de emplear complejas simulaciones de las tareas del puesto, desarrolladas ad hoc y con altos costes de aplicación. Es por esto que otros instrumentos de selección se evalúan muchas veces en función de lo que pueden añadir a lo que ya predice un test de inteligencia (si utilizamos diferentes herramientas no podemos simplemente sumar sus coeficientes de validez, la correlación entre ellas y la regresión múltiple se encargan de ajustar el resultado final).

Examinemos ahora la validez que podrían tener las oposiciones como método de selección en el estado español. Digo que “podrían” tener porque la que tienen no la sabemos, ya que no se ha investigado. Si examinamos la literatura científica sobre el tema vemos que los “test de conocimientos del puesto” son quizá lo que más podría asemejarse a un examen de oposición. La validez de estos test está en torno a .45viii, inferior a la de los test de inteligencia pero aun así una buena validez. Sin embargo, esta validez varía en función de la semejanza entre el contenido del test y las tareas y funciones que se van a desempeñar en el puesto. Los test de conocimientos del puesto son exámenes de los conocimientos específicos necesarios para desarrollar las tareas del puesto. En el caso de los exámenes de oposición muchas veces incluyen contenido no relacionado con el puesto en sí, como puede ser el derecho constitucional, el administrativo o preguntas de cultura general. Además, la corrección de las preguntas no se realiza siempre de manera objetiva, por lo que el error de medida será mayoriii. Todo esto parece indicar que los exámenes de oposición tendrán una validez predictiva probablemente muy inferior al .45 indicado para los test de conocimientos del puesto.

Examinemos ahora los costes que conllevan las oposiciones para el candidato y para la sociedad en su conjunto. Ya se ha hablado largo y tendido de esto tanto en Politikon (aquí y aquí) como en Nada es Gratis (aquí y aquí), así que solo voy a mencionar varios aspectos sin detenerme en ellos. La oposición exige dedicación completa del candidato durante muchos años (suele variar entre 3 y 10 para el grupo A). Este coste increíble y sin precedentes para lo que es, esencialmente, un proceso selectivo, evita que esa persona pueda estar trabajando —y por lo tanto cotizando, acumulando experiencia laboral y manteniendo a su familia— o formándose y desarrollando habilidades. Esto tiene un efecto terrible para la política de igualdad de oportunidades, dado que solo aquellos que puedan vivir mantenidos durante un amplio periodo de tiempo pueden permitirse estudiar una oposición. Otro aspecto perverso es lo incierto del resultado, dadas las características del propio proceso y su aleatoriedad, lo que provoca una escalada de compromiso del candidato que no consigue aprobar y que ve como aumenta su dificultad de reenganche al mercado laboral con cada año que invierte en el proceso. Los costes para la sociedad son similares, derivados de la pérdida de productividad asociada a tener miles de individuos encerrados en una habitación memorizando temas en lugar de trabajando, desarrollando habilidades, etc. También hay que tener en cuenta la pérdida de la diversidad en los trabajadores de la función pública, ya que solo aspirarán a entrar en ella los individuos con un perfil bastante determinado, tanto sociodemográfico (jóvenes, sin hijos, recién titulados, con una familia detrás que los pueda mantener) como psicológico (especulando: conservadores en la toma de decisiones; auto-exclusión de aquellos individuos con alta motivación de logro y ambiciosos que quieren hacer algo ya, trabajar ya, triunfar ya, en vez de pasarse varios años encerrados en una habitación; este último aspecto también incidiría en una posible selección de introvertidos frente a extravertidosix).

Hay otro instrumento de selección utilizado en las Administraciones Públicas, los concursos de méritos. Pese a que el Estatuto Básico del Empleado Público impide que sea el único instrumento de selección de funcionarios, aún siguen siendo muy habitual encontrárselo en conjunción con las oposiciones en el concurso-oposición, como instrumento que dirige la toma de decisiones en promociones y traslados o en los procesos selectivos de esas extrañas organizaciones público-privadas llamadas “ente público” o “el tercer sector”. Los concursos de méritos se encuentran dentro de lo que se conoce en la literatura científica como “training and experience evaluations” (T & E), en concreto los “point method” (evaluaciones de formación y experiencia, sistema de puntos). La validez predictiva de estos instrumentos es de tan solo .11x, una validez muy baja. Esto unido a la posibilidad de que puedan tener un efecto discriminatorio indirecto hacia las mujeres, jóvenes u otras minoríasxi invita a descartar su utilización.

Por tanto, quizá deberíamos pensar en abandonar las oposiciones como método de selección y optar por aquellos con más amplio respaldo empírico, en particular los test de inteligencia. Quiero ahora adelantarme a algunas posibles críticas que se le puedan ocurrir al lector. Alguien podría aducir que, dado el suculento premio que supone un empleo público, los candidatos podrían dedicar mucho tiempo a practicar y entrenar con los cuestionarios de inteligencia, logrando así “burlar” al test y acceder al servicio público no por su habilidad cognitiva sino por el tiempo empleado en el entrenamiento. Es una duda legítima, ya que de ser este el caso podría repetirse los errores del sistema actual, con un gran número de candidatos encerrados en casa durante años practicando cuestionarios en vez de estudiando el temario de una oposición. Varios factores se unen para que este escenario no ocurra. Primero, las mejoras en las puntuaciones de los test que se pueden lograr debido a un entrenamiento o práctica intensiva son pequeñas (un tamaño del efecto de .25 desviaciones típicas, algo menos de 4 puntos de CI)xii. Segundo, el tiempo invertido en la práctica está logarítmicamente relacionado con las ganancias, de tal manera que los beneficios se obtienen en las primeras semanas y tras 3 o cuatro semanas la curva de aprendizaje llega a un nivel asintótico en el que las ganancias son muy pequeñasxiii. Tercero, la práctica con un determinado test apenas se generaliza a otros tests diferentes. Todo esto hace que el efecto del entrenamiento no disminuya la validez predictiva de los testxiv. Por lo tanto, la mejor manera de lidiar con el “entrenamiento” en los test es eliminar su efecto logrando que todos los candidatos practiquen durante unas pocas semanas, nivelando así el terreno de juego para todos; que es lo que hace el Civil Service Fast Stream británico (tema tratado ya en una entrada de Nada es Gratis).

Otra fuente de críticas puede venir de aquellos que conciben la oposición como un proceso formativo más que (o además de) selectivo. Ante eso debemos plantearnos la idoneidad como método para formar profesionales, en pleno siglo XXI, de estar en una habitación encerrado memorizando temas a tiempo completo. ¿Qué clase de habilidades necesarias para la práctica profesional se adquieren con ese método? Es más, ¿es ése el mejor modo de adquirir conocimientos? Me remito a los artículos de Jesús Fernández-Villaverde para un tratamiento más extenso de este punto. El proceso formativo debería separarse del selectivo. La formación puede realizarse con posterioridad al acceso, ya sea mediante una escuela de alto funcionariado, un sistema de prácticas o un método similar, tal y como se relata en las entradas que acabo de citar. Si consideramos que es necesario que el candidato tenga una serie de conocimientos mínimos antes de poder acceder al puesto podemos comprobarlo mediante un examen de conocimientos. Este examen de mínimos tendría carácter eliminatorio pero no contaría para la selección, es decir, solo sería necesario aprobarlo, para evitar que se repliquen los efectos adversos de las oposiciones.

Para concluir querría añadir la siguiente reflexión: ¿estamos utilizando un método de selección de los empleados públicos que le cuesta años de dedicación completa a los candidatos, que es por tanto regresivo para aquellos candidatos sin un respaldo económico detrás (es decir, contrario a la igualdad de oportunidades), que ofrece una capacidad de predicción del futuro desempeño laboral del candidato que es muy inferior, o en el mejor de los casos —si lo modificásemos y lo mejorásemos profundamente— algo inferior a la que tendríamos de aplicar un test de inteligencia de media hora de duración? Es decir, ¿alguien se pasa cinco años estudiando una oposición a tiempo completo y eso solo sirve para obtener una predicción mediocre de su futuro rendimiento laboral? Hay que pensar en las graves consecuencias que tiene para la sociedad el desempeño laboral de jueces, profesores, inspectores de hacienda, de sanidad, de trabajo, profesionales sanitarios, policías y cuerpos de seguridad del estado, etcétera, y emplear aquellos procedimientos de selección que, gracias al trabajo de muchos investigadores de diferentes países a lo largo de los años, han demostrado ser los mejores predictores.

__________________________________________________

 i Para una revisión ver: Hunter, J. E. y Schmidt, F. L. (1996). Intelligence and job performance: Economic and social implications. Psychology, Public Policy and Law, 2, 447-472. Creo que se puede acceder al texto completo a través del siguiente enlace, aunque parezca que pide usuario y contraseña. Ver también: Hunter, J. E., Schmidt, F. L. y Judiesch, M. K. (1990). Individual differences in output variability as a function of job complexity. Journal of Applied Psychology, 75, 28-42. (pdf)

ii El lector interesado en temas técnicos puede encontrar más información en: Hunter, J. E. y Schmidt, F. L. (2004). Methods of meta-analysis: Correcting error and bias in research findings (2nd ed.). Thousand Oaks, CA: Sage.

iii Salgado, J. F. (2005), El ingreso en las Administraciones Públicas. Selección por competencias. Artículo presentado en el congreso Nuevos Enfoques de la Gestión de RRHH en las Administraciones Públicas. Vitoria, Junio de 2005. (pdf)

iv< Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C. y de Fruyt, F. (2003). International validity generalization of GMA and cognitive abilities: A European community meta-analysis. Personnel Psychology, 56, 573–605. (pdf)

v Hunter, J. E., Schmidt, F. L. y Le, H. (2006). Implications of direct and indirect range restriction for meta-analysis methods and ndings. Journal of Applied Psychology, 93, 594–612. (pdf)

vi Nathan, B. R. y Alexander, R. A. (1988). A comparison of criteria for test validation: A meta‐analytic investigation. Personnel Psychology, 41(3), 517-535. Para una revisión de este punto ver también Schmidt, F. L., Ones, D. S. y Hunter, J. E. (1992). Personnel selection. Annual review of psychology, 43(1), 627-670.

vii Schmidt, F. L. y Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications for 85 years of research findings. Psychological Bulletin, 124, 262–274. (pdf)

viii Dye, D. A., Reck, M. y McDaniel, M. A. (1993). The Validity of Job Knowledge Measures. International Journal of Selection and Assessment, 1, 153-157.

ix Consultar la obra de (por ejemplo) H. J. Eysenck para profundizar acerca de los ambientes estimulares preferidos por introvertidos (rutina, ambiente predecible, baja estimulación) frente a los extravertidos (novedades, cambios, alta estimulación).

x McDaniel, M. A., Schmidt, F.L. y Hunter, J. E. (1988). A meta-analysis of the validity of methods for rating training and experience in personnel selection. Personnel Psychology, 41, 283-314. Este artículo no está disponible en abierto, pero se puede encontrar los resultados en el interesantísimo: Schmidt, F. L. y Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications for 85 years of research findings. Psychological Bulletin, 124, 262–274. (pdf)

xi Ver: Alonso, Táuriz y Choragwicka (2009). Valoración de méritos (training and experience) en la Administración pública y la empresa: fiabilidad, validez y discriminación de género. Revista de Psicología del Trabajo y las Organizaciones, 25, 245-258. La discriminación indirecta es aquella que se deriva de la aplicación de un instrumento de selección que concede puntuaciones inferiores a una minoría o grupo protegido determinado sin que a ello se puedan sobreponer evidencias de validez.

xii Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T. y Moriarty Gerrard, M. O. (2007). Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92, 373-385. Una versión previa de este artículo ofrecida por los autores se puede encontrar aquí

xiii Messick, S. y Jungeblut, A. (1981). Time and method in coaching for the SAT. Psychological Bulletin, 89, 191-216.

xiv Allalouf, A. y Ben-Shakhar, G. (1998). The Effect of Coaching on the Predictive Validity of Scholastic Aptitude Tests. Journal of Educational Measurement, 35: 31–47. (pdf)