Cuando nos hablan de selección de personal seguramente nos venga a la cabeza un señor muy serio con corbata, en un despacho de una empresa, haciéndole una entrevista a un directivo, un comercial o un contable. Puede que creamos que su trabajo puede tener algún efecto en la cuenta de resultados de la empresa, o no, si somos escépticos respecto a la utilidad real de sus procedimientos para seleccionar a la persona más idónea para el puesto. Probablemente no pensemos que su trabajo pueda ser de gran importancia para la sociedad o para nosotros. Sin embargo, seguramente desearemos que el piloto que va a aterrizar nuestro avión o el cirujano que va a operar a nuestro hijo haya sido seleccionado mediante métodos que garanticen que su desempeño va a ser alto. Pero no hace falta ponerse tan dramáticos: la selección de personal puede tener un gran efecto en la sociedad si pensamos en la selección de los empleados públicos. Todos estaremos de acuerdo en la importancia que tiene para el país el desempeño de jueces, fiscales, profesores, médicos, policías, inspectores de sanidad, de hacienda, de trabajo, etcétera. Y es que, pese a que algunas personas sostengan la creencia de que “todo el mundo trabaja más o menos bien”, lo cierto es que los estudios han demostrado que existen grandes diferencias entre individuos en el desempeño laborali.
Antes hacía referencia a la posibilidad de “creamos” o “seamos escépticos” respecto a la utilidad de diferentes procedimientos de selección de personal. Por suerte, no necesitamos confiar en la intuición, hemos inventado la ciencia y los estudios empíricos para ayudarnos a tomar las decisiones correctas (por ejemplo, ¿es mejor usar antibióticos o untar el pecho con vick vaporub para tratar la neumonía?). Pues bien, lo cierto es que existe una ciencia de la selección de personal, una especialidad de la psicología, que a lo largo de 100 años de investigaciones empíricas, utilizando miles de muestras y estudios diferentes, con una muestra acumulada de ─posiblemente─ millones de personas, ha determinado cuáles son los mejores instrumentos, técnicas y medidas que se pueden utilizar para predecir cuál será el desempeño laboral de un candidato.
El objetivo de esta disciplina científica es, por tanto, la predicción del futuro desempeño laboral. Para ello, los diferentes instrumentos de selección son calificados mediante un coeficiente, la validez predictiva, que varía teóricamente entre 0 (ninguna capacidad predictiva, e.g. el horóscopo) y 1 (validez total y perfecta, imposible en la práctica). Esta validez se determina matemáticamente —estadísticamente— partiendo de un coeficiente de correlación entre las puntuaciones de los evaluados en el instrumento de selección y el desempeño laboral. Esta correlación se refina luego mediante la aplicación de otras fórmulas (e.g. corrección por atenuación en el criterio, corrección por restricción en el rangoii) para obtener el coeficiente de validez.
Existe otro tipo de validez, llamada la validez aparente (face validity en la literatura anglosajona). Esta validez no se deriva de ningún cálculo ni investigación, es simplemente la validez que “parece” que tiene un instrumento de selección, que intuitivamente nos parece que va a funcionar. Este criterio es el que dirige muchas de las decisiones en materia de selección de personal. Pensemos por ejemplo en las oposiciones para acceder a la función pública. Nadie ha estudiado su validez como método de seleccióniii. Están ahí porque “parece” que van a funcionar. Esto, en pleno siglo XXI, no tiene mucho sentido.
Pue bien, ¿qué es lo que nos dice la ciencia de la selección de personal? ¿Cuál es el mejor instrumento de selección que existe? Soy consciente de que la siguiente afirmación le va a sorprender a mucha gente, pero los datos de las investigaciones son firmes y concluyentes: El mejor predictor del desempeño laboral es la inteligencia, medida por los test de inteligencia psicométricos. Es la mejor tanto por puro poder predictivo como por los bajos costes que conlleva su aplicación, tanto para el candidato como para la organización evaluadora. La validez predictiva de los test de inteligencia está en torno a .65iv, calculada mediante meta-análisis que reúnen los resultados de cientos de estudios individuales con muestras acumuladas enormes. Esta validez es mayor cuanto más complejo sea el puesto y disminuye en puestos poco complejos, por lo que el valor de .65 es para puestos de complejidad media (que son sobre el 63% de los puestos totales existentes en la sociedad). En aquellos puestos de alta complejidad (el 17%) la validez sube a cerca de .75; en los de baja complejidad (el 18%) está en torno a .55. Incluso en aquellos puestos de muy baja complejidad (solo el 3% de los puestos existentes) la validez aún se mantiene en torno a .40v
Algún lector se estará preguntando cómo se mide el desempeño laboral a la hora de realizar estos cálculos. Bien, existen diferentes medidas del desempeño laboral que van desde las más sencillas (pedir una valoración global del empleado a su supervisor directo) a las más complejas (e.g. escalas multidimensionales de valoración del desempeño que requieren una observación directa), pasando por medidas objetivas de productividad (número de ventas, expedientes tramitados), valoraciones de compañeros o clientes, etcétera. La diferente precisión o “calidad” de estas medidas (que se mide mediante el coeficiente de fiabilidad) puede tener unas importantes repercusiones para el trabajador y la organización (promociones, despidos…) pero no para la selección. Esto es debido a que el error generado por una medida poco fiable es error aleatorio, no correlacionado, por lo que se puede eliminar mediante la aplicación de unas fórmulas matemáticas (la corrección por atenuación en el criterio mencionada anteriormente). Se ha demostrado que, para medidas globales del desempeño, los test de inteligencia (al igual que otros instrumentos de selección) ofrecen índices muy similares de validez independientemente del tipo de medida del desempeño empleadavi.
Los cuestionarios de inteligencia no son los únicos instrumentos de selección con una buena validez predictiva. Existen otros buenos instrumentos con una validez que se acerca a la de los test de inteligencia. Por ejemplo, las simulaciones del trabajo llevado a cabo en el puesto (work sample test o test de muestras de trabajo) tienen una validez de .55. Las entrevistas estructuradas de descripción de conducta, un tipo de entrevista de selección muy sofisticado que requiere la confección de unas preguntas que evalúen el comportamiento del candidato en una serie de dimensiones identificadas como importantes para el puesto, tienen una validez en torno a .50vii. La diferencia radica en el coste de desarrollo y aplicación del instrumento. Existen decenas de buenos test psicométricos en el mercado capaces de evaluar la inteligencia por unos pocos cientos de euros. El coste de aplicación es muy escaso, puedes evaluar a varios candidatos a la vez en tan solo media hora (aproximadamente), el tiempo en que tardan en cubrir el test. Comparemos esto con los costes de emplear complejas simulaciones de las tareas del puesto, desarrolladas ad hoc y con altos costes de aplicación. Es por esto que otros instrumentos de selección se evalúan muchas veces en función de lo que pueden añadir a lo que ya predice un test de inteligencia (si utilizamos diferentes herramientas no podemos simplemente sumar sus coeficientes de validez, la correlación entre ellas y la regresión múltiple se encargan de ajustar el resultado final).
Examinemos ahora la validez que podrían tener las oposiciones como método de selección en el estado español. Digo que “podrían” tener porque la que tienen no la sabemos, ya que no se ha investigado. Si examinamos la literatura científica sobre el tema vemos que los “test de conocimientos del puesto” son quizá lo que más podría asemejarse a un examen de oposición. La validez de estos test está en torno a .45viii, inferior a la de los test de inteligencia pero aun así una buena validez. Sin embargo, esta validez varía en función de la semejanza entre el contenido del test y las tareas y funciones que se van a desempeñar en el puesto. Los test de conocimientos del puesto son exámenes de los conocimientos específicos necesarios para desarrollar las tareas del puesto. En el caso de los exámenes de oposición muchas veces incluyen contenido no relacionado con el puesto en sí, como puede ser el derecho constitucional, el administrativo o preguntas de cultura general. Además, la corrección de las preguntas no se realiza siempre de manera objetiva, por lo que el error de medida será mayoriii. Todo esto parece indicar que los exámenes de oposición tendrán una validez predictiva probablemente muy inferior al .45 indicado para los test de conocimientos del puesto.
Examinemos ahora los costes que conllevan las oposiciones para el candidato y para la sociedad en su conjunto. Ya se ha hablado largo y tendido de esto tanto en Politikon (aquí y aquí) como en Nada es Gratis (aquí y aquí), así que solo voy a mencionar varios aspectos sin detenerme en ellos. La oposición exige dedicación completa del candidato durante muchos años (suele variar entre 3 y 10 para el grupo A). Este coste increíble y sin precedentes para lo que es, esencialmente, un proceso selectivo, evita que esa persona pueda estar trabajando —y por lo tanto cotizando, acumulando experiencia laboral y manteniendo a su familia— o formándose y desarrollando habilidades. Esto tiene un efecto terrible para la política de igualdad de oportunidades, dado que solo aquellos que puedan vivir mantenidos durante un amplio periodo de tiempo pueden permitirse estudiar una oposición. Otro aspecto perverso es lo incierto del resultado, dadas las características del propio proceso y su aleatoriedad, lo que provoca una escalada de compromiso del candidato que no consigue aprobar y que ve como aumenta su dificultad de reenganche al mercado laboral con cada año que invierte en el proceso. Los costes para la sociedad son similares, derivados de la pérdida de productividad asociada a tener miles de individuos encerrados en una habitación memorizando temas en lugar de trabajando, desarrollando habilidades, etc. También hay que tener en cuenta la pérdida de la diversidad en los trabajadores de la función pública, ya que solo aspirarán a entrar en ella los individuos con un perfil bastante determinado, tanto sociodemográfico (jóvenes, sin hijos, recién titulados, con una familia detrás que los pueda mantener) como psicológico (especulando: conservadores en la toma de decisiones; auto-exclusión de aquellos individuos con alta motivación de logro y ambiciosos que quieren hacer algo ya, trabajar ya, triunfar ya, en vez de pasarse varios años encerrados en una habitación; este último aspecto también incidiría en una posible selección de introvertidos frente a extravertidosix).
Hay otro instrumento de selección utilizado en las Administraciones Públicas, los concursos de méritos. Pese a que el Estatuto Básico del Empleado Público impide que sea el único instrumento de selección de funcionarios, aún siguen siendo muy habitual encontrárselo en conjunción con las oposiciones en el concurso-oposición, como instrumento que dirige la toma de decisiones en promociones y traslados o en los procesos selectivos de esas extrañas organizaciones público-privadas llamadas “ente público” o “el tercer sector”. Los concursos de méritos se encuentran dentro de lo que se conoce en la literatura científica como “training and experience evaluations” (T & E), en concreto los “point method” (evaluaciones de formación y experiencia, sistema de puntos). La validez predictiva de estos instrumentos es de tan solo .11x, una validez muy baja. Esto unido a la posibilidad de que puedan tener un efecto discriminatorio indirecto hacia las mujeres, jóvenes u otras minoríasxi invita a descartar su utilización.
Por tanto, quizá deberíamos pensar en abandonar las oposiciones como método de selección y optar por aquellos con más amplio respaldo empírico, en particular los test de inteligencia. Quiero ahora adelantarme a algunas posibles críticas que se le puedan ocurrir al lector. Alguien podría aducir que, dado el suculento premio que supone un empleo público, los candidatos podrían dedicar mucho tiempo a practicar y entrenar con los cuestionarios de inteligencia, logrando así “burlar” al test y acceder al servicio público no por su habilidad cognitiva sino por el tiempo empleado en el entrenamiento. Es una duda legítima, ya que de ser este el caso podría repetirse los errores del sistema actual, con un gran número de candidatos encerrados en casa durante años practicando cuestionarios en vez de estudiando el temario de una oposición. Varios factores se unen para que este escenario no ocurra. Primero, las mejoras en las puntuaciones de los test que se pueden lograr debido a un entrenamiento o práctica intensiva son pequeñas (un tamaño del efecto de .25 desviaciones típicas, algo menos de 4 puntos de CI)xii. Segundo, el tiempo invertido en la práctica está logarítmicamente relacionado con las ganancias, de tal manera que los beneficios se obtienen en las primeras semanas y tras 3 o cuatro semanas la curva de aprendizaje llega a un nivel asintótico en el que las ganancias son muy pequeñasxiii. Tercero, la práctica con un determinado test apenas se generaliza a otros tests diferentes. Todo esto hace que el efecto del entrenamiento no disminuya la validez predictiva de los testxiv. Por lo tanto, la mejor manera de lidiar con el “entrenamiento” en los test es eliminar su efecto logrando que todos los candidatos practiquen durante unas pocas semanas, nivelando así el terreno de juego para todos; que es lo que hace el Civil Service Fast Stream británico (tema tratado ya en una entrada de Nada es Gratis).
Otra fuente de críticas puede venir de aquellos que conciben la oposición como un proceso formativo más que (o además de) selectivo. Ante eso debemos plantearnos la idoneidad como método para formar profesionales, en pleno siglo XXI, de estar en una habitación encerrado memorizando temas a tiempo completo. ¿Qué clase de habilidades necesarias para la práctica profesional se adquieren con ese método? Es más, ¿es ése el mejor modo de adquirir conocimientos? Me remito a los artículos de Jesús Fernández-Villaverde para un tratamiento más extenso de este punto. El proceso formativo debería separarse del selectivo. La formación puede realizarse con posterioridad al acceso, ya sea mediante una escuela de alto funcionariado, un sistema de prácticas o un método similar, tal y como se relata en las entradas que acabo de citar. Si consideramos que es necesario que el candidato tenga una serie de conocimientos mínimos antes de poder acceder al puesto podemos comprobarlo mediante un examen de conocimientos. Este examen de mínimos tendría carácter eliminatorio pero no contaría para la selección, es decir, solo sería necesario aprobarlo, para evitar que se repliquen los efectos adversos de las oposiciones.
Para concluir querría añadir la siguiente reflexión: ¿estamos utilizando un método de selección de los empleados públicos que le cuesta años de dedicación completa a los candidatos, que es por tanto regresivo para aquellos candidatos sin un respaldo económico detrás (es decir, contrario a la igualdad de oportunidades), que ofrece una capacidad de predicción del futuro desempeño laboral del candidato que es muy inferior, o en el mejor de los casos —si lo modificásemos y lo mejorásemos profundamente— algo inferior a la que tendríamos de aplicar un test de inteligencia de media hora de duración? Es decir, ¿alguien se pasa cinco años estudiando una oposición a tiempo completo y eso solo sirve para obtener una predicción mediocre de su futuro rendimiento laboral? Hay que pensar en las graves consecuencias que tiene para la sociedad el desempeño laboral de jueces, profesores, inspectores de hacienda, de sanidad, de trabajo, profesionales sanitarios, policías y cuerpos de seguridad del estado, etcétera, y emplear aquellos procedimientos de selección que, gracias al trabajo de muchos investigadores de diferentes países a lo largo de los años, han demostrado ser los mejores predictores.
__________________________________________________
ii El lector interesado en temas técnicos puede encontrar más información en: Hunter, J. E. y Schmidt, F. L. (2004). Methods of meta-analysis: Correcting error and bias in research findings (2nd ed.). Thousand Oaks, CA: Sage.
iii Salgado, J. F. (2005), El ingreso en las Administraciones Públicas. Selección por competencias. Artículo presentado en el congreso Nuevos Enfoques de la Gestión de RRHH en las Administraciones Públicas. Vitoria, Junio de 2005. (pdf)
iv< Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C. y de Fruyt, F. (2003). International validity generalization of GMA and cognitive abilities: A European community meta-analysis. Personnel Psychology, 56, 573–605. (pdf)
v Hunter, J. E., Schmidt, F. L. y Le, H. (2006). Implications of direct and indirect range restriction for meta-analysis methods and findings. Journal of Applied Psychology, 93, 594–612. (pdf)
vi Nathan, B. R. y Alexander, R. A. (1988). A comparison of criteria for test validation: A meta‐analytic investigation. Personnel Psychology, 41(3), 517-535. Para una revisión de este punto ver también Schmidt, F. L., Ones, D. S. y Hunter, J. E. (1992). Personnel selection. Annual review of psychology, 43(1), 627-670.
vii Schmidt, F. L. y Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications for 85 years of research findings. Psychological Bulletin, 124, 262–274. (pdf)
viii Dye, D. A., Reck, M. y McDaniel, M. A. (1993). The Validity of Job Knowledge Measures. International Journal of Selection and Assessment, 1, 153-157.
ix Consultar la obra de (por ejemplo) H. J. Eysenck para profundizar acerca de los ambientes estimulares preferidos por introvertidos (rutina, ambiente predecible, baja estimulación) frente a los extravertidos (novedades, cambios, alta estimulación).
x McDaniel, M. A., Schmidt, F.L. y Hunter, J. E. (1988). A meta-analysis of the validity of methods for rating training and experience in personnel selection. Personnel Psychology, 41, 283-314. Este artículo no está disponible en abierto, pero se puede encontrar los resultados en el interesantísimo: Schmidt, F. L. y Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications for 85 years of research findings. Psychological Bulletin, 124, 262–274. (pdf)
xi Ver: Alonso, Táuriz y Choragwicka (2009). Valoración de méritos (training and experience) en la Administración pública y la empresa: fiabilidad, validez y discriminación de género. Revista de Psicología del Trabajo y las Organizaciones, 25, 245-258. La discriminación indirecta es aquella que se deriva de la aplicación de un instrumento de selección que concede puntuaciones inferiores a una minoría o grupo protegido determinado sin que a ello se puedan sobreponer evidencias de validez.
xii Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T. y Moriarty Gerrard, M. O. (2007). Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92, 373-385. Una versión previa de este artículo ofrecida por los autores se puede encontrar aquí
xiii Messick, S. y Jungeblut, A. (1981). Time and method in coaching for the SAT. Psychological Bulletin, 89, 191-216.
Un artículo muy interesante.Una pregunta, ¿qué podría aportar un examen nacional de fin de estudios? No lo sé, pero terminados los estudios podría ser una forma rápida y comparable que aportase información a procesos de selección públicos y privados.
Un cordial saludo.
[…] Selección de empleados públicos y oposiciones: ¿qué nos dice la evidencia? […]
Muchas gracias por una reflexión tan interesante. He llegado hasta él con la advertencia de que sus resultados son contraintuitivos, pero no creo que lo sean tanto. No me parece que memorizar temas pueda garantizar la mejor selección de candidatos, sin haber realizado investigaciones sobre el tema.
Por otra parte, y en relación a la posible selección de funcionarios mediante coeficientes de inteligencia, encuentro algún reparo jurídico. Por la evidencia que describes, es la mejor medida de capacidad de la que disponemos, pero la Constitución y la ley exigen que junto a ésta se valore el mérito. Puede ser que la medición sea difícil, pero si es acertada estoy seguro de que puede añadir alguna décima a esa eficacia selectiva, y no creo que genere costes excesivos; al fin y al cabo se trata de elaborar y presentar (el candidato) y valorar (el empleador) un CV.
Entre dos candidatos con la misma inteligencia, me cuesta creer que no tenga mejor desempeño el que tenga experiencia en el tipo de actividad que va a realizar.
Muy interesante. Una duda, ¿Cuando hablas de validez predictiva te refieres al R^2 de un modelo de regresión?
Es una correlación con correcciones, no su cuadrado. Los pesos (beta) de la regresión.
Aquí hay un gran elefante en la habitación, y nunca habla nadie de él. Por experiencia, sé que un buen preparador de oposiciones, que suele ser un miembro del cuerpo al que se oposita, cobra alrededor de 150 € al mes por opositor (para oposiciones del grupo A1). Obviamente lo hacen la gran mayoría en negro y en sus ratos libres (por supuesto no me refiero a las grandes academias, que son empresas normales con su contabilidad y registro ordinario), y pueden llevar dependiendo de la oposición, a grupos de entre 5 a 10 opositores.
Basta unos sencillos cálculos para darse cuenta de que los funcionarios que se dedican a preparar oposiciones tienen bastantes incentivos para mantener el sistema actual. Aún recuerdo la que se montó cuando el malogrado Fernández Bermejo tuvo la osadía de cuestionar y sugerir el cambio de acceso a la judicatura.
Por cierto, los preparadores más cotizados, son los que tienen una tasa de aprobados más alta, lógicamente, lo que genera otro incentivo perverso que no voy mencionar por no herir susceptibilidades…
Interesantísimo artículo. Estaba en la presentación del libro en Compostela cuando lo comentaste, y me sorprendió gratamente.
Me gustaría preguntarte si algo similar se podría aplicar a la Selectividad española.
Un saludo.
Hola,
muy interesante el articulo.
¿Tienes algún enlace para poder realizar u obtener estos teste de inteligencia de los que hablas?
Un saludo,
Lo de «test» de inteligencia es algo que se hace más o menos de tapadillo con los llamados «psicotécnicos».
Una muy buena reflexión, por otro lado.
Jorge Galindo habia anunciado este post como polemico, pero a mi me parece algo de sentido comun. Se agradecen los datos y enlaces, eso si. Por anadir algo, que correctamente no ha sido mencionado en el articulo al no ser muy cientifico: sin pretender ofender a ningun opositor, habria que ver los transtornos mentales que crea el estar encerrado durante anyos, y como se comportaran una vez aprobados cuando han estado aislados de la vida social y con una sensacion de superioridad (los cliches sobe jueces, notarios, diplomaticos… Son solo en parte cliches).
Perdon por no usar tildes.
Ahí no ofendes a ningún opositor. Igual ofendes mas a quien tenga una enfermedad mental real, y que no sea un enfermo por «salir poco de casa» y pasarse los fines de semana memorizando temas.
Debe ser que solo los opositores salen poquito de casa.
Parece que los viejos clichés se resisten a morir.
Es muy interesante la reflexión y los datos que aporta el artículo, salvo por unas puntualizaciones a mi juicio muy necesarias:
La primera y muy importante, es a qué tipo de test de inteligencia se refiere. Hay muchos muy diferentes, con mayor o menor carga cultural, que evalúan una o varias inteligencias, y esto es importante tenerlo en cuenta. Un test con mucha carga cultural va a evaluar en menor medida la inteligencia de un individuo. Por otra parte, no es lo mismo evaluar la inteligencia lógico-matemática que la inteligencia social o la emocional. ¿A cuáles se refieren los estudios?
No debemos obviar tampoco el hecho de que la inteligencia es una característica del ser humano que, al igual que la memoria o la atención, se puede desarrollar a lo largo de la vida. ¿Esto qué implica? Que personas con una mayor formación u oportunidades de desarrollo cognitivo alcanzarán mayores valores de CI. Personas que pertenezcan a escalas sociales más bajas, a pesar de ser en el momento de su nacimiento más inteligentes que otras, por escasez de recursos para su desarrollo pueden perder parte de esa inteligencia, lo que les dificultaría la movilidad social si la selección de personal se hace en función de la inteligencia en la edad adulta. Podría darse el caso de reproducir lo que se está criticando en este artículo, pero con un sistema en apariencia más objetivo y más justo.
Me refiero a la inteligencia general. El factor general que está detrás de todas las habilidades cognitivas, o Factor G ( http://en.wikipedia.org/wiki/G_factor_%28psychometrics%29 ), que surge precisamente de las correlaciones entre los diferentes tests de habilidades cognitivas. Las teorías de las inteligencias múltiples (Gardner y compañía) son muy populares y sirven para vender muchos libros, pero no tienen mucho respaldo empírico detrás. Es cierto que en los tests una parte de su varianza es debida al factor G y otra es debida a habilidades específicas propias de los ejercicios que contenga el test, pero hay muchos test muy cargados de G, con poca varianza específica, y que están por lo tanto en gran parte libres de factores culturales. Las correlaciones entre estos tests más “puros” son altas, por lo que es equivalente usar uno u otro.
La variabilidad a lo largo de la vida de un individuo de la inteligencia es escasa, en parte debido a su alta heredabilidad y en parte (supongo) a cuestiones como la educación obligatoria y el ambiente estimular rico en el que vivimos (comparado con, por ejemplo, un campesino de la edad media). De hecho, los programas de intervención para la mejora de inteligencia en niños poco dotados tienen muy poco éxito. Pero todo esto son cuestiones que suelen suscitar polémica y nos desviamos del objetivo del artículo. Así que mejor limitar el off-topic.
Muchas gracias igualmente por la respuesta. Estoy familiarizado con el factor G, simplemente quería puntualizar este asunto. En cuanto al desarrollo, no hablaba tanto de la mejora, sino del deterioro. Pero no tengo en este momento a mi disposición artículo al respecto.
Me ha parecido un artículo interesantísimo, aunque a mi se me plantean algunas dudas.
Si la evidencia dice que los test de inteligencia son los mejores predictores del desempeño futuro en un trabajo, no queda otra que aceptarlo. Pero creo comprender que un test de inteligencia sólo mide la capacidad intelectual de una persona, con lo que le veo sentido a que esa capacidad de predicción se refiera al desarrollo de tareas complejas en solitario. Quizás esté equivocado, no lo se, pero según tengo entendido un test de inteligencia no ofrece información sobre la «inteligencia emocional» de un candidato, por lo que mi pregunta es: ¿Son esos tests fiables cuando el trabajo requiere colaborar con otra gente? ¿Es necesario complementarlos con otras pruebas? Mi experiencia me dice que uno puede ser muy inteligente, pero tener luego muchas carencias emocionales (sea ser introvertido, tímido, huraño, violento, etc…) que condicionarían su desempeño cuando se requiera trabajar en equipo.
No se si podréis responderme, pero es que ahí le veo un hueco a la argumentación de lo que, por otro lado, me parece un excelente artículo.
Aprovecho para daros la enhorabuena por el blog a todos lo que escribís, hacéis un trabajo magnífico.
Esto que comentas es interesante. Me parece que es un error (muy común) pensar que la inteligencia no está relacionada con cuestiones sociales. Las actividades sociales son, en el fondo, comportamientos muy complejos. Para tener éxito necesitas saber qué motivaciones tiene la otra persona, porqué actúa así, qué puede alagarla u ofenderla, etcétera. Las conductas sociales te resultarán más sencillas si tienes detrás una cierta inteligencia que te permita juzgar adecuadamente la situación y comprender a los implicados. Evidentemente, aquí entran también cuestiones de personalidad. El extravertido disfrutará más del contacto social y para el introvertido le resultará más cansado, pero el extravertido poco inteligente ofenderá a otros con más frecuencia, meterá la pata diciendo algo comprometedor o cualquier otro comportamiento que le dificulte el éxito.
En todo caso, los test de personalidad son un buen complemento a los test de inteligencia, precisamente por esas cuestiones que comentas. Sin olvidar que el grueso de la capacidad predictiva recaerá en el de inteligencia.
Me gustaría saber por qué introvertido y tímido pueden ir en la misma enumeración que huraño y violento.
A ver si mientras queremos combatir unos sesgos caemos en otros, incluyendo el de considerar a gente menos sociable (o lo que todavía se considera sociable) como peor.
Quería enumerar ciertos rasgos que me parecieron que podrían ser un impedimento para el trabajo en equipo. Un introvertido o tímido creo que podrían tener problemas para expresar su opinión (o defenderla) en un equipo, al igual que una persona huraña o violenta. Así que en el contexto de mi comentario, tiene sentido. La enumeración no tiene ninguna intención de ser precisa ni de sentar las bases de nada, sólo fue un ejemplo que se me ocurrió sobre la marcha.
Eso que dices me parece también muy interesante. Hay trabajos para los que una habilidad para comunicarte con los demás puede ser importante y no sé hasta qué punto está relacionada con la inteligencia. Gabriel en su respuesta señala que alguien inteligente entenderá mejor a los demás, tardará menos en aprender a relacionarse, pero alguien un poco menos inteligente pero más extrovertido quizás haya adquirido mejores capacidades sociales aunque fuera a base de equivocarse más veces.
En cualquier caso, el artículo está bastante a los métodos de selección de personal para empleados públicos, y la verdad es que el sistema actual por oposiciones tampoco evalúa de ninguna manera la capacidad social del candidato.
Buenas tardes.
Soy Secretario Judicial por oposición y por las tardes oriento a los opositores cual podeis ver en mi pagina web.
Lo primero que tengo que c0mentar es que desconozco la profesión del autor de este mensaje, pero por lo general, los que se pronuncian contra las oposiciones no han sacado una oposición. Creo que esto sesga su perspectiva ante las cosas.
En segundo lugar tenemos la apuesta central del articulo que es apostar por la inteligencia, en términos del clasico cociente intelectual, para escoger a los mejores Funcionarios.
Para justificar tan peregrina afirmación, perdoneseme la contundencia, se acude a argumentos tecnicos, tratando de demostrar que el mas inteligente es el mejor funcionario, o directamente a argumentos igualitarios del tipo, para ser grupo A hay que estudiar muchos años y eso solo puede hacerlo quien tiene respaldo economico, entro otros.
Ambos asertos no son correctos.
A lo largo de mi vida he conocido legiones de Funcionarios, gente limitada, pero con gran sentido de lo publico, han sido mucho mejores Funcionarios que otros brillantes pero absolutamente frustrados en su trabajo.
La inteligencia es solo un factor mas, cuenta mucho mas la vocacion de servicio.
Y si nos vamos a la inteligencia como factor puro pues entramos en una nueva injusticia, los mas inteligentes coparian todos los puestos.
Aqui se comete el error de meter en un mismo saco a todas las oposiciones, sean Grupos A , B, C, D o E, lo que invalida de entrada toda la exposicion, se olvida que las mismas soluciones que pueden ser válidas en un pais no lo seran en otro y se desconoce que lo que hay que procurar es justamente lo contrario a lo que se propone, esto es, dar una oportunidad a los menos inteligentes.
Cuando hablamos de un grupo A, con profesiones muy tecnicas, es imprescindible haberse pasado varios años memorizando leyes para poder conocer las herramientas diarias de trabajo. Esa formacion, esa impronta no te la dan las carreras. Si no la tienes estas cojo y partes en inferioridad de condiciones para el desempeño de la profesion. Tenerla no te garantiza que seas bueno, pero al menos evitara muchas burradas, porque dominas los fundamentos del asunto. En Holanda por ejemplo el Juez tras de aprobar se pasa varios años adscrito a un Tribunal y si no da la talla fuera, ergo si se cuela alguno que no sirve hay medio de eliminarlo.
Cuando hablamos de un grupo C, aunque en muchos sitios tienen trabajos bastante cualificados, la situacion es diferente, una prueba de conocimientos y habilidades que garantizara unas aptitudes suficientes y un sorteo posterior podrian permitir seleccionarlos sin tan gran sacrificio. Algo similar a lo de Holanda podria eliminar tambien el caso de alguien que no sirva.
En Alemania por ejemplo los funcionarios estan mal considerados, si te metes a tal es que no sirves para nada. Es España no es asi. Propugnar soluciones generales a escenarios tan diversos no es serio. España es pais de tahures y truhanes, es precisamente el sistema de oposiciones de lo poco que dificulta o evita que los enchufados tengan ventaja, de ahi el constante esfuerzo por destruirlo adulterandolo con meritos, concursos, etc, etc.
Tenemos en España mucha gente que no vale, que en la empresa privada lo tienen crudo, y tenemos casi un millon de discapacitados. En el sector publico, en especial en puestos no especialmente complejos, es donde deberian establecerse unas reservas de plazas del orden del 50% para la gente que parte en la vida con peores condiciones, porque la genetica o el azar no les brindaron las mismas oportunidades.
Siempre apostamos por las elites, mi pelea no es esa, yo apuesto por los alumnos que los preparadores buenos se quitan de encima porque ven que no lo van a sacar o van a tardar mucho tiempo, por la gente sencilla, sin apellidos, ni familia, para que puedan sacar 60 horas semanales de estudio (ritmo de grupo A) aunque esten trabajando y consigan sus sueños.
En fin, la oposicion es un universo diferente, con leyes diferentes y valores diferentes. Es una forja de voluntades y un motivo de orgullo para quienes emprenden esa aventura.
Es una de las pocas cosas de las que podemos sentirnos orgullosos en España. Existen desde el año 600 AC y permitieron en China que gente de extracion humilde pero con valia pudieran llegar a las mas altas dignidades de la nacion. En Mejico quisieron ponerlas y los estudiantes de Magisterio asaltaron el Gobierno local para impedirlo, si mis noticias no son equivocadas.
Cada vez que alguien trata de erosionarlas esta haciendo un enorme daño a los principios de merito y capacidad que dice defender, porque ningun Tribunal iguala mas a los hombres que el soltar un tema oral. El brillante aprende el temario en tres años, el normal en cinco y el limitado en siete, pero si el limitado esta nueve, se pone a la altura o por encima de aquellos dos y luego, cuando llega a esa profesion que tanto le costo sacar, la valora y se vuelca en ella, mientras que quien la gano facil, al punto empieza a mirar para otro lado.
Una cosa son lo que son las cosas y otra lo que parece que son.
Saludos. Carlos Valiña. 654-398754
En Alemania, al igual que en Inglaterra, están mal considerados porque es cierto (vivo en Londres) que sólo se meten a funcionarios los que no encuentran trabajo en otro sitio, algunos que se meten por devolverle al Estado lo que les dio, o incluso algunos por auténtica vocación. Tampoco se entra por oposición; es más, suele haber vacantes siempre. Los sueldos son menores que en el sector privado, la austeridad, espartana (el software para los subsidios es del año 1980), y en el sector privado suele ser relativamente sencillo encontrar un trabajo equivalente, mejor pagado y con más ventajas (más vacaciones, seguros privados, etc.).
Dices que en España no están mal vistos, al contrario que en esos países. Y no lo están por dos sencillas razones: porque no los pueden echar y porque suelen cobrar mucho más que sus equivalentes en el sector privado (profesores, administrativos, etc.); aparte de que nadie los putea haciéndoles currar horas sin cobrar o regateándoles vacaciones. Esa es la única razón por la que están mejor «vistos». Que no es que estén mejor considerados los funcionarios en sí como personas válidas e inteligentes que se han forjado una carrera brillante, sino que el meterse a funcionario se considera una opción «inteligente», visto cómo está el patio. A mí me parece muy triste que sea así.
Por lo demás, el trabajo es el mismo: calentar una silla en una oficina haciendo gestiones grises, aburridas y repetitivas (hablo del funcionario medio que trabaja en una oficina) para el resto de sus días sin ningún incentivo para progresar.
PS.- «Desempeño» es el acto de recuperar algo que habíamos empeñado. En español culto de España «performance» se dice «rendimiento».
RAE; Desempeñar (tercera acepción): «Cumplir las obligaciones inherentes a una profesión, cargo u oficio; ejercerlos.». En el campo de la psicología del trabajo existe una diferencia técnica entre desempeño y rendimiento, de manera que no se pueden usar como sinónimos.
los que se pronuncian contra las oposiciones no han sacado una oposición. Creo que esto sesga su perspectiva ante las cosas.
Aquí una que se pronuncia contra las oposiciones (tal como son al menos) y ha sacado dos. De nada.
El resto de sus afirmaciones vienen a consistir en negar hechos comprobados alegando evidencia anecdótica. ¿De verdad eso es una demostración de la superioridad intelectual derivada de empollar temas?
Finalmente: he tenido ocasión de tratar por motivos de trabajo con bastantes secretarios judiciales, y lamento tener que decirle que la formación que tienen es muy deficiente para muchas de las tareas que les he visto desempeñar (de las que no he visto, no hablo, así que a lo mejor mi evidencia anecdótica es poco representativa). Ojalá que al menos cambiara drásticamente el contenido de las oposiciones y desde luego, la de Secretario Judicial entre ellas.
¿No resulta poco realista hacer pruebas físicas a posterior de un test de CI para todos los cuerpos de seguridad (solo entre Policía Nacional y Guardia Civil ya hablamos de 100.000 funcionarios), cuando el rendimiento físico es algo que solo se puede probar in situ?.
No puedes aceptar a alguien en un puesto sin saber si va a poder nadar x métros en determinado tiempo, porque solo se sabe si lo demuestra.
Teniendo en cuenta que, en la Administración, un funcionario se pasa el rato lidiando con temas y expedientes administrativos, afirmar que aprender las leyes administrativas no es pertinente para un empleado público, es desconocer muy mucho cómo funciona ese mundo, por muy experto que sea en coeficientes, varianzas y objetivísimos tests de inteligencia.
Por cierto: para entrar como subalterno, el grado más bajo de los funcionarios, antes se hacía también un psicotécnico muy jodido. Vale eso como test de inteligencia?
Las leyes administrativas están cambiando sin parar. Las modificaciones que sufren se supone que el funcionario que las aplica se las aprende él solito, en ocasiones con ayuda de cursos de actualización. Eso demuestra que la barrera inicial de aprenderse de memoria dos mil páginas de leyes administrativas es una barrera arbitraria, porque diez años después estarán vigentes quizá una cuarta parte de esas páginas.
En segundo lugar, incluso en el decimonónico régimen de función pública que padecemos, los funcionarios de los Cuerpos tradicionales de nivel A (administrativos o judiciales) pasan por una Escuela después de la oposición y antes de su incorporación al trabajo, donde teóricamente adquieren parte de su capacitación para el puesto (y se examinan de ello, aunque no sean exámenes competitivos). De modo que ahí tiene usted el modo de solucionar eso.
En tercer lugar, el mayor contingente de servidores públicos no son personal administrativo ni judicial, sino de otros tipos. A pesar de la imagen que nos viene a la mente cuando se habla de funcionario. El profesorado, las fuerzas armadas y de policía, y los profesionales sanitarios, son numéricamente la gran mayoría. Para la mayor parte de los puestos cualificados, se exige una formación académica apropiada, donde se supone que el candidato ya adquirió los conocimientos necesarios.
He sufrido en mis propias carnes la dureza de los proceso selectivos en las aapp, y no soy partidario del sistema actual, sobre todo aquellos sistemas que se basan casi exclusivamente en «cantar temas»…
No obstante, hay algunas afirmaciones en este artículo con las que no puedo estar de acuerdo.
En primer lugar, por que identificas inteligencia con idoneidad al puesto. Es decir, por que una persona inteligente es más idónea que otra que no lo es tanto para el desempeño de un puesto en la administración, aún en puesto como denominas en el artículo de «complejidad alta» sin atender a otras consideraciones, como pueden ser la vocación de servicio público, la capacidad de sacrificio, la responsabilidad, la capacidad para trabajar en grupo, la reacción ante la presión, respuesta ante la fatiga, etc….
Segundo, no crees que limitar el acceso a condición de empleado público únicamente a los más inteligentes, crearía la exclusión de los que no lo son tanto, y esa exclusión, no iría asimismo en contra del principio de igualdad…
En tercer lugar, nuestro sistema valora tres principios en el acceso al empleo público; la igualdad, el mérito y la capacidad. Si basáramos el sistema únicamente en la capacidad del sujeto, creo que el test de inteligencia junto con otras pruebas, sería lo adecuado. Pero nuestro sistema valora también el mérito, y, como medir el mérito entre sujetos que parten de condiciones de titulación y curricular igual. Es decir, entre dos sujetos con una misma titulación que se presentan a la misma plaza, como determinar quien de los dos se merece esa plaza. Pues muy sencillo, se lo merece aquél que se lo ha trabajado más, es decir, aquél que ha dedicado más horas de su vida a preparar el examen y por tanto se lo sabe mejor.
En cuarto lugar, la formación que da al futuro funcionario la preparación de la oposición, es una preparación que a la administarción le sale gratis. Y no digamos que los programas y temarios no guardan relación con las funciones a desempeñar porque eso no es cierto… por poner unos ejemplos; un Administrador debe saber de memoria (aunque lo diga la ley) que actos son nulos de pleno derecho… Igual que un policía debe saber cual es el plazo máximo de duración de la detención… Y como digo, es un proceso de aprendizaje que a la administración no le cuesta un duro…
inteligencia y capacidad tampoco son lo mismo.
se lo merece aquél que se lo ha trabajado más, es decir, aquél que ha dedicado más horas de su vida a preparar el examen y por tanto se lo sabe mejor.
No, eso es una valoración de «mérito» arbitraria y absurda, y que además va directamente en contra de ese otro principio de «igualdad», que menciona pero solo de pasada.
Estrictamente hablando, se merecería más el puesto aquel que lo vaya a desempeñar mejor y/o aquel al que le debamos algo por lo que ha hecho por nosotros (estudiar temas no es hacer algo útil por nosotros).
Como evaluar el futuro no es posible, si tenemos que juzgar su mérito futuro (que desconocemos) por su mérito pasado y presente, y si además creemos que ese criterio es diferente del de «capacidad», la conclusión lógica es que se está prescribiendo algún sistema de promoción basado en el mérito en el desempeño de puestos anteriores (dentro o no del servicio público), o alguna evaluación de lo que le «debemos» por lo que ha hecho por nosotros, lo que nos lleva más o menos a lo mismo.
Es decir, que el «mérito» como diferente de la «capacidad» solo puede significar que haya un sistema de incentivos que de algún modo premie el desempeño pasado.
Estudiar temas es, como mérito, una ridiculez. Igual se podría poner una prueba de triatlon, y decir que tiene más mérito el que más ha entrenado para obtener mejores marcas. Al menos, los flamantes nuevos funcionarios estarían en una forma física envidiable siendo, por lo demás, igual de arbitrario
El artículo asume alegremente que el funcionario es un empleado, y que por lo tanto lo importante es su «desempeño». Esto es así sólo hasta cierto punto. Tan importante o más es p.ej. su imparcialidad al desempeñar poderes públicos.
Por otro lado, se afirma que la inteligencia predice el desempeño. ¿Pero qué es el desempeño? ¿Poner muchas multas un policía o resolver muchas investigaciones criminales? ¿Que los alumnos de un maestro saquen buenas notas? ¿Redactar muchos dictámenes un abogado del Estado, redactar pocos pero buenos, sufrir pocos recursos administrativos en los mismos?
Los desempeños son miles, todos muy distintos. Es discutibilísima su definición. Pero sea lo que sea el desempeño, el test de CI lo predice. Tócate las narices.
Son preguntas interesantes, pero creo que irrelevantes por completo para lo que discute la entrada.
La razón es que esas preguntas se pueden plantear exactamente igual con el sistema de selección actual (y realmente, con cualquier otro, al menos para el reclutamiento inicial)
Hola, Gabriel:
Me ha parecido muy interesante la entrada y por ello quisiera plantearte una serie de cuestiones.
1º) ¿Habría que especificar una puntuación (CI) de corte para cada una de las distintas categorías funcionariales? Pongamos por ejemplo la oposición a Economistas del Estado. ¿Cuál sería el cociente intelectual de corte de la misma? ¿Variará en función de las plazas convocadas? ¿Habrían de cubrirse todas las plazas ofertadas variando así mismo el CI de cada convocatoria? En caso de que el CI de las convocatorias variase con el tiempo, ¿no sería injusto que en un año se pudiese ser TCEE con, verbigracia, un 105 y otros años con uno de 115?
2º) ¿Hasta qué punto es deseable para la sociedad que los más inteligentes copen los mejores puestos de la Administración? Por mi experiencia en las prubas selectivas de la Unión Europea, compruebo año tras año que es difícilisimo acceder a un puesto de funcionario debido a que solo pasan la primera prueba (verbal, matemática, lógica y situacional) aquellos que han cometido un número mínimo de errores. Si evaluásemos en base al examen del Graduate Record Examination, y estableciésemos que solo llegarán a ser funcionarios aquellos individuos que hubieran obtenido más de 320 o 310 puntos en las dos áreas del examen, ¿no estaríamos liquidando el principio de igualdad?
Para terminar, soy partidario de cambiar el actual sistema de selección del personal público. Como bien has indicado en la entrada y otros tantos lo han hecho en Nada es Gratis, solo con recursos y apoyo por parte de la familia se pueden preparar estas oposiciones, lo cual es injusto porque hay gente que por circunstancias familiares jamás podrán optar a un puesto de funcionario de categoría A bajo la vigente configuración. Sin embargo, debido a la actual situación de incertidumbre laboral en la que vivimos y que parece que será aún mayor en el futuro, implantar un sistema de selección en base a la inteligencia creo que supondría la imposibilidad de acceder a la función pública a gente muy motivada y con vocación para ello que por desgracia no cuenta con un nivel de desempeño cognitivo adecuado para el puesto, según su análisis.
El sistema de acceso a las instituciones de la Unión Europea me parece bastante más razonable que el que hay en España. Esas oposiciones son en su primera fase, la psicotécnica, como una lotería, y luego ya se aseguran en la segunda de que quien entre cumpla unos mínimos. Se trata básicamente de que entre gente competente que sepa hacer un poco de todo y reaccionar rápido. Muchos candidatos válidos se quedarán fuera en la primera fase, pero es el inevitable precio a pagar cuando hay tantos miles de interesados. De hecho, se podría hacer una lotería pura, para que no se diga que se discrimina a los menos inteligentes, pero seguro que eso levantaría más protestas.
Pero sobre todo, lo más provechoso de ese sistema, tanto para los candidatos como para la sociedad, es que los candidatos no necesitan dedicar años su vida a preparar el examen, les vale con unos días o semanas mientras lo compaginan con sus vidas laborales. Así se eliminan también los factores de extramotivación y de familia acaudalada.
Me gustaría saber qué psicotécnicos son esos que te preparas en unos días. Bueno, tú mismo lo dices: una lotería, de la cual hay que hacer luego una buena criba, así que trabajo y dinero en balde. Para los psicotécnicos de subalterno debías practicar durante muchas semanas, y mejor meses, hasta adquirir la soltura necesaria. Así que ya ves…
Puedes verlos y practicar en http://www.epso.europa.eu. Son psicotécnicos que puedes preparar en los ratos libres, incluso yendo a una academia, como si vas al gimnasio o quieres aprender un idioma. Durante los dias, semanas o meses que requiera cada uno. Creo que es más provechoso que hipotecar en exclusiva varios años de una vida.
Hay gente valiosa que se quedará fuera, sin duda (no hay puestos para todos). Pero te aseguras que los que entran son válidos, no simplemente memoriones.
Me parece que el artículo es sumamente acertado, quizá porque coincido en opinar lo mismo. Para ello me baso en mi propia relación con varias administraciones públicas, y en cierta formación en gestión de RRHH.
En particular, los procesos de selección para oficiales de distintos cuerpos de las FAS o personal de los Cuerpos de Seguridad, aunque no son perfectos, poseen las características adecuadas: concurso de méritos, psicotécnicos – que aparte del IQ, miden también parámetros de personalidad, por cuestiones obvias -, cultura general, examen médico, examen de aptitud física, y conocimientos técnicos específicos del Cuerpo correspondiente. Una vez dentro, uno o varios años de formación general, seguida de otro período de formación específica, en ambos casos con evaluación de desempeño, que determina quién sigue y quién no.
Por supuesto que hay grietas, y el sistema está viciado por décadas de malas prácticas – que se dan en todas las administraciones -. Sin embargo, sólo hace falta que los que están en la cima hagan su propio trabajo; mientras eso no ocurra, lo que hay por debajo no va a funcionar, porque no hay cabezas visibles que cortar.
Los decisores, los que están en la cúpula, se encuentran demasiado comprometidos por su red clientelar – gracias a la que se llega a esos puestos, no nos engañemos -, para arriesgarse a perder su posición por querer aplicar los reglamentos en detrimento de alguno de sus valedores.
Voy a entrar sólo en lo técnico, aunque obviamente este post tiene derivaciones que es ineludible atender, y que otros comentaristas han resaltado muy acertadamente.
1) hablas de la fiabilidad del criterio (la medida del desempeño, entiendo que test-retest y consistencia interna y eso), pero no de su validez de constructo ¿cuál es el gold standard cuando no se trata de una medida objetiva como el número de ventas? la valoración de un superior puede ser muy fiable, pero basarse en gran medida en que no le caes bien o cualquier prejuicio personal. Y por otra parte, ¿cómo se mide el buen desempeño de un policía o de un juez?
2) Ese .65 es un 42% de varianza explicada, que en psicología es todo un exitazo, sí, pero de ahí a sugerir eliminar las oposiciones… los científicos deben ser prudentes, digámoslo suavemente. A lo mejor en el 58% que queda influyen rasgos que las oposiciones, aunque sea por pura casualidad, resulta que seleccionan favorablemente.
3) más importante aún, en un meta-análisis se pueden meter peras y manzanas (qué gran meme este). El .65 bien puede ser un hermoso artefacto matemático. Hay una infinitud de contextos de desempeño diferentes, y la dimensión de “complejidad” es sólo una de las muchas que definen esas diferencias. No sólo puede haber muy diferentes effect sizes entre ellos (¿índices de heterogeneidad de los meta-análisis? ¿análisis de subgrupos, meta-regresión?) sino que la relación CI-desempeño no tiene por qué ser lineal en todos los contextos y en alguno de ellos salirnos ranas los más inteligentes por otras características (punto 4). Esto hace del concepto global de desempeño un constructo con el que es obligatorio no encariñarse lo más mínimo.
4) Personalmente (y en lo reducido de mi mapa mental del mundo) me resulta evidente que hay rasgos de personalidad (no los 5 grandes, están en un nivel de abstracción muy alto, y supongo que predicen poco) y otras capacidades (sociales, como mucho levemente relacionadas con g, al contrario de lo que sugieres en tu respuesta a un comentarista) que son tanto o más importantes que g, o que a partir de determinado umbral de este (no necesariamente alto) son las que explican el rendimiento. Difíciles de definir y más de medir, ciertamente. Pero suponiendo la validez de criterio de la que hablo en el punto 1, alguna otra cosa debe ser responsable del 58% de varianza que tenemos sin explicar. Y la experiencia personal me dice lo mismo (y digamos que tengo mayor capacidad que un lego para estimar el CI verbal a ojímetro).
1) La validez de constructo del desempeño está bien establecida en la literatura mediante matrices multitrait-multimethod. Cualquier error en la medición del desempeño provoca una disminución de las correlaciones con otras variables, corregible mediante la aplicación de fórmulas de desatenuación. Las correlaciones del desempeño con inteligencia son mayores cuanto más precisa es la medida del desempeño.
2) Varias cosas. Primero, el coeficiente que se aplica para la predicción es la correlación, no su cuadrado. Es decir, por cada unidad de desviación del test, aumentan .65 desviaciones típicas el desempeño. Brogden (1946:1949) ya demostró hace más de sesenta años que una validez de .65 supone un 65% de ganancias de utilidad respecto a una teórica validez perfecta (1.00). Segundo, a mí me parece increíble que con una aplicación de un test de media hora podamos explicar el 42% de la varianza del desempeño, y de una utilidad práctica brutal. Tercero, la última aseveración no tiene mucho sentido. Si las oposiciones o cualquier otro método seleccionasen mejor se reflejaría en una mayor validez predictiva, obviamente. Tampoco entiendo qué tiene que ver la prudencia con utilizar un método que es peor.
3) El meta-análisis psicométrico (Hunter y Schmidt, 2004) incluye el cálculo de qué porcentaje de variabilidad en los resultados de los estudios individuales incluidos en el meta-análisis se debe a artefactos estadísticos y qué porcentaje, por lo tanto, refleja una variabilidad real del resultado. También incluye el análisis de moderadores (como complejidad del puesto, tipo de puesto, y otros datos que quieras incluir) para acotar más la fuente de esa variabilidad. De esta manera se comprueba si existe una generalización de la validez entre diferentes situaciones. Te invito a consultar la segunda referencia del texto si estás interesado en comprobar estas cuestiones, es un grandísimo manual que te permitirá profundizar todo lo que desees. Los meta-análisis sobre inteligencia se han llevado a cabo siguiendo este método, por lo que la generalización de la validez de la inteligencia está más que probada.
4) Si existiese algún rasgo de personalidad o constructo con mayor validez predictiva su descubridor se haría rico. Pero todos los resultados e investigaciones (que son muy abundantes, dados los incentivos a encontrar algo) ofrecen resultados menores a inteligencia. Tú hablas de algún oscuro, desconocido y difícil de definir y medir santo grial de la selección porque estás realizando un acercamiento intuitivo a la materia, no riguroso y sistemático. Intuición que te lleva rechazar la inteligencia. Pero los resultados, la evidencia, las matemáticas dicen lo contrario.
Al interpretar el porcentaje de varianza cometes el error, muy común en los estudiantes, de no ser consciente de su verdadero tamaño. No lo puedes comparar con 100%, porque para empezar la propia fiabilidad del test ya te lo impide, siendo el máximo teórico la raíz cuadrada de la fiabilidad. Pero aun así, piensa en la cantidad de cosas que pueden incidir en tu desempeño, circunstancias externas y azares más allá del individuo, además de características internas temporales o permanentes. Un 42% es un dato enorme.
“Al interpretar el porcentaje de varianza cometes el error, muy común en los estudiantes, de no ser consciente de su verdadero tamaño. No lo puedes comparar con 100%, porque para empezar la propia fiabilidad del test ya te lo impide, siendo el máximo teórico la raíz cuadrada de la fiabilidad”
hombre, no seas jeta. La correlación corregida por atenuación representa el valor de correlación si la fiabilidad del criterio fuera perfecta. Si la corriges por atenuación claro que puedo comparar con 100%. Te queda un 58% de varianza sin explicar, my friend.
“Tú hablas de algún oscuro, desconocido y difícil de definir y medir santo grial de la selección porque estás realizando un acercamiento intuitivo a la materia, no riguroso y sistemático. Intuición que te lleva rechazar la inteligencia. Pero los resultados, la evidencia, las matemáticas dicen lo contrario.”
Bueno, Sternberg seguro que sabe más que tú y que yo de eso. De momento, supongo que no te pondrás a la altura de sus zapatos, ¿no?
sobre el meta-análisis, no hace falta que me des tantas explicaciones, entiendo bastante de eso. Simplemente te he dicho que no has ofrecido ningún dato sobre heterogeneidad, ni fuentes de variación salvo la complejidad. Y lo que es importante es que esos análisis de moderadores reflejen la enorme diversidad real de los contextos de desempeño en la función pública. Dada la contundencia de tu estilo comunicativo, no queda bien la ausencia de datos (más allá de un “vaya y compruebe usted mismo las maravillas de lo que digo”)
“Si las oposiciones o cualquier otro método seleccionasen mejor se reflejaría en una mayor validez predictiva, obviamente. Tampoco entiendo qué tiene que ver la prudencia con utilizar un método que es peor.”
Hombre, por dios… no sabemos cual es la validez predictiva de las oposiciones, lo has dicho tu mismo (Examinemos ahora la validez que podrían tener las oposiciones como método de selección en el estado español. Digo que “podrían” tener porque la que tienen no la sabemos, ya que no se ha investigado.), tan solo has utilizado un proxy muy muy muy lejano (“test de conocimientos del puesto”) por lo que al decir ahora “un método que es peor” no puede ser mejor muestra de lo que es imprudencia científica. Espero que sólo sea la juventud.
Con lo de Sternberg no quiero negar que el predictor más potente del rendimiento sea el CI. Pero es un investigador experto en temas de CI, y que ha dedicado buena parte de su vida a investigar otros factores explicativos del rendimiento.
Me temo que te estás liando y mucho. Corriges por atenuación en el criterio, no por atenuación en el predictor. Por eso el máximo no es el 100%. Hay que volver a repasar esos conceptos básicos. Creo que el tono general de desprecio de tu comentario no merece más respuesta, con referencias a mi “jeta”, “my friend”, la supuesta juventud alocada que me nubla el juicio, etc. La información que buscas está en las referencias que he dado, no voy a trabajar más para contestar a un comentarista pretencioso que falla en conceptos básicos: atenuación en el criterio no es lo mismo que en el predictor, Sternberg es sólo uno más entre muchos investigadores punteros en inteligencia, solo es mediático y muchas de sus propuestas tienen una evidencia muy pobre que las respalde, aparte de que traerlo a colación aquí no tiene mucho sentido. La propuesta de que las oposiciones tendrían más validez que su proxy más cercano, mientras incumplen todas las características que diferencian a los test de conocimientos con alta validez de los de baja validez, es absurda en todos los sentidos. Solo refleja un empecinamiento más allá de toda lógica.
Lamento haber perdido tiempo en contestar al primer comentario viendo que el tono iba a derivar en falta de respeto.
«La validez de constructo del desempeño está bien establecida en la literatura mediante matrices multitrait-multimethod»
Por favor, referénciame la evidencia más potente que hay de esto.
Me temo que para ser profesor de secundaria no sean muy útiles los tests de inteligencia, a menos que hablemos… sí, de inteligencia emocional, esa que aquí se minusvalora pero que es la más necesaria para contender con adolescentes en plena ebullición. Las oposiciones a profesor nunca evalúan, ni podrán hacerlo, esa capacidad de trato con la chavalería. Pero, claro, eso de ser profesor de secundaria es tan poco importante en la escala de funcionarios del Estado… si cualquiera puede hacerlo… Ya me gustaría ver a alguno de ustedes, con toda su inteligencia, contender con mis alumnos de ESO o Bachillerato. ¡Ah! Y que conste que no me quejo de la enseñanza, me encanta, pueden comprobarlo en http://pulgarcity.blogspot.com.es/
¿Qué opina de las propuestas de un «MIR» o algo análogo para la selección del profesorado?
Se lo pregunto porque señala que la habilidad para tratar con adolescentes es muy importante y no se está evaluando, lo cual es cierto, y esa sería una forma de hacerlo.
No estoy muy de acuerdo con que la inteligencia no influya en esa habilidad. A mi me parece que la inteligencia influye en todas las tareas, y esa es una tarea compleja donde debe ser importante. Pero ciertamente es muy plausible que intervengan otros factores, como dice.
Algo parecido al MIR debería haber para la selección del profesorado. Lo triste es que el acceso actual a la plaza definitiva conlleva, tras las oposiciones, un año de «prácticas», que oficialmente podrían no ser superadas, supervisadas por el jefe del departamento correspondiente y por el inspector del centro. Sin embargo, a ningún profesor se le ocurrirá suspender las prácticas de un compañero. El sistema está viciado por el corporativismo del profesorado.
Gracias por su respuesta. Lamentablemente en todos los ámbitos de la función pública se plantean problemas parecidos. Eso hace muy difícil mejorar su calidad, y no me refiero solo al sistema de selección inicial.
Comparto gran parte de las opiniones de Carlos Valiña, comentando el post. Normalmente quien está en contra del sistema de oposiciones suele ser quien no ha sacado ninguna de ellas. Cierto que para las oposiciones de nivel C no sea el mejor sistema y que haya otros mas adecuados (con mayor nivel de práctica o psicotecnicos) pero no olvidemos el país de pandereta y tramposos que disfrutamos, así que en las oposiciones de mayor nivel son las más justas respecto a la igualdad de acceso y posibilidades. Podemos tener multitud de fórmulas matemáticas para demostrar los beneficios de los test de inteligencia sobre las oposiciones o de la práctica diaria sobre la «pura memoria» pero lo que no se puede negar es que en mitad de un juicio verbal el Juez o el Secretario Judicial deben conocer la Ley al dedillo para evitar infringirla por desconocimiento, o el inspector de Hacienda conocer perfectamente las consecuencias de cada una de sus actividades, y la posible nulidad de las mismas, y ese conocimiento profundo, muy muy, profundo no lo da la inteligencia sino el estudio diario durante años, nos guste o no. Ese estudio se hace mediante 12 horas al día durante años, y se alcanza un nivel que no se obtiene simplemente dedicando unas horas 3 o 4 días a la semana, es incomparable el nivel de conocimientos. Igualmente hay determinadas oposiciones, como Abogado del Estado, Notario, Registrador, Técnicos del Estado o Inspector Hacienda que además de la parte memorística hay un examen durisimo y de altísimo nivel de casos prácticos muy complejos, y quien los haya sufrido sabe de que hablo. Otro tema aparte es desaprovechar los mejores años de la juventud en caso de no aprobar dichas opositores , pero eso daría para otro post.
«Igualmente hay determinadas oposiciones, como Abogado del Estado, Notario, Registrador, Técnicos del Estado o Inspector Hacienda que además de la parte memorística hay un examen durisimo y de altísimo nivel de casos prácticos muy complejos…»
No lo ponga tan claro. «Algo», no se qué, falla, viendo a nuestro registrador de la propiedad y que esa capacidad sea, además , familiar…
Realmente, la cosa debería de ser algo más compleja que la mera oposición y el premio para toda la vida o el test cientifico con una indeterminación bastante grande y ¿El premio para toda la vida?. Sería más justa una combinación más humana, una selección por tests para elegir a X entre los mejores, sin oposiciones, y otra por oposición, y luego test para otro porcentaje.
Porque, aparte, estos sistemas de selección no corrijen el verdadero problema : el desempeño/rendimiento y su medida. Y como alcanzar un desempeño y rendimiento óptimo y sostenerlo.
Ese conocimiento de la ley para guiarse en las actuaciones diarias es el que dan los Reglamentos, Manuales y Guías prácticas bien hechas y mantenidas al día, así como la disposición de formas de consultarlos sobre la marcha, formas que hoy en día no requieren cargar con grandes librotes llenos de marcas de colores, sino un portátil o tablet.
Y se lo digo desde el conocimiento práctico.
También le digo desde el conocimiento práctico que los temarios de oposición no enseñan casi nada de lo que se necesita saber para hacer bien esos trabajos que usted dice. No hay verdaderos programas de entrenamiento y tutoría para los recién llegados, que es lo que se necesitaría, y en la práctica se aprende por prueba y error y por tutorización informal de compañeros caritativos.
Creo yo que no se puede comparar el estudio puntual y concreto de un tema (p.ej, tributación de una donación de dinero de un catalán a un hijo con vecindad civil gallega), posible de localizar rápidamente en Internet o guías prácticas especializadas, con el poso jurídico necesario para resolver situaciones complejas que abarquen distintos campos del Derecho. Incluso para encontrar soluciones en «los Reglamentos, Manuales y Guías bien hechas» hay que saber como buscar, separar el grano de la paja, adaptar el caso concreto a los posible ejemplos de que aparezcan, etc…..
No digo yo que el sistema de oposición sea el mejor pero desde luego en nuestro país, país de truhanes por antonomasia, es el menos malo (el menos, repito) para evitar los enchufismos clientelares clásicos. No hay que más que ver los problemas que se plantearon con el acceso a la judicatura por otras vías o las plazas nombradas en los TSJ a dedo por políticos que ahora juzgan a los mismos políticos que les nombraron.
Por otra parte, claro que el ejercicio diario de la profesión no se aprende únicamente con los libros, pero es que ningún trabajo, sea del género que sea, se aprende sin una experiencia mínima de años, por muchos «programas de entrenamientos y tutoría » bien diseñados que existan, ya que cuando un cirujano se enfrenta a una operación, por muchos libros que haya leído o muchas operaciones que haya asistido, hasta que no haya efectuado personalmente el multitud de ellas no estará tranquilo. Lo mismo sirve para el Juez al redactar una sentencia, o el Policía al efectuar una detención de un delincuente peligroso.
Le doy la razón en casi todo lo que dice, pero eso ni abona las oposiciones memorísticas ni creo que me contradiga.
Tener disponible en la memoria ciertos conocimientos es necesario, pero eso es cierto de todos los trabajos. Aprenderse de memoria cientos y cientos de folios (en el estilo memorístico necesario, no para utilizarlos o saber buscar la referencia, sino en el muy particular que requiere vomitarlos de pe a pa en un examen sin olvidarse nada) no aporta ese conocimiento.
Esa es mi opinión, y la baso entre otras cosas en la práctica real.
[…] de empleados públicos y oposiciones: ¿qué nos dice la evidencia? En Politikon con una propuesta de eficiencia… muy […]
[…] Gabriel Táuriz, vía Error 500. […]
He leído el artículo de Salgado, de donde sale el .62 (no .65) y recapitulo mi crítica. Es cierto que la variabilidad asociada a ese resultado es baja, es decir, es generalizable a las distintas muestras (93 estudios para job performance JP, 97 para training success TS, sobre 9000 y 16000 individuos, de varios países europeos). No se menciona la calidad metodológica de los estudios: selección de participantes, si la medida del rendimiento fue cegada y esas cosas.
Validez de constructo: la medida en ambos casos es rating, de entrenadores o supervisores en el caso de TS, y no lo especifica en el caso de JP. No es el objetivo del artículo tratar eso, se da por hecho que se mide lo que se quiere medir. A la espera de evidencia multimétodo-multirasgo sobre los ratings.
Validez ecológica: no se muestran las distintas ocupaciones, los tipos de trabajo que se tratan en los estudios. Dado el objetivo del artículo tampoco es su obligación, y es asumible que con una muestra total tan grande haya suficiente variabilidad. Pero dado el contenido de este post (función pública) se necesitaría saber en qué grado esos estudios reflejan los contextos de desempeño de la función pública. Un dato: la validez de la habilidad numérica muestra variabilidad cero entre estudios al predecir el rendimiento. Esto mosquea sobre la representatividad de las ocupaciones, pero en cualquier caso hay que referirse a ello en un post que habla de eliminar las oposiciones.
Fiabilidad del criterio: .52 para JP y .56 para TS. Mala tirando a peor. Aunque solo se mide en 19 de 93 estudios de JP los autores confían en su generalizabilidad dado que coincide con el valor de otra revisión con estudios americanos, es decir, independiente. Atención a lo que significa esto: aparte de no saber sobre su validez, la fiabilidad de la medida es mala, y encima esto es un resultado generalizable; all over the world, cuando 2 o más observadores evalúan el rendimiento, no alcanzan un buen acuerdo. Es como tener una regla que cada vez mide lo que le da la gana (en realidad esto último es el test-retest, que tampoco lo sabemos).
¿Qué hacen los psicólogos entonces? dicen: “tranquilos, señores, tenemos unos métodos estadísticos que en función de fiabilidad observada del criterio, sea buena, mala u horrible, nos permite calcular la relación real con el predictor (el factor g).” Estos métodos se basan en la teoría clásica de la medida (que no es la única que existe), y tienen sentido matemático. Pero si se consideran un santo grial metodológico, una herramienta mágica que nos da la relación real, se llega al absurdo epistemológico de que el criterio tan sólo nos hace falta para obtener un valor, sea el que sea, sobre el que luego aplicar la herramienta mágica. Somos tan máquinas los psicólogos que no importa que nuestra regla mida lo que le de la gana y como le de la gana, tenemos el algoritmo que corrige el error sistemático. En última instancia, cualquier medida de la realidad por mala que sea, nos sirve. Y una correlación de .29 se convierte en .62
A ver , Gabriel, no tengas la piel tan fina. Mi pretenciosidad palidece ante la tuya, que eres el que ha escrito este post. Tú eres el que ha engañado a los lectores al ocultar que la mejor medida del desempeño que tenéis es una mierda psicométrica. Insisto, ese es un descubrimiento importante. Tan sólo que después descubrirlo, lo que deberíais haber hecho es decirle a la comunidad científica: «señores, nuestra medida del desempeño no sirve, urge tirarla a la basura y buscar otra», en lugar de dedicaros con fruición al cocinado estadístico.
Me contó un psicólogo ya jubilado, que hace 40 años, cuando no había ordenadores y un análisis factorial a mano se tardaba un par de días en hacer, uno se lo tenía que pensar muy bien antes. Ahora se hacen 20 en un minuto y ya hay que pensar menos.
«La propuesta de que las oposiciones tendrían más validez que su proxy más cercano, mientras incumplen todas las características que diferencian a los test de conocimientos con alta validez de los de baja validez, es absurda en todos los sentidos.»
Yo no he dicho que tendrían más validez, sino que no lo sabemos. Tú, aun reconociendo que no lo sabemos, estás convencido de que no la tienen a partir de los resultados con un proxy que dudo mucho que merezca tal nombre y una medida de desempeño que no vale ni para limpiarse el culo. Pretencioso, dices.
Un buen proyecto de investigación sería el estudio de la eficacia de los resultados de las oposiciones en la selección de candidatos, a ser posible de manera segmentada por Grupos y Administraciones.
Los test de inteligencia pueden ser un elemento más de valoración pero no entiendo por qué han de ser excluyentes del resto de pruebas que normalmente se incluyen bajo la denominación de oposiciones (exámenes teóricos de conocimientos, exámenes prácticos y pruebas de idiomas).
En las oposiciones, existe un elemento importante que no ha sido tomado en consideración por el ponente, la existencia de un órgano colegiado de puntuación que minimiza la eficacia de las presiones interesadas en favor de uno u otro candidato.
Por otra parte, lo que nos dice la evidencia basada en la experiencia, al margen de formulaciones matemáticas, es que en España en todos aquellos procesos selectivos para organismos públicos donde se han suprimido las oposiciones clásicas (pues también ahora hay muchos procesos que pervierten el modelo y bajo la apariencia de oposiciónes son simples procesos de consolidación de situaciones precedentes), ha terminado imperando el nepotismo (vease la universidad), el clientelismo (por ejemplo, el fenecido tercer turno en la judicatura) o el enchufismo (las contrataciones de personal laboral e interinos en el Tribunal de Cuentas o en muchas administraciones locales y autonómicas).
Independientemente de los resultados de una oposición, los candidatos que acceden finalmente se tienen que enfrentar a las peculiaridades del nuevo entorno de trabajo, que no tienen por qué ser las adecuadas para que el nuevo funcionario despliegue su potencial, o para que evolucione adecuadamente dentro de ese entorno. Y esto es, principalmente, una cuestión de inteligencia emocional y de principios morales. Si las definiciones de puestos y las evaluaciones de desempeño se aplicasen objetivamente siguiendo el manual, tendríamos a los mejores en cada puesto…con lo que eso supondría para los menos buenos y sus intereses, especialmente si poseen la autoridad necesaria para quitarse de enmedio a quien le haga sombra.