lunes, 5 de marzo de 2012

Naming and shaming – ¿es buena idea publicar el valor añadido de los profesores?


Excelente colaboración de mis colegas del blog:


 "Nada es Gratis" 




Autor:

Antonio Cabrales

cabrales_editor
Doctor en Economía por la Universidad de California, San Diego (1993).
Actualmente es catedrático de Fundamentos del Análisis Económico en la Universidad Carlos III de Madrid e Investigador Afiliado del CEPR.


Hace poco tratamos la cuestión del valor añadido de profesores y escuela, cómo se mide y para qué se puede usar. Hoy vuelvo a la carga porque la publicación del valor añadido de profesores individuales ha generado una considerable controversia, en la que ha participado hasta elmismísimo Bill Gates.
Voy a comenzar reconociendo que aunque voy a discutir algo de evidencia, es muy improbable que los resultados que comentaré se puedan o deban extrapolar, y también comentaré algunas razones que me hacen pensar que no es una política ideal. Pero me parece llamativo que Bill Gates tenga el aplomo de declarar que la “ordenación pública de los profesores por su nombre no les ayudará a mejorar en sus puestos de trabajo o a mejorar el aprendizaje del estudiante. Por el contrario, hará que sea mucho más difícil de implementar sistemas de evaluación docente que funcionan.” Y el argumento que da es que “En Microsoft, hemos creado un sistema de personal riguroso, pero nunca hubiéramos pensado en usar las evaluaciones de los empleados para avergonzar a la gente, y mucho menos publicarlas en un periódico.” Debe creer que si no se le ha ocurrido a él, cómo puede atreverse nadie a hacer algo distinto. Con esa forma de pensar no me sorprende que Google y Apple estén convencidos de que a pesar de su extrema dominancia, el futuro ya no es de Microsoft.
Vamos a intentar discutir esto de manera algo más racional. Hay alguna evidencia que traer a colación en este tema, aunque como verán es algo indirecta y desde luego yo no la usaría para poner en práctica esta política a lo bestia sin hacer alguna experimentación o recoger otra evidencia más cercana. Un artículo que resulta muy interesante en este contexto es el de Besley, Bevan y Burchardi, cuyo título, “Naming & Shaming: The impacts of different regimes on hospital waiting times in England and Wales” ya nos da una idea de la relación y las limitaciones con el problema que tenemos entre manos. El artículo analiza un experimento natural ocurrido cuando Inglaterra decidió después de 2001 publicar los nombres de los hospitales que no llegaban a los objetivos de reducción de listas de espera, política que Gales decidió no seguir, transformándose por tanto en un grupo de control sobre los efectos de esta política de “nombrar y avergonzar”.
Para ser más precisos, el Reino Unido hizo aumentar la financiación de los hospitales alrededor de un 5% por año entre 2001 y 2005, de manera muy similar en Inglaterra y Gales. Pero Inglaterra en esos momentos decidió además crear un sistema de evaluación público en el que un mejor rendimiento llevaba asociado un número mayor de “estrellas” entre 0 y 3. Los hospitales que fracasaban en los “objetivos clave” recibían 0 estrellas, sus nombres se hacían públicos y sus directores podía perder el trabajo (6 de los 12 que tuvieron 0 estrellas lo perdieron). Los que conseguían un éxito tanto en los “objetivos clave” como en el “cuadro de mando integral” (traducción estándar de “balanced scorecard”, por lo que me dicen) también eran públicamente honrados y recibían una mayor autonomía funcional. El “objetivo clave” más importante era reducir las listas de espera. No conseguirlo podía llevar a tener cero puntos. En los hospitales de enfermedades agudas seis de los nueve objetivos tenían que ver con listas de espera (los otros tres tenían que ver con limpieza, equilibrio financiero, y condiciones de trabajo). Para el cuadro de mando integral uno de los bloques tenía que ver con “enfoque en el paciente” que a su vez estaba dominado por las listas de espera. Por contraste en Gales, los objetivos eran más “flexibles”, variaban con las circunstancias y los que no los conseguían no recibían publicidad.
Los datos indican las esperas de distintos pacientes en siete bloques trimestrales, desde “menos de un trimestre” hasta “más de 6 trimestres”, y cubren 28 trimestres en el período desde el final de junio de 1999, al fin de marzo de 2006. Se utilizan efectos fijos de hospital para controlar por heterogeneidad no observada y “dummies” anuales para controlar por choques comunes dependientes del período y una “dummy” para Gales para controlar tendencias específicas al grupo de control.
Los resultados, que se pueden ver en la siguiente figura son concluyentes, las listas de espera disminuyeron en el hospital típico de Inglaterra de manera significativa y cuantitativamente importante. Por ejemplo, los pacientes esperando nueve meses se reducen del orden de un 67% entre el 1999 y el 2005.
Pero nada es gratis, esta reducción tiene como consecuencia un aumento de las personas en espera períodos más cortos. De manera que la evidencia sugiere que las esperas largas se redujeron en parte a expensas de aumentar las esperas de algunos pacientes que antes habrían tenido esperas más cortas.
Como ya he dicho antes, no podemos extrapolar demasiado estos resultados. Pero sugieren algunas conclusiones importantes. Por ejemplo, que “nombrar y avergonzar” es una política que puede funcionar. El hecho de que empresas con mucho éxito como Microsoft no las utilicen no quiere decir que no sean óptimas en un sentido “second best”, es decir, como “mal menor”. Por suerte para Microsoft, ellos no tienen restricciones institucionales severas sobre el tipo de incentivos a poner en práctica. Yo ya he dicho en alguna ocasión que los incentivos a los docentes por resultados son una buenísima idea (aquí y aquí por ejemplo), pero me puedo poner en la piel del político americano correspondiente y entender que se le ocurra, ante la resistencia corporativa a adoptar esquemas de incentivos adecuados, que esta otra política es un “mal menor” (para los que lean italiano, aquí hay una descripción de un excelente proyecto piloto de incentivos en la escuela descarrilado por presiones políticas).
No obstante, creo que si fuera el político de marras no caería en la tentación. Primero, porque no podemos estar seguros de que estos resultados sean extrapolables. Ni la educación es igual a la sanidad, ni los problemas son idénticos, ni los países tampoco. Probablemente la mayor dificultad tiene que ver con la naturaleza colectiva del trabajo educativo. Como señalan los autores del artículo, la (literatura clásica sobre incentivos ya sugiere que si los incentivos son muy potentes en una dimensión, otras pueden quedar descuidadas. Hay muchas facetas del trabajo docente que requieren colaboración y trabajo en grupo, como en un departamento universitario. Y una recompensa tan individual puede poner en riesgo la provisión de bienes públicos dentro de una escuela. Por esto me parece que si recurrimos a la publicidad como instrumento lo mejor sería, como sucede en el Reino Unido tanto para los hospitales como para las escuelas, centrarlo en un nivel algo más agregado. Pero, claro, esto debe ir acompañado de que las escuelas tengan cierta autonomía para configurar sus plantillas, como ya argumentamosaquí.



2 comentarios:

  1. Muy interesante el artículo.
    En un contexto del marketing empresarial vemos de hecho una aplicación del concepto "Nombrar y Avergonzar". Cuando una empresa "X" produce un producto x1, y este tiene éxito en el mercado, en los países latinoamericanos es probable que se hagan copias falsificadas x2. La Empresa Original puede publicar un aviso diferenciando al producto x1 del x2, descalificando a x2, pero lamentando tener que decir que ambos usan el logo "X" en el mercado y así los reconoce el mercado. ¿Cual es el resultado? Un interesante tema para la teoría de los juegos.

    ResponderEliminar
    Respuestas
    1. Excelente comentario Jorge. Si quieres ser uno de los autores del blog aportando alguna de las entradas que he visto en tu blog (que es hermano de este) puedes pasarme tu email y te invito.

      Un abrazo

      Eliminar