[Todos] Favoritismo en el sistema de revisión por referees (de interés para todos nosotros)

Sun Dec 19 12:42:36 ART 2004

Hugo Scolnik 

I prefer the company of peasants because they have not been educated sufficiently to reason incorrectly.
----- Original Message ----- 
From: Eduardo R. Saguier 
To: Pol-Cien 
Cc: Graciela Molinelli 
Sent: Sunday, December 19, 2004 11:38 AM
Subject: [Pol-cien] Favoritismo en el sistema de revisión por referees

      ¿Existe favoritismo en el sistema de revisión por referees? 

--------------------------------------------------------------------------------

Generalmente se considera que las evaluaciones académicas deben basarse únicamente en el mérito científico de un  trabajo [Merton, 1973]. Criterios como el estatus, el  genero, la  educación o el ser miembro de una organización determinada no deberían influir nunca en la aceptación de los artículos. La evaluación de un original se basa en el valor del trabajo; el historial de logros científicos de sus autores debería ser irrelevante. Sin embargo, hay autores que sugieren que los criterios particularistas pueden influenciar en la evaluación [Willis y McNamee, 1990].   

 Un editor de la revista Explorations in Economic History lamentaba de que a algunos referees les resulta imposible evaluar un original sin  evaluar simultáneamente al autor y, en consecuencia, a menudo elaboran informes duros, influenciados por sus juicios parciales [Neal, 1994]. Muchos autores se han quejado del trato preferente dado a algunos investigadores debido a su estatus académico. Es menos probable que  se acepte publicar trabajos de instituciones no muy conocidas que originales, de igual mérito científico, escritos por miembros de instituciones con fama internacional [Biggs, 1990, pág. 148] [Garfield, 1986a, pág. 8]. A veces, editores y referees procuran competir por el mismo espacio  en una revista y en consecuencia, su  propio interés les lleva a elaborar informes negativos [Biggs, 1990] [Campanario, 1996a][Chubin, 1985][Gordon, 1977] [Yankauer, 1991a]. También puede suceder que los referees pueden procurar ganar estatus y mantener su superioridad socavando la carrera de un autor [Gordon, 1977][Wilson, 1978][Wright, 1970]. Por ejemplo, Thomas Henry Huxley escribió a un amigo en su juventud [citado en Mahoney, 1979, pág. 358]: "sé que el trabajo que acabo de enviar (a la Royal Society) es muy original y de cierto valor, y estoy igualmente seguro de que, si depende de mi ' amigo particular ', no será publicado".     

      Los editores pueden tratar de conseguir el rechazo de un trabajo, enviándolo deliberadamente a referees  con ideas contrarias. [Cotton, 1993]. Los revisores también pueden retrasar adrede la publicación de una investigación que compita con la suya [Biggs, 1990] [Chalmers, Frank y Reitman, 1990][Grouse, 1981][Meadows, 1977]. No hay que olvidar que en esta era de la superespecialización, es muy probable que un revisor sea además un rival científico [Riggs, 1995]. Quizá el ejemplo más paradigmático y pintoresco de esto sea el informe de un referee en el que se decía que "si esto fuera verdad, yo ya lo habría descrito"[citado por Riggs, 1995, pág. 255]. 

 El anonimato de los referees puede aumentar los abusos. En esas circunstancias, el hecho de enviar un original automáticamente pone al autor en peligro de recibir una evaluación sesgada y maliciosa  si cae en manos  de un revisor que además sea un rival. Crandall formula algunas de las críticas más duras al sistema de revisión por expertos al afirmar que "el proceso editorial tiende a funcionar de manera informal, como una red mafiosa, en la que quedan fuera las minorías, mujeres, nuevos investigadores, e instituciones de  poco prestigio" [Crandall, 1982, pág. 207]. Sharp identificó 17 fuentes potenciales de sesgos al evaluar un original, entre las que se incluían "las rivalidades conocidas, incluidas las señaladas por el autor", los "competidores conocidos, incluidos los señalados por el autor" y los sesgos " en contra de ciertas instituciones/individuos" [Sharp, 1990]. 

 Si una revista pertenece y/o es patrocinada por una asociación profesional, probablemente existan cauces para reclamar contra los abusos cometidos. Sin embargo, en las publicaciones completamente comerciales,  no existe ningún medio para quejarse del abuso de poder y  autoridad, y  es extremadamente difícil hacer público  estos casos. Las pautas que dan  la mayoría de las revistas a los autores se refieren exclusivamente a las obligaciones que éstos tienen. Como contraste, no existen pautas universales sobre las obligaciones y responsabilidades de  los editores,  hacia los autores, aunque si existen pautas para los editores en Biología y Biomedicina (véase las publicaciones de CBE por ejemplo). Entre otras, la revista Addiction incluye un anexo a los originales enviados en el que se recuerda a  los referees los criterios que deben guiar la revisión [Edwards, Babor, Raw y Stockwell, 1995]. Otro ejemplo: The Bristish Medical Journal, adjunta algunas recomendaciones en la parte posterior de cada carta que envía a los referee. Importantes revistas como Science, Nature, New England Review of Medicine y  el Journal of the American Medical Association también envían pautas similares a sus referees [Marshal, 1995]. En esta línea, The Lancet fue la primera revista en nombrar un "defensor del autor". 

      Dado que publicar en revistas importantes se considera una prueba de la capacidad del autor, si éste consigue "colocar" algún trabajo en una revista importante gracias a la interferencia de criterios particularistas, este logro puede considerarse posteriormente como una muestra de excelencia.   

            En un estudio sobre el favoritismo, Jacobson encontró que, entre dos tercios y tres cuartos de los científicos y de los sociólogos políticos encuestados, creían que el sistema de revisión por expertos en su campo estaba predispuesto de favor de miembros de prestigiosas instituciones [Jacobson, 1986]. Según Bakanic, McPhail y Simon, muchos investigadores creen que  es más probable que  las revistas importantes publiquen los originales que reflejen los intereses teóricos, metodológicos, o temáticos de los editores [Bakanic, McPhail y Simon, 1987]. Sin embargo, de las 15 prácticas editoriales que aparecían en una encuesta, realizada por Sherrel, Hair y Griffin, los dos consideradas como menos éticas fueron:  

a)      El favoritismo hacia amigos y conocidos por parte de un editor o revisor .

b)      La relación de referees sesgados hacia el contenido de los originales para asegurar su aceptación o rechazo [Sherrel, Hair y Griffin, 1989]  .  

                 El favoritismo institucional puede ser el más perverso. Un psicólogo de la universidad de Harvard, Robert Roshenthal, describe cómo, cuando que era un joven profesor de la facultad de Psicología en la universidad de Dakota del Norte, fue incapaz de publicar entre 15 y 20 trabajos que escribió. Algunos años después de que se trasladase a Harvard, la mayoría de estos originales habían sido aceptados por las mismas revistas que  previamente los habían rechazado [Roshenthal, 1982]. El editor del Southwestern Political Science Quarterly  recoge  lo que un editor consultor escribió sobre un original enviado desde otro lugar de los Estados Unidos: "creo que los autores que se ganan la vida en el sudoeste debe tener prioridad para publicar en nuestra revista" [Bonjean, 1994, pág. 113]. 

 Algunos investigadores han intentado estudiar de manera sistemática la influencia de los criterios particularistas en la decisión final sobre la publicación o no de un original. Kerr, Tolliver, y Petree encuestaron a revisores de revistas de  Administración y Ciencias Sociales, y encontraron que el 30% de  los revisores reconocía que la buena reputación de un autor aumentaría  la probabilidad de aceptar el original para su publicación [Kerr, Tolliver, y Petree, 1977]. De igual modo, Rowney y Zenisek encuestaron a revisores en el área de Psicología sobre los criterios que utilizaban al evaluar  los originales. Los referees mencionaron con frecuencia la "sólida reputación" como uno de los criterios que influenciaban aceptar un original para su publicación [Rowney y Zenisek, 1980]. 

   Otro enfoque utilizado para indagar en estos problemas consiste en analizar los informes reales de  los referees. Spencer, Hartnett y Mahoney llevaron a cabo un análisis psicolinguístico para medir los sesgo,  los factores emocionales,  el nivel de sensibilidad, la motivación, y una serie de rasgos  de personalidad relacionados [Spencer, Hartnett y Mahoney, 1986]. Su análisis reveló que el 40% de los informes de los referees contenían más del 25% de elementos emocionales y comentarios insustanciales, lo que indica la  existencia de intrusiones y  prejuicios durante el proceso de revisión. De hecho, algunos editores confiesan que se han visto obligados a llamar la atención a los referees por hacer observaciones "ad hominen" [Scarr, 1982, pág. 239]. 

 Otros investigadores han estudiado la influencia relativa del estatus del revisor y  del autor en la aceptación del original. El estudio de  Zuckerman y Merton, muestra que no existe una relación consistente entre la aceptación o el rechazo de los originales en el campo de la Física y  el estatus de  los autores y los referees de  [Zuckerman y Merton, 1971]. Lock hizo un seguimiento de1588 trabajos enviados al British Medical Journal, y no encontró ninguna diferencia entre los informes de los revisores con una posición académica prestigiosa y los de los que no tenían tal posición. [Lock, 1985b]. 

   Sin embargo, Ernst y Kienbacher han demostrado que existe, un "sesgo nacional en la publicación" [Ernst y Kienbacher, 1991]. Estos investigadores examinaron todos los trabajos enviados en 1990 a cuatro revistas  de Gran Bretaña, Suecia, los EE.UU. y Alemania y descubrieron que era más probable que las revistas aceptaran publicar los trabajos cuyos autores fueran del mismo país que la  revista. Peters y Ceci creen que existe un sesgo hacia autores pertenecientes a instituciones  de alto prestigio, pero sus conclusiones fueron puestas en duda debido a diversos fallos metodológicos en el diseño de su estudio, incluyendo  la falta de un grupo de control y el reducido número de revistas que fueron usadas como "sujetos"  (la mayor parte de esta crítica se puede encontrar en la misma edición en la que se publicó  el trabajo de Peters y  Ceci.) [Peters y Ceci, 1982a]. 

  Normalmente, los mejores científicos tienden a trabajar en las instituciones de alto prestigio. Así por ejemplo Koch-Weser y Yankauer evaluaron las características de los autores, del proceso editorial, e hicieron el seguimiento de un grupo de trabajos enviados en 1989 al American Journal of Public Health, Estos investigadores descubrieron que el índice de aceptación de los trabajos cuyo autor principal  pertenecía a un país desarrollado era substancialmente más alto que el de aquellos en los que su autor principal era originario de un país en vías de desarrollo [Koch-Weser y Yankauer, 1993]. Sin embargo, hay que tener en cuenta que muchos de estos originales trataban sobre estadísticas locales de poco interés general, o no aportaban contribuciones relevantes al campo de la salud internacional. Prescott y Csikszentmihalyi estudiaron la influencia de la afiliación de los autores a una institución académica de alto prestigio o con un prestigio menor en la publicación en revistas de Psicología. En las tres revistas más teóricas (y probablemente más influyentes), se daba una correlación entre el prestigio institucional de los autores y  la probabilidad de que sus trabajos se publicaran [Prescott y Csikszentmihalyi, 1977]. Patterson, editor del American Political Society Review,  llegó a resultados similares con los originales del área de la Ciencia Política: el 28% de los trabajos enviados y el 51% de los publicados procedían de Departamentos muy prestigiosos, mientras que el 55% de los originales enviados y el 40% de los publicados procedían de Departamentos situados por debajo del puesto cuarenta  en una clasificación referente a su prestigio [Patterson, 1994]. Tales resultados se pueden, por supuesto, relacionar con el hecho de que los Departamentos mas prestigiosos son más grandes,  más  orientados hacia la investigación, y tienden a atraer a los investigadores  más activos. 

                    Los referees y los editores podrían verse influenciados por el historial académico previo de  los autores. Por ejemplo los originales con alguna autocita a algún artículo "en prensa" se aceptan más fácilmente que los mismos originales con las referencias "En prensa" atribuidas a otros autores [Mahoney, Kazdin y Kenigsberg, 1978].  

Según  Wilson, los sesgos en el proceso de revisión se refieren mas a los investigadores que a las instituciones [Wilson, 1982]. Tal vez, el favoritismo mostrado hacia un investigador que ha contribuido previamente de manera notable al desarrollo de un área, refleja el hecho de que las decisiones editoriales en su conjunto son simplemente correctas. Por ejemplo Gordon estudió los patrones de evaluación de los referees, en el campo de la Física [Gordon, 1979]. Por ello dividió la muestra de autores y de referees en dos grupos, los  que pertenecían a universidades importantes y los que pertenecían a universidades de menor importancia. Sus resultados indican que los referees de dos importantes revistas británicas sobre Física, que pertenecían a universidades importantes, eran más favorables a los trabajos de universidades importantes que a los de universidades de menor importancia; esto no sucedía con los referees pertenecientes a universidades de menor importancia. Abt demostró que, el índice de aceptación para la publicación de los originales en el Astronomic Journal, era más alta para los trabajos de astrónomos muy conocidos que para el resto: el 95% de los originales de éstos fueron aceptados para su publicación, frente al 83% del grupo de control [Abt, 1987]. Otro estudio sobre las recomendaciones y  las decisiones editoriales de los revisores para los informes cortos y los trabajos importantes enviados al  Journal of Pediatrics muestra que, en el caso de los informes cortos, un menor prestigio institucional estaba asociado a  un menor índices de aceptación [Garfunkel, Ulshen, Hamrick, Lawson, 1994] y para los trabajos principales, no existía ninguna relación entre el prestigio institucional y las recomendaciones de los revisores respecto a su publicación.   

 Laband y Piette utilizaron un enfoque más indirecto, con el objetivo de estudiar el impacto de la  revisión por expertos ciega; sin embargo, sus resultados se puede extrapolar al tema que estamos tratando [Laband y Piette, 1994a]. Según este estudio, los referees que conocían al autor del original antes de la revisión, podrían tener en cuenta el valor de sus trabajos anteriores, lo que cambiaría la evaluación. Esta forma latente de sesgo también ha sido observada por Lock al que se refiere a ella como efecto "halo", y que consistiría  en que las decisiones de  revisores y editores estarían predispuestas a favor de los autores más conocidos [Lock, 1985b]. La afiliación institucional, y otros factores personales del autor, podían afectar a la evaluación de los referees. Laband y Piette escogieron una muestra de los artículos publicados en revistas de la Economía durante 1984 y estudiaron las citas a estos artículos [Laband y Piette, 1994a]. Sus resultados muestran que los artículos publicados en revistas que usaban la revisión por expertos ciega eran más citados que los publicados en  revistas que usaban métodos normales de revisión por expertos. Los investigadores tuvieron en cuenta variables relativas a las características de los trabajos, como la longitud y  la calidad media de los artículos de  la revista.  Basándose en estos resultados, Laband y Piette llegan a la conclusión de que, cuando se les fuerza a ello, los revisores sustituyen los criterios particularistas (basados en el prestigio de los autores) por criterios universalistas (basados en el mérito del trabajo). 

      Beyer, Charnove y Fox hicieron un seguimiento de 400 trabajos enviados entre 1984 y 1987  al Academy of Management Journal, que utiliza un sistema ciego de revisión por expertos. Estos investigadores estudiaron la influencia del rango profesional, departamental, y de  financiación de la investigación en los informes de los revisores. Una conclusión algo sorprendente fue que los profesores asociados obtenían mejores informes de los revisores que los profesores titulares [Beyer, Charnove y Fox, 1995].   

        Existe cierta evidencia de que los miembros de los comités editoriales de las revistas académicas tienen un acceso fácil para publicar en ellas.  

      [Abt, 1987] 

      [Bakanic, McPhail y Simon, 1987] 

      [Beyer, Charnove y Fox, 1995] 

      [Biggs, 1990] 

      [Bonjean, 1994] 

      [Campanario, 1996a] 

      [Chalmers, Frank y Reitman, 1990] 

      [Chubin, 1985] 

      [Cotton, 1993] 

      [Crandall, 1982] 

      [Edwards, Babor, Raw y Stockwell, 1995] 

      [Ernst y Kienbacher, 1991] 

      [Garfield, 1986a] 

      [Garfunkel, Ulshen, Hamrick, Lawson, 1994] 

      [Gordon, 1977] 

      [Gordon, 1979] 

      [Grouse, 1981] 

      [Jacobson, 1986] 

      [Kerr, Tolliver, y Petree, 1977] 

      [Koch-Weser y Yankauer, 1993] 

      [Laband y Piette, 1994a] 

      [Lock, 1985b] 

      [Mahoney, 1979] 

      [Mahoney, Kazdin y Kenigsberg, 1978] 

      [Marshal, 1995] 

      [Meadows, 1977] 

      [Merton, 1973] 

      [Neal, 1994] 

      [Patterson, 1994] 

      [Peters y Ceci, 1982a] 

      [Prescott y Csikszentmihalyi, 1977] 

      [Riggs, 1995] 

      [Roshenthal, 1982] 

      [Rowney y Zenisek, 1980] 

      [Scarr, 1982] 

      [Sharp, 1990] 

      [Sherrel, Hair y Griffin, 1989] 

      [Spencer, Hartnett y Mahoney, 1986] 

      [Willis y McNamee, 1990] 

      [Wilson, 1978] 

      [Wilson, 1982] 

      [Wright, 1970] 

      [Yankauer, 1991a] 

      [Zuckerman y Merton, 1971] 

--------------------------------------------------------------------------------

-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment.htm 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: image/jpeg
Size: 28042 bytes
Desc: not available
Url : http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment.jpeg 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: image/gif
Size: 5736 bytes
Desc: not available
Url : http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment.gif 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: image/jpeg
Size: 2247 bytes
Desc: not available
Url : http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment-0001.jpeg 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: image/jpeg
Size: 1635 bytes
Desc: not available
Url : http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment-0002.jpeg 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: image/jpeg
Size: 1805 bytes
Desc: not available
Url : http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment-0003.jpeg 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: image/jpeg
Size: 2086 bytes
Desc: not available
Url : http://lists.de.fcen.uba.ar/pipermail/todos/attachments/20041219/15e5b882/attachment-0004.jpeg 