HUMANIDADES: Ciencias de la Información

La revista ‘Science’ se hace eco del impacto de un falso artículo científico

El experimento español ‘Pantani-Contador’ demuestra lo fácil que es engañar a Google Scholar

  • Facebook
  • Delicious
  • Meneame
  • Arroba

Investigadores de las universidades de Granada y Navarra han probado la falta de rigor de las herramientas bibliométricas de Google, que son cada vez más usadas a nivel mundial para valorar el impacto de las publicaciones científicas. Los autores editaron un falso artículo científico publicado por un tal Marco Alberto Pantani-Contador.

UGRdivulga | | 10 diciembre 2013 09:51

<p>Los tres autores, Emilio Delgado López-Cózar, Nicolás Robinson García y Daniel Torres‐Salinas (UGRdivulga). </p>

Los tres autores, Emilio Delgado López-Cózar, Nicolás Robinson García y Daniel Torres‐Salinas (UGRdivulga). 

Una carta al editor en el último número de la revista Science alerta de la facilidad que existe para indizar en Google artículos falsos y aumentar así el número de citas de los investigadores, artículos y revistas científicas.   

La carta habla de un trabajo de investigadores de las universidades de Granada y Navarra publicado en el Journal of the American Society for Information Science and Technology, que ha puesto en evidencia las herramientas Google Scholar Citations y Google Scholar Metrics, dos buscadores de Google especializados en buscar y medir el impacto científico de investigadores y revistas científicas y cuyo uso está extendiéndose rápidamente en el mundo académico.

El falso artículo de Pantani-Contador

Los autores realizaron un experimento consistente en editar un falso artículo científico publicado por un supuesto investigador llamado Marco Alberto Pantani-Contador. El texto, carente de sentido alguno, fue copiado y pegado de la página web del grupo de investigación al que pertenecen (EC3: Evaluación de la Ciencia y de la Comunicación Científica), y traducido al inglés con Google Translator. Los investigadores dividieron a su vez el falso paper en seis artículos, citando en cada uno de ellos otros 129 trabajos científicos.

Los tres autores a quienes Pantani-Contador citaba en su falso artículo vieron cómo aumentaban sus citas en Google Scholar

El artículo de Pantani-Contador fue subido a una página web personal de la Universidad de Granada, y rápidamente Google lo indizó incluyéndolo en sus motores de búsqueda, lo que demuestra que esta operación se realiza de manera automática, sin tener en cuenta en absoluto el contenido del paper indizado.

El resultado no se hizo esperar: los tres autores materiales de este experimento, a quienes Pantani-Contador citaba en su falso artículo, vieron cómo aumentaban considerablemente sus citas en Google Scholar, sobre todo en el caso de los investigadores más jóvenes, que vieron multiplicadas por seis su número de citas y engrosaron notoriamente su perfil investigador en Google Scholar Citations. Además, todos los indicadores bibliométricos de los tres autores se incrementaron notablemente, y también se vieron afectados, con aumentos de citas, 47 investigadores y 51 revistas.

Como explica el autor principal del trabajo publicado en Science, el catedrático de Documentación de la UGR Emilio Delgado López-Cózar, "este experimento demuestra lo fácil que puede ser para cualquier persona con unos mínimos conocimientos informáticos manipular los productos que nos ofrece Google Scholar, tan empleados en el mundo de la comunicación científica".

El investigador considera que "la obsesión compulsiva" que en la actualidad existe por utilizar los recuentos de citas como unidad de medida de toda la actividad científica "es un terreno abonado para que triunfen productos simples, universales y gratuitos como los promovidos por Google, que tan velozmente se han propagado a nivel mundial pero cuya falta de control puede empujar a muchos científicos a falsear sus resultados".

Delgado asegura que, si el fraude de Google no se puede eliminar, "sí es posible al menos prevenirlo o dificultarlo. Por eso pedimos que los índices de citas, y especialmente los promovidos por Google, se diseñen de forma transparente, para que puedan desenmascarar a los tramposos".

Referencia bibliográfica: 
 

Delgado López‐Cózar, Emilio; Robinson‐García, Nicolás; Torres‐Salinas Daniel. The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the American Society for Information Science and Technology (2013). Article first published online: 11 NOV 2013. DOI: 10.1002/asi.23056. Accesible en http://arxiv.org/ftp/arxiv/papers/1309/1309.2413.pdf

Delgado López‐Cózar, E.; Robinson‐García, Nicolás; Torres‐Salinas Daniel.  Science Communication: Flawed Citation Indexing. Science 6 December 2013: Vol 342, no. 6163, p. 1169. DOI: 10.1126/science.342.6163.1169-b. Accesible en: http://www.sciencemag.org/content/342/6163/1169.2

Si eres periodista y quieres el contacto con los investigadores, regístrate en SINC como periodista.

Zona geográfica: España
Fuente: UGRdivulga

Comentarios

  • javier |11. diciembre 2013 08:23:24

    indizo?querrás decir indexó, y dando mi opinion es igual de contaminable revistas como science: http://www.escepticos.es/?q=node/960 por poner un ejemplo.
    si alguien es tan idiota como para incluir una cita de una autor no contrastado no es problema de google. y por cierto, como informatico me toca los mismisimos que la gente ande contaminando internet con articulos falsos solo para probar algo.

    Responder a este comentario

  • Ange Zurdo |11. diciembre 2013 13:34:22

    Bueno y a mi me toca las mismísimas que google quiera meternos en vena todas sus mierdas baratas y de pésima calidad, con la mínima seguridad e intentando con datos falsos siempre estar a la cabeza en todo para tirar al mar a todas las demás compañías sin un mínimo de respeto por la humanidad, en pesando por robar claves wifi, publicar artículos falsos, tener publicidad hasta en la sopa y usando todos tus datos para vendérselos al mejor postor...

    Responder a este comentario

  • Aiton |11. diciembre 2013 13:34:28

    Hola, sólo quería decir que los nombres a pie de foto están mal. Nicolás es el de la derecha y no el del centro.

    Responder a este comentario

  • paraJavier |11. diciembre 2013 13:34:34

    Comentario para "javier", que ha escrito antes. En español, la palabra correcta es "indizar" de la cual viene "indizó", aunque también la RAE acepta "indexar" que es un anglicismo.

    Además de eso, creo que no has entendido lo que estos autores han hecho. No se trata de citar un autor no contrastado, es que han creado un articulo completo falso y sin sentido, en el cual generan muchísimas citas a autores reales, beneficiando a estos últimos en sus medidas de impacto. Estas citas que aparecen en un artículo sin sentido (y sin publicar en revistas científicas) no deberían ser tenidas en cuenta por Google Scholar ni otros sistemas automáticos.

    Responder a este comentario

  • Luis Ramon Ganga Lopez |11. diciembre 2013 13:34:39

    Indizar existe logicamente... sólo tienes que mirar en la RAE. Science será criticable... pero la pagina www.escepticos.es no tiene desperdicio. Por otra parte, desde luego que hay que "probar" las cosas. Si no investigas el funcionamiento y corroboras su conformidad, al final o te lo crees todo o no te crees nada. Te la meten doblada y en eso de manejar información todas las partes tienen su culpa.

    Responder a este comentario

  • jose |11. diciembre 2013 13:34:46

    Javier, indizar es un verbo tan válido como indexar, además de la palabra española de toda la vida; por otro lado indexar es un galicismo.

    Responder a este comentario

  • bc |11. diciembre 2013 13:34:55

    http://lema.rae.es/drae/?val=indizar

    el concepto de "contaminar internet" se me escapa.

    en todo caso, están en su derecho de compartir una prueba si la herramienta se está popularizando para medir méritos ajenos y no aporta mínimas garantías.

    Responder a este comentario

  • Roberto |11. diciembre 2013 13:35:00

    @Javier, ¿cómo quieres que lo demuestren o prueben? ¿Sabes que las pruebas con destrucción del sujeto/objeto a estudiar también son científicas? ¿No has entendido que Google es en este caso el "idiota" que cita artículos no contrastados y, por tanto, el problema es totalmente suyo?

    No se qué tipo de "informático" eres o cuál es tu rama, pero esta prueba no implica absolutamente nada a nivel de "contaminación" ya que de todas las bases de datos hay snapshots y, en este caso, el sistema relacional permite la marcha atrás de forma muy rápida. "Internet" tampoco se contamina, ya que es únicamente una red que une otras redes, los datos no "están en Internet" sino que simplemente puedes acceder a ellos desde la red global. Pero, ¿cuál es el sentido de "evitar contaminar" cuando esto simplemente es una demostración controlada y la realidad es que hay miles de personas haciendo esto para obtener un falso prestigio?

    Responder a este comentario

  • Didac |11. diciembre 2013 13:35:06

    Como investigador informático, @javier, me parece que no has entendido el artículo.
    No es que se haya citado a un artículo no contrastado, sino que se ha creado un artículo ficticio que está citando a otros muchos. Los citados ven crecer su numero de citas (aunque estas citas son irreales). Esto afecta, por ejemplo el h-index o el i10.
    Así, por ejemplo, podría yo tener 20 artículos publicados (que los tengo), inventarme una cuenta falsa que ha publicado otros tantos artículos que citan todas mis publicaciones. Automáticamente pasaría a tener un h-index de 20, que no es moco de pavo.
    El problema es que eso índices son numéricos y no muestran directamente quién ha referenciado mis obras (y tampoco lo mira nadie). Sin embargo, estos índices sí que se usan para propuestas de financiación, proyectos, etc.

    Responder a este comentario

  • jarfil |11. diciembre 2013 13:35:12

    javier: http://lema.rae.es/drae/?val=indizar

    Sobre el artículo, me parece que esto acabará igual que con los enlaces en páginas web: los autores o instituciones que se dediquen a publicar basura para inflar las citas, acabarán penalizados. Hoy tenemos linkframs, que Google amablemente elimina de su índice, mañana tendremos cite-farms... y las eliminarán igualmente.

    http://en.wikipedia.org/wiki/Link_farm

    La publicación de artículos de baja calidad, también tiene su contraparte:

    http://en.wikipedia.org/wiki/Content_farm

    Responder a este comentario

  • ph |12. diciembre 2013 10:08:57

    y?

    Responder a este comentario

QUEREMOS SABER TU OPINIÓN

Por favor, ten en cuenta que SINC no es un consultorio de salud. Para este tipo de consejos, acude a un servicio médico.

AGENCIA SINC EN TWITTER