Sistemas de Evaluación de Contenidos

Publicado el 15/01/2009 - Juegos

Auto-organizaciónJuegosP2PTICsAnalogizando lo digitalToma de decisiones colectivaModeración colectivaWeb 2.0Herramientas de comunicación

Contribuidores: Ismael Peña-López

BCC 2008 - Evaluación Colectiva
Introducción

Uno de los principales problemas de la ciencia (y de toda transmisión de conocimiento en general) es cómo validar las afirmaciones que uno hace. Establecido el método científico, basado en la medida de evidencias observables y empíricas, la solución pasa por evaluar en qué medida se ha seguido dicho método. El problema aparece entonces en cómo garantizar que dicha evaluación es objetiva, independiente, no interesada y exenta de amiguismos.

A mediados del siglo XX se establece la revisión por pares para evaluar los artículos presentados para ser publicados en una revista científica. Pasado un primer filtro por el editor, más centrado en temas formales (formato, tema, etc.), una serie de árbitros –reputados en su campo– evalúan de forma anónima los escritos, comentándolos y proponiendo, al final, la publicación o no publicación de los mismos.

Aunque con muchas ventajas, el sistema goza también de algunos inconvenientes. Algunos de ellos derivan de la construcción del mismo sistema: para garantizar el anonimato, la transparencia de todo el sistema se resiente, convirtiéndose en debilidad lo que se planeó como la mayor fortaleza. Por otra parte, y por cuestiones de coste en tiempo y recursos, la evaluación no puede ser llevada a cabo más que por unos pocos árbitros. El reducido número de árbitros hace que existan riesgos de sesgo –por ser una muestra poco representativa del área de conocimiento– así como de (irónicamente) poca reputación, dadas las limitaciones humanas para ser experto en un gran número de campos.

En los siguientes ejercicios se plantea una simulación muy simplificada del sistema de revisión por pares, así como nuevas formas de revisión / reputación aparecidas a la luz de las Tecnologías de la Información y la Comunicación para validar los contenidos que aparecen en foros o sistemas de recomendación de noticias (por ejemplo, Digg) o para la producción colectiva de documentos (por ejemplo, Wikipedia).


1. Sistema académico - revisión por pares

a) Objeto en el que se inspira
Sistema Académico Tradicional de revisión de escritos por pares (peer review; también arbitraje o refereeing).

b) Objetivos
- Establecer un sistema para evaluar de forma rigurosa contenidos (artículos, noticias, etc.) que llegan a una comunidad sin necesidad de que todos sus miembros deban discriminar todos y cada uno de dichos contenidos.
- Primar los valores de reputación establecida (democracia representativa) frente a la participación de toda la comunidad (democracia participativa).
- Primar el rigor y la transparencia en los procedimientos frente a la rapidez y la flexibilidad.
- Sacar provecho de los conocimientos de los más expertos en un área.
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

c) Material
- papel
- bolígrafos
- clips
- papel carbón u hojas de evaluación: en función de la disponibilidad de papel carbón, se utilizará una de las siguientes opciones:
1 - utilizar, por participante, 4 copias (en función del número de evaluadores) de la "Hoja de Dibujo y Evaluación" anexa, intercalando entre todas ellas papel carbón, y uniéndolas con clips para asegurar un calcado óptimo;
2 - utilizar, por participante, 1 "Hoja de Dibujo" + 2 (en función del número de evaluadores) "Hojas de Evaluación" anexas. La "Hoja de Dibujo" lleva impresa, por detrás, una "Hoja de Evaluación".

d) Descripción de las acciones
- Se introducen las bases del funcionamiento de la "revisión por pares" del sistema académico tradicional.
- Se propone la publicación (ficticia) de una revista especializada en un tema: "comida para gatos". Entendemos que es un tema sobre el que cualquier participante puede aportar algo, a la vez que erigirse en "experto", sendos roles que forman parte del taller.
- El grupo nombra un editor y dos o tres evaluadores o árbitros (según el número total de participantes en el taller) en función de su conocimiento profesional / personal del tema (por ejemplo, que tengan un gato). El resto de participantes serán autores (los evaluadores también se consideran autores).
- El papel del autor es crear una obra (un dibujo) y someterla a evaluación para su publicación en la revista (una ilustración que acompañará un texto).
- El papel del editor es recoger todas las obras, descartar las que se separen claramente de la línea editorial de la revista, repartir el resto entre los evaluadores y, en función del veredicto de estos y su propio criterio, aceptar 2 o 3 obras para su publicación.
- El papel de los evaluadores es, como su nombre indica, valorar las obras presentadas para su publicación.
- Se da a todos los autores (incluidos los editores) una "Hoja de Dibujo" (y las correspondientes "Hojas de Evaluación" y papel carbón) o la "Hoja de Dibujo y Evaluación", en las que harán una ilustración sobre el tema "comida para gatos". Las "Hojas de Dibujo" son anónimas: es importante que, sobre todo, los evaluadores no presencien la elaboración de los dibujos del resto de autores. Los dibujos irán identificados, no obstante, con un número que asignará el editor a cada autor.
- El editor recoge las "Hojas de Dibujo", descarta las que, en su opinión, se separan demasiado de la línea editorial y, con las que acepta, hace tantos mazos como evaluadores haya.
- El editor asigna un mazo a cada evaluador, quien rellena la "Hoja de Evaluación" según su criterio. El evaluador declinará rellenar dicha hoja si le tocase en suerte evaluar su propia obra. En un caso real, el editor nunca asignaría su propio dibujo a un evaluador.
- Finalizada una primera ronda de evaluaciones, se repite el proceso, rotando los mazos de dibujos entre los evaluadores, hasta que todos hayan evaluado todos los dibujos.
- El editor recoge las "Hojas de Evaluación" de los evaluadores y, en función de ellas, decide qué dibujos utilizaría, cuáles devolvería al ilustrador para su mejora o retoque, y cuáles rechazaría. Se devuelven los originales a los autores, acompañados de las "Hojas de Evaluación".
- El editor comenta su elección con el grupo. Los evaluadores explican el criterio personal que han seguido para la elección (dentro de los límites puestos previamente en las "Hojas de Evaluación").
- Se comentan con todo el grupo los puntos fuertes y débiles del sistema.

e) Cuestiones a mejorar o que no quedan reflejadas en la adaptación
- Aplicar el sistema a un sistema de contenidos más complejo (texto).
- Posibilitar la mejora de la ilustración y someterla nuevamente a evaluación.
- Evitar una práctica tediosa y aburrida por su alto componente "protocolario".


2. Digg / Menéame

a) Objeto en el que se inspira
Sistema de puntuación de contenidos híbrido entre DiggMenéameSlashdotBarrapunto, pero sin el sistema de karma.

b) Objetivo
- Establecer un sistema para evaluar de forma rápida contenidos (artículos, noticias, etc.) que llegan a una comunidad de forma participativa y flexible.
- Primar los valores de participación de toda la comunidad (democracia participativa) frente a la reputación establecida (democracia representativa).
- Primar la rapidez y la flexibilidad frente al rigor y transparencia en los procedimientos.
- Sacar provecho de los conocimientos de todos los participantes (wisdom of crowds).
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

Continua en la página 2

Creative Commons Creative Commons License Deed Reconocimiento-No comercial-Sin obras derivadas 3.0 EspañaPágina: 1| 2
Con el apoyo de:
Platoniq

BCC 2008 - Evaluación Colectiva

Sistemas de evaluación de contenidos. Cápsula grabada en el Mercado de Intercambio de Conocimientos Libres, organizado por Platoniq (Barcelona, 2008).

MÁS MEDIA: