Content Assessment Systems

Published on 01/15/2009 - Games and methodologies

Self-management, Games, P2P, ICTs, Analogies of digital, Collective decision-making, Collective moderation, Web 2.0, Communication tools

Contributors: Ismael Peña-López

BCK 2008 - Collective Evaluation
The idea is comparing the traditional academic system of double blind peer review with other systems emerging on the Information Society to assess content in online communities, like the ones used in Wikipedia, Slashdot or Digg. But without using computers: everything off-line, analogue.

A project within the framework of the Bank of Common Knowledge, the idea is to help communities — online or offline, whatever — to evaluate their incoming content in order to assess its suitability for their purposes. To do so, we created a workshop were the rudiments of several systems (three, so far) were explained, compared and practiced in simulations of situations where such content had to be evaluated — in no more than an hour.

Adapting online systems for offline use — no computers used — has been quite a challenge and, of course, not all features of online systems could be included, for both reasons of time or feasibility. One of this (sadly) missing features is all the karma system which, in some way, is the core reputation system — explicit or implicit — of many online communities, the problem being that karma is cumulative along time and requires lots of interaction, direct or indirect voting on the user and his contributions, etc., something the workshop just cannot aim at achieving. In other words: content and reputation of the user creating or promoting this content are becoming, as time passes, two sides of the same coin, something that not necessarily has been this was in analogue systems like the scientific peer review, where double blindness is usually a must.

I'm in terrible debt with the Platoniq collective (especially Olivier Schulbaum and Susana Noguero) for inviting me (and putting up together such a terrific project like the Bank of Common Knowledge), the beta testers that provided much valuable feedback unselfishly, and Pau Alsina for his networking aptitudes.

Unfortunately, this Method hasn't been translated yet. Please read Spanish Text:

Introducción

Uno de los principales problemas de la ciencia (y de toda transmisión de conocimiento en general) es cómo validar las afirmaciones que uno hace. Establecido el método científico, basado en la medida de evidencias observables y empíricas, la solución pasa por evaluar en qué medida se ha seguido dicho método. El problema aparece entonces en cómo garantizar que dicha evaluación es objetiva, independiente, no interesada y exenta de amiguismos.

A mediados del siglo XX se establece la revisión por pares para evaluar los artículos presentados para ser publicados en una revista científica. Pasado un primer filtro por el editor, más centrado en temas formales (formato, tema, etc.), una serie de árbitros –reputados en su campo– evalúan de forma anónima los escritos, comentándolos y proponiendo, al final, la publicación o no publicación de los mismos.

Aunque con muchas ventajas, el sistema goza también de algunos inconvenientes. Algunos de ellos derivan de la construcción del mismo sistema: para garantizar el anonimato, la transparencia de todo el sistema se resiente, convirtiéndose en debilidad lo que se planeó como la mayor fortaleza. Por otra parte, y por cuestiones de coste en tiempo y recursos, la evaluación no puede ser llevada a cabo más que por unos pocos árbitros. El reducido número de árbitros hace que existan riesgos de sesgo –por ser una muestra poco representativa del área de conocimiento– así como de (irónicamente) poca reputación, dadas las limitaciones humanas para ser experto en un gran número de campos.

En los siguientes ejercicios se plantea una simulación muy simplificada del sistema de revisión por pares, así como nuevas formas de revisión / reputación aparecidas a la luz de las Tecnologías de la Información y la Comunicación para validar los contenidos que aparecen en foros o sistemas de recomendación de noticias (por ejemplo, Digg) o para la producción colectiva de documentos (por ejemplo, Wikipedia).


1. Sistema académico - revisión por pares

a) Objeto en el que se inspira
Sistema Académico Tradicional de revisión de escritos por pares (peer review; también arbitraje o refereeing).

b) Objetivos
- Establecer un sistema para evaluar de forma rigurosa contenidos (artículos, noticias, etc.) que llegan a una comunidad sin necesidad de que todos sus miembros deban discriminar todos y cada uno de dichos contenidos.
- Primar los valores de reputación establecida (democracia representativa) frente a la participación de toda la comunidad (democracia participativa).
- Primar el rigor y la transparencia en los procedimientos frente a la rapidez y la flexibilidad.
- Sacar provecho de los conocimientos de los más expertos en un área.
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

c) Material
- papel
- bolígrafos
- clips
- papel carbón u hojas de evaluación: en función de la disponibilidad de papel carbón, se utilizará una de las siguientes opciones:
1 - utilizar, por participante, 4 copias (en función del número de evaluadores) de la "Hoja de Dibujo y Evaluación" anexa, intercalando entre todas ellas papel carbón, y uniéndolas con clips para asegurar un calcado óptimo;
2 - utilizar, por participante, 1 "Hoja de Dibujo" + 2 (en función del número de evaluadores) "Hojas de Evaluación" anexas. La "Hoja de Dibujo" lleva impresa, por detrás, una "Hoja de Evaluación".

d) Descripción de las acciones
- Se introducen las bases del funcionamiento de la "revisión por pares" del sistema académico tradicional.
- Se propone la publicación (ficticia) de una revista especializada en un tema: "comida para gatos". Entendemos que es un tema sobre el que cualquier participante puede aportar algo, a la vez que erigirse en "experto", sendos roles que forman parte del taller.
- El grupo nombra un editor y dos o tres evaluadores o árbitros (según el número total de participantes en el taller) en función de su conocimiento profesional / personal del tema (por ejemplo, que tengan un gato). El resto de participantes serán autores (los evaluadores también se consideran autores).
- El papel del autor es crear una obra (un dibujo) y someterla a evaluación para su publicación en la revista (una ilustración que acompañará un texto).
- El papel del editor es recoger todas las obras, descartar las que se separen claramente de la línea editorial de la revista, repartir el resto entre los evaluadores y, en función del veredicto de estos y su propio criterio, aceptar 2 o 3 obras para su publicación.
- El papel de los evaluadores es, como su nombre indica, valorar las obras presentadas para su publicación.
- Se da a todos los autores (incluidos los editores) una "Hoja de Dibujo" (y las correspondientes "Hojas de Evaluación" y papel carbón) o la "Hoja de Dibujo y Evaluación", en las que harán una ilustración sobre el tema "comida para gatos". Las "Hojas de Dibujo" son anónimas: es importante que, sobre todo, los evaluadores no presencien la elaboración de los dibujos del resto de autores. Los dibujos irán identificados, no obstante, con un número que asignará el editor a cada autor.
- El editor recoge las "Hojas de Dibujo", descarta las que, en su opinión, se separan demasiado de la línea editorial y, con las que acepta, hace tantos mazos como evaluadores haya.
- El editor asigna un mazo a cada evaluador, quien rellena la "Hoja de Evaluación" según su criterio. El evaluador declinará rellenar dicha hoja si le tocase en suerte evaluar su propia obra. En un caso real, el editor nunca asignaría su propio dibujo a un evaluador.
- Finalizada una primera ronda de evaluaciones, se repite el proceso, rotando los mazos de dibujos entre los evaluadores, hasta que todos hayan evaluado todos los dibujos.
- El editor recoge las "Hojas de Evaluación" de los evaluadores y, en función de ellas, decide qué dibujos utilizaría, cuáles devolvería al ilustrador para su mejora o retoque, y cuáles rechazaría. Se devuelven los originales a los autores, acompañados de las "Hojas de Evaluación".
- El editor comenta su elección con el grupo. Los evaluadores explican el criterio personal que han seguido para la elección (dentro de los límites puestos previamente en las "Hojas de Evaluación").
- Se comentan con todo el grupo los puntos fuertes y débiles del sistema.

e) Cuestiones a mejorar o que no quedan reflejadas en la adaptación
- Aplicar el sistema a un sistema de contenidos más complejo (texto).
- Posibilitar la mejora de la ilustración y someterla nuevamente a evaluación.
- Evitar una práctica tediosa y aburrida por su alto componente "protocolario".


2. Digg / Menéame

a) Objeto en el que se inspira
Sistema de puntuación de contenidos híbrido entre DiggMenéameSlashdotBarrapunto, pero sin el sistema de karma.

To page 2

Attribution-Noncommercial-No Derivative Works 3.0 SpainPage: 1| 2
Suported by:
Platoniq

BCK 2008 - Collective Evaluation

Sistemas de evaluación de contenidos. Cápsula grabada en el Mercado de Intercambio de Conocimientos Libres, organizado por Platoniq (Barcelona, 2008).

MORE MEDIA: