Content Assessment Systems

Published on 01/15/2009 - Games and methodologies

Self-management, Games, P2P, ICTs, Analogies of digital, Collective decision-making, Collective moderation, Web 2.0, Communication tools

Contributors: Ismael Peña-López

BCK 2008 - Collective Evaluation

From page 1


b) Objetivo
- Establecer un sistema para evaluar de forma rápida contenidos (artículos, noticias, etc.) que llegan a una comunidad de forma participativa y flexible.
- Primar los valores de participación de toda la comunidad (democracia participativa) frente a la reputación establecida (democracia representativa).
- Primar la rapidez y la flexibilidad frente al rigor y transparencia en los procedimientos.
- Sacar provecho de los conocimientos de todos los participantes (wisdom of crowds).
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

c) Material
- 10-15 fotografías sobre una temática en sentido muy amplio: "comida para gatos". Habrá más o menos ilustraciones según el número de participantes. En el caso de haber hecho el ejercicio de revisión por pares, se pueden utilizar los dibujos de dicho ejercicio.
- papel
- bolígrafos
- cronómetro
- gomets (adhesivos de colores)

d) Descripción de las acciones
- Se introducen las bases del funcionamiento del voto de Digg / Menéame.
- Se propone la publicación (ficticia) de una revista especializada en un tema: "comida para gatos". Entendemos que es un tema sobre el que cualquier participante puede aportar, a la vez que erigirse en "experto", los dos roles que forman parte del ejercicio.
- Se presenta un mazo de ilustraciones y se colocan una al lado de la otra en una mesa.
- Se pide a cada miembro del grupo que puntúe las ilustraciones en función de unos criterios de evaluación (ver la Hoja de Evaluación) para incluir dichas ilustraciones en la publicación.
- Cada miembro del grupo tiene 5 adhesivos de colores (pequeños) para efectuar sus votaciones: los participantes se ponen en fila en un lugar donde no puedan ver las ilustraciones. El primero de la fila dispone de 30 segundos para pegar un adhesivo (y solamente uno) en las cinco ilustraciones que él prefiera. El dinamizador del ejercicio controla el tiempo.
- Finalizada su "votación", se reordenan –lo hace el mismo dinamizador– las ilustraciones, de más votadas a menos votadas.
- Las ilustraciones con más adhesivos se colocarán a la izquierda de las ilustraciones con menos adhesivos.
- Si dos ilustraciones tienen igual número de adhesivos, se respetará el orden (de izquierda a derecha) original de las ilustraciones.
- Se repite el proceso para cada uno de los participantes.
- Hechas las evaluaciones, se agrupan las ilustraciones en tres grupos: qué fotografías se utilizarían en la publicación, cuáles se devolverían al fotógrafo / diseñador gráfico para su mejora o retoque, y cuáles se rechazarían.
- Los participantes ponen en común el criterio que han seguido para hacer sus votaciones.
- Se comentan con todo el grupo los puntos fuertes y débiles del sistema.

e) Cuestiones a mejorar
- Aplicar el sistema a un sistema de contenidos más complejo (texto).
- Ajustar la fidelidad del taller al modelo real e intentar incorporar el factor "karma".
- Evitar alargar demasiado la actividad con grupos muy numerosos:
- dividiendo los grupos en subgrupos,
- reduciendo el grupo de ilustraciones a evaluar,
- reduciendo el tiempo disponible para evaluar las ilustraciones,
- reduciendo el número de ilustraciones que cada componente puede votar.


3. Wikipedia

a) Objeto en el que se inspira
Sistema de puntuación de contenidos híbrido inspirado en la Wikipedia y el funcionamiento de Swarmsketch.

b) Objetivo
- Establecer un sistema para evaluar de forma rápida contenidos (artículos, noticias, etc.) que llegan a una comunidad de forma participativa y flexible.
- Primar los valores de participación de toda la comunidad (democracia participativa) frente a la reputación establecida (democracia representativa).
- Primar la rapidez y la flexibilidad frente al rigor y transparencia en los procedimientos.
- Sacar provecho de los conocimientos de todos los participantes (wisdom of crowds).
- Poner de manifiesto los puntos fuertes y los puntos débiles de un sistema de revisión particular frente a otros sistemas.

c) Material
- papel de cebolla / acetato
- bolígrafos y rotuladores
- cronómetro

d) Descripción de las acciones
- Se introducen las bases del funcionamiento de creación de artículos en la Wikipedia y de dibujo en Swarmsketch.
- Se propone la publicación (ficticia) de una revista especializada en un tema: "comida para gatos". Entendemos que es un tema sobre el que cualquier participante puede aportar, a la vez que erigirse en "experto", los dos roles que forman parte del ejercicio.
- Se presenta un papel en blanco.
- Los participantes serán los autores de la ilustración a incluir en la publicación.
- Los participantes forman un círculo.
- El primer participante dispone de 15 segundos para dibujar tres líneas –como máximo– de una longitud "razonable".
- Finalizada su intervención, pasa el bolígrafo / rotulador al siguiente participante, explicando en dos frases qué pretende con el dibujo o qué le ha guiado a hacer su intervención en la forma en que lo ha hecho. Es importante dar una idea de qué se pretendía, pero intentando no conducir / determinar las intervenciones futuras.
- El siguiente participante también puede dibujar tres líneas. Para ello, colocará un nuevo papel de cebolla / acetato encima del dibujo existente. Al igual que el compañero anterior, podrá hacer tres líneas originales, así como repasar otras tres líneas de los anteriores compañeros. Así pues, el máximo a dibujar son 3 líneas originales y 3 calcos (6 líneas en total) y el mínimo, ninguna (es decir, "pasar" el turno).
- Se repiten estos últimos pasos por cada uno de los participantes.
- Finalizadas todas las intervenciones, el resultado final –tras algunos retoques técnicos– sería el seleccionado para publicarse.
- Los participantes deliberan sobre el criterio que han seguido para hacer sus intervenciones.
- Se comentan con todo el grupo los puntos fuertes y débiles del sistema.

e) Procedimientos alternativos
- Utilizar una pizarra (de tiza o blanca) en lugar de papeles superpuestos.
- Utilizar tarjetas con palabras para formar frases (similar al estilo de creación de un "cadavre exquis").
- Utilizar una serie de ilustraciones para formar una narrativa con imágenes (similar al estilo de creación de un "cadavre exquis", pero gráfico en lugar de textual).
- Utilizar una serie de ilustraciones para crear una evolución del sistema Digg / Menéame:
- Con un mazo de ilustraciones, el primero de la fila dispone de 30 segundos para ordenar las fotografías por preferencias decrecientes: la primera fotografía es preferida a la siguiente.
- Finalizada su "votación", pasa el mazo al siguiente participante de la fila.
- El siguiente participante puede mover hacia adelante o hacia atrás 3 fotografías. Por cada fotografía que mueva de sitio, la muestra al grupo y comenta por qué la cambia de orden.
- Se repite este último paso por cada uno de los participantes.
- Hechas las evaluaciones, se agrupan las fotografías en tres grupos: las tres primeras, que se utilizarían en la publicación; las siguientes cuatro, que se devolverían al fotógrafo / diseñador gráfico para su mejora o retoque; y las tres últimas que se rechazarían.

f) Cuestiones a mejorar
- Aplicar el sistema a un sistema de contenidos más complejo (texto).
- Ajustar la fidelidad del taller al modelo real e intentar incorporar el factor "karma".
- Evitar alargar demasiado la actividad con grupos muy numerosos:
- dividiendo los grupos en subgrupos,
- reduciendo el grupo de fotografías a evaluar,
- reduciendo el tiempo disponible para evaluar las fotografías,
- reduciendo el número de fotografías que cada componente puede votar.




Attribution-Noncommercial-No Derivative Works 3.0 SpainPage: 1| 2
Suported by:
Platoniq

BCK 2008 - Collective Evaluation

Sistemas de evaluación de contenidos. Cápsula grabada en el Mercado de Intercambio de Conocimientos Libres, organizado por Platoniq (Barcelona, 2008).

MORE MEDIA: