Sistemes d'Avaluació de Continguts

Publicat el 15/01/2009 - Jocs i metodologies

Auto-organització, Jocs, P2P, TICs, Fent analògic allò digital, Presa de decisions col·lectiva, Moderació col·lectiva, Web 2.0, Eines de comunicació

Contribuïdors: Ismael Peña-López

BCC 2008 - Avaluació Col·lectiva
Introducció

Un dels principals problemes de la ciència –i de tota transmissió de coneixement, en general– és com validar les afirmacions que hom fa. Un cop establert el mètode científic, basat en la mesura d'evidències observables i empíriques, la solució passa per avaluar en quina mida s'ha seguit aquest mètode. El problema sorgeix llavors en com garantir que aquesta avaluació sigui objectiva, independent, no interessada i exempta d'amiguismes.

A mitjans del segle XX, s'estableix la revisió per parells per avaluar els articles presentats per ser publicats a una revista científica. Passat un primer filtre de l'editor, més centrat en temes formals (format, tema, etc.), una sèrie d'àrbitres –reputats en el seu camp– avaluen de forma anònima els escrits, tot comentant-los i proposant, al final, la publicació o no publicació dels articles.

Tot i que té molts avantatges, el sistema gaudeix també d'alguns inconvenients. Alguns d'ells se'n deriven de la construcció del mateix sistema: per garantir l'anonimat, la transparència de tot el sistema es veu afectada, transformant-se en debilitat allò que va planejar-se com la major fortalesa. Per altra banda, i per qüestions de cost en temps i recursos, l'avaluació no pot ser portada a terme més que per uns pocs àrbitres. El reduït número d'àrbitres fa que existeixi el risc d'esbiaixar-se (és una mostra poc representativa de l'àrea de coneixement) així com de (irònicament) poca reputació, donades les limitacions humanes a l'hora de ser un expert en un gran número d'àrees.

Als següents exercicis es planteja una simulació molt simplificada del sistema de revisió per parells, així com noves formes de revisió / reputació, aparegudes amb les Tecnologies de la Informació i la Comunicació, per validar els continguts que apareixen a fòrums o sistemes de recomanació de notícies (per exemple, Digg) o per a la producció col·lectiva de documents (per exemple, Wikipedia).


1. Sistema acadèmic - revisió per parells

a) Objecte en el qual s'inspira
Sistema Acadèmic Tradicional de revisió d'escrits per parells ("peer review"; també arbitratge o "refereeing").

b) Objectius
- Establir un sistema per avaluar de forma rigorosa continguts (articles, notícies, etc.) que arriben a una comunitat sense que tots els seus membres hagin de discriminar tots i cadascun dels esmentats continguts.
- Premiar els valors de reputació establerta (democràcia representativa) davant la participació de tota la comunitat (democràcia participativa).
- Premiar el rigor i la transparència en els procediments davant la rapidesa i la flexibilitat.
- Treure'n profit dels coneixements dels més experts en una àrea.
- Posar de manifest els punts forts i els punts febles d'un sistema de revisió particular davant d'altres sistemes.

c) Material
- paper
- bolígrafs
- clips
- paper carbó o fulls d'avaluació: en funció de la disponibilitat de paper carbó, s'utilitzarà una de les següents opcions:
1 - utilitzar, per participant, 4 còpies (en funció del nombre d'avaluadors) del "Full de Dibuix i Avaluació" annex, intercalant entre tots ells paper carbó, i unint-los amb clips per tal d'assegurar un calcat òptim;
2 - utilitzar, per participant, 1 "Full de Dibuix" + 2 (en funció del nombre d'avaluadors) "Fulls d'Avaluació" annexos. El "Full de Dibuix" porta imprès, al darrere, un "Full d'Avaluació".

d) Descripció de les accions
- S'introdueixen les bases del funcionament de la "revisió per parells" del sistema acadèmic tradicional.
- Es proposa la publicació (fictícia) d'una revista especialitzada en un tema: "menjar per a gats". Entenem que és un tema sobre el qual tots els participants poden aportar quelcom, a la vegada que poden erigir-se en "expert", els dos rols que formen part del taller.
- El grup anomena un editor i dos o tres avaluadors o àrbitres (segons el nombre total de participants en el taller) en funció del seu coneixement professional / personal del tema (per exemple, que tinguin un gat). La resta de participants seran autors (els avaluadors també es consideren autors).
- El paper de l'autor és crear una obra (un dibuix) i sotmetre-la a l'avaluació per a la seva publicació en la revista (una il·lustració que acompanyarà un text).
- El paper de l'editor és recollir totes les obres, descartar les que se'n desmarquen clarament de la línia editorial de la revista, repartir la resta entre els avaluadors i, en funció del veredicte d'aquests i el seu propi criteri, acceptar 2 o 3 obres per ser publicades.
- El paper dels avaluadors és, tal i com el seu nom indica, valorar les obres presentades per a la seva publicació.
- Es dóna a tots els autors (inclosos els editors) un "Full de Dibuix" (i els corresponents "Fulls d'Avaluació" i paper carbó) o el "Full de Dibuix i Avaluació", en els quals faran una il·lustració sobre el tema "menjar per a gats". Els "Fulls de Dibuix" són anònims: és important que, sobre tot, els avaluadors no presenciïn l'elaboració dels dibuixos de la resta d'autors. Els dibuixos seran identificats, no obstant, amb un número que assignarà l'editor a cadascun dels autors.
- L'editor recull els "Fulls de Dibuix", descarta els que, segons la seva opinió, se separen massa de la línia editorial i distribueix els que accepta en tants grups com avaluadors n'hi hagi.
- L'editor assigna un d'aquests grups a cada avaluador, el qual omple el "Full d'Avaluació" segons el seu criteri. L'avaluador declinarà omplir els fulls si li hagués tocat avaluar la seva pròpia obra. En un cas real, l'editor mai assignaria el seu propi dibuix a un avaluador.
- Un cop finalitzada una primera ronda d'avaluacions, el procés es repeteix, rotant els grups de dibuixos entre els avaluadors, fins que tots hagin avaluat tots els dibuixos.
- L'editor recull els "Fulls d'Avaluació" dels avaluadors i, en funció d'ells, decideix quins dibuixos utilitzaria, quins retornaria a l'il·lustrador per a la seva millora o retoc, i quins rebutjaria. Es retornen els originals als autors, acompanyats dels "Fulls d'Avaluació".
- L'editor comenta la seva elecció amb el grup. Els avaluadors expliquen el criteri personal que han seguit per a l'elecció (dins els límits marcats prèviament als "Fulls d'Avaluació").
- Es comenten amb tot el grup els punts forts i febles del sistema.

e) Qüestions a millorar o que no queden reflectides en l'adaptació:
- Aplicar el sistema a un sistema de continguts més complex (text).
- Possibilitar la millora de la il·lustració i sotmetre-la de nou a avaluació.
- Evitar una pràctica tediosa i avorrida pel seu alt component "protocol·lari".


2. Digg / Menéame

a) Objecte en el qual s'inspira
Sistema de puntuació de continguts híbrid entre Digg / Menéame i Slashdot / Barrapunto, però sense el sistema de "karma".

b) Objectius
- Establir un sistema per avaluar de forma ràpida continguts (articles, notícies, etc.) que arriben a una comunitat, de forma participativa i flexible.
- Premiar els valors de participació de tota la comunitat (democràcia participativa) davant la reputació establerta (democràcia representativa).
- Premiar la rapidesa i la flexibilitat davant el rigor i la transparència en els procediments.
- Treure'n profit dels coneixements de tots els participants ("wisdom of crowds").
- Posar de manifest els punts forts i els punts febles d'un sistema de revisió particular davant d'altres sistemes.

Continua a la pàgina 2

Creative Commons Creative Commons License Deed Reconeixement-No comercial-Sense obres derivades 3.0 EspanyaPàgina: 1| 2
Amb el suport de :
Platoniq

BCC 2008 - Avaluació Col·lectiva

Sistemes d'avaluació de continguts. Càpsula enregistrada al Mercat d'Intercanvi de Coneixements Lliures, organitzat per Platoniq (Barcelona, 2008).

MÉS MEDIA: