Hodnocení příspěvků

Reaguji na Str4wberryho:
V Exploreru 7 hodnotit nejde.

„nebo by bylo lepší to udělat nějak jinak?“
Já si to představoval jako pětihvězdičkové hodnocení (nebo tedy −2, −1, 0, +1, +2) a bez toho, aby lidi viděli stav hodnocení (což mi přijde zavádějící a škodlivé).
Někde jsem si to sepsal už někdy předloni, ale … nějak nevím, kde to je.

Kdo bude mít pravomoc hodnotit příspěvky?

Chamurappi:
„bez toho, aby lidi viděli stav hodnocení (což mi přijde zavádějící a škodlivé)“
Bude lidi bavit udělovat hodnocení, když neuvidí reálné výsledky? Mně by se třeba líbilo, kdybych mohl dobrým hodnocením motivovat autora ke kvalitní práci. Ale kdyby to bylo jen na to, aby to systém nějak zamíchal, zvážil (možná ignoroval) a vytvořil z toho něco úplně jiného na základě tajného algoritmu, to by mě asi moc nelákalo.

Co je kvalitní odpověď? Máme tak značit v každém vlákně ty odpovědi, které vedou k rozuzlení problému (tedy ne žádosti o živé ukázky), nebo mám v průměru denně vybrat jeden nejkvalitnější příspěvek? A nebo se tak mají značit ty opravdu nejpropracovanější, které tu jsou tak dvakrát do měsíce?

Proč rozebíráme vývojářské věci ve vnitřních záležitostech, pokud se týkají všech?
O víkendu snad někde vyhrabu ten texťáček, co jsem kdysi sepsal, a založím veřejné vlákno.

Reaguji na jenikakozaka:
„Bude lidi bavit udělovat hodnocení, když neuvidí reálné výsledky?“
Budou muset věřit, že to k něčemu je. Ačkoliv my sami zatím nevíme, k čemu to bude :-)
Viděl bych to tak, že nejdřív budeme nějakou dobu sbírat data (v ostré verzi) a pak teprve vymyslíme, co s nimi uděláme.

„Mně by se třeba líbilo, kdybych mohl dobrým hodnocením motivovat autora ke kvalitní práci.“
On už je motivovaný sám od sebe, proto odpovídá.
Viditelné výsledky anket motivují lidi k manipulaci, nabízejí jim jiné cíle, než u nás mají teď.

Jinak viz starší debaty:
Hodnocení registrovaných uživatelů
Udílení reputace uživatelům

Ke starším debatám ještě patří začátek Úprav diskuse.

Podle mě by měl být výsledek hodnocení v nějaké podobě viditelný, je to jedna z věcí, proč se to dělá, ne? Ale je podle mě přijatelné zobrazovat je až po nějakém zpracování nebo s menším časovým odstupem.

Alphard:
„je to jedna z věcí, proč se to dělá, ne?“
Ne. Všechny starší návrhy jsem smetl ze stolu právě proto, že chtěli, aby hodnocení bylo vidět.
Bez viditelného hodnocení funguje diskuse ideálně, lidi mají přirozenou motivaci odpovídat a tohle bych nerad naboural honbou za nejvyšší číslo…

Chamurappi:
„a tohle bych nerad naboural honbou za nejvyšší číslo“
Já nemluvím o nejvyšším čísle. Možná by stačilo i jediné označení ve stylu "převažují kladná hodnocení". Záporná se nemusí zobrazovat, vyvážená nebo s málo hlasy také ne, ale když už nějaký příspěvek dostane převážně kladná hodnocení, mělo by to být podle mě vidět. Žádné další stupňování, jak moc je dobrý, jen, že je dobrý.
Je to snad věc, která diskusi nepoškodí, ale zvýrazní skutečně nejlepší odpovědi. Zpětná odezva bude nutná, aby lidé hodnotili, nebudou to dělat jen proto, aby si Chamurappi prohlížel logy. :-)

Jakékoli hodnocení spočívá v tom, že si někdo, jednotlivec nebo kolektiv, udělá o něčem nebo o někom úsudek. Ten se může vztahovat na konkrétní, jedinečnou situaci (třeba na odpověď v diskusi), nebo se může generovat z množiny jednorázových hodnocení a vypovídat celkově, třeba o autorovi, nebo o průměrné kvalitě odpovědí v jednotlivých kategoriích. Zde je třeba si uvědomit, že hodnocení celkové nemusí nutně korespondovat s konkrétní situací, a je vhodné položit si otázku, co je účelem hodnocení.

Účel hodnocení konkrétního příspěvku bych viděl především v tom, že může začátečníkovi pomoct v orientaci, který z příspěvků nejpravděpodobněji pomůže vyřešit jeho dotaz. Více odpovědí v jednom vláknu se nemusí jen doplňovat, mohou být i protichůdné. Celkové hodnocení autora může mít podobný smysl – tam, kde alternativní odpovědi nejsou, nebo kde uživatelé příspěvky nehodnotili, nebo kde žádný příspěvek nevyčnívá.

Řekl bych, že hledáme odpověď přinejmenším na následující otázky:
1a) Chceme hodnotit jednotlivé příspěvky?
1b) Chceme toto hodnocení zveřejnit?
2a) Chceme hodnotit celkově autory?
2b) Chceme toto hodnocení zveřejnit?
3) Lze (chceme) hodnotit autory (také) jinak než přes součet hodnocení příspěvků?
4a) Obáváme se vzniku příznivců a odpůrců „Klubu přátel plovárny v Liberci“? Obáváme se obecně vzniku táborů? Zneužívání možnosti hodnotit k bojůvkám táborů? K sabotážím?
4b) Lze takové problémy řešit nebo jim předcházet, aniž bychom se vzdali myšlenky hodnotit nebo tajili výsledky hodnocení?
4c) Může být tajení výsledků vhodnou prevencí proti zneužívání hodnocení? Pokud ne, k čemu budou elitě zmanipulované výsledky?
5) Podaří se moderátorům nebrát ohled na hodnocení autora, když půjde o vyhození konkrétního příspěvku? Je vůbec žádoucí zůstat zde absolutně nepředpojatý? (Je zde někdo, kdo by se v souvislosti s jedním nejmenovaným nečtenářem-rychlopiscem a odpůrcem diakritiky, začíná na pé, končí na á, považoval za neovlivněného minulostí?) Pokud je žádoucí přistupovat k věcem zásadně nezatížen minulostí, jaký má hodnocení autora přínos pro moderaci?

Osobně si myslím, že hodnocení smysl má a pokud se podaří řešit případná negativa veřejného hodnocení, mělo by být veřejné. Mohli bychom například zachovávat a ukazovat (na rozklik? na hover? v title?) u každého příspěvku i informaci o tom, kdo jak hodnotil – třeba kladně hodnotili: Pepa, Zuzka, Lojza, záporně hodnotili: Lucka, Franta.

Reaguji na Alpharda:
„Možná by stačilo i jediné označení ve stylu "převažují kladná hodnocení".“
Pak se zase bude hnát za nejlepším poměrem příspěvků s kladným hodnocením. Bude-li mít málo času a bude si moct vybrat mezi poraděním někomu, o kom ví, že hodnotí, a poraděním někomu, o kom ví, že nehodnotí, vybere si možná raději toho hodnotícího, aby si vylepšil skóre. Což je zhoršení oproti stávajícímu stavu.

„Je to snad věc, která diskusi nepoškodí, ale zvýrazní skutečně nejlepší odpovědi.“
Nemyslím si, že to je potřeba. Jak jsem již psal, najít řešení uvnitř vlákna není problém (stále tu je v průměru šest příspěvků na vlákno), háček je obvykle v tom, že se nedaří najít to správné vlákno.

Má představa je taková, že hodnocení by skrz příspěvky hodnotilo lidi (z hodnocení lidí by se počítala váha hlasů) a ze společného hodnocení příspěvků a lidí by pak mělo jít vyvodit, která vlákna jsou nejzajímavější. Ta by se mohla někde nějak víc exponovat, jako reprezentativní zajímavé čtivo pro občasné kolemjdoucí i jako lépe dostupná pastva pro vyhledávače.

„Zpětná odezva bude nutná, aby lidé hodnotili“
Zjistíme-li, že to opravdu bez konkrétní viditelné odezvy nejde, tak bych celou funkci raději zrušil. Ale zatím nevěřím, že to nejde.


Reaguji na Str4wberryho:
„nemá smysl se ptát na názor těch, co současný způsob hodnocení nemohou vidět/zkoušet“
Mezi běžnými členy není zrovna málo těch, kdo mají přístup do sandboxu. Neměl bych námitky proti přesunutí tohoto vlákna na světlo.

„nikoliv hvězdičkové (protože má stejně tendenci k využívání převážně krajních hodnot)“
Kdo by chtěl používat jen krajní hodnoty, měl by možnost, kdo ne, ten v tom rozdíl dělat může. Na srazu jsem zmiňoval, že by váha rozdílu mezi +2 a +1 byla určená tím, kolik člověk těchto hodnocení dal. Takže kdo bude dávat jen +2 a nikdy +1, bude v důsledku hodnotit úplně stejně jako ten, kdo by dával jen +1 a nikdy +2. U toho, kdo by dával optimální poměr +2 a +1, by ten rozdíl zřetelný byl. Já bych dával +1 správným odpovědím a +2 výjimečně dobrým odpovědím. Kdybych nebyl moderátor a nemohl mazat, uplatnil bych i rozdíl mezi −1 a −2.

„mně přišlo jako víceméně hotová věc“
Vždy jsem byl proti tomu, aby se hodnocení zobrazovalo. Je mi jasné, že se přímo nabízí „uděláme hodnocení příspěvků, jako je všude jinde“… ale já to, co chceme, beru jako úplně jinou úlohu. S jiným účelem. Nestojím o vášně spojené s potenciálně pozměněnou motivací k diskutování, nevidím v nich absolutně žádný přínos (ani v těch příjemných emocích, které to může vyvolat).

„Že se bude někdo snažit kvalitně odpovídat, aby dostal plus? :–)“
To negativum být může. Podobně jako odměňování ve škole.
Líbivá odpověď nemusí být kvalitní. Bez zveřejnění konkrétních hodnocení nepůjde poznat, jaký druh odpovědí se čtenářům líbí.
Další nevýhoda je, že buď budou mít nové registrovaní uživatelé nulovou sílu hlasu (což bych doporučoval) a nebudou tedy chápat, proč se jejich hlas vůbec neprojevuje, nebo budou mít nějakou malou sílu a vykutálenější individua si zřídí armádu falešných účtů na podporu svých příspěvků.


Reaguji na Petra ZZZ:
1a) ano, 1b) ne, 2a) ne, 2b) ne, 3) ano, 4a) ano, 4b) ne, 4c) ano, 5) podaří, protože hodnocení nebudou znát.

„Více odpovědí v jednom vláknu se nemusí jen doplňovat, mohou být i protichůdné.“
Jenže důvěru si zaslouží ten, kdo umí svoji pravdu lépe obhájit, ne ten, kdo má v komunitě víc kamarádů. Nejsme parlament, o odpovědích nehlasujeme.
Je-li někdo hodnocen negativně, nemusí být chyba na jeho straně a jeho důvěryhodnost by neměla být srážena bez argumentů.

„u každého příspěvku i informaci o tom, kdo jak hodnotil“
Aby si pak Lucka se Zuzkou mohly vyřizovat účty?

Chamurappi:
Jsem také proti tomu, aby se přímo u příspěvku konkrétně ukazovalo, kdo jak hodnotil. Ale zobrazení hodnocení může pomoci v objektivitě tím, že pokud uživatel uvidí, že některý příspěvek získal nezasloužené skóre, může svým hlasem přispět k nápravě.
Chápu, že se obáváš nevýhod veřejného zobrazování. Nikdo z nás nedokáže říct, co ta funkce s diskusí udělá. Ale vidím v tom i pár výhod - viz příspěvky výše.
Nemyslím si, že by zavedení hodnocení muselo být závazné. Dá se třeba lidem předložit s tím, že jde o testovací funkci. Pokud se zjistí, že diskusi neprospívá, dá se skrýt, použít jinak nebo úplně odstranit.

Asi by bylo dobré z hodnocení vyškrtnout Práce a zakázky a Hosting (komerční zájem) a Názor na stránku (tam záleží na osobním pohledu, a víc to tam vře).

Str4wberry, Chamurappi:
Zkusil jsem z posledních dní označit ty příspěvky, které považuji za kvalitní. Počet je asi do pěti příspěvků denně. (Však se můžete kouknout.) Je tohle vaše představa? Nebo jste to mysleli tak, že se člověk vyjádří k většině příspěvků ve vláknech, která prochází? (Je mi jedno, jestli ta stupnice bude tří-, nebo pětistupňová.)

Je vymyšleno, jak budou hodnotit a jak budou hodnoceni nepřihlášení uživatelé?

Reaguji na Str4wberryho:
Omlouvám se, trochu jsem na to pozapomněl. Chodil jsem se sem během víkendu dívat, jestli někdo nereaguje, ale že by mě napadlo podívat se po tom texťáčku, to ne :-)

V podstatě jsem ale asi všechno, co jsem v něm měl napsané, tady zopakoval.
Asi jsem tady nezmínil, že hodnocení lidí by bylo individuální pro jednotlivé kategorie (takže člověk by třeba mohl mít silný hlas v JavaScriptu, ale slabý v PHP).


Reaguji na jenikkozaka:
„pokud uživatel uvidí, že některý příspěvek získal nezasloužené skóre, může svým hlasem přispět k nápravě“
Bude-li mít jeho hlas nulovou sílu, tak uvidí, že se snaží úplně zbytečně. Mají-li mít hlasy různých lidí různou váhu, tak bez zaokrouhlování to skóre ani nebude nijak zvlášť pěkné.
Neřekl bych, že hlas vyprovokovaný nesouhlasem s hlasováním ostatních je zrovna zárukou objektivity. Pětistupňová škála by ztratila smysl, protože by člověk dával maximální hodnocení nikoliv tam, kde se mu odpověď víc líbí, ale tam, kde chce víc převážit hlas ostatních. Mezi nejlepší by to pravděpodobně tlačilo vlákna obsahující konflikty.

„Pokud se zjistí, že diskusi neprospívá, dá se skrýt, použít jinak nebo úplně odstranit.“
Jak konkrétně se to zjistí? Diskuse se změní, někteří lidé můžou odejít, jiní můžou přijít, těžko vysleduješ konkrétní dopady, chybí pro to objektivní měřítka. Nemám obavy z toho, že by diskuse umřela, ale že by se proměnila v jiný (horší) druh diskuse, která by kladla větší důraz na osobnosti a komunitu a menší na fakta a na jejich obhajobu. Po téhle bulvarizační proměně by se pak špatně přecházelo na jiné systémy hodnocení, protože změna by novopečené elitě nevyhovovala.

„Nikdo z nás nedokáže říct, co ta funkce s diskusí udělá.“
Ovšem můžeme si být skoro jisti, že samotný sběr dat od lidí (bez ukazování a zatím i bez vyhodnocování) žádné negativní dopady mít nebude.

„Asi by bylo dobré z hodnocení vyškrtnout […] Názor na stránku (tam záleží na osobním pohledu, a víc to tam vře).“
Někteří lidé píší názory kvalitně, nebál bych se hodnotit i tam (opět za předpokladu, že by hodnocení nebylo vidět). A příspěvky od peta si zaslouží spravedlivé mínusy všude :-)

„Je vymyšleno, jak budou hodnotit a jak budou hodnoceni nepřihlášení uživatelé?“
Těm zřejmě právo hodnotit odepřeme. Tvoří převážně anonymní masu, špatně by se hlídala jejich identita.

Nepřesuneme naši debatu mezi veřejná vlákna?

Reaguji na Str4wberryho:
Minulý víkend jsem se marně koukal po tom texťáčku v počítači, kde jsem myslel, že bude.

„ale mírnější vyhrává“
Děkuji :-)
Vyrobím JS na pohodlnější hlasování.

Více stupňů hodnocení tedy sbírat nebudeme?

Chamurappi:
„Více stupňů hodnocení tedy sbírat nebudeme?“
Pokud by se sbíraly jen dva, možná by stálo za promyšlení, jestli to nepropojit se štítky. Uživatel by mohl použít dva štítky výchozí (kvalitní a nekvalitní odpověď; z nich by se dalo počítat hodnocení) a libovolné množství vlastních tagů, které by se zobrazovaly jen jemu. Výhoda by byla v tom, že by si mohl projít z nějakého seznamu oba typy značení. Štítkování by se mi líbilo, protože je nejobecnější - každý si ho může používat, jak jemu vyhovuje. Teď, když si vytvořím vlastní štítkovač, budu muset dobrý příspevek ohodnotit šipkou, zařídit, aby vlákno bylo mezi sledovanými, a přidat štítek, abych si to nějak utřídil. Třeba by tohle všechno šlo nahradit jen štítky.

Nebo by se do statistik mohla přidat nějaká zmínka o hodnocení. (Stačí celkový počet za celou dobu.) Abych si mohl ověřit, že nejsem jediný, kdo se hodnotit snažil.

„Více stupňů hodnocení tedy sbírat nebudeme?“
Moji představu docela popsal už Str4wberry [#19], více kladných ano, záporný stačí jeden. K těm kladným nadepsat nějakou charakteristiku jednotlivých stupňů, co si pod tím přestavit. Jen tak na okraj, přemýšlím i nad rozsáhlejším hodnocením (řeší problém, excelentní řešení, obsáhle rozepsané, srozumitelné pro začátečníky), ale to už by bylo asi moc složité, spíše veřejné štítkování. Je to spíše na checkboxy než stupňovité hodnocení, netuším, jak to průměrovat, ale chtěl jsem to zmínit.

Chamurappi:
„Nepřesuneme naši debatu mezi veřejná vlákna?“
Nejsem proti, ale nebude potom až moc uživatelů chtít přístup do sandboxu? Byl by problém zobrazit to vlákno jen uživatelům sandboxu?

Reaguji na Chamurappiho [#12]...
„Je-li někdo hodnocen negativně, nemusí být chyba na jeho straně a jeho důvěryhodnost by neměla být srážena bez argumentů.“
Hodnocení typu „líbí–nelíbí“ je už ze své podstaty bez uvádění argumentace, nezávisle na tom, zda je veřejné nebo neveřejné.

„Aby si pak Lucka se Zuzkou mohly vyřizovat účty? “
Osobní výpady se zde snažíme v rámci možností netolerovat a doufal bych, že se to projeví i na celkově nižší hladině averzí a tím i nízké motivaci cíleně někoho shazovat zneužitím mechanismu hodnocení. Myslíš, že se případné přešlapy (kterýmkoli směrem) nedají uhlídat?

...a [#17]
„Nepřesuneme naši debatu mezi veřejná vlákna?“
To bychom mohli.

Jen jeden negativní a víc pozitivních stupňů, jak navrhuje Str4wberry [#19], je zajímavý nápad.

Chamurappi:
„To negativum být může. Podobně jako odměňování ve škole.“
Pěkná přednáška.

K tématu, napadlo mě, že naučit někoho chytat rybu pravděpodobně bude hůř hodnocené, než darovat rybu na zlatém podnose. A když uvážím, že naučit někoho chytat rybu trvá déle, než darovat rybu na zlatém podnose...

Též mi přijde zbytečné sepisovat kvalitní odpověď na nějaké 50× probrané téma, když stačí odkázat, a ta to body asi nebudou.

Petr ZZZ:
„Jen jeden negativní a víc pozitivních stupňů, jak navrhuje Str4wberry [#19], je zajímavý nápad.“
Já hodnotím dost atypicky, pokud je pětibodová škála jako ve škole, tak 1 dávám excelentním článkům, , kvalitním dávám 2, když je to za tři, tak oznámkuji výjimečně (sám nevím proč), 4 dávám, když má článek aspoň hlavu, a pokud má článek jenom patu, tak dávám 5.

Reaguji na margina:
Samozřejmě se lze dopředu domnívat, za co budou nebo nebudou body, zda lidi odpovídají převážně kvůli bodům nebo protože chtějí pomoct nebo z dalších důvodů, zda hraje roli, proč převážně odpovídají a tak dále. Domněnky předcházejí jakémukoli experimentu v jakémkoli oboru, smyslem experimentu je ověřit jejich platnost.

Jestliže hodnotíš atypicky, vlastně sis už odpověděl: podstatou atypického jednání je jeho vzácnost a proto se ve statistice ztratí. Já si sice dovedu představit, že lidí, kteří hodnotí jen mimořádně dobré a mimořádně špatné příspěvky (dotazy, sdělení, podněty, reakce...), bude víc, ale nehodnocení průměru asi ničemu nevadí – průměr potom nevynikne, ale to vlastně odpovídá jeho podstatě.