Autor Zpráva
Str4wberry
Profil
Moderátor Petr ZZZ: Příspěvky č. 1 až 21 původně zaslány do moderátorské sekce.


Jelikož jsme se před nějakým časem dohodli, že začneme hodnotit příspěvky, opět jsem tuto možnost sandboxovým uživatelům zapnul.

Na hrubo jsem to nastyloval a zajímaly by mě vaše názory na to, zda jsem se vydal správnou cestou, nebo by bylo lepší to udělat nějak jinak?

(O problémech jako je překrývání tlačítka pro nastavení zdrojového kódu nebo zbytečném natahování jednořádkových příspěvků vím (ukázka). Případné nesrovnalosti napříč prohlížeči také zatím příliš neřešte.)
Chamurappi
Profil
Reaguji na Str4wberryho:
V Exploreru 7 hodnotit nejde.

nebo by bylo lepší to udělat nějak jinak?
Já si to představoval jako pětihvězdičkové hodnocení (nebo tedy −2, −1, 0, +1, +2) a bez toho, aby lidi viděli stav hodnocení (což mi přijde zavádějící a škodlivé).
Někde jsem si to sepsal už někdy předloni, ale … nějak nevím, kde to je.
jenikkozak
Profil
Kdo bude mít pravomoc hodnotit příspěvky?

Chamurappi:
bez toho, aby lidi viděli stav hodnocení (což mi přijde zavádějící a škodlivé)
Bude lidi bavit udělovat hodnocení, když neuvidí reálné výsledky? Mně by se třeba líbilo, kdybych mohl dobrým hodnocením motivovat autora ke kvalitní práci. Ale kdyby to bylo jen na to, aby to systém nějak zamíchal, zvážil (možná ignoroval) a vytvořil z toho něco úplně jiného na základě tajného algoritmu, to by mě asi moc nelákalo.

Co je kvalitní odpověď? Máme tak značit v každém vlákně ty odpovědi, které vedou k rozuzlení problému (tedy ne žádosti o živé ukázky), nebo mám v průměru denně vybrat jeden nejkvalitnější příspěvek? A nebo se tak mají značit ty opravdu nejpropracovanější, které tu jsou tak dvakrát do měsíce?
Str4wberry
Profil
Pravomoc pro sběr dat by mohl mít nejspíš kdokoliv (registrovaný). Důležité bude vyhodnocení, kdy je cílem vytvořit rank jednotlivých uživatelů, které bude později určovat váhu hlasu.

Zkusil jsem to srovnat v tom sedmém Exploreru.
Chamurappi
Profil
Proč rozebíráme vývojářské věci ve vnitřních záležitostech, pokud se týkají všech?
O víkendu snad někde vyhrabu ten texťáček, co jsem kdysi sepsal, a založím veřejné vlákno.

Reaguji na jenikakozaka:
Bude lidi bavit udělovat hodnocení, když neuvidí reálné výsledky?
Budou muset věřit, že to k něčemu je. Ačkoliv my sami zatím nevíme, k čemu to bude :-)
Viděl bych to tak, že nejdřív budeme nějakou dobu sbírat data (v ostré verzi) a pak teprve vymyslíme, co s nimi uděláme.

Mně by se třeba líbilo, kdybych mohl dobrým hodnocením motivovat autora ke kvalitní práci.
On už je motivovaný sám od sebe, proto odpovídá.
Viditelné výsledky anket motivují lidi k manipulaci, nabízejí jim jiné cíle, než u nás mají teď.

Jinak viz starší debaty:
Hodnocení registrovaných uživatelů
Udílení reputace uživatelům
jenikkozak
Profil
Ke starším debatám ještě patří začátek Úprav diskuse.
Alphard
Profil
Podle mě by měl být výsledek hodnocení v nějaké podobě viditelný, je to jedna z věcí, proč se to dělá, ne? Ale je podle mě přijatelné zobrazovat je až po nějakém zpracování nebo s menším časovým odstupem.
Chamurappi
Profil
Alphard:
je to jedna z věcí, proč se to dělá, ne?
Ne. Všechny starší návrhy jsem smetl ze stolu právě proto, že chtěli, aby hodnocení bylo vidět.
Bez viditelného hodnocení funguje diskuse ideálně, lidi mají přirozenou motivaci odpovídat a tohle bych nerad naboural honbou za nejvyšší číslo…
Alphard
Profil
Chamurappi:
a tohle bych nerad naboural honbou za nejvyšší číslo
Já nemluvím o nejvyšším čísle. Možná by stačilo i jediné označení ve stylu "převažují kladná hodnocení". Záporná se nemusí zobrazovat, vyvážená nebo s málo hlasy také ne, ale když už nějaký příspěvek dostane převážně kladná hodnocení, mělo by to být podle mě vidět. Žádné další stupňování, jak moc je dobrý, jen, že je dobrý.
Je to snad věc, která diskusi nepoškodí, ale zvýrazní skutečně nejlepší odpovědi. Zpětná odezva bude nutná, aby lidé hodnotili, nebudou to dělat jen proto, aby si Chamurappi prohlížel logy. :-)
Str4wberry
Profil
Proč rozebíráme vývojářské věci ve vnitřních záležitostech, pokud se týkají všech?

Původně jsem chtěl, ale pak mi došlo, že nemá smysl se ptát na názor těch, co současný způsob hodnocení nemohou vidět/zkoušet.

Provedení + a −, nikoliv hvězdičkové (protože má stejně tendenci k využívání převážně krajních hodnot) a zobrazení hodnocení (aby uživatel měl nějakou motivaci hodnotit) — mně přišlo jako víceméně hotová věc, takže mě nenapadlo, že to bude ještě potřeba probrat.

Neříkám, že nejsou, ale jaká negativa zobrazení hodnocení vidíš? Že se bude někdo snažit kvalitně odpovídat, aby dostal plus? :–)
Petr ZZZ
Profil
Jakékoli hodnocení spočívá v tom, že si někdo, jednotlivec nebo kolektiv, udělá o něčem nebo o někom úsudek. Ten se může vztahovat na konkrétní, jedinečnou situaci (třeba na odpověď v diskusi), nebo se může generovat z množiny jednorázových hodnocení a vypovídat celkově, třeba o autorovi, nebo o průměrné kvalitě odpovědí v jednotlivých kategoriích. Zde je třeba si uvědomit, že hodnocení celkové nemusí nutně korespondovat s konkrétní situací, a je vhodné položit si otázku, co je účelem hodnocení.

Účel hodnocení konkrétního příspěvku bych viděl především v tom, že může začátečníkovi pomoct v orientaci, který z příspěvků nejpravděpodobněji pomůže vyřešit jeho dotaz. Více odpovědí v jednom vláknu se nemusí jen doplňovat, mohou být i protichůdné. Celkové hodnocení autora může mít podobný smysl – tam, kde alternativní odpovědi nejsou, nebo kde uživatelé příspěvky nehodnotili, nebo kde žádný příspěvek nevyčnívá.

Řekl bych, že hledáme odpověď přinejmenším na následující otázky:
1a) Chceme hodnotit jednotlivé příspěvky?
1b) Chceme toto hodnocení zveřejnit?
2a) Chceme hodnotit celkově autory?
2b) Chceme toto hodnocení zveřejnit?
3) Lze (chceme) hodnotit autory (také) jinak než přes součet hodnocení příspěvků?
4a) Obáváme se vzniku příznivců a odpůrců „Klubu přátel plovárny v Liberci“? Obáváme se obecně vzniku táborů? Zneužívání možnosti hodnotit k bojůvkám táborů? K sabotážím?
4b) Lze takové problémy řešit nebo jim předcházet, aniž bychom se vzdali myšlenky hodnotit nebo tajili výsledky hodnocení?
4c) Může být tajení výsledků vhodnou prevencí proti zneužívání hodnocení? Pokud ne, k čemu budou elitě zmanipulované výsledky?
5) Podaří se moderátorům nebrát ohled na hodnocení autora, když půjde o vyhození konkrétního příspěvku? Je vůbec žádoucí zůstat zde absolutně nepředpojatý? (Je zde někdo, kdo by se v souvislosti s jedním nejmenovaným nečtenářem-rychlopiscem a odpůrcem diakritiky, začíná na pé, končí na á, považoval za neovlivněného minulostí?) Pokud je žádoucí přistupovat k věcem zásadně nezatížen minulostí, jaký má hodnocení autora přínos pro moderaci?

Osobně si myslím, že hodnocení smysl má a pokud se podaří řešit případná negativa veřejného hodnocení, mělo by být veřejné. Mohli bychom například zachovávat a ukazovat (na rozklik? na hover? v title?) u každého příspěvku i informaci o tom, kdo jak hodnotil – třeba kladně hodnotili: Pepa, Zuzka, Lojza, záporně hodnotili: Lucka, Franta.
Chamurappi
Profil
Reaguji na Alpharda:
Možná by stačilo i jediné označení ve stylu "převažují kladná hodnocení".
Pak se zase bude hnát za nejlepším poměrem příspěvků s kladným hodnocením. Bude-li mít málo času a bude si moct vybrat mezi poraděním někomu, o kom ví, že hodnotí, a poraděním někomu, o kom ví, že nehodnotí, vybere si možná raději toho hodnotícího, aby si vylepšil skóre. Což je zhoršení oproti stávajícímu stavu.

Je to snad věc, která diskusi nepoškodí, ale zvýrazní skutečně nejlepší odpovědi.
Nemyslím si, že to je potřeba. Jak jsem již psal, najít řešení uvnitř vlákna není problém (stále tu je v průměru šest příspěvků na vlákno), háček je obvykle v tom, že se nedaří najít to správné vlákno.

Má představa je taková, že hodnocení by skrz příspěvky hodnotilo lidi (z hodnocení lidí by se počítala váha hlasů) a ze společného hodnocení příspěvků a lidí by pak mělo jít vyvodit, která vlákna jsou nejzajímavější. Ta by se mohla někde nějak víc exponovat, jako reprezentativní zajímavé čtivo pro občasné kolemjdoucí i jako lépe dostupná pastva pro vyhledávače.

Zpětná odezva bude nutná, aby lidé hodnotili
Zjistíme-li, že to opravdu bez konkrétní viditelné odezvy nejde, tak bych celou funkci raději zrušil. Ale zatím nevěřím, že to nejde.


Reaguji na Str4wberryho:
nemá smysl se ptát na názor těch, co současný způsob hodnocení nemohou vidět/zkoušet
Mezi běžnými členy není zrovna málo těch, kdo mají přístup do sandboxu. Neměl bych námitky proti přesunutí tohoto vlákna na světlo.

nikoliv hvězdičkové (protože má stejně tendenci k využívání převážně krajních hodnot)
Kdo by chtěl používat jen krajní hodnoty, měl by možnost, kdo ne, ten v tom rozdíl dělat může. Na srazu jsem zmiňoval, že by váha rozdílu mezi +2 a +1 byla určená tím, kolik člověk těchto hodnocení dal. Takže kdo bude dávat jen +2 a nikdy +1, bude v důsledku hodnotit úplně stejně jako ten, kdo by dával jen +1 a nikdy +2. U toho, kdo by dával optimální poměr +2 a +1, by ten rozdíl zřetelný byl. Já bych dával +1 správným odpovědím a +2 výjimečně dobrým odpovědím. Kdybych nebyl moderátor a nemohl mazat, uplatnil bych i rozdíl mezi −1 a −2.

mně přišlo jako víceméně hotová věc
Vždy jsem byl proti tomu, aby se hodnocení zobrazovalo. Je mi jasné, že se přímo nabízí „uděláme hodnocení příspěvků, jako je všude jinde“… ale já to, co chceme, beru jako úplně jinou úlohu. S jiným účelem. Nestojím o vášně spojené s potenciálně pozměněnou motivací k diskutování, nevidím v nich absolutně žádný přínos (ani v těch příjemných emocích, které to může vyvolat).

Že se bude někdo snažit kvalitně odpovídat, aby dostal plus? :–)
To negativum být může. Podobně jako odměňování ve škole.
Líbivá odpověď nemusí být kvalitní. Bez zveřejnění konkrétních hodnocení nepůjde poznat, jaký druh odpovědí se čtenářům líbí.
Další nevýhoda je, že buď budou mít nové registrovaní uživatelé nulovou sílu hlasu (což bych doporučoval) a nebudou tedy chápat, proč se jejich hlas vůbec neprojevuje, nebo budou mít nějakou malou sílu a vykutálenější individua si zřídí armádu falešných účtů na podporu svých příspěvků.


Reaguji na Petra ZZZ:
1a) ano, 1b) ne, 2a) ne, 2b) ne, 3) ano, 4a) ano, 4b) ne, 4c) ano, 5) podaří, protože hodnocení nebudou znát.

Více odpovědí v jednom vláknu se nemusí jen doplňovat, mohou být i protichůdné.
Jenže důvěru si zaslouží ten, kdo umí svoji pravdu lépe obhájit, ne ten, kdo má v komunitě víc kamarádů. Nejsme parlament, o odpovědích nehlasujeme.
Je-li někdo hodnocen negativně, nemusí být chyba na jeho straně a jeho důvěryhodnost by neměla být srážena bez argumentů.

u každého příspěvku i informaci o tom, kdo jak hodnotil
Aby si pak Lucka se Zuzkou mohly vyřizovat účty?
jenikkozak
Profil
Chamurappi:
Jsem také proti tomu, aby se přímo u příspěvku konkrétně ukazovalo, kdo jak hodnotil. Ale zobrazení hodnocení může pomoci v objektivitě tím, že pokud uživatel uvidí, že některý příspěvek získal nezasloužené skóre, může svým hlasem přispět k nápravě.
Chápu, že se obáváš nevýhod veřejného zobrazování. Nikdo z nás nedokáže říct, co ta funkce s diskusí udělá. Ale vidím v tom i pár výhod - viz příspěvky výše.
Nemyslím si, že by zavedení hodnocení muselo být závazné. Dá se třeba lidem předložit s tím, že jde o testovací funkci. Pokud se zjistí, že diskusi neprospívá, dá se skrýt, použít jinak nebo úplně odstranit.

Asi by bylo dobré z hodnocení vyškrtnout Práce a zakázky a Hosting (komerční zájem) a Názor na stránku (tam záleží na osobním pohledu, a víc to tam vře).

Str4wberry, Chamurappi:
Zkusil jsem z posledních dní označit ty příspěvky, které považuji za kvalitní. Počet je asi do pěti příspěvků denně. (Však se můžete kouknout.) Je tohle vaše představa? Nebo jste to mysleli tak, že se člověk vyjádří k většině příspěvků ve vláknech, která prochází? (Je mi jedno, jestli ta stupnice bude tří-, nebo pětistupňová.)

Je vymyšleno, jak budou hodnotit a jak budou hodnoceni nepřihlášení uživatelé?
Str4wberry
Profil
Já zatím čekám, až Chamurappi vyhrabe o víkendu texťáček.
Chamurappi
Profil
Reaguji na Str4wberryho:
Omlouvám se, trochu jsem na to pozapomněl. Chodil jsem se sem během víkendu dívat, jestli někdo nereaguje, ale že by mě napadlo podívat se po tom texťáčku, to ne :-)

V podstatě jsem ale asi všechno, co jsem v něm měl napsané, tady zopakoval.
Asi jsem tady nezmínil, že hodnocení lidí by bylo individuální pro jednotlivé kategorie (takže člověk by třeba mohl mít silný hlas v JavaScriptu, ale slabý v PHP).


Reaguji na jenikkozaka:
pokud uživatel uvidí, že některý příspěvek získal nezasloužené skóre, může svým hlasem přispět k nápravě
Bude-li mít jeho hlas nulovou sílu, tak uvidí, že se snaží úplně zbytečně. Mají-li mít hlasy různých lidí různou váhu, tak bez zaokrouhlování to skóre ani nebude nijak zvlášť pěkné.
Neřekl bych, že hlas vyprovokovaný nesouhlasem s hlasováním ostatních je zrovna zárukou objektivity. Pětistupňová škála by ztratila smysl, protože by člověk dával maximální hodnocení nikoliv tam, kde se mu odpověď víc líbí, ale tam, kde chce víc převážit hlas ostatních. Mezi nejlepší by to pravděpodobně tlačilo vlákna obsahující konflikty.

Pokud se zjistí, že diskusi neprospívá, dá se skrýt, použít jinak nebo úplně odstranit.
Jak konkrétně se to zjistí? Diskuse se změní, někteří lidé můžou odejít, jiní můžou přijít, těžko vysleduješ konkrétní dopady, chybí pro to objektivní měřítka. Nemám obavy z toho, že by diskuse umřela, ale že by se proměnila v jiný (horší) druh diskuse, která by kladla větší důraz na osobnosti a komunitu a menší na fakta a na jejich obhajobu. Po téhle bulvarizační proměně by se pak špatně přecházelo na jiné systémy hodnocení, protože změna by novopečené elitě nevyhovovala.

Nikdo z nás nedokáže říct, co ta funkce s diskusí udělá.
Ovšem můžeme si být skoro jisti, že samotný sběr dat od lidí (bez ukazování a zatím i bez vyhodnocování) žádné negativní dopady mít nebude.

Asi by bylo dobré z hodnocení vyškrtnout […] Názor na stránku (tam záleží na osobním pohledu, a víc to tam vře).
Někteří lidé píší názory kvalitně, nebál bych se hodnotit i tam (opět za předpokladu, že by hodnocení nebylo vidět). A příspěvky od peta si zaslouží spravedlivé mínusy všude :-)

Je vymyšleno, jak budou hodnotit a jak budou hodnoceni nepřihlášení uživatelé?
Těm zřejmě právo hodnotit odepřeme. Tvoří převážně anonymní masu, špatně by se hlídala jejich identita.
Str4wberry
Profil
Osobně Chamurappiho pesimismus ohledně viditelných hodnocení nesdílím, ale mírnější vyhrává. Neviditelné hodnocení by nejspíš nemuselo přinést výrazný vedlejší negativní efekt, takže proč to nezkusit.

Jinak na otázky co, jak a kde hodnotit je dost času, než nasbíráme nějaká data, ta můžeme klidně sbírat úplně všechna, podstatné bude až jejich vyhodnocení.
Chamurappi
Profil
Nepřesuneme naši debatu mezi veřejná vlákna?

Reaguji na Str4wberryho:
Minulý víkend jsem se marně koukal po tom texťáčku v počítači, kde jsem myslel, že bude.

ale mírnější vyhrává
Děkuji :-)
Vyrobím JS na pohodlnější hlasování.

Více stupňů hodnocení tedy sbírat nebudeme?
jenikkozak
Profil
Chamurappi:
Více stupňů hodnocení tedy sbírat nebudeme?
Pokud by se sbíraly jen dva, možná by stálo za promyšlení, jestli to nepropojit se štítky. Uživatel by mohl použít dva štítky výchozí (kvalitní a nekvalitní odpověď; z nich by se dalo počítat hodnocení) a libovolné množství vlastních tagů, které by se zobrazovaly jen jemu. Výhoda by byla v tom, že by si mohl projít z nějakého seznamu oba typy značení. Štítkování by se mi líbilo, protože je nejobecnější - každý si ho může používat, jak jemu vyhovuje. Teď, když si vytvořím vlastní štítkovač, budu muset dobrý příspevek ohodnotit šipkou, zařídit, aby vlákno bylo mezi sledovanými, a přidat štítek, abych si to nějak utřídil. Třeba by tohle všechno šlo nahradit jen štítky.

Nebo by se do statistik mohla přidat nějaká zmínka o hodnocení. (Stačí celkový počet za celou dobu.) Abych si mohl ověřit, že nejsem jediný, kdo se hodnotit snažil.
Str4wberry
Profil
Reakce na Chamurappiho:
Vyrobím JS na pohodlnější hlasování.
Potřebuješ na to něco speciálního vracet v JSONu?

Více stupňů hodnocení tedy sbírat nebudeme?
Nevím, možná by se hodnocení „excelentní příspěvek“ hodilo. Když je v tématu několik dobrých odpovědí a jedna ještě lepší, nejde to v současném hodnocení odlišit. Negativní bych řekl, že stačí jedno, protože další stupeň už je vyhození. A to asi nemá smysl zaznamenávat, protože by počet takových záporných hlasů závisel na tom, jak rychle příspěvek moderátor vyhodí.
Alphard
Profil
Více stupňů hodnocení tedy sbírat nebudeme?
Moji představu docela popsal už Str4wberry [#19], více kladných ano, záporný stačí jeden. K těm kladným nadepsat nějakou charakteristiku jednotlivých stupňů, co si pod tím přestavit. Jen tak na okraj, přemýšlím i nad rozsáhlejším hodnocením (řeší problém, excelentní řešení, obsáhle rozepsané, srozumitelné pro začátečníky), ale to už by bylo asi moc složité, spíše veřejné štítkování. Je to spíše na checkboxy než stupňovité hodnocení, netuším, jak to průměrovat, ale chtěl jsem to zmínit.

Chamurappi:
Nepřesuneme naši debatu mezi veřejná vlákna?
Nejsem proti, ale nebude potom až moc uživatelů chtít přístup do sandboxu? Byl by problém zobrazit to vlákno jen uživatelům sandboxu?
Petr ZZZ
Profil
Reaguji na Chamurappiho [#12]...
„Je-li někdo hodnocen negativně, nemusí být chyba na jeho straně a jeho důvěryhodnost by neměla být srážena bez argumentů.“
Hodnocení typu „líbí–nelíbí“ je už ze své podstaty bez uvádění argumentace, nezávisle na tom, zda je veřejné nebo neveřejné.

„Aby si pak Lucka se Zuzkou mohly vyřizovat účty? “
Osobní výpady se zde snažíme v rámci možností netolerovat a doufal bych, že se to projeví i na celkově nižší hladině averzí a tím i nízké motivaci cíleně někoho shazovat zneužitím mechanismu hodnocení. Myslíš, že se případné přešlapy (kterýmkoli směrem) nedají uhlídat?

...a [#17]
„Nepřesuneme naši debatu mezi veřejná vlákna?“
To bychom mohli.

Jen jeden negativní a víc pozitivních stupňů, jak navrhuje Str4wberry [#19], je zajímavý nápad.
margin
Profil *
Chamurappi:
To negativum být může. Podobně jako odměňování ve škole.
Pěkná přednáška.

K tématu, napadlo mě, že naučit někoho chytat rybu pravděpodobně bude hůř hodnocené, než darovat rybu na zlatém podnose. A když uvážím, že naučit někoho chytat rybu trvá déle, než darovat rybu na zlatém podnose...

Též mi přijde zbytečné sepisovat kvalitní odpověď na nějaké 50× probrané téma, když stačí odkázat, a ta to body asi nebudou.

Petr ZZZ:
Jen jeden negativní a víc pozitivních stupňů, jak navrhuje Str4wberry [#19], je zajímavý nápad.
Já hodnotím dost atypicky, pokud je pětibodová škála jako ve škole, tak 1 dávám excelentním článkům, , kvalitním dávám 2, když je to za tři, tak oznámkuji výjimečně (sám nevím proč), 4 dávám, když má článek aspoň hlavu, a pokud má článek jenom patu, tak dávám 5.
Petr ZZZ
Profil
Reaguji na margina:
Samozřejmě se lze dopředu domnívat, za co budou nebo nebudou body, zda lidi odpovídají převážně kvůli bodům nebo protože chtějí pomoct nebo z dalších důvodů, zda hraje roli, proč převážně odpovídají a tak dále. Domněnky předcházejí jakémukoli experimentu v jakémkoli oboru, smyslem experimentu je ověřit jejich platnost.

Jestliže hodnotíš atypicky, vlastně sis už odpověděl: podstatou atypického jednání je jeho vzácnost a proto se ve statistice ztratí. Já si sice dovedu představit, že lidí, kteří hodnotí jen mimořádně dobré a mimořádně špatné příspěvky (dotazy, sdělení, podněty, reakce...), bude víc, ale nehodnocení průměru asi ničemu nevadí – průměr potom nevynikne, ale to vlastně odpovídá jeho podstatě.

Vaše odpověď


Prosím používejte diakritiku a interpunkci.

Ochrana proti spamu. Napište prosím číslo dvě-sta čtyřicet-sedm: