Wikipediadiskussion:Gemenskapens tekniska önskelista/Automatiserad artikelförbättringsbedömning

När notisen ska visas

Om notisen endast ska visas om kvaliteten har ändrats med minst en nivå, t.ex. från “Rekommenderad artikel” till “Bra artikel” så kommer den visas i kanske 0,01 % av alla redigeringar, dvs arbetet som har lagts ner på att göra finessen är helt bortkastad. De numeriska värdena från API:et måste visas upp, kanske bara med tre eller fyra värdesiffror för att en ny användare ska få någon som helst feedback på sina första redigeringar. ♥Ainali ^diskussion_bidrag 29 mars 2019 kl. 23.22 (CET)

Det jag är lite orolig för är att det kan bli missvisande om man visar för finkorniga värden. Eftersom det rör sig om konfidens finns det risk att liten ändring kan visa ett resultat åt fel håll. Det enda jag har läst om användning av ORES för det här pratar om skillnad i nivå. Vet du om det finns något skrivet om hur det är tänkt att använda värdena man får från API:et? Annars kan jag fråga ORES-folket om det.

Rent tekniskt ser jag inga problem att bygga finessen så att det går att ändra när den ska visas. Det viktiga blir nog att komma på ett sätt att visa värdena som gör det lätt att se vad som har hänt; att bara ge två uppsättningar siffror blir nog svårt att förstå även om man vet vad de betyder. /Sebastian Berlin (WMSE) (diskussion) 2 april 2019 kl. 09.52 (CEST)

På enwp är det annorlunda eftersom klasserna Stub, Start och C alla är lägre nivå än rekommenderad. Det gör att du faktiskt kommer att se förändringar när nybörjare gör en redigering. Istället för att visa två uppsättningar kan man ju visa deltavärdet. Då blir ju det man visar svaret på Hur mycket mer rekommenderad har denna artikel blivit? ♥Ainali ^diskussion_bidrag 2 april 2019 kl. 11.24 (CEST)

Efter att ha funderat lite över det här så tror jag också att det kan vara bra att alltid visa notisen. Jag har plockat bort den punkten ur specen och ersatt med en punkt om att det ska gå att visa att en förändring är för liten för att säga något. Exakt vad tröskeln för detta kan vara och hur det bäst åskådliggörs kommer nog visa sig när finessen börjar användas. /Sebastian Berlin (WMSE) (diskussion) 3 april 2019 kl. 11.01 (CEST)

Vad är kvalitet?

Jag upptäcker detta projekt idag, via blänkare på Bybrunnen. Jag hittar ingen specifikation av vad som i detta fall avses med "kvalitet" och hur den beräknas. Snälla någon hjälp mig att hitta den! --Chandra Varena (diskussion) 10 december 2019 kl. 15.59 (CET)

@Chandra Varena: Här finns en förklaring. ♥Ainali ^diskussion_bidrag 10 december 2019 kl. 19.50 (CET)

Tack @Ainali:. Tyvärr blev jag inte så mycket klokare av detta. Jag undrar till exempel om det anses vara en självklar kvalitetshöjning att lägga in en infobox. Den diskussionen har vi haft ibland, och jag menar att det beror på ämnet och att infoboxar som sådana inte alltid höjer kvaliteten, ibland kanske till och med tvärtom. --Chandra Varena (diskussion) 10 december 2019 kl. 22.21 (CET)

@Chandra Varena: Jag tror inte att det går att säga spiksäkert eftersom att det är en maskininlärd modell. Det beror alltså på hur våra olika artiklar med kvalitetsmärkning ser ut och en slags statistisk modell. ♥Ainali ^diskussion_bidrag 10 december 2019 kl. 23.00 (CET)

@Sebastian Berlin (WMSE): Att bara hänvisa till "ORES-sidan" känns lite tunt. Det har inte bara att göra med att den sidan är skriven på engelska utan att det är otydligt vad som gäller generellt och vad som eventuellt gäller för en specifik språkutgåva, i vårt fall svwp.

• Avsnittet "Article quality"/Inledningen: Säger inte så mycket så det kan vi lämna.
• Avsnittet "Curation support": Ingår detta på något sätt i implementationen för svwp? Troligen inte, avsnittet pratar bara om "English Wikipedia" och modellen draftquality ingår ännu inte i svwp om man får tro detta svar och den här sidan (trots att den inte är uppdaterad på sju månader). Så vi lämnar det kapitlet också.
• Avsnittet "Assessment scale support" är det enda som kvarstår. Där står det "a scale that roughly corresponds to the English Wikipedia 1.0 assessment rating scale". Uppenbarligen har någon bestämt att skalan för svwp ska bestå av följande fyra klasser:
  • Utmärkt artikel (som döljs bakom det kryptiska 'u' i API-svaret)
  • Bra artikel (som döljs bakom det kryptiska 'b' i API-svaret)
  • Rekommenderad artikel (som döljs bakom det kryptiska 'r' i API-svaret)
  • Stub-artikel (som döljs bakom det kryptiska 's' i API-svaret)

De tre förstnämnda är välkända och levande begrepp, men "Stub" verkar mer vara en "restpost", det vill säga där hamnar alla artiklar som inte har någon av de andra tre klasserna. Summan bli ju alltid 1 (=100 procent) i svaret. Om det är så, är kanske inte "Stub." den lämpligaste benämningen att visa för användaren.

Ett API-svar kan få vara lite kryptiskt när det ska tolkas av en maskin, men varför inte komplettera finessen med en förklarande text för 'u', 'b', 'r' och 's' när det visas för människor. Det är också lite osnyggt att dessa presenteras i bokstavsordning ('b', 'r', 's', 'u') när de har en inbördes rankning där 'u' är högst och 's' är lägst.

Någonstans finns naturligtvis "reglerna" för hur 'u', 'b', 'r' och 's' räknas ut med wikisidans text som input. Koden för detta ligger väl med en "öppen licens" någonstans.

• Var kan man läsa dessa regler/denna kod? Är det "function as designed" eller finns det en "specifikation"?
• Finns det något "svwp-unikt" i dessa regler, förutom en lista på kategorier, eller är det bara "engelska (standard)regler"? (versionskoden för articlequality är densamma för svwp som för enwp). Jag gissar att det är artiklarna i respektive kategori ("Utmärkt artikel" etcetera) som står som "role models" för klassificeringarna.
• Hur ofta uppdateras kriterierna/lärandet i ORES baserat på innehållet i de olika kategorierna för utvalda artiklar? Görs det varje gång en artikel läggs till eller tas bort, eller görs det tidsstyrt? Automatiskt eller manuellt? Ges senare artikelklassificeringar högre vikt än klassificeringar som gjort för länge sedan?
• När gjordes den senaste uppdateringen av "lärandet" för svwp? Den informationen kunde gärna få ingå i API-svaret.
• Är det rätt gissat att det är wikikoden med oexpanderade mallar/moduler som används? Eller finns det någon del av reglerna som tar hänsyn till den expanderade "html-koden"? Se kommentaren från Sextvåetc i blänkaren du skrev på Bybrunnen.

Mycket gissningar ovan, men så är det med information. Där den saknas, skapas den!

Hoppas att du kan räta ut några av frågetecknen ovan.

--Larske (diskussion) 13 december 2019 kl. 11.53 (CET)

 Gillar Tack Larske, bra frågeställningar. Voyager85 (diskussion) 13 december 2019 kl. 12.11 (CET)

Denna redigering var enligt det här systemet rent förödande för artikeln. 62 osv (diskussion) 13 december 2019 kl. 12.20 (CET)

ORES verkar gilla storlek även om det är helt död kod. Den här redigeringen ökade "score" från 3.67 till 7.06. Sannolikheten för Stub minskade från 54 till 12 procent, för Rekommenderad ökade från 2 till 6 procent, för Bra från 42 till 75 procent och för Utmärkt från 2 till 8 procent, se resultat, genom att lägga tillbaka anropet av mallen Geobox, som du hade ersatt med Ortsfakta WD, fem gånger (fast helt osynligt så ingen skillnad kan ses i artikeln)...

--Larske (diskussion) 13 december 2019 kl. 13.26 (CET)

Jag tycker jämförelsen med Utvalda artiklar (b/r/u) haltar betänkligt. De här artiklarna tycker jag inte alls har mycket gemensamt med artiklar som brukar få utmärkelser. 62 osv (diskussion) 13 december 2019 kl. 13.45 (CET)

Vad är det för "utmärkelser" (förutom Utmärkt/Bra/Rekommenderad) du tänker på? Om artiklar med sådan(a) utmärkelser går att återfinna på något systematiskt sätt (läs: finns i någon speciell kategori 'x' i svwp) går det kanske att komplettera klasserna (u/b/r) som ORES använder för svwp med denna klass (x) och se över poängviktningen.

--Larske (diskussion) 13 december 2019 kl. 14.10 (CET)

Jag ser det som en risk att låta ett program utgå från de listat kvalitativa artiklarna för att bedöma kvalitet. Detta av flera skäl. Dels är underlaget rätt litet, många artiklar skulle kunna platsa som rekommenderade, bra eller utmärkta men har aldrig blivit anmälda för bedömning. Dessutom, och allvarligare, är att jag ser kvalitet som någonting som framför allt handlar om innehållet. En artikel kan vara strukturerad, ha bilder och tabeller och infoboxar och källhänvisingar men ändå vara dålig eller direkt felaktig vad gäller sitt innehåll. Och tvärtom, en artikel kan vara relevant, balanserad och välskriven, och därmed ha god kvalitet, utan att ha sådana mätbara kännetecken (undantaget källhänvisningar, som måste finnas). --Chandra Varena (diskussion) 13 december 2019 kl. 14.34 (CET)

Det är just Bra/Utmärkt/Rekommenderad jag tänker på. Som det är nu så hamnade den färöiska artikeln i sitt ursprungliga skick i den "bra" kategorin. Men även om man bara räknar wikikod, så finns det, så vitt jag vet, väldigt få "bra" artiklar med så bytes, bilder och källor som den hade då. Det ser snarare ut som det är det gamla måttet på en "icke-stub" (2000 bytes) som anses vara en "bra" artikel här.

Sedan en ren "teknisk" fråga Larske: Är det så att den "tag" du "testade" med i artikeln inte ger upphov till några html-koder? Jag har alltid uppfattat det som att allting finns där. Det är bara det att browsern inte skriver ut det? Just nu använder jag en browser där det inte är så enkelt att navigera i html-koden, så jag har inte kontrollerat nu. 62 osv (diskussion) 13 december 2019 kl. 16.19 (CET)

@Larske: Denne någon är nog jag som i Phabricator angav den enda skalan för kvalitet på artiklar på svwiki som jag känner till (jag kan dock varken ta på mig ära eller ansvar att vi har valt en mindre finmaskig skala än enwiki). Dock tycker jag att det är konstigt att detta inte var uppenbart eftersom att det dels nämns i tredje meningen på sidan detta är en diskussion till dels fanns med i mitt ursprungliga förslag som röstades fram för ett drygt år sedan. ♥Ainali ^diskussion_bidrag 14 december 2019 kl. 09.39 (CET)

@Ainali: Tack för pekarna till diskussioner och till Phabricator. Jag tycker att det är lite knepigt att få något grepp om helheten för detta projekt via Phabricator. Även om man ändrar Phabricator-länken som finns på den här projektsidan från den här (som bara visa "Open Tasks") till den här (som visar "All Tasks") är det en del frågetecken.

Varför är till exempel den task som du initierade i augusti 2018, T202202, klassad som "Backlog" trots att den är "Closed, Resolved"? Och hur kan en task, T238529, vara "Done" trots att den är "Open"?

--Larske (diskussion) 14 december 2019 kl. 11.11 (CET)

Men i övrigt får jag hålla med i diskussionen om att det behövs bättre dokumentation och tydlighet om vad finessen gör här på svenskspråkiga Wikipedia. Jag föreslår att vi skapar en sida Wikipedia:Automatiserad artikelförbättringsbedömning där vi sammanställer hur den fungerar, länkar tillbaka hit som historik, samt kan diskutera förslag på framtida förbättringar (både av själva finessen och den bakomliggande modellen i ORES och som kan länkas från där finessen aktiveras. ♥Ainali ^diskussion_bidrag 14 december 2019 kl. 09.45 (CET)

 Gillar. Vi bör på en sådan sida skilja mycket väl på hur något som finns fungerar och diskussioner om eventuella brister och förbättringsförslag.

--Larske (diskussion) 14 december 2019 kl. 10.21 (CET)

Ja, givetvis bör sidan i sig bara innehålla förklaring om hur den fungerar och den diskussionen (eller undersidor) är mer lämpliga på förbättringsförslag. 14 december 2019 kl. 11.40 (CET)

┌────────────────────────────────────────────────────────────────────────────────────────────────────┘Jag missar nog något fundamentalt här, men exakt hur är den här finessen tänkt att hjälpa mig i ambitionen att förbättra wikipedias artiklar? Jag gör en redigering, sparar, får besked om vad finessen tycker, och utifrån detta förväntas jag - göra vad? Ångra mig ifall jag får underkänt? Och om ändringen gillas, vad har jag då lärt mig? Jag är förbryllad.--Caztorp (diskussion) 14 december 2019 kl. 10.38 (CET)

@Caztorp: Återigen får jag hänvisa till den ursprungliga önskningen där skälet till finessen finns förklarat. Kort sagt, den är inte till för erfarna användare utan för nybörjare. ♥Ainali ^diskussion_bidrag 14 december 2019 kl. 11.36 (CET)

Och om en nybörjare bara kopierar vad jag gör här, utan att följa upp med allt det jag samtidigt gör på WD, så är det de facto en dålig idé. 62 osv (diskussion) 14 december 2019 kl. 11.49 (CET)

Byt ut "jag" mot "en nybörjare". Frågorna gäller fortfarande. Vad ska hen ta till sig av den här flashande rutan? Jag är inte förändringsobenägen, jag vill veta--Caztorp (diskussion) 14 december 2019 kl. 11.59 (CET)

@Caztorp: Och pilotprojektet som jag hänvisar till i önskningen, tillsammans med önskningen, ger inte svar på de frågorna? I så fall kan jag nog inte förklara bättre i text. ♥Ainali ^diskussion_bidrag 14 december 2019 kl. 14.00 (CET)

@Sextvåetc: Precis, utanför skrivstugor med överseende av handledare är den nog inte till mycket hjälp. ♥Ainali ^diskussion_bidrag 14 december 2019 kl. 14.00 (CET)

Och som ett förtydligande om vad jag menar och som en pik till de som lägger in Faktamall Biografi WD en masse, så är det att jag ser till att alla relevanta parametrar är korrekt ifyllda, är källbelagda och har värden på svenska innan jag lägger in en WD-mall. 62 osv (diskussion) 14 december 2019 kl. 14.29 (CET)

Tack för återkopplingen. På WMSE kommer vi inte ha tid att jobba mer med detta innan ledigheterna, men vi kommer att titta på detta igen i 2020. /Sebastian Berlin (WMSE) (diskussion) 17 december 2019 kl. 08.54 (CET)

Avstämning av det aktuella resultatet (version 1) mot det förväntade resultatet

@Sebastian Berlin (WMSE): I avsnittet Wikipedia:Gemenskapens tekniska önskelista/Automatiserad artikelförbättringsbedömning#Förväntat resultat listade du i slutet av mars sju punkter och en brasklapp att dessa punkter "kan komma att förändras under projektets gång", se denna sida.

Har du möjlighet att skriva ett avsnitt Aktuellt resultat i version 1 och där kommentera var och en av punkterna i listan, även den som tagits bort pch eventuella punkter som tillkommit, med en "statusnotering" enligt:

• Helt uppfylld
• Delvis uppfylld (vad?), resten (vad?) planerat till ÅÅÅÅ-MM
• Delvis ändrad (hur?)
• Borttagen (varför?)
• Ej uppfylld och inte längre planerad?
• Var inte ursprungligen planerad, men har tillkommit under projektets gång

eller nåt i den stilen. Att bara ta bort punkter i en lista över förväntat resultat som du gjorde här gör det onödigt svårt för läsaren att hänga med på vad som händer. Bättre att stryka. --Larske (diskussion) 10 december 2019 kl. 17.12 (CET)

Vi befinner oss på den svenskspråkiga versionen av Wikipedia, bör det inte då var självklart med instruktioner på svenska? I just detta fallet är det även klent på engelska. Voyager85 (diskussion) 11 december 2019 kl. 20.42 (CET)

@Larske: nu finns det ett stycke om resultatet. @Voyager85: vilka instruktioner syftar du på? /Sebastian Berlin (WMSE) (diskussion) 13 december 2019 kl. 09.38 (CET)

Jag tror min kommentar hade gjort sig bättre under Vad är kvalitet? tråden ovan. Jag ska omformulera mig och återkomma i tråden ovan. Voyager85 (diskussion) 13 december 2019 kl. 10.58 (CET)

 Gillar Tack Sebastian Berlin (WMSE), då blev det lite tydligare. Jag anser dock att det behövs en bättre beskrivning av hur articlequality bedöms innan punkten "Ge information om hur kvaliteten räknas ut" kan bockas av. Att bara hänvisa till "ORES-sidan" känns lite tunt. Se vidare mitt inlägg i tråden #Vad är kvalitet? ovan.

--Larske (diskussion) 13 december 2019 kl. 11.54 (CET)

 Gillar Tack Larske. Voyager85 (diskussion) 13 december 2019 kl. 12.11 (CET)

Syns knappt

Skärmdump

@Sebastian Berlin (WMSE): JAg vet inte hur det ser ut för andra. Men för mig tenderar den här rutan att täckas över av en annan ruta som säger att "din ändring har sparats" eller något liknande. 62 osv (diskussion) 15 december 2019 kl. 13.02 (CET)

Kan det bero på vilken webbläsare och/eller vilken skärmupplösning man kör. Om man kör Chrome på Win 10, med en upplösning på 1920x1080, så får man först "Din redigering sparades", efter några sekunder dyker betygsrutan upp nedanför den första rutan. Voyager85 (diskussion) 15 december 2019 kl. 17.38 (CET)

Jag har nog större upplösning än så. Jag får dem ovanför varandra, delvis samtidigt. 62 osv (diskussion) 15 december 2019 kl. 20.05 (CET)

@Sextvåetc: Vilken webbläsare använder du? Voyager85 (diskussion) 15 december 2019 kl. 20.36 (CET)

@Sextvåetc: skulle du kunna lägga in en skärmdump på hur det ser ut för dig?

 Utfört Ovan! 62 osv (diskussion) 17 december 2019 kl. 08.46 (CET)

Nej, det där ser ju inte alls bra ut. Verkar som att något gått snett med CSS:en. Vilken webbläsare använder du? /Sebastian Berlin (WMSE) (diskussion) 17 december 2019 kl. 08.58 (CET)

Edge! 62 osv (diskussion) 17 december 2019 kl. 10.23 (CET)

Radera

Det här inlägget är inte att anse som kritik eller en buggrapport. Det är bara en observation om hur programvaran fungerar. Och den fungerar som tänkt, även om det ser märkligt ut.

En observation jag gjort, är att ett inlägg av {{Radera}} inte alls påverkar vilken kvalitet artikeln anses ha. Det är inget konstigt, varken utvalda eller icke-utvalda artiklar har den här mallen. Det går därför inte för programvaran att avgöra om redigeringen var en förbättring eller inte. 62 osv (diskussion) 27 december 2019 kl. 11.22 (CET)

Flytande skala

Algoritmen som ligger bakom denna betygs skalla ger ett alldeles för flytande resultat. Man ser ingen rödtråd. Till exempel då man lägger till en och samma kategori i två nästintill identiska artiklar om två olika personer, är det inte ovanligt att man får ett negativt betyg i den ena artikel och ett positivt betyg i den andra. Man kan till och med lura algoritmen genom att strukturera den Wiki kod som används för tabeller, på olika sätt (utan att det påverkar artikelns utseende). I sin nuvarande form kan jag inte längre se någon nytta med denna funktion. Jag tror också att den i nuvarande form bidrar med mer osäkerhet hos nya skribenter. Voyager85 (diskussion) 20 maj 2020 kl. 14.44 (CEST)

Själv tycker jag att den bra. Att "lura" algoritmen finns det ingen mening med, det är ju inte en tävling. Det är ju främst ett verktyg för en instruktör på en skrivstuga att hjälpa nybörjare på skrivstugan. Gillar du den inte är det bara att slå av, men börja inte argumentera för att ta bort verktyget om du inte har mer på fötterna än spekulationer. ♥Ainali ^diskussion_bidrag 20 maj 2020 kl. 16.21 (CEST)

Jag skrev Nuvarande form. Grund idéen, att hjälpa nybörjare är god. Voyager85 (diskussion) 20 maj 2020 kl. 20.26 (CEST)

Bör nog tillägga att jag baserar min åsikt på 3 till 4000 liknande redigeringar (t.ex. tillägg av kategorier och/eller referenser) sedan mitten av december. Voyager85 (diskussion) 24 maj 2020 kl. 11.07 (CEST)

Har vi någon här som har använt detta verktyg i utbildningssyfte och som kan lägga en positiv spinn på resultatet av mitt följande exempel? Mindre än 5 minuter efter att jag skapat artikel 7092 Cadmus insåg jag att jag missat några uppgifter. Efter att ha utökat artikeln med bland annat några länkar och en kategori, så får artikeln ändå ett lägre betyg än när jag skapade artikeln i föregående redigering. Voyager85 (diskussion) 12 juni 2020 kl. 13.26 (CEST)

Referenser

Ses inte fler referenser som en förbättring av en artikel? Har idag (31 aug 2020) städat bort en död referens och utökat med sju fungerande referenser i artikeln NASA (referenserna är kanske torftigt kodade men artikeln ges iallafall inte automatiskt några dolda åtgärds kategorier kopplade till referenserna). Trots detta ansåg denna funktion att artikeln blivit sämre. Det måste vara svårt för en nybörjare att få ut något vettigt ur denna funktionen, när den bygger på en så nyckfull algoritm. Voyager85 (diskussion) 31 augusti 2020 kl. 11.33 (CEST)

Algoritmen tar inte någon hänsyn till de förändringar som görs i sig. Det som görs är att versionen före får en bedömning, och versionen efter får en bedömning. Den har ju tränats med hjälp av att människor har bedömt hur bra en artikel och den jämför sedan olika likheter. Nu är det svårt att veta exakt vad som orsakar detta, kanske har artiklar med många lika källor bedömts som dåliga av de användare som har hjälpt till att träna algoritmen. Det hela ska helt också ses som en korrelation, inte som ett absolut värde. Det kan man lätt förklara i ett klassrum/skrivstuga, men det verkar vara svårt att förklara det i text. ♥Ainali ^diskussion_bidrag 31 augusti 2020 kl. 20.10 (CEST)

Det är ju bra om denna finess kan glädja någon, men för att starta en diskussion om artikelkvalitet på en skrivstuga kan man väl lika gärna tillämpa metoden stryk under ordet "kvalitet" och diskutera det med dina kamrater på samma sätt som i den här klassikern om matematikpedagogikens utveckling under 1900-talet.

1. En artikel om NASA hade "ORES-score" 6.81 (8 procent Utmärkt, 38 procent Bra och 50 procent Rekommenderad)
2. En ny version av samma artikel där en wikipedian, Voyager85, lagt till sju fungerande referenser fick "ORES-score" 6.55 (5 procent Utmärkt, 22 procent Bra och 71 procent Rekommenderad)
3. Föreslagen åtgärd: Stryk under ordet "kvalitet" och diskutera det med dina skrivstugekamrater!

--Larske (diskussion) 1 september 2020 kl. 20.13 (CEST)

Användande

Finns det någon statistik på hur många användare som använder denna funktion? (historisk trendkurva hade varit fint). Finns det någon statistik på hur många redigerar funktionen används på? Voyager85 (diskussion) 28 september 2020 kl. 10.48 (CEST)

På sidan Finessanvändningsstatistik kan man bara se att det är 38 användare, varav 19 aktiva, som har aktiverat finessen articleQuality.

--Larske (diskussion) 28 september 2020 kl. 13.25 (CEST)