SportAdmin använder Cookies för att förbättra din användarupplevelse. Genom att klicka på Jag Godkänner tillåter du detta. Här kan du läsa mer om cookies och hur SportAdmin använder dem.
Tyresö Handboll
Föreningen där alla vill vara med!

Henke filosoferar kring Handbollskanalens Report Card
2023-08-15

Det är med anledning av förra (och denna) veckans rapporter från handbollskanalens projekt report cards som du läser denna text. Om du inte har läst dessa nyheter från handbollskanalen så ska jag kort förklara vad tanken med detta projekt är för något, samt hur planen för att utföra projektet tycks ha sett ut. Om du redan har full koll på projektet så kan du strunta i att läsa nästa stycke och hoppa direkt till det tredje.

Handbollskanalens report cards är ett projekt som sjösattes med målet att få en klarare och tydligare bild av hur ”arbetsvillkoren och förutsättningarna utanför handbollsplanen” i de olika klubbarna i respektive handbollsliga (ja, det heter även så för damer numera) ser ut. Utöver detta rent deskriptiva mål så tycks även handbollskanalen ha ett mer förskrivande mål med projektet: ”Vår ödmjuka förhoppning är att det här kan hjälpa till att höja standarden i våra högsta serier genom att få fram ett verktyg där klubbarna kan mäta sig mot varandra även utanför banan”. 1 Metoden som handbollskanalen har valt att tillämpa för att nå (eller närma sig) dessa två mål är en enkätundersökning som har skickats ut till alla spelare (man kan här notera att det kan tyckas vara lite märkligt att inte tränarna eller annan personal i respektive klubb blir tillfrågade då arbetsvillkor och allmänna förutsättningar tycks innefatta dessa människor i lika hög utsträckning) i respektive lag. I denna enkät har spelarna fått svara på frågor från som har kategoriserats i sex kategorier: Service och förmåner, kost och resor, skador och rehab, kvalitet på utbildning och träning, fysiska lokaler, summering och helhetsintryck. Varje kategori innehåller mellan fyra till sju frågor och spelarna förväntas svara på en Likertskala som kvantifierar åsikterna mellan enheterna 1-6, där ”1” representerar åsikten ”väldigt dåligt” och ”6” representerar åsikten ”väldigt bra”. Vad enheterna 2-5 representerar har inte uttryckligen sagts, men man får i nuläget anta att det är något i still med att ”2” = ”dåligt”, ”3” = ”okej”, ”4” = ”neutral” och ”5” = ”bra” (denna skala är i sig själv problematisk eftersom den har ett jämnt antal enheter, och följaktligen kan inte skalan ha en intuitiv och valbar mellanpunkt vilket hade varit möjligt med ett udda antal enheter).

 

Som yrkesutövande lärare i vetenskapsteori och forskningsmetodik, samt allmänt
handbollsintresserad så tänkte jag ta mig friheten att ge viss kritik mot handbollskanalens projekt report cards. Anledningen till att jag vill ge denna kritik är att jag, mot bakgrunden av mitt yrke, anser mig ha någon form av ansvar att rapportera och uppmärksamma när det (i mina ögon) finns goda skäl att tvivla på information som är tänkt att avspegla verkligheten och få oss att handla annorlunda. Med det sagt så vill jag också understryka att jag inte är emot handbollskanalens initiala tanke med report cards, men utförandet hade kunnat genomföras med större precision.

 

Min kritik kan sammanfattas under två huvudsakliga poänger, där den ena har att göra med metoden för projektet och den andra har att göra med presentationen av datan. Jag har valt att ta upp två saker som jag känner är mest problematiska under respektive rubrik. Låt oss börja med metoden.


Metoden
Det är uppenbart att handbollskanalen med report cards har velat ta en större ansats mot en mer grundligare undersökning som (mer eller mindre) baseras på forskningsmetoder. Som kontrast till en sådan ansats kan man ha i åtanke vanliga typer av intervjuer som man hade kunnat göra med en spelare från respektive lag för att enkelt höra vad dessa ansåg om ämnet i fråga. Men här har alltså handbollskanalen ett större mål i sikte: Man vill kunna observera något om de olika lagen och dess miljö på mer generell nivå. Alltså vill man kunna – återigen till skillnad från om man endast hade intervjuat en enstaka person – dra mer generella slutsatser om respektives lags arbetsvillkor och förutsättningar. Alla vet att en enstaka spelares individuella åsikter är av föga betydelse för att sådana typer av slutsatser, och därför hade det ej varit rättfärdigat att dra slutsatser på lag- eller klubbnivå baserat på sådan data.

 

Men med större ambitioner och användandet av mer sofistikerade (forsknings)metoder krävs även en högre kunskap om hur dessa metoder ska tillämpas relativt det mål man vill nå. Det första och mest uppenbara metodproblemet med report cards är att endast en delmängd av den insamlade datan används för att generera den slutgiltiga ”poängen” eller ”resultatet”. När en tillräckligt stor mängd av spelare från ett lag hade svarat på handbollskanalens enkät (7 för att vara exakt) fick man in en fördelning av rapporterade åsikter på den ovan nämnda Likertskalan (från 1 ”väldigt dåligt” – 6 ”väldigt bra”). Låt oss nu anta att ett lag – THW Kiel – hade 10 spelare som på en given fråga inom en 1 given kategori gav svar enligt fördelningen, 1 = 1 st., 2 = 2 st., 3 = 2 st., 4 = 2 st., 5 = 2 st. och 6 = 1 st. Alltså en helt jämn fördelning. Vad handbollskanalen då gjorde var att endast räkna spelarna som gav åsikterna som representerades av enheterna 5 och 6, vilket i THW Kiel var 3 st. spelare av 10. Det genererade sedan en ”poäng” som hade skrivits till ”30%” eftersom 30% av THW Kiels deltagare (10 st.) hade åsikterna som matchade mot betygen ”5” eller ”6”.


Problemet med detta är ganska uppenbart, men dessvärre fullständigt förödande. Om istället ett annat lag – BK Ydun – också hade 10 st. som svarade på samma givna fråga inom samma givna kategori, men istället hade fördelningen 1 = 5 st., 2 = 0 st., 3 = 0 st., 4 = 0 st., 5 = 0 st. och 6 = 5 st., så hade BK Ydun fått ett högre ”resultat” än THW Kiel i den givna kategorin. Men i själva verket är det långt från uppenbart att BK Yduns resultat speglar att det finns bättre arbetsvillkor för BK Ydun än för THW Kiel. Även om det är fler som är väldigt nöjda i BK Ydun så är det samtidigt förundrande att så många fler är missnöjda, hur kommer det sig? Att endast jämföra lagen i den ena riktningen av datan säger inte mycket om arbetsvillkoren och förutsättningarna om man inte samtidigt tar hänsyn till datans andra riktning. Om jag är intresserad av temperaturskillnaden mellan Sverige och Norge på ett år så är det inte meningsfullt att bara räkna dagarna då temperaturen är över 20 grader i båda länderna, räkna
vilket land som hade flest sådana dagar och sedan ungefär säga ”Norge är generellt ett varmare land”. Och om du skulle anse att exemplet ovan mellan THW Kiel och BK Ydun inte utgör ett så tydligt motexempel, så kan du istället tänka på vad resultatet hade varit om respektive lags fördelning istället hade varit:
THW Kiel. 1 = 9 st., 2 = 0 st., 3 = 0 st., 4 = 0 st., 5 = 0 st. och 6 = 1 st.
BK Ydun. 1 = 0 st., 2 = 0 st., 3 = 0 st., 4 = 10 st., 5 = 0 st. och 6 = 0 st.


Utöver själva hanteringen av den insamlade datan så finns det också skäl att vara skeptisk mot medlen som samlade in datan, i det här fallet alltså enkätfrågorna. I utformandet av en enkät så måste man varje fråga noggrant tänkas ut innan man skickar iväg enkäten. Varje fråga måste dels (i) kunna identifiera det som frågan är avsedd att identifiera, och (ii) endast identifiera det som frågan är avsedd att identifiera. Alltså, om jag är intresserad av människors åsikter om päron så bör jag inte ställa frågor i stil med ”är det någon särskild frukt som du gillar?” eftersom en sådan fråga skulle misslyckas med punkt (ii).


Handbollskanalens frågor brister ibland på denna punkt i min åsikt, och här följer några exempel. Under rubriken ”skador och rehab” finns exempelvis frågorna ”Hur bra tycker du att klubben är på att erbjuda behandling av vid skador etc?”, ”Hur bra tycker du att stöttningen från klubben är när du har varit skadad?”, ”Hur bra tycker du att ledarna är på att lyssna på dig och dina behov när det gäller skador, sjukdom etc?”, ”Hur bra tycker du att ledarna är på att hantera skador (hur du blir behandlad när du är skadad, hur kommunikationen ser ut etc)?”. 2 Dessa frågor är sammantaget problematiska eftersom det inte är uppenbart vad skillnaden mellan vissa frågor är för något (om det är det). Vad är det egentligen för skillnad mellan hur väl ledare hanterar en spelares skador och sjukdomar och hur väl de lyssnar på spelaren när denne har skador och sjukdomar? Är inte det tidigare ofta en konsekvens av det senare? Om det i alla fall ofta är på det viset så kommer det resultera i att en spelare som fullt sanningsenligt rapporterar en positiv (eller negativ) attityd på den senare frågan också bör ge samma betyg på den tidigare frågan.


Även frågorna angående klubbens behandling och stöttning kring skador är flertydiga och kan tolkas väldigt olika av respondenterna. När jag själv läste dessa frågor tänkte jag först att frågan om ”stöttning” avsåg former av samtal och psykologisk stöttning, medan frågan om ”behandling” avsåg mer fysisk eller klinisk behandling. Men under kategorin ”summering och helhetsintryck” finns även frågan ”Hur bra tycker du att klubbens arbete med psykisk hälsa (förebyggande och stöd) är?” vilket väcker frågetecken kring vad ”stöttning” under skaderubriken egentligen syftar på. Återigen, en sanningsenlig rapporterad attityd på den ena frågan bör sammanfalla med attityden på den andra frågan.


Problemet med flertydiga frågor i en enkät är att man inte kan vara säker på att frågorna uppfyller kriterierna (i) och (ii), vilket i sin tur ökar sannolikheten för att de rapporterade svaren är konsekvenser av andra saker än det man är intresserad av att observera. Denna risk, tillsammans med det tidigare nämna metodproblemet av datadelmängder samt att antalet frågor i varje kategori är olika många (från 4 till 7), ökar sammantaget risken ännu mer.

 

Presentationen
Nog om problem om hur resultaten har genererats, jag ska inte orda mer om det. Däremot är det viktigt att presentera resultaten (oavsett om de är tillförlitliga eller ej) på ett så objektivt sätt som möjligt.


Denna poäng kan tyckas vara trivial, men här är det enligt mig viktigt att tänka på i vilket
sammanhang och kontext statistiken är tänkt att läsas. Jag skulle gissa att många av
handbollskanalens läsare enkelt tittar på bilderna av dem rapporterade resultaten (kanske till och med lite hastigt i mobilen på väg till jobbet) utan att ta sig längre tid och faktiskt genomgående läsa igenom hur resultaten är genererade. Handbollskanalens beskrivningar av resultaten från report cards ser ut så här för alla respektive lag i både dam- och herrhandbollsligan: https://handbollskanalen.se/handbollsligan/report-cards-ik-savehof-dam/. Notera hur färgkodningen med en skinande grön färg ger intrycket av att ”allt är frid och fröjd” för IK Sävehofs damlag i rapporteringen av ”hela enkäten”, medan det samtidigt ger intrycket av ”stora problem” genom en stark orange färg för Kristianstad HK.

 

I ljuset av vad jag har sagt angående metodproblemen är det i min åsikt ganska oansvarigt att presentera siffrorna på det här sättet då det lätt kan få en att tro att ”allt verkar inte stå helt rätt till hos Kristianstad HK”, när det i själva verket är opålitliga siffror. Dessutom bör man lägga märke till att även om man väljer att rapportera resultaten med en färgkodning på detta sätt så bör hela skalan inkluderas och respektive klubb markeras på denna skala. Alltså, den grönaste färgen bör representeras av ”100%” och den mest orangea (eller röda) av ”0%” (och detta helt oberoende av hur siffrorna faktiskt har tagits fram). Således hade inte IK Sävehofs resultat varit lika grönt (även om det var mest grönt i jämförelse med andra lag) och Kristianstad HK:s resultat inte lika kritiskt.

 

Nåväl, med denna kritik får man inte tro att jag är fullständigt emot handbollskanalens engagemang och ambitioner. Tvärt om, jag tycker det är på sin plats att projekt som report cards initieras i svensk handboll. Men då måste det göras väl. Annars är risken stor att man – vilket även händer inom vetenskap – drar felaktiga slutsatser.


Hör av dig om du har frågor eller vill diskutera ärendet vidare.


Vänliga hälsningar,
Henrik Lundvall


Nyhetsarkiv
Börja spela handboll2023-10-06 17:50
Extrainsatt Årsmöte2023-08-15 09:08
Tack Hanna!2023-03-27 17:59
2023-03-13 10:54
F14 gruppetta i USM!2023-02-08 13:55
Tyresö - Vinslöv2023-02-04 07:00
Tyresö - AIK2023-02-02 23:00
F16 spelar USM 19.302023-01-21 17:02
Tyresö - Boden2023-01-20 08:00
Tyresö - IFK Örebro2023-01-13 08:25
2022-12-10 11:49
2022-12-10 11:38
2022-12-10 11:38
P14 USM Steg 22022-11-26 01:00
JA MÅ VI LEVA!2022-11-11 16:21
P18 inleder USM Steg 22022-11-10 20:37
Skadevi2022-11-03 10:00
P16 i helgens USM2022-10-27 23:00
P16 avslutade USM Steg 12022-10-27 18:51
USM P16 22-23 oktober2022-10-17 22:35
Hemmapremiär! 2022-09-14 14:00
Test2022-09-01 10:38
Mot Partille Cup 20222022-07-04 12:22
Finalspel i USM för P182022-04-06 10:07
USM Steg 4 - F16 och P142022-03-24 11:14
Hejdå restriktioner!2022-02-09 23:20
USM steg 3 är igång!2022-01-28 16:42
Äntligen läger!2021-08-21 17:48
Lansering av webshop,2021-08-13 12:10
2021-08-12 15:12
Gräsroten,2021-06-12 18:19
Nyheter inför sommaren2021-06-07 19:14
 
Huvudsponsorer
Materialsponsorer
Resesponsorer