Mycket data, massa buzz, obefintlig källkritik. Nyligen släppte Technorati sin rapport State of the Blogosphere 2008 (notera att publikationen inte är tidsstämplad). Många är vi som väntat på detta, eftersom rapportserien legat nere ett tag. Mycket riktigt så pingade och flödade nyheten snabbt ut på webben. Exempelvis har i Sverige Martin Jönsson, betalfa, JMW och många andra bloggat om den.

Så fort jag hörde talas om släppet surfade jag dit. Lite spänd, eftersom jag tyckt att Technoratis tidigare rapporter varit väl fokuserade dels på USA, dels det som just Technorati indexerar. Lite nationellt tänk liksom, dvs världen=USA. Scrollade ner på rapporterns första sida och hittade formuleringen:

”To find out, we conducted a survey from a random sample from more than 1.2 million bloggers who have registered with Technorati”

Det lät ju intressant, 1 200 000 bloggare som underlag – eller? Jag fattade av rapportens inledning att ”blogg” och ”bloggare” var rätt vagt och löst. Liksom att jag började fundera på betydelsen av ”registered with Technorati”. Tror inte att weconverse är registrerad där, men vem vet? Med antennen uppe klickade jag därefter på Technorati’s methodology. Om inte annat för att jag själv undervisat och skrivit om e-metodologi på akademisk nivå (tack Företagsekonomiska institutionen för att ni låter det ligga kvar på er webbplats). Nåväl, Technorati förklarar att dom:

”emailed a survey invitation to a random sample of Technorati registered users around the world. To qualify for the survey, respondents needed to be bloggers over 18 years old. The survey was hosted by Decipher Inc., was in the field from July 28, 2008 through August 4, 2008, and received 1,290 completed responses from 66 countries”

Med andra ord gäller en hel data bara dom som är över 18 år (hur Technorati nu vet det). Det är vidare inte frågan om över en miljon som svarat, utan drygt 1 000 respondenter. Och förmodligen en svarsfrekvens på 0,1 procent (eller ett bortfall på 99,9 procent) [strykning 18:10, förmodligen mycket högre svarsfrekvens, eftersom dom skriver ”random sample of”]. Jag hittar inget om bortfallsanalys, och undrar därför om det kan vara så att många av dom som inte svarat är så stora bloggare att dom helt enkelt inte svarar på e-post. Plus, räknar vi om underlaget lite blir det 19,55 respondenter per land (givet att fördelningen länder emellan är jämn, vilket jag betvivlar). Värre (läs sämre) än TV-tittarmätningarna i Sverige.

Då la jag av. Gav upp. Tänkte, jag struntar i att ta upp deras rapport i olika sammanhang. Men ångrade mig i går när det här med kritisk granskning kom upp på Kunskapens dag. Min poäng när det gäller bristen på källkritik är att det är inget nytt problem (i skolan). Det har det varit länge, utan att någon gjort nåt åt det. Fast jag försöker, och SR:s granskning av fakta bakom Björklunds påståenden är lysande. Vem som helst kunde gjort det för länge sedan. Så det är bäst att jag försöker, fast med Technorati.

Naturligtvis hindrar inte det att Technarotis rapport innehåller massa intressanta data, analyser och slutsatser. Men dom måste sättas i ett sammanhang och tolkas utifrån kvalitén på källan. Och den är bitvis rätt beklaglig tycker jag.

Eller har jag missat nåt? Du har kanske tagit dig tid att studera och reflektera över rapporten i sin helhet. Jag är som vanligt öppen för (mot)kritik.

Inlägget postades tisdag 7 oktober 2008 klockan %H:%M och finns under Okategoriserade, weconverse. Du kan följa kommentarer till detta inlägg via RSS 2.0 flödet. Du kan hoppa till slutet och lämna en kommentar. Pingning är just nu inte tillåtet.