KlubbpulsenBot

KlubbpulsenBot hämtar matcher, resultat, nyheter och aktiviteter åt idrottsföreningar som använder Klubbpulsen, så att föreningen kan göra inlägg om sina egna matcher och aktiviteter.

Boten presenterar sig som KlubbpulsenBot/0.1 (+https://klubbpulsen.se/bot)

Vad boten läser

Bara sidor och flöden som en förening själv har lagt in eller pekat ut som sina källor: oftast föreningens egen hemsida, föreningens och lagens sidor hos laget.se, Svenska Lag eller SportAdmin, lagens kalendrar och förbundens seriesidor och tävlingskalendrar (till exempel Profixio, swehockey, Rankedin och förbundens kalendrar för gymnastik, friidrott och simning). Boten går inte runt på nätet på egen hand. Den utgår alltid från en förening och dess hemsida, och letar upp föreningens lag i förbundens tävlingssystem.

En padelhall eller annan förening som har sina aktiviteter på MATCHi kan också lägga in eller peka ut sin egen anläggningssida där (matchi.se/facilities/…). Boten läser då den öppna sidan med föreningens aktiviteter, med samma takt och samma regler för robots.txt som för andra källor. Bokningsschemat läses aldrig.

Klubbpulsen läser också en förenings öppna hemsida när någon anger den på Prova på, eller när vi gör ett förslag till föreningen, för att visa exempel på inlägg. Då läses startsidan, sajtkartan, nyhetsflöden och några sidor om nyheter, kalender och verksamhet, till exempel träningstider, så att även föreningar utan seriematcher får exempel.

  • Bara öppna sidor, aldrig något som kräver inloggning.
  • Vi sparar uppgifter om matcher, nyheter och aktiviteter, som tid, plats, lag, resultat, nivå och antal platser, och en kort sammanfattning. Inte hela sidor.

Takt och robots.txt

  • Boten följer robots.txt, också för nyhetsflöden och kalendrar. Saknas filen läser boten sidan. Går filen inte att läsa väntar boten och försöker igen senare.
  • Ett anrop åt gången per webbplats, med minst en halv sekunds paus mellan anropen i bakgrunden och minst en kvarts sekund när någon väntar på svaret (Prova på). Crawl-delay i robots.txt följs, upp till 10 sekunder.
  • Föreningssidor som ligger hos samma plattform (i dag SportAdmin) räknas som en webbplats: ett anrop åt gången totalt, minst en sekund mellan anropen i bakgrunden och 0,3 sekunder när någon väntar på svaret.
  • Svarar en webbplats 429 väntar boten så länge som Retry-After anger. Vid upprepade serverfel väntar den allt längre, och den försöker aldrig komma runt en spärr.
  • Varje förenings källor läses ungefär en gång per dygn och när föreningen själv ber om det. Efter en match läses resultatsidan några gånger till, tills resultatet finns.
  • Har en förening lagt in sin sida på MATCHi läses sidan igen strax före publiceringen av inlägg om lediga platser och veckans aktiviteter, så att uppgifterna i inlägget stämmer med sidan.

Att robots.txt tillåter boten att läsa en sida betyder inte att vi får återanvända innehållet. Det styr bara hämtningen. Från andras webbplatser använder Klubbpulsen bara sakuppgifter som tid, plats, motståndare och resultat, och skriver texten med egna ord.

Stänga ute boten

Vill du att KlubbpulsenBot inte läser din webbplats? Lägg till det här i robots.txt:

User-agent: KlubbpulsenBot
Disallow: /

Boten läser robots.txt igen inom en timme. Du kan också stänga ute bara en del av webbplatsen, till exempel Disallow: /nyheter/.

Har du frågor, eller vill du att vi slutar läsa din webbplats av något annat skäl? Skriv till oss på klubbpulsen@gmail.com.

Läs mer i vår integritetspolicy och våra villkor.