Selecteer een pagina

Een vraag die tegenwoordig veel gesteld wordt is: “Hoe kom ik van die referrer spam af?”

Veel website-eigenaren zien de laatste tijd in de statistieken van hun website vreemde verwijzende sites opduiken als semalt.com, buttons-for-website.com etcetera. Het worden er steeds meer en ze kunnen je statistieken aardig in de war brengen. Ik leg hier uit wat referrer spam is en hoe je ze kunt weren van je site en je statistieken.

Wat is referrer spam?

Referrer spam zijn links die verschijnen in je websitestatistieken bij verwijzende sites (naast verkeer dat bijvoorbeeld via Google en Facebook naar je website komt). Het gaat hier echter niet om echte bezoeken van personen via die sites, maar om bots die je site vaak niet echt bezoeken, maar als doel hebben in je statistieken te staan.

Het lijkt erop dat ze dit doen om verkeer naar hun website te genereren van mensen die nieuwsgierig zijn naar die site waarvan het lijkt dat die zoveel bezoekers naar hun site trekt. Wellicht hopen ze daarmee hun product aan de man te brengen.

Maar misschien doen ze wel meer. Verzamelen ze informatie over je site? Met welk doel? Dat is niet duidelijk, maar dat zou van alles kunnen zijn waar je geen belang bij hebt.

Zijn referrer spam-links te vertrouwen?

Dat lijkt me niet. Voor jou als website-eigenaar zijn ze van geen enkel nut, integendeel. Zoals ik zei weet je niet waarom ze al die sites wereldwijd crawlen. Hun doel is in ieder geval niet om echte bezoekers naar je site te krijgen.

De meest bekende van deze crawlers is Semalt. Volgens hun website is Semalt een SEO-tool. Wanneer je ze zoekt in Google staat erbij dat ze gratis en betaalde SEO services voor je bedrijf hebben. Daarvoor hoef je hun link niet aan te klikken. Maar inmiddels is bekend dat Semalt een heel botnet gebruikt, vandaar ook dat de bezoeken overal ter wereld vandaan kunnen komen. Bovendien gedraagt Semalt zich als een referrer, terwijl het zich zou horen te identificeren als een bot, zoals Google en andere zoekmachines doen. Al met al wekt dit niet veel vertrouwen in de goede bedoelingen van zo’n site.

Op de Semalt-site staat een link die je kunt gebruiken om je af te melden voor hun bezoeken, maar eigenlijk geef je daarmee nog meer informatie weg dan ze al hadden. Bovendien schijnt het dat mensen die dit probeerden juist meer bezoeken kregen van de semalt-crawler.

Meestal lijkt het doel dus om verkeer naar hun site te genereren en misschien hun betaalde producten te verkopen. Maar wie weet of ze ook andere, meer kwaadaardige doelen hebben? Durf jij een link als www.guardlink.org/R21LZ te bezoeken als je die in je statistieken ziet staan? Misschien gebeurt er niks ergs. Maar misschien kom je op een site die malware op je PC installeert. Aangezien referrer spam steeds meer in opkomst is is het denk ik een kwestie van tijd voordat zulke praktijken zullen worden toegepast (als dat niet al gebeurt). Hun links staan in de statistieken van miljoenen sites. Als 1% van de mensen zulke links bezoeken betekent dat een behoorlijk resultaat. Er zullen altijd mensen zijn die dat doen.

Waarom is het erg dat ze in je statistieken staan?

– De gemiddelde bounce-rate van je website gaat omhoog omdat de bounce-rate van de referrer spam meestal 100% is. De bounce-rate geeft aan of een bezoeker heeft doorgeklikt naar een tweede pagina op je site of maar 1 pagina heeft bekeken. Google leidt hieruit af of je site interessant is voor bezoekers. De bounce-rate wil je dus het liefst niet al te hoog hebben.

– Je statistieken kloppen niet meer. Bij referrer spam gaat het niet om echte bezoeken van mensen aan je site, maar om bots. Het echte aantal bezoekers is dan niet meer duidelijk en andere interessante data ook niet. Voor kleinere sites kan dit aantal nep-bezoeken een groot deel innemen van het aantal bezoekers in je statistieken.

referrerspam

Voorbeeld van referrer spam in Google analytics

In dit voorbeeld (van een Tumblr-blog waar ik weinig mee doe, maar die hier als voorbeeld goed van pas komt) vallen een aantal dingen op.

1) Eenzelfde referrer link komt in verschillende varianten terug free-social-buttons.com komt meerdere keren voor met verschillende subdomeinen zoals www2.free-social-buttons.com. Hier kunnen ze oneindig mee doorgaan. Semalt past deze techniek ook toe.

2) Het bouncepercentage is meestal 100%

3) De gemiddelde sessieduur is meestal 00:00:00.

Bij Tumblr kan ik niet bij een htaccess-bestand (wat dat is wordt verderop uitgelegd), maar zou ik de referrer spam uit de statistieken moeten filteren in Google analytics. Dat is niet ideaal. Juist daarom heb ik altijd liever self-hosted websites waar je zelf veel meer mogelijkheden hebt om dingen aan te passen, zie de tutorialserie Website (fotoblog) maken met WordPress.

Waarom niet filteren uit je Google analytics?

Een oplossing die vaak gegeven wordt is het filteren van de referrers uit je Google analytics. Dan zie je ze niet meer en hou je over wat de belangrijke verwijzende sites zijn naar je website en de echte bezoekersaantallen.

Maar op deze manier zijn ze alleen voor jou niet zichtbaar. Google ziet ze wel in je statistieken en telt ze dus mee in de bounce-rate van je website, wat slecht is voor je score in Google (zeker als je concurrenten het beter voor elkaar hebben).

Hierover verschillen de meningen trouwens. Sommige sites stellen dat het geen zin heeft om referrer spam te blocken via htaccess omdat de referrers je site niet echt bezoeken. Deze site stelt dat bijvoorbeeld: http://blog.analytics-toolkit.com/2015/guide-referrer-spam-google-analytics/ Hier staat ook uitleg hoe je referrer spam uit je analytics kunt filteren mocht je dat toch willen.

Andere sites zeggen dat de beste manier om de spam te blocken wel via de htaccess is, bijvoorbeeld https://moz.com/blog/how-to-stop-spam-bots-from-ruining-your-analytics-referral-data. Ik ben het hiermee eens. Na het blokkeren van de links in de htaccess zie je de links niet meer terugkomen in je statistieken. Het heeft dus wel zin en ik heb hierboven uitgelegd waarom dat volgens mij een betere manier is dan een filter in Google analytics.

Referrer spam blocken via htaccess

Alleen voor self-hosted websites, voor bijvoorbeeld WordPress.com heb je deze mogelijkheid niet. Deze methode werkt ook voor Joomla! en andere systemen.

De beste manier om referrer spam te blocken is via het .htaccess bestand. Dit bestandje staat in de hoofdmap van je website. Je kunt erbij via FTP of via het beheerssysteem van je hoster. Dit bestand wordt geladen voordat de website geladen wordt en is een krachtig instrument voor o.a. veiligheidsinstellingen. Ook cache-plugins en security-plugins maken er gebruik van.

Omdat dit bestand geladen wordt vóór de website is dit de beste plek om referrer spam helemaal te weren van je site. Ze krijgen geen toegang meer tot je site en verstoren je Google analytics (of andere statistieken) niet meer. Je zult wel, elke keer dat er een nieuwe opduikt, een regel moeten toevoegen aan je htaccess.

Wanneer het htaccess-bestand nog niet geactiveerd is heet hij “htaccess.txt”. Het bestand moet omgenoemd worden naar “.htaccess” (dus een punt ervoor en geen bestandsextensie erachter). Daarna doet hij pas zijn werk op de server.

Je kunt het .htaccess bestand openen en bewerken met bijvoorbeeld Notepad++.

De enige manier die voor mij goed werkt is door de onderstaande code toe te voegen aan je .htaccess vlak na # END WordPress.

#block referrer-spam
SetEnvIfNoCase Referer semalt.com spammer=yes
SetEnvIfNoCase Referer semaltmedia.com spammer=yes
SetEnvIfNoCase Referer best-seo-offer.com spammer=yes
SetEnvIfNoCase Referer best-seo-solution.com spammer=yes
SetEnvIfNoCase Referer yasni.com spammer=yes
SetEnvIfNoCase Referer buttons-for-website.com spammer=yes
SetEnvIfNoCase Referer buttons-for-your-website.com spammer=yes
SetEnvIfNoCase Referer 7makemoneyonline.com spammer=yes
SetEnvIfNoCase Referer 100dollars-seo.com spammer=yes
SetEnvIfNoCase Referer event-tracking.com spammer=yes
SetEnvIfNoCase Referer videos-for-your-business.com spammer=yes
Order allow,deny
Allow from all
Deny from env=spammer

Je kunt een tekstbestand met deze code hier downloaden.

Voor elke nieuwe referrer spammer voeg je een regel toe SetEnvIfNoCase Referer [referrer-url] spammer=yes ; waarbij je [referrer-url] vervangt door de te blocken link.

Er wordt vaak ook een andere manier genoemd. Deze werkt voor veel mensen ook:

# block referrer-spam
RewriteCond %{HTTP_REFERER} semalt.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website.com [NC,OR]
RewriteCond %{HTTP_REFERER} semaltmedia.com [NC]
RewriteRule .* – [F]

Let goed op de letters achter elke regel, de letters tussen [..], die zijn belangrijk. Elke regel sluit af met  [NC,OR], behalve de laatste. Die sluit af met [NC]. En de eindregel is RewriteRule .* – [F].

Bij beide methodes is het zoals gezegd wel steeds nodig een nieuwe regel toe te voegen wanneer er een nieuwe referrer-spammer opduikt. Je hoeft alleen het hoofddomein te blocken, dus alleen semalt.com is voldoende. Je hoeft niet alle subdomeinen zoals 123.semalt.com en whatever.semalt.com te blocken, die worden automatisch mee tegengehouden.

Als je het in één keer helemaal goed wilt doen kun je de blacklist gebruiken van https://github.com/piwik/referrer-spam-blacklist. Nieuwe referrers zul je nog steeds zelf moeten toevoegen. Ik hou de lijst het liefst zo klein mogelijk en blokkeer een link alleen op het moment dat hij in mijn statistieken verschijnt.

Block referrer spam met een WordPress-plugin

Voor wie niet kan of wil werken in het htaccess-bestand, bijvoorbeeld omdat je geen toegang hebt tot het bestand via FTP of omdat je niet graag in zo’n ingrijpend bestand werkt, zijn er plugins. Ik heb ze niet getest, deze drie lijken goed (ze komen in ieder geval van de wordpress.org plugin directory zelf en zijn geschikt voor de nieuwste versies van WordPress):

Block referral spam

Referrer spam blocker (deze plugin maakt gebruik van de hierboven genoemde blacklist)

SpamReferrerBlock

Het voordeel van deze plugins is dat deze werken met lijsten die automatisch geupdatet worden. Je hoeft dus niet zelf steeds een regel toe te voegen aan je htaccess.

WP-Ban is ook een geschikte plugin Je kunt hiermee bezoekers bannen op ip-adres, maar ook op referrer-link.

Of deze plugins net zo goed werken als een blokkade in de htaccess weet ik niet. Voor mij werkt de htaccess prima, bovendien scheelt dat weer een plugin (hoe minder plugins, hoe beter).

Waaraan herken je een referrer spam link?

Vaak gaat het om rare links waarvan je geen bezoekers naar je website zou verwachten. Bijvoorbeeld freesocialbuttons.com met links in allerlei varianten (zie afbeelding). Verwacht je bijvoorbeeld bezoekers van buttons-for-website.com of van succes-seo.com? Ik niet.

De meeste herken je aan de 100% bounce en 0 seconden bezoektijd.

Semalt in al zijn varianten is bekend. Die kun je zonder meer blocken.
Als je een Nederlandstalige website hebt is het wel makkelijker om ze eruit te pikken. Dan is het duidelijker dat bezoek vanaf een engelstalige url wat apart is.

Bij twijfel kun je altijd de url opzoeken in een zoekmachine (laat daarbij het achterste deel “.com” o.i.d. weg, anders opent die website meteen). Vaak zie je wel resultaten van anderen die de link als referrer spammer aanmerken).
Je zou ook de blacklist erbij kunnen pakken. De link daarvan is net genoemd in dit artikel.

Pas op met het blocken van sites als search.incredibar.com. Dit zijn zoekmachines die mensen geïnstalleerd hebben bij het installeren van software. Er zijn wel echte bezoekers die via zulke zoekmachines komen.

Wanneer je zoekt op “search.incredibar” zul je resultaten zien die uitleggen hoe je die zoekmachine kunt verwijderen uit je browser. Dan gaat het dus niet om referrer spam.

 

Als het goed is ben je na het uitvoeren van een van de bovenstaande tips van die vervelende referrer spam af en kun je je weer richten op het bloggen.

Happy blogging!