Ahrefs Bots
Bij Ahrefs werken we met twee primaire webcrawlers—AhrefsBot en AhrefsSiteAudit—om onze reeks van tools en diensten te ondersteunen. Het doel van onze crawling is om site-eigenaren te helpen hun online aanwezigheid te verbeteren, terwijl de belasting op hun servers minimaal blijft en veilig en transparant crawlgedrag gegarandeerd is.
Onze bots
AhrefsBot
- User-agenttoken in robots.txt:
AhrefsBot Gehoorzaamt robots.txt: Ja
Gehoorzaamt robots.txt: Ja, standaard (website-eigenaren kunnen vragen om robots.txt op hun sites te negeren)
AhrefsSiteAudit
- User-agenttoken in robots.txt:
AhrefsSiteAudit Gehoorzaamt robots.txt: Ja, standaard (website-eigenaren kunnen vragen om robots.txt op hun sites te negeren)
Gehoorzaamt crawlvertraging: Ja, standaard (website-eigenaren kunnen vragen om crawlvertraging op hun sites te negeren)
Cloudflare geverifieerd
Zowel AhrefsBot als AhrefsSiteAudit worden erkend als verifieerde "goede" bots door Cloudflare, een toonaangevend bedrijf op het gebied van webbeveiliging en prestaties.
Verificatie en IP-lijsten
IP-adressen
We crawlen vanaf openbaar gepubliceerde IP-bereiken. Je kunt onze IP-adressen opvragen als IP-bereiken of als individuele IP's. Informatie over hoe je onze IP's kunt toestaan is te vinden in het hulpartikel
Reverse DNS
Het reverse DNS-suffix van de hostnaam van de IP's is altijd ahrefs.com of ahrefs.net.
Websitestatus
Je kunt de status van je website controleren zoals deze door onze bots wordt gezien en of het door hen kan worden gecrawld:
Voordelen voor site-eigenaren
AhrefsBot indexeert nieuwe, accurate informatie over websites en hun content en hoe ze naar elkaar linken. Deze data zijn ongelofelijk waardevol en kunnen op veel manieren worden benut:
- AhrefsBot drijft Yep aan—een onafhankelijke, privacygerichte zoekmachine. Opname in de index van Yep helpt site-eigenaren om een nieuw publiek te bereiken.
- AhrefsBot voert gegevens in de Ahrefs-toolset in. Website-eigenaren kunnen een gratis Ahrefs-webmasteraccount aanmaken en domeineigendom verifiëren om toegang te krijgen tot site-analyse, inclusief diepgaande backlinkgegevens, prestatietrends van de website en monitoring van contentveranderingen. Ahrefs biedt ook een reeks gratis SEO-tools aan die iedereen kan gebruiken zonder een account aan te maken.
- AhrefsSiteAudit drijft onze Site Audit-tool aan. Site Audit controleert websites op technische en on-page problemen zoals gebroken links, trage prestaties, beveiligingsmisconfiguraties en SEO-valkuilen. Door pagina's te crawlen en weer te geven, helpen we verbeteringen te identificeren die zichtbaarheid, laadsnelheid en de algemene gebruikerservaring kunnen vergroten. Ahrefs biedt ook de optie om Site Audit gratis uit te voeren op geverifieerde websites, zodat site-eigenaren technische problemen kunnen ontdekken en oplossen, zonder extra kosten
Beleid en verplichtingen
Robots.txt respecteren
Beide bots respecteren robots.txt strikt op zowel disallow- als allow-regels, evenals crawl-delay-richtlijnen. Alleen geverifieerde site-eigenaren kunnen de AhrefsSiteAudit-crawler toestaan robots.txt op hun site te negeren, zodat ze problemen kunnen controleren op de secties die normaal niet gecrawld mogen worden.
Crawlvertraging wordt strikt nageleefd bij het aanvragen van HTML-pagina's, wat ervoor zorgt dat we niet de gespecificeerde snelheidslimieten overschrijden. Echter, het kan niet worden nageleefd bij het renderen van JavaScript. Wanneer onze bots een pagina renderen, kunnen ze gelijktijdig meerdere assets (bijvoorbeeld afbeeldingen, scripts, stylesheets) aanvragen, wat kan resulteren in frequente verzoeken in serverlogs dan toegestaan door de instelling voor crawl-vertraging. Dit gedrag imiteert de ervaring van een echte gebruiker, aangezien moderne webpagina's vaak meerdere resources vereisen om in één keer geladen te worden voor een goede rendering en functionaliteit.
Assets in cache plaatsen
Tijdens het crawlen cachen we vaak opgevraagde bestanden (afbeeldingen, CSS, JS) om herhaalde aanvragen te minimaliseren, wat het bandbreedtegebruik en de serverbelasting vermindert.
Belastingsbeheer
Als we non-200 statuscodes tegenkomen, met name 4xx- of 5xx-fouten, dan verlagen we automatisch onze crawlsnelheid voor die site. Dit zorgt voor minimale belasting op sites die mogelijk storingen of een hoge serverbelasting ervaren.
Transparante praktijken
We begrijpen dat hostingproviders, CDN's en CMS-platforms willen weten hoe bots omgaan met de websites van hun klanten. Onze openbaar beschikbare IP-adressen en user-agent strings stellen jou of je dienstverleners in staat om snel legitiem Ahrefs-verkeer te verifiëren. We zetten ons in voor transparantie met betrekking tot onze crawlingactiviteiten om vertrouwen en samenwerking te bevorderen. Als je je zorgen maakt, neem dan contact met ons op via [email protected] en we zullen ons best doen om te helpen.
Het gedrag van bots controleren
We bieden duidelijke, gebruiksvriendelijke opties om onze bots te beheren:
Via Robots.txt
Specificeer gewoon de minimale acceptabele vertraging tussen twee opeenvolgende verzoeken in je robots.txt-bestand om de frequentie waarmee AhrefsBot of AhrefsSiteAudit jouw site bezoekt aan te passen:
(Waar Crawl-Delaywaarde tijd in seconden is)
Als je wilt voorkomen dat AhrefsBot of AhrefsSiteAudit je site of een deel ervan bezoeken, gebruik dan Disallow-richtlijnen:
Houd er rekening mee dat AhrefsBot wat tijd nodig heeft om de aanpassingen in je robots.txt-bestand door te voeren. Dit gebeurt voor de volgende geplande crawl. Geverifieerde site-eigenaren kunnen de crawler van AhrefsSiteAudit toestaan robots.txt op hun site te negeren, zodat ze problemen kunnen controleren op de secties die normaal niet gecrawld mogen worden.
En als je robots.txt fouten bevat, zullen onze bots jouw commando's niet kunnen herkennen en zullen ze jouw website blijven crawlen zoals ze eerder deden. Lees meer over robots.txt op www.robotstxt.org.
Non-200 statuscodes retourneren om crawlsnelheid te verlagen
Je kunt tijdelijk de crawlsnelheid van AhrefsBot verlagen. Dit kan nuttig zijn bij storingen of infrastructurele veranderingen wanneer de belasting van de site moet worden verminderd. Tijdelijk de crawlsnelheid verlagen kan door 4xx of 5xx HTTP-statuscodes te retourneren voor de duur van een storing of onderhoudsperiode. Onze bot zal deze fouten detecteren en automatisch verminderen.
Snelheidsinstellingen in Site Audit aanpassen
AhrefsSiteAudit-bot voorkomt overmatige belasting van websiteservers door crawling te beperken tot maximaal 30 URL's per minuut. Als je een website-eigenaar bent, kun je zelf je eigen sites op hogere snelheden crawlen als je sneller op de hoogte wilt zijn van siteproblemen. Hiervoor moet je het eigenaarschap in de Site Audit-tool verifiëren.
Neem contact met ons op
Als je je zorgen maakt over hoe vaak we crawlen of als je verdacht verkeer wilt bevestigen, neem dan contact op via [email protected]. We staan klaar om eventuele problemen op te helderen en op te lossen.