AhrefsBots
På Ahrefs har vi två primära sökrobotar—AhrefsBot och AhrefsSiteAudit—som stödjer vår verktygssvit och våra tjänster. Målet med vår genomsökning är att hjälpa webbplatsägare att förbättra sin närvaro online och samtidigt minimera belastningen på deras servrar och säkerställa ett säkert och transparent genomsökningsbeteende.
Våra sökrobotar
AhrefsBot
- Användaragent-token i robots.txt:
AhrefsBot Följer robots.txt: Ja
Följer fördröjning för sökrobotar: Ja
AhrefsSiteAudit
- Användaragent-token i robots.txt:
AhrefsSiteAudit Följer robots.txt: Ja som standard (webbplatsägare kan begära att inte följa robots.txt på sina webbplatser)
Följer fördröjning för sökrobotar: Ja som standard (webbplatsägare kan begära att inte följa fördröjning för sökrobotar på sina webbplatser)
Cloudflare-verifierad
Både AhrefsBot och AhrefsSiteAudit är erkända som verifierade "goda" sökrobotar av Cloudflare, ett ledande webbskydds- och prestandaföretag.
Verifiering och IP-listor
IP-adresser
Vi genomsöker webbplatser från offentligt publicerade IP-intervall. Du kan hämta våra IP-adresser som IP-intervall eller individuella IP-adresser. Du hittar information om hur man vitlistar våra IP-adresser i hjälpartikeln.
Omvänd DNS
Det omvända DNS-suffixet hos IP-adressens värdnamn är alltid ahrefs.com eller ahrefs.net.
Webbplatsstatus
Du kan kontrollera din webbplats status som den ses av våra sökrobotar och om den kan genomsökas av dem:
Fördelar för webbplatsägare
AhrefsBot indexerar färsk, exakt information om webbplatser och deras innehåll samt hur de länkar till varandra. Denna data är otroligt användbar och kan utnyttjas på många sätt:
- AhrefsBot driver Yep—en oberoende integritetsfokuserad sökmotor. Att vara inkluderad i Yeps index hjälper webbplatsägare att nå en ny publik.
- AhrefsBot levererar data till Ahrefs verktygsuppsättning. Webbplatsägare kan skapa ett kostnadsfritt Ahrefs-webmasterkonto och verifiera domänägande för att låsa upp webbplatsanalys och få tillgång till djupgående data om bakåtlänkar, webbplatsprestationsmått och övervakning av innehållsändringar. Ahrefs erbjuder även en svit av kostnadsfria SEO-verktyg som vem som helst kan använda utan att skapa ett konto.
- AhrefsSiteAudit driver vårt Site Audit-verktyg. Site Audit söker webbplatser efter tekniska och on-page-problem såsom trasiga länkar, långsam prestanda, säkerhetskonfigurationer och SEO-hinder. Genom att söka igenom och rendera sidor hjälper vi till att identifiera förbättringar som kan öka synligheten, laddningshastigheten och den övergripande användarupplevelsen. Ahrefs erbjuder även möjligheten att köra Site Audit gratis på verifierade webbplatser, vilket hjälper webbplatsägare att upptäcka och åtgärda tekniska problem, allt utan någon kostnad
Policyer och åtaganden
Följer Robots.txt
Båda sökrobotarna respekterar robots.txt och både disallow- och allow-regler samt crawl-delay-direktiv. Endast verifierade webbplatsägare kan tillåta AhrefsSiteAudit-sökroboten att ignorera robots.txt på deras webbplatser för att söka efter problem på delar av webbplatsen som normalt inte tillåts att genomsökas.
Crawl-delay följs strikt vid begäran av HTML-sidor vilket säkerställer att vi inte överskrider specifika gränsvärden. Den kan dock inte följas vid rendering av JavaScript. När våra sökrobotar renderar en sida kan de begära flera tillgångar (t.ex. bilder, skript, stilmallar) samtidigt vilket kan resultera i fler begäranden i serverloggar än vad crawl-delay tillåter. Detta beteende efterliknar en riktig användares upplevelse eftersom moderna webbsidor ofta kräver att flera resurser laddas samtidigt för korrekt rendering och funktion.
Cachelagring av tillgångar
Under genomsökningar cachelagrar vi ofta begärda filer (bilder, CSS, JS) för att minimera upprepade hämtningar vilket minskar bandbreddsförbrukningen och serverbelastningen.
Lasthantering
Om vi stöter på icke-200-statuskoder (särskilt 4xx eller 5xx) minskar vi automatiskt vår genomsökningshastighet för webbplatsen. Detta säkerställer minimal belastning på webbplatser som kan uppleva driftstopp eller hög serverbelastning.
Transparenta metoder
Vi förstår att hosting-leverantörer, CDN:er och CMS-plattformar kan vilja hantera hur sökrobotar interagerar med deras kunders webbplatser. Våra offentligt tillgängliga IP-adresser och user-agent-strängar låter dig eller dina tjänsteleverantörer snabbt verifiera legitim Ahrefs-trafik. Vi är engagerade i att vara transparenta om våra sökaktiviteter för att främja förtroende och samarbete. Om du har några frågor kan du kontakta oss på [email protected] så gör vi vårt bästa för att hjälpa dig.
Kontrollera sökrobotens beteende
Vi tillhandahåller tydliga, användarvänliga alternativ för kontroll av våra sökrobotar:
Via Robots.txt
För att ändra frekvensen med vilken AhrefsBot eller AhrefsSiteAudit besöker din webbplats anger du den minsta acceptabla fördröjningen mellan två på varandra följande begäranden i din robots.txt-fil:
(Där Crawl-Delay-värdet är tid i sekunder.)
Om du vill stoppa AhrefsBot eller AhrefsSiteAudit från att besöka din webbplats eller en del av den använder du Disallow-direktivet:
Observera att AhrefsBot kan behöva lite tid för att uppfatta ändringarna i din robots.txt-fil. Detta görs innan nästa schemalagda genomsökning. Verifierade webbplatsägare kan tillåta AhrefsSiteAudit-sökroboten att ignorera robots.txt på deras webbplatser för att kontrollera problem i delar av webbplatsen som normalt inte tillåts att genomsökas.
Om din robots.txt innehåller fel kommer inte våra sökrobotar att kunna känna igen dina kommandon och kommer att fortsätta söka igenom din webbplats på samma sätt som förut. Läs mer om robots.txt på www.robotstxt.org.
Returnerar icke-200-statuskoder för att minska genomsökningshastigheten
Du kan tillfälligt minska genomsökningshastigheten hos AhrefsBot. Detta kan vara användbart vid avbrott eller infrastrukturella förändringar när belastningen på webbplatsen behöver minskas. Genomsökningshastigheten kan tillfälligt minskas genom att returnera 4xx eller 5xx HTTP-statuskoder under avbrottet eller underhållsfönstret. Vår sökrobot kommer att upptäcka dessa fel och dra sig tillbaka automatiskt.
Justering av hastighetsinställningar i Site Audit
AhrefsSiteAudit-sökrobot förhindrar överdriven belastning på webbservrar genom att begränsa genomsökningen till max 30 URL-adresser per minut. Om du är webbplatsägare kan du genomsöka dina egna webbplatser med högre hastighet om du vill få reda på eventuella problem snabbare. För att göra detta behöver du verifiera ditt ägande i Site Audit-verktyget.
Kontakta oss
Om du har problem med hur ofta vi genomsöker eller om du ser misstänkt trafik som du vill bekräfta, kontakta oss på [email protected]. Vi finns här för att hjälpa till att klargöra och lösa eventuella problem.