Боти Ahrefs

IP-адреси

Ми скануємо з публічно опублікованих діапазонів IP. Ви можете отримати наші IP-адреси у вигляді діапазонів IP або індивідуальних IP. Інформацію про те, як додати наші IP-адреси до білого списку, можна знайти у статті

Зворотний DNS

Зворотний DNS-суфікс імені хоста IP-адреси завжди ahrefs.com або ahrefs.net.

Статус сайту

Ви можете перевірити статус вашого сайту, як його бачать наші боти, і чи можуть вони його сканувати:

AhrefsBot індексує свіжу, точну інформацію про сайти та їхній контент, а також про те, як вони пов'язані між собою. Ці дані неймовірно корисні, і їх можна використовувати по-різному:

• AhrefsBot забезпечує роботу Yep — незалежної, зосередженої на конфіденційності пошукової системи. Включення в індекс Yep допомагає власникам сайтів досягти нової аудиторії.
• AhrefsBot постачає дані в набір інструментів Ahrefs. Власники вебсайтів можуть створити безкоштовний обліковий запис Ahrefs для вебмайстрів і підтвердити право власності на домен, щоб отримати доступ до аналітики сайту, включаючи доступ до глибоких даних про беклінки, метрики ефективності вебсайту та моніторинг змін контенту. Ahrefs також пропонує набір безкоштовних SEO інструментів, які будь-хто може використовувати без створення облікового запису.
• AhrefsSiteAudit забезпечує роботу нашого інструменту Site Audit. Site Audit перевіряє вебсайти на технічні та внутрішні помилки, як-от пошкоджені посилання, повільна робота, проблеми з налаштуваннями безпеки та недоліки SEO. Скануючи та відтворюючи сторінки, ми допомагаємо виявляти покращення, які можуть підвищити видимість, швидкість завантаження і загальний досвід користувачів. Ahrefs також надає можливість проводити Site Audit безкоштовно на перевірених вебсайтах, допомагаючи власникам виявляти та виправляти технічні помилки без понесення витрат

Дотримання Robots.txt

Обидва боти суворо дотримуються robots.txt на обидві директиви заборони і дозволу, а також директиви crawl-delay. Тільки перевірені власники сайтів можуть дозволити сканеру AhrefsSiteAudit не виконувати robots.txt на своєму сайті, щоб перевірити проблеми в розділах сайту, які зазвичай заборонені для сканування.

Під час запиту HTML-сторінок відбувається суворе дотримання затримки сканування, що гарантує, що ми не перевищимо зазначені обмеження за швидкістю. Проте, це не можна враховувати при відтворенні JavaScript. Коли наші боти відтворюють сторінку, вони можуть одночасно запитувати кілька ресурсів (наприклад, зображення, скрипти, стилі), що може призвести до запитів, які з'являються в журналах сервера частіше, ніж дозволено налаштуваннями затримки сканування. Така поведінка імітує можливості реального користувача, оскільки сучасні вебсторінки часто вимагають завантаження кількох ресурсів одночасно для належного відображення та функціонування.

Кешування активів

Під час сканування ми кешуємо часто запитувані файли (зображення, CSS, JS) для зменшення повторних завантажень, що знижує споживання пропускної здатності та навантаження на сервер.

Управління навантаженням

Якщо ми зустрічаємо коди статусу, відмінні від 200, особливо помилки 4xx або 5xx, ми автоматично зменшуємо швидкість сканування для цього сайту. Це забезпечує мінімальне навантаження на сайти, які можуть зазнавати перебоїв у роботі або високого навантаження на сервер.

Прозорі практики

Ми розуміємо, що провайдери хостингу, CDN та платформи CMS можуть захотіти керувати тим, як боти взаємодіють з сайтами їх клієнтів. Наші загальнодоступні IP-адреси та рядки користувача-агента дозволяють вам або вашим постачальникам послуг швидко перевірити законний трафік Ahrefs. Ми зобов'язуємося бути прозорими у своїй діяльності зі сканування для сприяння довіри та співпраці. Якщо у вас є будь-які питання, зв'яжіться з [email protected], і ми зробимо все можливе, щоб допомогти.