MJ12bot/v1.4.8 — это веб-краулер (поисковый робот) от компании Majestic .
Что такое MJ12bot?
- Разработчик : Majestic.com — британская компания, создающая индекс для анализа ссылочного графа интернета
- Цель : Сканирование интернета для построения базы ссылок и анализа ссылочной массы сайтов
- Название : «MJ» = Majestic, «12» = основан в 2012 году
- Продукт : Данные используются для сервиса Majestic SEO/Ahrefs и подобных инструментов анализа backlinks
Особенности MJ12bot:
- Агрессивный краулинг — может создавать высокую нагрузку на сервер
- Частые запросы — сканирует сайты интенсивнее, чем Googlebot
- Собирает ссылки — основная цель анализ ссылочной структуры, а не контента
Если создает проблемы:
# В .htaccess — заблокировать MJ12bot
SetEnvIfNoCase User-Agent «MJ12bot» bad_bot
Deny from env=bad_bot
# Или через robots.txt
User-agent: MJ12bot
Disallow: /
Стоит ли блокировать?
- Да, если он перегружает сервер или вам не нужен анализ ссылок
- Нет, если вы используете сервисы анализа ссылочной массы (Majestic, Ahrefs и т.д.)
В ваших логах это просто запись о том, что этот бот посещал ваш сайт — это нормально для большинства сайтов.