Форум web-мастеров phpBB3

Модификации и расширения phpBB




Ответить на тему
Пред. тема | След. тема 
Автор Сообщение
Admin
Аватара пользователя

Карма
29
Стаж: 6 лет 8 месяцев
Сообщения: 332
Россия

Ответить с цитатой

Поисковые роботы Yandex, Google, Yahoo, Rambler, Mail.ru, Microsoft Bing, Aport, Webalta

Поисковой робот или в англоязычном выражении краулер (от англ. crawler) - программа, являющаяся частью поисковой системы, которая сканирует страницы Интернет сайтов, скачивает их и заносит в базу поисковой системы. По своей сути краулер больше всего напоминает обычный браузер. Он сканирует содержимое страницы, сохраняет его на сервер поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Часто вебмастера сталкиваются с вопросом о юзер-агенте (User-agent) ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту.

Индексирующие роботы
User-agent: Yandex — основной робот Яндекса
User-agent: Googlebot — основной робот Google
User-agent: StackRambler — поисковый робот Рамблера
User-agent: Aport — поисковый робот Апорта
User-agent: Slurp — поисковый робот Yahoo!
User-agent: MSNBot — поисковый робот MSN
User-agent: ia_archiver — робот Alexa

Диапазоны IP-адресов поисковых роботов

Название а Диапазон IP-адресов Сети
Yandex
77.88.22.0 – 77.88.23.255 (77.88.0.0/18)
87.250.224.0 – 87.250.255.255 (87.250.224.0/19)
93.158.128.0 – 93.158.191.255 (93.158.128.0/18)
95.108.128.0 – 95.108.255.255 (95.108.128.0/17)
213.180.214.128 – 213.180.214.255 (213.180.192.0/19)
Наиболее активный робот: 87.250.255.243

Google
64.68.80.0 – 64.68.87.255 (64.68.80.0/21)
64.233.160.0 – 64.233.175.255 (64.233.160.0/19)
66.102.0.0 – 66.102.15.255 (66.102.0.0/20)
66.249.64.0 – 66.249.95.255 (66.249.64.0/19)
72.14.192.0 – 72.14.255.255 (72.14.192.0/18)
209.85.128.0 – 209.85.255.255 (209.85.128.0/17)
216.239.32.0 – 216.239.63.255 (216.239.32.0/19)
Наиболее активный робот: 66.249.65.141

Yahoo
67.195.0.0 – 67.195.255.255 (67.195.0.0/16)
69.147.64.0 – 69.147.127.255 (69.147.64.0/18)
72.30.64.0 – 72.30.255.255 (72.30.0.0/16)
74.6.0.0 – 74.6.255.255 (74.6.0.0/16)
Наиболее активный робот: 74.6.68.152

Ramlber
81.19.64.0 – 81.19.66.255 (81.19.64.0/19)
Наиболее активный робот: 81.19.66.8, 81.19.66.77 и 81.19.66.115

Mail.ru
94.100.176.0 – 94.100.183.255 (94.100.176.0/20)
94.100.181.128 – 94.100.181.255 (94.100.181.128/25)
195.239.211.0 (195.239.211.0/24)
Наиболее активный робот: 94.100.176.20 и 94.100.181.91

Microsoft Bing.com
65.52.0.0 – 65.55.255.255 (65.52.0.0/14),
207.46.0.0 – 207.46.255.255 (207.46.0.0/16)
Наиболее активный робот: 207.46.98.149

Aport
Наиболее активный робот: 194.67.18.239
Gigabot или Gigablast 66.231.188. (66.231.188.0/24)
Liveinternet 88.212.202.0 – 88.212.202.63 (88.212.202.0/26)
Наиболее активный робот: 88.212.202.26

Webalta
77.91.224.0 – 77.91.224.255 (77.91.224.0/21)
Наиболее активный робот: 77.91.224.12 и 77.91.224.23
_______________________
Если нужен стиль для сайта, стучите: ICQ 560107181
Профиль  Отправить личное сообщение
Идеальный заработок для торрент-трекеров
Страница 1 из 1
Показать сообщения за:  Поле сортировки  
Ответить на тему

Сейчас этот форум просматривают: нет пользователей онлайн и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

cron