Bing

Любопытно, что Bing’у частично пофигу, что там написано в роботсе. В robots.txt этого сайта полный запрет на индексацию всех страниц всеми поисковиками.

Читать далее