Примеры файлов robots.txt

Здравствуйте дорогие читатели и подписчики блога Vip-Reseller.ru! Сегодня поговорим о файле Robots.txt и я покажу Вам примеры необычных файлов robots.txt Для справки: robots.txt – файл, указывающий поисковым роботам, какие страницы индексировать, а какие – обходить стороной. Сегодня я хочу поделиться с вами 12 примерами того, как известные компании делают этот файл интересным не только для роботов, но и для людей. Погнали! 1.YouTube Фишка robots.txt состоит в том, что строки после знака # поисковые роботы игнорируют....  →