Примеры файлов robots.txt

Здравствуйте дорогие читатели и подписчики блога Vip-Reseller.ru! Сегодня поговорим о файле Robots.txt и я покажу Вам примеры необычных файлов robots.txt

Для справки: robots.txt – файл, указывающий поисковым роботам, какие страницы индексировать, а какие – обходить стороной.

Сегодня я хочу поделиться с вами 12 примерами того, как известные компании делают этот файл интересным не только для роботов, но и для людей. Погнали!

1.YouTube

Фишка robots.txt состоит в том, что строки после знака # поисковые роботы игнорируют. Это комментарии, которые вебмастеры оставляют либо для себя, либо для любопытных пользователей. Если вы – из их числа, то зайдите в robots.txt «Ютьюба». Первые три строки переводятся примерно так:

# Файл robots.txt для YouTube

# Создан в далеком будущем (в 2000 году) после

# того, как все человечество было уничтожено во время восстания роботов в середине девяностых

Оказывается, войну с роботами мы уже проиграли. Двигаемся дальше.

2. Yelp

Yelp – популярный сайт отзывов. Вебмастеры этого ресурса не хотят подчиняться роботам, как в YouTube, поэтому в своем файле robots.txt перечислили три закона робототехники Айзека Азимова:

# 1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

# 2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

# 3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

3. Last.fm

По такому же пути пошли и технические специалисты Last.fm – популярной «соцсети» для меломанов и интернет-радио в одном флаконе. Вот какие правила прописаны в самом конце их robots.txt:

Disallow: /harming/humans – причинять вред/человеку

Disallow: /ignoring/human/orders – игнорировать/приказы/человека

Disallow: /harm/to/self – причинять вред/себе

4. Reddit

Reddit – популярнейшая развлекательная площадка, о которой мы уже как-то раз писали в рассылке.

Кстати, очень хорошие рекомендации по продвижению на Reddit дает Михаил Шакин, более известный как Globator. Все 17 советов из статьи были опробованы Глобатором лично.

Команда вебмастеров Reddit тоже побаивается восстания роботов, поэтому через robots.txt сразу запретила некоторым их представителям лезть на сайт:

User-Agent: bender

Disallow: /my_shiny_metal_ass – переводить не буду, извините

5. Etsy

Etsy – площадка для торговли изделиями ручной работы. Однако если вы посмотрите конец файла robots.txt, то поймете, что спецы из Etsy, возможно, сотрудничают с роботами.

Если перевести бинарный код в текст, то получится фраза «код – ваше ремесло?»

6. Nike

Знаменитый производитель спортивной одежды тоже решил побаловаться с ASCII-артом в своем robots.txt.

Брендированным должно быть все – даже robots.txt

7. White.net

Наши коллеги по цеху из Лондона тоже решили проявить чудеса брендинга и вставить свой логотип в robots.txt.

Почему бы и нет?

8. SharkSEO.com

Еще одно агентство из Великобритании, решившее сделать свой robots.txt чуть-чуть выделяющимся среди остальных. Вру – не чуть-чуть. Смотрите сами:

Котиков любят даже роботы

9. TripAdvisor

TripAdvisor – крупнейший в мире сайт для путешественников. Для поддержания такого проекта требуется большая команда, поэтому SEO-специалистов они ищут прямо в robots.txt:

Если уж зашел в robots.txt, значит, «шарит» в SEO. Текст призывает любопытных пользователей прислать свое резюме на указанный адрес

10. PageOnePower

И снова наши коллеги. Вебмастер, занимавшийся настройкой robots.txt, — большой фанат «Звездных войн». Иначе как объяснить следующее?

# Это не те дроиды, которых вы ищете,

# зато мы – те линкибилдеры, которых вы искали

11. Vinna.cc

Vinna – интернет-магазин для велосипедистов… Для велосипедистов, которые любят компьютерные игры! Потому что вебмастеры умудрились запихнуть в robots.txt целую игру. Не верите? Убедитесь сами.

Музыкальная игра внутри robots.txt – вот это фантастика!

12. Бонус: Google

Для кого-то это будет шоком, но внутри robots.txt поискового гиганта закодирована секретная информация о том, что Google плевал на контент и вообще делает все, чтобы побольше заработать на AdWords.

На самом деле, нет. С обычным robots.txt у Google все в порядке. Зато у них есть целых два файла-«пасхалки», созданных по такому же принципу. Первый – killer-robots.txt, в котором Сергей Брин и Ларри Пейдж, основатели Google, пытаются защитить себя от T-1000 и T-800 – знаменитых киборгов из вселенной «Терминатора»:

User-Agent: T-1000

User-Agent: T-800

Disallow: /+LarryPage

Disallow: /+SergeyBrin

Второй – humans.txt (люди.txt), в котором говорится, что «Google создан большой командой инженеров, дизайнеров, исследователей и роботов».

На сегодня все! А вы знаете еще примеры необычных файлов robots.txt? Или хотите поделиться своим мнением о статье? Пишите в комментариях.

Данная статья написана по материалам интернет-агентства Texterra