Компания Яндекс выпустила обучающие видео про файл robots.txt

Как вы наверное слышали, недавно в сеть утекли тексты смс сообщений пользователей сайта Мегафон, потом утекли секретные файлы и файлы с пометкой «для служебного пользования» с сайта gov.ru. А всё почему?

Всё потому что при построении этих сайтов не правильно использовался файл robots.txt, или вообще не использовался. Этот файл служит для ограничения доступа поисковика к сайту ( вы можете запретить доступ к файлу или папке, который находится начиная от корня сайта. Зачем Яндекс выпустил это видео?

Так, ведь именно его обвинили в утечке конфиденциальной информации, сейчас об этом идут большие споры, а Яндекс обучает вебмастеров правильному построению файла robots.txt. Вот пример, как он должен правильно выглядеть (это robots.txt сайта Yandex):

User-agent: *
Disallow: /?
Disallow: /404.html
Disallow: /about.html
И т.д

Здесь запрещена индексация множества (на самом деле всех, кроме /news) разделов сайта. Кто уж не пострадает от кражи персональных данных, так это Яндекс, вы также правильно используйте этот файл, в ваше же благо.