Как показывать Яндексу то, что нужно?

Недавние скандалы с индексацией Яндексом личных данных SMS и пользователей интернет-магазинов подняли очень важный вопрос — как заставить поисковую систему находить только ту информацию, которую вы хотите показать? Как избежать утечки личной информации и сохранить конфиденциальность клиентов? Кто, в конце концов, виноват в раскрытии данных?

На последний вопрос ответить достаточно легко — виноваты вебмастера и владельцы сайтов, которые не потрудились запретить к индексации личную информацию пользователей. Тем более что поисковые системы предлагают очень эффективный инструмент, позволяющий закрывать то, что хочется закрыть — файл robots.txt. Это небольшой текстовый файл, который располагается в корне сайта и служит для того, чтобы ограничить доступ индексирующих роботов к определенной информации: административной части сайта, страницам пользователей, информации о покупках.

Как проверить robots.txt?

Для начала стоит проверить наличие этого файла, в Яндексе это можно сделать с помощью простой формы. Как показывает наша практика на большинстве сайтов такого файла просто нет, даже если ресурс продвигается. Это огромная ошибка вебмастеров и оптимизаторов, правильный файл robots.txt – это очень важно для корректного отображения ресурса в поисковой системе. Приведем простой пример: в каждом бизнес-центре есть технические помещения, подсобки, подвалы и чердаки с оборудованием, необходимым для обеспечения работоспособности здания. Но арендаторы и посетители, ориентируясь по указателям, ходят только по специально отведенным светлым и уютным помещениям, даже не заглядывая в темные и грязные закоулки.

Чтобы поисковый робот ходил только по тем местам сайта, куда вы хотите его направить, стоит развесить те самые указатели и замки в виде файла robots.txt и карты сайта. Не стоит показывать ему подсобные помещения административной части ресурса и подвалы приватной информации ваших пользователей. В общем, файл robots.txt — это первый помощник оптимизатора.

Как сделать правильный robots.txt?

На этот вопрос подробно отвечает сам Яндекс. Судя по нашему опыту правильный файл robots.txt в обязательном порядке должен содержать несколько команд: Disallow (запрет к индексации некоторых разделов), Host (указание главного зеркала сайта, чтобы поисковые роботы не путались между версиями www.site.ru и site.ru), Sitemap (ссылка на карту сайта в формате xml). В зависимости от того, как сделан сайт, могут добавляться дополнительные директивы и указания.

При разработке ресурсов мы создаем файлы robots.txt в обязательном порядке, при продвижении тоже, мы либо делаем новые, либо корректируем уже существующие файлы. Если ваш сайт продвигают, но вы не нашли этого файла на сайте, стоит задуматься о корректности работы ваших оптимизаторов. Особенно это актуально для интернет-магазинов и сайтов с каталогами продукции.

08.08.2011 Все статьи