Переписка с Платоном Щукиным

7 июня начал переписываться с Платоном Щукиным (служба поддержки веб-мастеров Яндекса), сегодня получил уже четвертое письмо. И с каждым ответом я понимаю, что наврядли смогу получить ответы на поставленные вопросы. Почему-то создается впечатление, что общаются слепой с глухим, а ведь вопрос простой.

Суть в следующем. Робот Яндекса в начале мая обнаружил в robots.txt моего сайта директиву Sitemap и автоматически добавил его себе в базу. Спустя несколько дней я изменил директиву Sitemap в robots.txt, но робот Яндекса с поразительным упорством пытается загрузить файл по старой ссылке, причем сообщает мне, что для удаления именно этого Sitemap нужно убрать соответствующую директиву из robots.txt.

Самое фантастическое в этой истории то, что согласно документации робот Яндекса воспринимает ссылки на Sitemap только при явном указании User-agent: Yandex, а из списка директив для всех роботов — ни за какие коврижки.

Про то, что в консоли веб-мастера отображаются ошибки, устраненные больше месяца назад, я вообще молчу.

Переписка с Платоном Щукиным: 4 комментария

  1. squid

    в документации нигде не написано, что «робот Яндекса воспринимает ссылки на Sitemap только при явном указании User-agent: Yandex».
    а если воспользоваться анализатором robots.txt в консоли вебмастера, то можно заметить, что вообще не важно, где находится директива sitemap.

    не удивлюсь, если и проблема с сайтмэпом легко решается, если немного подумать. удачи

  2. Александр Кузьмин Автор записи

    На момент публикации сообщения текст в справке немного отличался. Более того, от службы поддержки все же бы был получен ответ, подтверждающий необходимость указазания User-agent, а также подтверждение бага (чтобы удалить sitemap надо создать пустую секцию User-agent: Yandex).

Добавить комментарий