Как случайно попасть под АГС
Захожу я 30 декабря на инструменты проверки сайта, и вижу там очень «радостную» новость — в индексе Яндекса присутствует всего 2 страницы данного блога. Через день — они отсутствуют, и в индексе уже другие две страницы. О том, что это АГС, у меня не было сомнений. Первого января я написал товарищу Платону Щукину письмецо с просьбой разъяснить, по какой причине я попал под АГС. Ответ был получен через 10 минут:
27.12.10 наш робот при обращении к Вашему сайту получал файл robots.txt, запрещающий индексирование. В настоящий момент данной проблемы нет, сайт индексируется и в течение двух недель должен появиться в результатах поиска.
Если Вы самостоятельно не размещали файл robots.txt, запрещающий индексирование сайта, то я рекомендую обратиться по данному вопросу к администратору сервера, на котором находится Ваш сайт.
Естественно, что я сразу же написал к своему хостингу, и получил ответ о том, что никаких проблем в тот день не было, и мой robots.txt никто не подменял. Лично у меня, поводов сомневаться в ответе хостера нет, он всегда честно отвечает на вопросы. Даже если он проводит плановые технические работы длительностью в 30 минут, он всегда отправляет смс и сообщает, что сайт в это время может не работать. Поводов для того, чтобы мой роботс.тхт подменили индивидуально тоже нет. Сделать это могли только сотрудники хостинга, дорогу которым, я не переступал. Вирусов сайт тоже не подхвачивал, об этом меня сразу же бы известили Google, Яндекс и сам хостинг.
Поэтому, у меня есть все поводы предполагать, что Яндекс заглючил, и случайно выкинул все мои страницы из индекса. Другого варианта нет.
Далее я хотел бы привести еще несколько возможных вариантов случайного попадания под АГС:
- При обновлении движка
Известно, что когда движок обновляется, сайт закрывают на техническое обслуживание. Если в это время, к вам наведаются роботы поисковой системы, то есть все шансы получить заветный фильтр.
- При технических работах в хостинге
Мой хостинг извещает меня о таких событиях с помощью смс. И, что самое главное, во время таких технических работ начинает работать резервный сервер, который берет на себя всю нагрузку и обеспечивает работоспособность сайтов. Проблема в том, что не у всех хостингов есть такие резервные сервера, и во время отключки сайтов, к вам могут наведаться поисковые роботы.
- При смене дизайна
Был момент, когда я менял один шаблон на другой. В процессе смены, произошла небольшая ошибка, и весь текст моих страниц съехал в одну строку, а дизайн отображался криво. В это время меня посещали роботы Гугла. И было неприятно видеть в кеше кривой дизайн целых 2 недели. В то время, я потерял около 30% трафика, а последствия могли быть и хуже.
Да, многие из этих факторов не зависят от нас, и происходят по вине других. Но если вы будете тщательно выбирать себе хостинг, стараться быстро обновлять движок и как можно меньший промежуток времени держать сайт на техническом обслуживании, то шансы получить фильтры значительно уменьшатся.
24 Comments
Вот это да… Для меня это нечто Новое. Никак не думал, что можно попасть под АГС из-за смены дизайна, обновления движка. Никогда о таком не слышал.
Неучто, Яндекс круто все меняет. Сначала алгоритм, потом вот это…
я всё таки склоняюсь к мнению что яндекс заглючил)
Пипец, это реально не смешно, представляю придти и увидеть 2 страницы в индексе, но у тебя всё-равно посетители сейчас есть, хоть что-то хорошее)
Да, устроил мне подарочек на Новый Год Яндекс
Полчаса-час технического обслуживания не загонят ваш сайт ни под какой фильтр. Не знаю насчет Яндекса, но гугл пингует даже страницы с ошибками несколько дней, пока не «убедится», что страница действительно дохлая и это надолго.
Со стороны ПС было бы просто глупо удалять сайт из индекса, если он всего день недоступен.
И какая разница, что в кэше гугла хранится?
Что касается дизайна, то при его смене меняется структура страниц, что влияет на ранжировку в ПС. Я в этом деле не мастер, но достаточно просто логически поразмыслить.
В общем, страхи, описанные в статье — это как страх ходить ночью одному в туалет (а вдруг монстры в унитаз утащат?!).
И причем здесь АГС, если индексирование сайта было запрещено в robots.txt?
На следующий день, из индекса пропали 2 страницы, и появились новые 2. Это признак АГС.
Действительно странно, из опыта, Яндекс так быстро не реагирует даже на запреты индексирования. Был случай, когда удалил страницы, запретил в robots.tx — Яндекс их показывал еще больше месяца (хотя сайт он посещал через день)
у меня сейчас половина страниц на блоге не индексируются(
это было из за одного плагина, я его удалил, но прошел уже почти месяц, а изменений никаких(
Скорее, Яндекс просто заглючил
Прикольная картинка в посте, посмеялся с утра…
Скорее всего это был технический глюк, такое бывает. Если бы вы попали под АГС, то с такой подводной лодки выплыть было бы очень не просто.
кстати да, я тоже смеялся над ней)
во у меня такая проблема, теже 2 страницы в индексе, сайт не копипаст, все уник, почему остальные выпали незнаю, пробовал добавлять внятрики в аддурилку все нормально добавляется и пишет что по мере обхода роботом сайт проиндексируется, надеюсь это не АГС…
А вы писали Платону? Если сайт для людей, то стоит написать ему письмо.
Это был не АГС=\ это был кривой роботс, а это называется просто фильтр.
Прочитал и улыбнулся. вопрос к ТС, ты вообще знаешь что такое фильтр АГС?
смена движка, подмена робот тхт в АГС из-за смены движка вообще этот пост делает мне смешно.
А где Вы здесь увидели ТС?
ай брат не предирайся ты знаешь о чем я)
во у меня такая проблема, теже 2 страницы в индексе, сайт не копипаст, все уник, почему остальные выпали незнаю, пробовал добавлять внятрики в аддурилку все нормально добавляется и пишет что по мере обхода роботом сайт проиндексируется, надеюсь это не АГС…
вот смотри раскрою тайну. у меня есть сапосайт новый дле, контент преписаный, домент купленый старый, 1 станица в индексе, что делать. покупаешь ссылку с какого-нить СМИ трастового ресурса который в яше в новостях крутится с анкором вроде Wikileads рекомендация или еще подобным текстом с последними событиями, + делаешь твитер акк своего сайта и сливаешь все страницы, 2-3 аппа все в индексе
Менял дизайн. Морда вообще переродилась и в это время у меня в гостях был робот Яши и ничего. Очевидно, имеют значение иные факторы
И все-таки основная причина — кривые руки оптимизатора=)
Было такое. Вылетело около тысячи страниц в Яндексе, а в Гугле все было четко.
Ничего удивительного, у меня с 3-мя сайтами так было. Яша глюк ходячий.
Страшное слово АГC, один из моих сайтов попал под него 7 месяцев назад, до сих пор вывести не могу, х/з что делать.