Всем привет дорогие друзья! Недавно, неделю назад, я столкнулся с такой проблемой, на одном сайте, что у меня выпали все страницы из индекса поисковый системы Яндекс. Если честно, я подумал что был наложен какой-то , хотя до этого момента, все страницы попали в индекс очень быстро и сидели там 1,5 месяца отлично.
За эти полтора месяца я только и писал статьи, а больше ничего противозаконного не делал. Поэтому мне было обидно, что так со мной поступил Яндекс. Естественно, что я не хотел это все дело оставлять и как можно быстрее вернуть страницы в индекс. Я проверил свой сайт на сервисе и выявил, что мне там пишет: Отсутствует сохраненная копия в Яндексе!
Если честно, то я не понял ничего, почему копия сайта там отсутствует. Я начал искать проблему и наткнулся на один сайт, где у него была похожая проблема, то есть, тоже отсутствовала сохраненная копия сайта в поисковой системе Яндекс. Но у него страницы из-за этого не выпали, а просто просели позиции.
Я все равно надеялся, что при помощи его сайта решу проблему. Оказывается, у него отсутствовала копия в Яндексе из-за того, что на его страницах сайта присутствовал тег noarchive , который был автоматически включен при использовании плагина WordPress – Robots Meta. В настройках этого плагина была включена опция запрета делать копию в поисковых системах, то есть, прописывался тег для страниц – noarchive .
На моем сайте не был установлен данный плагин, но я все равно проверил все страницы на наличие данного тега, причем не только страницы, но и файл robots.txt. В итоге я так ничего и не нашел. То есть, данный вариант для меня отпадал, на моем ресурсе не присутствовало такого тега.
Мне ничего не оставалось, как обратиться в службу технической поддержки поисковой системы Яндекс и выяснить причину (см. как ):
В вебмастере Яндекса, для сайта ********** отображается, что в индексе 57 страниц, а на самом деле 1 страница. На сервисе xtool проверяю его и мне выдает сообщение: Отсутствует сохранённая копия в Яндексе!
Я проверил свой сайт на наличие тега noarchive и нигде его не было. Скажите, почему сайт 49 дней был полностью в индексе, а сейчас только одна главная страница сайта?
Через 1 сутки мне пришел ответ от Яндекса:
В настоящее время невозможно выяснить, что спровоцировало исключение страниц Вашего сайта, так как подобная информация не хранится. В ближайшее время Ваш сайт должен начать индексироваться и затем сможет появиться в поиске. Скорее всего, это произойдет в течение двух недель. Пожалуйста, дождитесь окончания указанного срока.
То есть, у меня еще была надежда на то, что мой сайт будет проиндексирован нормально, что это какое-то недоразумение и страницы выпали из-за какой-то ошибки, ведь надежда умирает последней.
В итоге, весь следующий день я наблюдал, как мой сайт «штормило», то есть, то в индексе была 1 страница, то 8, то 57 и так каждый день, цифры менялись. Но сегодня произошел апдейт и сейчас страницы все снова в индексе, чему я очень рад. Так что, если у Вас возникла такая проблема, то причины могут быть следующими:
- На сайте присутсвует тег noarchive
- Тег noarchive прописан в robots.txt
- Временные проблемы с сервисами или поисковыми системами
В общем, если у Вас возникла такая ситуация, то не стоит сразу паниковать, посмотрите все возможные причины, сделайте те моменты, которые проделал я, а затем уже делайте выводы. Удачи Вам дорогие друзья и до новых встреч!
Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Почему закрытые и удаленные страницы есть в поиске
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Несуществующие страницы находятся в поиске по следующим причинам:
- Самое банальное — страница удалена и больше не существует.
- Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
- Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
- Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.
Лишние страницы появляются в индексе при следующих условиях:
- Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
- Они были проиндексированы до того как были закрыты доступными способа.
- На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Как удалить страницу из поисковой системы Яндекс
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
- страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
- при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Как удалить страницу из поисковой системы Google
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
- удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
- удаление только страницы из кэша;
- удаление каталога со всеми входящими в него адресами.
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
Существует настоящая, реальная машина времени, в которой можно ненадолго вернуться в прошлое и увидеть, например, как выглядел тот или иной сайт несколько лет назад. Думаете, никому не нужны копии сайтов многолетней давности? Ошибаетесь! Для очень многих людей сервис по архивированию информации весьма полезен.
Во-первых, это просто интересно! Из чистого любопытства и от избытка свободного времени можно посмотреть, как выглядел любимый, популярный ресурс на заре его рождения.
Во-вторых, далеко не все владельцы сайтов ведут свои архивы. Знать место, где можно найти информацию, которая была на сайте в какой-то момент, а потом пропала, не просто полезно, а очень важно.
В-третьих, само по себе сравнение является важнейшим методом анализа, который позволяет оценить ход и результаты нашей деятельности. Кстати, при проведении анализа веб-ресурса очень эффективно использовать ряд методов сравнения.
Поэтому наличие уникальнейшего архива веб-страниц интернета позволяет нам получить доступ к огромному количеству аудио-, видео- и текстовых материалов. По утверждению разработчиков, «интернет-архив» хранит больше материалов, чем любая библиотека мира. Мы попали в правильное место!
Что нужно, чтобы найти копии сайтов интернета
Для того, чтобы отправиться в прошлое, нужно перейти на сайт archive.org и воспользоваться поисковой строкой.
Простой поиск в архиве сохраненных сайтов выдает нам ссылки на все сохраненные копии запрашиваемой страницы.
Из этого видно, что сайт сайт был создан в 2012 году (Кстати, важно отметить, с помощью практически идеального хостинга Спринтхост — рекомендую!). Переключаясь на нужный нам год, можно увидеть даты, выделенные кружочками, это и есть даты сохранения копии сайта. Например, в 2015 году, пока можно будет увидеть только одну копию от 7 февраля.
Конечно, это потрясающий ресурс! Ведь здесь индексируются и архивируются все сайты интернета! Это не только скриншоты… Имея в руках такой инструмент, можно восстановить массу потерянной со временем информации.
Надо заметить, что, безусловно все восстановить однозначно не получится, так как если на страницах сайта используются элементы Java Script, или скрипты или графика взяты со стороннего сервера, то на восстановление такой информации рассчитывать не придется. Поэтому к сохранению данных своего сайта нужно относиться с особенным вниманием, несмотря ни на что.
Пользуясь случаем, я сделала скриншоты и восстановила в памяти, как выглядел мой сайт, начиная с 2012 года. Любопытно посмотреть))
Сайт буквально недавно «родился»)) Январь 2012.. .
Проходит время, и хочется что-то изменить… Конец 2012-го.
Наверное, пора уже что-то менять. 2013-й. Это тема, которая и сегодня установлена на моем сайте.
К смене темы отношусь с осторожностью, так как помню последний «переезд», после которого несколько месяцев восстанавливала посещаемость сайта. Как-то не очень удачно получилось.
Надеюсь, что и моим читателям эта замечательная интернет-библиотека — «машина времени» сможет помочь перемещаться во времени, когда они этого захотят. Посмотрите, как выглядели раньше некоторые сайты, еще во времена своего зарождения. Какими раньше были google или яндекс, можно увидеть только на archive.org, аналогов у этого ресурса нет. Приятного путешествия, друзья!
Что значит «Отсутствует сохранённая копия в Яндексе!» и как это влияет на сайт в целом. Во-первых, если вы продаете ссылки со своего сайта, то отсутствие страниц в кэше Яндекса негативно отразится на доходе веб-мастера.
Например, в Сеопульте есть параметр, контролирующий наличие страницы в кэше поисковой системы.
Называется он nic (no index cache) - это означает что у страницы нет «сохраненной копии».
На сегодняшний день в Сеопульте проверяется индекс Яндекса. В перспективе планируют добавить и проверку в Гугле.
Вот как это выглядит на графике. Долгое время траст был равен девяти, но потом резкое падение.
Я стал искать причину отсутствия сохраненной копии сайта в поисковом индексе. И даже написал в службу поддержки TrustLink.
Добрый день. Скажите, пожалуйста с чем может быть связано падение траста у моего блога. Параметр XT за последние два апа Яндекса снизился с 9 до 7. Одновременно и снизился доход в Трастлинк.
Здравствуйте! Этот показатель не является официальным представлением Яндекса, потому причины его паденя нам не известны
То есть уменьшение количества расставленых ссылок сеопультом с этим не связано. А по какой причине наблюдается уменьшение дохода?
При проверке часть страниц, на которых были куплены ссылки, отсутствовала в кэше Яндекса. Ссылки были сняты, потому просел доход.
А не подскажите почему страницы отсутствуют в кэше Яндекса? В индексе есть, а в кэше нет? Как-то можно повлиять на то, чтобы они оказались в кэше?
Это уже вопрос к техподдержке Яндекса, часто апдейт кэша происходит немного позже апдейта выдачи/индекса, отсюда выходит такая проблема
Да, именно так. Для достижения максимальной эффективности ссылки необходимо наличие страницы в кэше.
Потом я задал вопрос в техподдержку Яндекса.
Добрый день.
Сейчас отсутствует сохранённая копия в Яндексе. Подскажите, пожалуйста в чем причина. Блог работает на Вордпрессе.
Кроме того мой блог имел траст xt = 9. За последние два апдейта траст упал до 7. Я стараюсь улучшать свой блог, а тут два таких негативных момента. С чем это может быть связано и как можно исправить ситуацию?
Адрес сайта: //www.сайт
С уважением, Илья.
И продолжал искать причину.
Статья по теме: Как найти обратные ссылки
Оказывется, после обновления плагинов, флажок напротив значения noarchive был включен. В результате чего на каждой странице моего блога появилась строка, запрещающая кэширование страницы. Возможно по этой причине я потерял две единицы траста.
Убрав этот тег, выключив флажок в плагине Robots Meta , я убедился в его отсутвии на страницах своего блога.
Add noarchive meta tag
Prevents archive.org and Google from putting copies of your pages into their archive/cache.to put copies of your pages into their archive/cache.
Будьте внимательны при настройке плагина Robots Meta для Вордпресс!
Узнав о наличии тега, запрещающега кэширование, я написал в суппорт Трастлинка.
Здоравствуйте. Я уже выяснил причину падения траста и отсутствия копии блога в кэше Яндекса. Видимо при обновлении плагинов Вордпресса на страницах присутствовал тег noarchive. Обнаружив это я немедленно убрав его и сегодня уже траст опять стал 9, поднявшись сразу на 2 единицы Зря оптимизаторы поснимали свои ссылочки.
Здравствуйте! Ожидайте восстановление закупки в ближайшее время.
И тут мне приходит ответ из службы поддержки Яндекса.
Здравствуйте!
Дело в том, что на момент последней индексации страниц, в их коде содержался мета-тег noarchive. Это явный запрет на показ сохраненной копии в результатах поиска. Сейчас тег убран, но сохраненная копия не появится пока робот не обновит документы в нашей поисковой базе.
В некоторых случаях, робот может посчитать изменения внесенные на странице незначительными, например, если текст на странице практически не поменялся или изменения касаются только html-разметки. Такие документы не обновляются в нашей поисковой базе, так как внесенные изменения на поиск никак не влияют.
С уважением, Платон Щукин
Служба поддержки Яндекса
//help.yandex.ru/
На следующий день я опять проверил свой блог в сервисе //xtool.ru/ . И о чудо! Моментальный подъем на 2 единицы!
Сервисы и трюки, с которыми найдётся ВСЁ.
Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.
Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.
Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.
1. Кэш Google, который всё помнит
Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кеша Google надо в адресной строке набрать:
http://webcache.googleusercontent.com/search?q=cache:http://www.iphones.ru/
Где http://www.iphones.ru/ надо заменить на адрес искомого сайта.
2. Web-archive, в котором вся история интернета
6. Archive.is, для собственного кэша
Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса. Там есть даже несколько сохраненных копий iPhones.ru.
7. Кэши других поисковиков, мало ли
Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com , перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).
8. Кэш браузера, когда ничего не помогает
Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:
Safari
Ищем файлы в папке ~/Library/Caches/Safari .
Google Chrome
В адресной строке набираем chrome://cache
Opera
В адресной строке набираем opera://cache
Mozilla Firefox
Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.
Что делать, если вообще ничего не помогло
Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на
