По поводу выгрузки проиндексированных страниц, Яндекс наконец сделал то что и нужно было.
И вот теперь мы получили очень хороший инструмент с помощью которого можно получить очень интересную информацию.
Я сегодня расскажу об этой информации и вы сможете применить это для продвижения ваших сайтов.
Переходим в Яндекс.Вебмастер, в раздел «Индексирование»
И вот перед вам такая картинка(нажимайте, чтобы увеличить):
Эти данные исключённых страниц дают нам очень много информации.
Ну начнём с Редиректа:
Обычно редирект не таит в себе каких то проблем. Это техническая составляющая работы сайта.
Это обычный дубль страницы. Я бы не сказал, что это не настолько критично. Просто Яндекс из двух страниц посчитал более релевантной именно вторую страницу.
И Яндекс даже написал свой комментарий: Страница дублирует уже представленную в поиске страницу http://сайт/?p=390. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel=»canonical».
Это можно использовать следующим образом: Иногда вылетают страницы сайта которые вы продвигаете и наоборот встают в индекс их дубли. В данном случае нужно просто прописать канонический урл на обоих этих страницах на ту которую вы продвигаете.
После этого обе эти страницы добавляете в «Переобход робота».
Это та страница в мета-тегах которой прописан канонический урл на нужную страницу.
Тут как раз всё прекрасно и это обычный процесс работы сайта.
Тут также Яндекс пишет подсказку: Страница проиндексирована по каноническому адресу http://сайт/?p=1705, который был указан в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.
Обычно это происходит когда вы удалили какие то страницы, а редирект не поставили. Или 404 ошибку не поставили.
Какого то вреда для продвижения сайта это не даёт.
Ну и подходит к самому интересному. Недостаточно качественная страница.
Т.е. страницы нашего сайта вылетели из индекса Яндекса потом что они недостаточно качественные.
Безусловно это важнейший сигнал вашему сайту, что у вас глобальные проблемы с этими страницами.
Но не всё так однозначно как кажется.
Зачастую это страницы пагинации, поиска или другого мусора. И эти страницы правильно исключены из индекса.
Но иногда бывает, что из индекса исключают карточки товаров Интернет-магазина. Причём исключают тысячами. И это безусловного говорит о том, что с вашими страницами карточек товаров какие то серьёзные проблемы.
Я за неделю просмотрел многие Интернет-магазины и почти у всех есть подобное. Причём вылет страниц наблюдается по десятку тысяч.
Тут могут быть такие проблемы, что мы имеем несколько одинаковых страниц где товар просто разного цвета. И Яндекс считает, что это одна страница.
В данном случае тут или делать одну страницу с выбором цвета на одной странице или же дорабатывать другие страницы.
Но конечно стоит сказать, что это ГЛОБАЛЬНАЯ помощь для всех владельцев Интернет-магазинов. Вам дали ясно понять какие страницы у вас улетели и почему.
Тут нужно работать над качеством этих страниц. Может эти страницы дублируют другие, а может и нет.
Иногда на таких страницах элементарно отсутствует текст. А на некоторых отсутствует цена и Яндекс удаляет из индекса такие страницы.
А ещё я заметил, что если на странице карточки товара стоит статус «Товар отсутствует на складе», то такая страница тоже удаляется из индекса Яндекса.
В общем то работайте.
О других интересных фишках я расскажу в понедельник на своём семинаре —
Да и ещё. Многие знают такую траблу с Яндекс.Советником:
Т.е. вы заплатили за клик с Директа, а Яндекс.Советник уводит вашего оплаченного клиента на Яндекс.Маркет.
Это на самом деле вопиющий случай.
Как я понял Яндекс ничего менять не будет.
Ну хорошо, тогда поменяю я сам.
Этот Яндекс.Советник косается в первую очередь Интернет магазинов. А Интернет магазины стоят в первую очередь на движках: Битрикс, Джумла, Вебасист.
Так вот для этих движков я пишу блокиратор советника. Т.е. при установке на вашем движке этого плагина, на вашем сайте не будет работать Яндекс.Советник.
Всем кто придёт на мои семинар я позже скину эти плагины бесплатно.
Я выбрал наиболее популярные движки на которых стоят ИМ. Для сайтов услуг это не нужно. А вот для ИМ, самое то.
Если есть вопросы, то задавайте вопросы.
Новый Вебмастер Яндекса позволяет найти проблемы на сайте и исправить недочёты, мешающие ранжированию – это факт медицинский. Для этого Яша предложил на праздничный стол набор интересных инструментов, многих из которых не было на старом сервисе. Предлагаю обзор возможностей Вебмастера для стимулирования хорошего настроения.
Обзор инструментов
Инструменты нового Вебмастера разбиты по блокам, каждый из них открывается на вкладки. Вот основные пункты меню:
- - Диагностика,
- - Поисковые запросы,
- - Индексирование,
- - Настройка индексирования,
- - Инструменты.
Последний пункт «Права доступа» – это не гармошка, этот пункт не матрёшка, он не открывается. Как подсказывает интуиция, в каждом блоке находятся инструменты для решения узкоспециализированных задач, например, в блоке «Поисковые запросы» можно узнать всё о запросах пользователей, которые переходили на сайт, показах.
Диагностика
Первый пункт меню «Диагностика», в нём два пункта:
- - Диагностика сайта,
- - Безопасность и нарушения.
В первом пункте узнают о проблемах на сайте, например, недоступности страниц. Обновляется страничка со скрипом, как работает дизель в Заполярье, поэтому надеяться, что в ней оперативно отобразятся все проблемы не стоит, но иногда она приходит на помощь.
На странице «Безопасность и нарушения» отображаются проблемы с безопасностью сайта и некоторые нарушения. Тут можно увидеть информацию о вирусах, санкциях и прочих косяках. Также отображается не всё – например, неявный текстовой спам не показывают, а АГС отображают.
Поисковые запросы
Здесь два пункта:
- - Статистика,
- - Последние запросы.
В «Статистике» указываются запросы сайта за определённый период, а также запросы из топ-3-10-50. Для веб-мастера видны показы, клики и CTR запросов. Если CTR низкий, то стоит подумать об изменении сниппета или фавиконки, ибо что-то отпугивает пользователя в выдаче от активных действий в отношении сайта. Для справки – CTR топ-3 всегда выше, так как пользователи ещё не задолбались искать ответы в недрах выдачи. Если CTR меньше 2%, то беда, для топ-10 нормальный показатель от 3%.
Запросы можно отсортировать по группам, показателям и региону.
Страница «Последние запросы» то же самое, но в отношении последних действий пользователя в выдаче. Для веб-мастера последние запросы по показам, кликам и CTR + добавлена средняя позиция по запросу.
Тут также доступна сортировка, можно добавить фильтр или сгруппировать запросы.
Индексирование
Более массивный пункт «Индексирование», в нём находятся инструменты:
- - Статистика,
- - Структура сайта,
- - Проверка URL,
- - Внутренние и внешние ссылки.
На странице статистики указаны загруженные и исключённые web-документы, а также страницы в поиске. Отдельно настраивается показ по ошибкам кодов HTTP и запрещённым к индексированию роботом страницам.
В нижней части статистика последних обходов ботом, там виден url документа, статус HTTP и дата визита робота.
Полезный пункт «Страницы в поиске», ведь там можно увидеть не только банальщину, но и найти ценную информацию. Инструмент показывает количество добавленных и исключённых страниц, сортировка доступна по последним изменениям и всем страницам. Что тут полезного для ослабленной нервной системы веб-мастера? Инструмент показывает статус исключённых страниц, не HTTP статус, а причину исключения.
Две основные причины исключения из поиска – дубли и «недостаточно качественная страница». Если количество исключённых страниц (кроме специально удалённых через 404) велико, то ждите ухудшения ранжирования сайта. Пользуйтесь этим инструментом, смотрите причину удаления страниц и устраняйте её для собственного блага. Сделать это несложно – смотрите причину, переходите на страницу и придавайте её человекообразный вид, после чего отправляйте документ для переиндексации. Проверено – работает и помогает выходить из фильтров и не попадать под санкции.
Инструмент «Структура сайта» прост, но полезен. В нём видна структура сайта и указано количество загруженных и проиндексированных страниц в каждом разделе и категории. Стремитесь приблизить второй значение к первой цифре, для чего удаляйте и закрывайте в robots дубли и мусор.
Инструмент «Проверка URL» позволяет проверить любую страницу сайта на индексацию. Ничего оригинального. Добавили URL, проверили его, нажали «готово» и увидели в индексе или нет + статус HTTP
Более интересны инструменты «Внутренние и внешние ссылки», хотя и непонятно, зачем их засунули в раздел «Индексация».
C помощью инструмента «Внутренние ссылки» легко увидеть битые беки на внутренних страницах с указанием, где расположена ссылка и на какую страницу она ведёт. Вычищайте всё в ноль и будет счастье – никакие сторонние сервисы не нужны – найти все битые ссылки поможет Вебмастер.
- - Текущим и удалённым ссылкам,
- - Группировке по сайтам,
- - Неработающим бекам.
Вверху указано общее число внешних ссылок на сайт и доменов, с которых на вас ссылаются. Внизу детальная информация:
- - Адрес донора,
- - тИЦ ссылающегося сайта,
- - Страница акцептора,
- - Дата обновления информации.
Информация обновляется после ссылочных апдейтов.
Настройка индексирования
Здесь нашлось место инструментам:
- - Файлы Sitemap,
- - Переезд сайта,
- - Региональность,
- - Регистр имён сайта,
- - Быстрые ссылки,
- - Оригинальные тексты,
- - Товары и цены.
В инструменте Sitemap видны используемые карты сайта, тут же добавляют Sitemap в формате xml.
Во вкладке «Переезд сайта» добавляют для домена www и HTTPS, а в инструменте «Региональность» видны регионы сайта по ЯК, Яндекс Справочнику и Вебмастеру. В последнем пункте можно указать регион, но его надо подтвердить страницей, в которой есть информация о региональности.
Следующие три пункта понятны и школьнику, а инструмент «Товары и цены» пригодится интернет-магазину. Для этого соглашаются с условиями и подключают YML-файлы. Сюда лазать без программиста не рекомендую – чревато нервами и клизмами.
Инструменты
Здесь, как и следует из названия, представлены технические инструменты Вебмастера Яндекс. Для владельца веб-сайта или оптимизатора:
- - Анализ Sitemap и Robots,
- - Ответы сервера,
- - Удаление URL,
- - Проверка мобильной адаптивности страниц,
- - Переобход,
- - Микроразметка,
- - Валидатор XML.
Тут всё понятно интуитивно, особое внимание советую уделить инструменту «Проверка мобильных страниц», так как она работает несколько иначе, чем проверка адаптивности Google. Если продвигаетесь под Яндекс и имеете большой процент мобильной аудитории, то проблем с отображением страниц на планшетах и смартфонах быть не должно.
Последний пункт «Права доступа» позволяет делегировать кому-либо права доступа для просмотра статистики через свою панель Вебмастера. Укажите логин в Яндексе своего оптимизатора и делегируйте ему права.
Яндекс стремится находить ответ на запрос пользователя, предоставляя на странице результатов информацию и ссылки на нее в интернете. Мы создали и развиваем поиск , исходя из нашего понимания, что нужно пользователям, и какая информация является ценной.
Поэтому следование рекомендациям, приведенным ниже, поможет в индексировании и лучшем ранжировании вашего сайта, в то время как применение обманных техник может привести к понижению его позиций или исключению его из поиска .
Основные принципы
Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.
Думайте о пользователях, а не о поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?
Тщательно продумайте дизайн - он должен помогать посетителям увидеть главную информацию , ради которой сайт создан.
Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Думайте о том, что пользователь получит, придя на ваш сайт .
Примеры к принципам
Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и выше описанным принципам.
Мы стараемся не индексировать или не ранжировать высоко:
- Сайты, которые вводят в заблуждение посетителей: при скачивании какого-либо файла (аудио, видео, торрент-файл и пр.) загружается посторонняя программа. Или посторонняя программа размещается под видом популярного приложения и т. д. Примером такого нарушения являются так называемые программы-обертки .
- Сайты, использующие устройства посетителей для майнинга криптовалют .
- Сайты, копирующие или переписывающие информацию с других ресурсов, с низкокачественным автоматическим переводом контента на другой язык, не создающие оригинальный контент.
Сайты, копирующие или переписывающие информацию с других ресурсов и не создающие оригинальный контент.
Страницы и сайты, единственной целью которых является перенаправление посетителя на другой ресурс, автоматически («редирект» ) или добровольно.
Автоматически сгенерированный (бессмысленный) текст.
Сайты с каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакого уникального сервиса.
Страницы с невидимым или слабовидимым текстом или ссылками .
Сайты, отдающие разный контент посетителям и роботам поисковых систем («клоакинг» ),
Сайты, предоставляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для посетителя.
Сайты, использующие обманные техники (например, вредоносный код , опасные для посетителей сайта настройки CMS и серверов, вирусы в партнерских программах , вредоносные мобильные редиректы), перенаправляющие посетителей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.
Сайты, пытающиеся повлиять на поисковую систему путем имитации действий посетителей .
Сайты, основным предназначением которых является агрессивная демонстрация рекламных материалов (в том числе popup, popunder , clickunder).
Сначала я испугался, потому что у меня удаляли по 50-100 таких страниц. Но, потом разобрался и успокоился. Оказывается, Яндекс внедрил в систему поиска новый алгоритм, который автоматически удаляет из поиска не релевантные страницы.
Но, опять же, здесь не стоит бояться. Яндекс удаляет такие страницы лишь временно. Пример, если вы написали статью, а в поиске нет на неё запросов, то есть никто не ищет информацию, которая представлена в статье, то данная статья будет временно удалена из поиска. Если в поиске появятся запросы соответствующие вашей статье, то она автоматически будет добавлена в поиск.
Вам ни в коем случае нельзя удалять такие страницы с вашего сайта!!! Если вы заметили в Яндекс Вебмастере страницы с пометкой «Недостаточно качественные», не пугайтесь и не бойтесь, всё нормально! Данные страницы так же важны как и все остальные, они могут появится в поиске в любой момент!!!
Как узнать есть ли у вас Недостаточно качественные страницы?
Зайдите на свою страницу в сервисе Яндекс Вебмастер. На главной странице, обратите внимание, в разделе «Обновления поиска» , у вас могут отображаться количество удалённых и добавленных страниц. Это как раз те страницы, которые автоматически удаляются и добавляются в поиск по специальному, новому алгоритму.
Далее, внизу данной страницы, у вас могут отображаться URL адреса помеченные синим цветом и под которыми отображается уведомление «Недостаточно качественная» . Нажмите на знак троеточие рядом с таким уведомлением.
Вам покажут пояснение — «Страница исключена из поиска в результате работы специального алгоритма. Если в будущем алгоритм сочтёт страницу достаточно релевантной запросам пользователей, она появится в поиске автоматически» .
Вот и всё ! Как я уже сказал ранее, не стоит пугаться и бояться! Внимательно читайте пояснения! Продолжайте писать статьи и главное старайтесь помочь своему читателю, чтобы уходя с вашего сайта, он не раз ещё на него вернулся!
Как заблокировать автоматический трафик в поиске Яндекс!!!
