Содержание

Продвижение сайтов медицинской тематики, кейс по выводу в ТОП Яндекса


Доброго времени суток, друзья, коллеги и просто случайные читатели (угораздило же вас нарваться именно на мой пост). Мне выпала честь начать цикл публичных кейсов, посвященных SEO в частности и интернет-маркетингу в целом. Писать будем всей своей дружной командой, потому что нас тут ох как много и у каждого за плечами свое кладбище не один успешно реализованный проект. В цикле будут как обзоры работы с конкретной тематикой, так и в принципе советы по решению частых проблем, с которыми могут столкнуться вебмастера и владельцы сайтов.

Я же сегодня с удовольствием расскажу о том, как почти за полгода неплохо отработал сайт медицинской тематики (мед. техника для домашнего использования) и вывел его в ТОП Яндекса по запросам (в том числе и высокочастотным). К сожалению, для Google проведенных работ на определенном этапе оказалось недостаточно, но обо всем этом подробнее ниже.

Общая информация по проекту

Начало работы с проектом — октябрь 2018 года.

Последние данные по проекту — февраль 2019 года. Интернет-магазин, хоть и существовал уже примерно год до того, как попал ко мне на стол, был практически пустой — т.е. была только базовая структура, стандартная оптимизация мета (по маскам), практически полное отсутствие текстового наполнения и т.д. В общем чистый лист, прямо как я люблю.


Стояли следующие задачи:

  1. Вывод посадочных страниц в ТОП-10 ПС по релевантным запросам.
  2. Увеличение посещаемости сайта.

Ну тут все как обычно, классические цели для абсолютного большинства проектов. Далее подробнее разберем проведенные работы.

Комплексный аудит проекта

Аудит — всему голова. Только всесторонний анализ проекта гарантирует выбор правильной стратегии продвижения и адекватный план работ на период. Собственно, далее рассмотрим, какие проблемы были выявлены в ходе препарирования сайта.

Базовые показатели (индексация + история домена)

Как я уже писал выше, сайт пришел ко мне уже с небольшой историей — в индексе был как минимум полгода, поэтому первым делом смотрим как на него отреагировали поисковики.

  • Всего на сайте обнаружено 332 html-страниц.
  • Количество проиндексированных страниц в ПС Яндекс – 440.
  • Количество проиндексированных страниц в ПС Google – 379.

Все страницы сайта учтены и находятся в поиске — это хорошо. Однако кроме них в индекс попали технические страницы, которым там не место — это не хорошо. К тому же есть расхождение (хоть и небольшое) между числом страниц в выдаче Яндекса и Google — тоже нужно обратить на это внимание.

По итогу вручную проходимся по органической выдаче, причесываем robots.txt, закрывая от индекса ненужные страницы. При этом параллельно генерируем sitemap.xml, заливаем ее в корень сайта, обновляем информацию в вебмастерах.

Что касается доменного имени — домен стерильный (без санкций), бэклинков практически нет. С одной стороны хорошо, когда история чиста — можно спокойно сформировать хороший ссылочный профиль, не оглядываясь на предыдущих вебмастеров и их эксперименты. Но, с другой стороны, для того, чтобы сделать домену качественную ссылочную историю, нужно немало времени (у многих просто не хватает терпения) + есть вероятность, что “чистый” сайт, даже с возрастом в один год, все же может еще висеть в песочнице.

В общем, как обычно, у монеты две стороны.

Наличие сайта в справочниках

Компания, продающая свои товары/услуги через интернет, должна быть зарегистрирована как минимум в двух основных справочниках — Яндекс.Справочник и Google Мой Бизнес. Это нужно для того, чтобы потенциальному клиенту было проще отыскать компанию (+маркер на карте и присвоение сайту региона). Собственно, у моего проекта всего этого  не было. Провели успешную регистрацию в справочниках.


Технический аудит

Самый сок — все косяки и недоработки сайта. Здесь, как правило, больше всего рекомендаций и работы. Для анализа использовал классическую программу Screaming Frog, которая сегодня есть у любого уважающего себя SEO-специалиста.

Итак, что же мы нашли в ходе тех.аудита:

  1. Расклейка зеркал — код 200 как у www.site.by, так и у site.by. Настроили редирект с www.site.by на site.by. При выборе основного зеркала руководствовались тем, какое из них оказалось в выдаче.
  2. У 68% картинок на сайте отсутствует тег alt. В ходе последующих двух месяцев заполнили альты у всех картинок.
  3. На сайте присутствуют «хлебные крошки», однако в карточках товара неполные крошки – в пути отсутствует карточка товара, а раздел перед ней некликабелен. Составлено ТЗ на доработку. Проблема устранена на втором месяце работы с сайтом.
  4. На сайте обнаружены внешние ссылки (в основном на социальные сети — стандартный блок карточки товара в шаблоне). Изначально хотели вывести их java-скриптом, но потом в принципе отказались от таких линков и закомментили от греха подальше.
  5. На сайте не обнаружена HTML-карта сайта. Не критичная ошибка, пометили себе как доработку на будущее.
  6. С помощью PageSpeed Insights получили рекомендации по увеличению скорости загрузки сайта. Это классические советы вроде удаления из верхней части страницы блокирующего кода JavaScript и CSS, сокращения объема изображений (сжатие), использования кэширования браузера за счет указания в заголовках HTTP даты или срока действия статических ресурсов и т. д. Последовали советам, в итоге увеличили скорость загрузки страниц сайта (86 баллов из 100 возможных).
  7. Т.к. на сайте есть фильтрация и пагинация, обязательным пунктом технического аудита стала проверка на наличие и корректность настройки атрибутов re=”canonical” + “next”/”prev”. По итогу обнаружены дубли страниц – динамические страницы (фильтры, пагинация). Хоть дубли и были закрыты от индекса, но дополнительно разместили на них тег rel=”canonical” (для фильтров) и rel=”next”/”prev” для страниц пагинации. Таким образом мы показали поисковым роботам какие страницы являются основными (родительскими), а какие — дочерними, навсегда закрыв этот вопрос.
  8. Далее проверили все внутренние страницы сайта на корректность отработки (ответы сервера). Проще будет описать это таблицей.

    9. Для главной

    URL Код ответа Нужно
    index 404 404
    index. htm 404 404
    index.html 200 301
    qwerty123 404 404
    qwerty123.htm 404 404
    qwerty123.html 404 404
    qwerty123.php 404 404
    // 200 301

    Для внутренних

    URL Код ответа Нужно
    С закрывающим слэшем и без (проверка на дубли)
    		 200
    		 301
    .htm
    		 200
    		 301
    .html
    		 200 301
    .php
    		 200
    		 301
    qwerty123
    		 200
    		 404
    qwerty123.htm
    		 200
    		 404
    qwerty123. html
    		 200
    		 404
    qwerty123.php
    		 200 404
    Произвольные параметры для динамических страниц
    		 200 404

    Сервер настроен некорректно. В таблице отмечены варианты, при которых сервер отдает неправильный ответ. По итогу настроили сервер таким образом, чтобы несуществующие страницы отдавали код ошибки 404. Там, где это было нужно, настроили 301 редирект.

  9. Небольшой, но все же просчет — неправильное оформление 404 страницы. При запросе несуществующей страницы рекомендуется сообщать посетителю, что произошла ошибка и помочь в дальнейшей навигации по сайту. Что мы, собственно и сделали… не без доли юмора… ну да, такие вот мы Петросяны.

  10. Проверка микроразметки — микроразметка карточек товаров в порядке (я был приятно удивлен), однако МР хлебных крошек и страницы “Контакты” на сайте почему-то не оказалось. Реализовали классическую разметку для хлебных крошек и страницы «Контакты».
  11. В ходе парсинга сайта обнаружили сквозной тег “noindex”, который висел на одном из элементов формы обратной связи. Я придерживаюсь мнения, что чем меньше noindex-а на сайте, тем лучше, поэтому приняли решение убрать тег… все равно никакой практической пользы от него нет.

На этом закончился технический аудит сайта — по итогу ошибок не так много (одна из причин, почему я люблю молодые сайты) и абсолютное их большинство было устранено в течение первых двух месяцев работы.

Аудит контента

  1. Текстовый аудит занимает обычно довольно много времени, но в этот раз мне можно сказать повезло — т.к. сайт был на стадии финального заполнения товарами, там была всего пара страниц с текстом… к сожалению, полностью скопированным с других ресурсов. Плагиат не приемлем, потому неуникальные тексты были удалены и впоследствии заменены на качественный копирайт, страницы без текстов, естественно, также наполнили контентом в течение всего периода работы над проектом. Обычно на это уходит от силы два месяца, но в данном случае было большое количество посадочных, для которых нужны уникальные тексты.

  2. Проверка title — все тайтлы на сайте выводились по маске. Для посадочных страниц переписали title руками под запросы. Для всех остальных — изменили маску на более информативную (h2+регион+название магазина).

  3. Проверка h2 — было обнаружено большое число дублей по h2. Переписал все теги вручную.

  4. Проверка Description — описаний не было ни на одной странице сайта. На посадочных прописал руками с учетом ключевых запросов. Для остальных страниц настроил маску (В нашем интернет-магазине вы можете купить+h2+в Минске+Товары с ценами, фото, подробным описанием).

  5. Статейный раздел сайта не развит от слова “вообще”. Даны рекомендации по написанию статей в блог для перелинковки страниц и регулярного обновления контента сайта.

Юзабилити аудит

При подготовке рекомендаций по улучшению юзабельности ресурса важно четко понимать желания аудитории и, что немаловажно, возможности заказчика. Никто не запрещает, конечно, посоветовать перекроить шаблонный сайт под звездолет, потратив на это уйму времени, сил и ресурсов, но иногда это не так эффективно… были в моей практике такие случаи, когда заказчик, не рассчитав свои силы, просто не мог финансово тянуть проект и по итогу уходил в минус на одних только доработках, не дожив до реального результата.

В общем, нужно быть в первую очередь практичным, советуя доработки, что я и сделал в этот раз, рекомендуя только необходимые изменения.

  1. Добавить на сайт онлайн-консультанта (JivoSite, например, или EnvyBox) – это позволит быстрее обрабатывать запросы посетителей + даст возможность расширить сниппет в выдаче.

  2. В разделах/подразделах вывести дополнительные ссылки на теговые страницы с брендами товаров. Например, тонометры – микролайф, омрон и т.д. Каждый бренд должен открываться на отдельной статичной странице (для того чтобы оптимизировать их под запросы).


  3. В левый сайдбар навигации вывести все подкатегории – например, для тонометров выводить «автоматические», «полуавтоматические», «механические» и т. д. Сделать так, чтобы пункт «Тонометры» разворачивался вниз и показывал свои подкатегории – это упростит переход к подразделам.


  4. В карточку товара вывести блок «Похожие товары» — работа на внутреннюю перелинковку сайта + помощь пользователю + улучшение поведенческих показателей (время на сайте, процент отказов и т.д.).


  5. В карточку товара вывести блок «С этим товаром часто покупают» — сюда выводить расходники (если они есть). Данный блок работает аналогично предыдущему, с одним лишь отличием — помогает делать допродажи.

  6. Все карточки товаров вывести в отдельную категорию /product/ вне общей структуры сайта. Это поможет избавиться от дублирования страниц в том случае, если один товар будет показываться в нескольких категориях одновременно и, соответственно, иметь два разных адреса.

Как я уже говорил выше, я не ставил целью сделать звездолет из шаблонного интернет-магазина, нужно было просто привести его в человеческий вид, потратив минимум времени и денег.

Сбор семантического ядра и структура сайта

Проанализировав ТОП-20 конкурентов в тематике, была создана базовая семантика (до 500 запросов), которая в течение месяца была расширена до более чем 4000 запросов. Учитывались не только ключи для разделов и подразделов, но и коммерческие запросы для теговых страниц + запросы по товарам.

После сбора и чистки семантики, была проведена кластеризация запросов и разбивка их по посадочным страницам. Имея на руках структурированное СЯ и анализ конкурентов, была выведена расширенная структура сайта. К сожалению, полностью ее привести не смогу — она получилась очень разветвленной (нет возможности сделать хоть сколько-то адекватный скрин), ниже пример небольшого ее куска.


Оптимизация и наполнение

Итак, все необходимые данные у нас на руках, приступаем к практической части работы.

  1. Для каждой группы запросов был составлен уникальный title и description на основе анализа конкурентных сайтов и перечня ключей, входящих в кластер. Внесение всех мета на посадочные страницы  заняло около 40 часов. Это суммарное время, потому что большей части страниц на сайте не существовало и приходилось возвращаться к правке мета каждый раз, когда был готов контент для новой страницы.

  2. Составлено ТЗ на тексты для посадочных страниц. Написание текстов + публикация. Аналогично, как и в случае с мета-данными, эта работа растянулась аж на пять месяцев, т.к. посадочных страниц получилось немало и каждый месяц копирайтер выдавал контент на определенные группы товаров. Таким образом, мы сразу оптимизировали приоритетные страницы и спасли наших контент-менеджеров от приступов прокрастинации… там по итогу и так выходило что-то около 50к символов ежемесячно, представляете что случилось бы с нашими девушками, если бы им дали задание описать все посадочные страницы сразу?

  3. По внешней оптимизации — раскачка ссылочного профиля путем получения бэклинков из различных источников (чтобы сделать максимально естественную ссылочную историю). Была проведена регистрация в каталогах организаций, покупка отзывов на форумах, приобретение вечных ссылок на трастовых тематичных ресурсах. К сожалению, тематика проекта не предполагала активного продвижения в соц.сетях, потому оттуда ссылок достать не получилось, но и так неплохо.

Результаты

Ну а теперь самое интересное — к чему мы пришли спустя 5 месяцев работы над проектом? Честно сказать, результаты неоднозначные. Яндекс очень хорошо принял сайт — положительная динамика видна невооруженным глазом буквально с первых месяцев работы. А вот Google повел себя более чем странно — упорно отказывался замечать сайт, хотя явных причин тому я не вижу, может быть только слабое ссылочное, которое лично я бы еще качал и качал. В общем, судите сами — далее статистика со скриншотами.

За период с октября 2018 года по февраль 2019 средняя позиция сайта в ПС Яндекс выросла с 70 до 34. В Google практически без изменений.

Процент запросов в ТОП-10 ПС Яндекс вырос с 6% до 38%. Google — без изменений.


За период с октября 2018 года по февраль 2019 посещаемость сайта из Яндекса выросла с 774 визитов/месяц до 1637 визитов/месяц. Google за 5 месяцев практически без изменений — 50-70 визитов/месяц.


Подводим итоги

По завершении работ сайт был причесан, наполнен контентом и оптимизирован для продвижения в поиске. Началась аккуратная прокачка ссылочного профиля, которую следовало бы продолжать и дальше.

Хотя сайт не получилось вытянуть в поиске Google, нам удалось хорошо стартовать в Яндексе. В ТОП-10 Яндекса зашли как НЧ и СЧ-запросы, так и “толстые” ВЧ-запросы по ряду кластеров.

Возвращаясь к ситуации с Google — как я уже говорил, меня терзает подозрение, что конкретно данный проект, не имея раскаченного ссылочного профиля и будучи по сути молодым проектом, просто все еще сидит в песочнице (иначе как объяснить такую никакую динамику за полгода?). Признаюсь, тотальное фиаско с гуглом меня сильно зацепило, поэтому я продолжаю следить за проектом, периодически снимая позиции и проверяя метрику сайта — кто знает, может быть однажды я увижу рост показателей и смогу наконец-то спать спокойно?

Что же, а у меня на сегодня все! Всем счастья-здоровья, дружите с гуглом и не берите без предварительного анализа ссылки у незнакомцев, какими бы сладкими они (незнакомцы ссылки) не казались. Ну и подписывайтесь на нашу рассылку, чтобы не пропустить интересные статьи и кейсы от моих более удачливых коллег.


Владимир Еленский

Практикующий SEO-специалист MAXI.BY media. Опыт работы более 5-ти лет. Хороший человек и просто красавчик.


Индексация сайта в поисковых системах Яндекс и Google. Как ускорить, проверить

Индексация сайта в поисковых системах — важная составляющая продвижения сайта в топ Яндекс и Google.

В статье расскажем, что такое индексация сайта, чем отличается индексация Яндекс и Google, как проиндексировать сайт в поисковых системах и как можно ускорить этот процесс. В завершении покажем, как проверить индексацию страниц.

Получайте до 18% от расходов на контекстную и таргетированную рекламу!

Рекомендуем: Click.ru – маркетплейс рекламных платформ:

  • Более 2000 рекламных агентств и фрилансеров уже работают с сервисом.
  • Подключиться можно самому за 1 день.
  • Зарабатывайте с первого потраченного рубля, без начальных ограничений, без входного барьера.
  • Выплаты на WebMoney, на карту физическому лицу, реинвестирование в рекламу.
  • У вас остаются прямые доступы в рекламные кабинеты, рай для бухгалтерии по документообороту и оплатам.
Начать зарабатывать >> Реклама

Читайте также: 10 лучших курсов по SEO-продвижению

Что такое индексация сайта в поисковых системах?

Индексация сайта или страниц сайта — это когда поисковые роботы обходят сайт и собирают данные о его содержании. Во время индексации сканируется вёрстка, текст, внешние и внутренние ссылки, графические и медиа элементы. После успешной проверки сайт попадает в индекс поисковой системы.

Простыми словами, поисковики вносят ваш сайт в свою базу данных и решают, показывать ли его в результатах выдачи. Далее поисковая система ранжирует ресурсы по собственным алгоритмам, учитывая полезность, тематику и другие параметры.

По большому счёту, процесс индексирования сайта в Яндекс и Google идентичен, но с одним отличием. В 2019 году Google изменил свой основной принцип индексирования сайта и перешёл на Mobile-first. С этого момента, поисковик в первую очередь сканирует мобильную версию страниц, а не десктопную. Поэтому, если вы хотите, чтобы ваш сайт лучше ранжировался в Google, проработайте отображение сайта на мобильных устройствах.

При этом, не стоит путать индексацию и ранжирование сайта:

  • Ранжирование — это порядок отображения сайта в результатах поисковой выдачи, по определённым запросам.
  • Индексация — это всего лишь фиксация данных о сайте в базе данных ПС.

Не путайте!

Как проиндексировать сайт в Яндекс и Google

По факту, можно ничего не делать и просто подождать, и поисковые системы, рано или поздно, самостоятельно проиндексируют сайт. Но лучше не надеяться на поисковики и взять инициативу в свои руки.

Но перед тем, как отправить сайт на индексацию, помните о поисковой оптимизации: правильном заполнении title и description, заголовков h2 и h3-H6, уникальном тексте, перелинковке, микроразметке.

Когда сайт готов, можно переходить к индексации.

Индексация сайта в Яндексе:

  1. Правильно прописать файл robots.txt.
  2. Сделать карту сайта.
  3. Добавить сайт в Яндекс.Вебмастер.
  4. Отправлять новые страницы на индексацию.

Индексация сайта в Google:

  1. Правильно прописать файл robots.txt.
  2. Сделать карту сайта.
  3. Добавить сайт в Google Search Console.
  4. Отправлять новые страницы на индексацию.

После этого поисковикам потребуется время на то, чтобы собрать и отобразить данные о сайте. Отобразятся они там же, в Яндекс.Вебмастер и Search Console. Обычно на это уходит 2-3 дня, может и больше, но не более недели.

Если вы всё сделали правильно и сайт до сих пор не проиндексирован, то почитайте нашу статью: скоро здесь появится ссылка.

Как ускорить индексацию сайта

Выпустили новую статью и хотите, чтобы она как можно быстрее стала приводить вам поисковый трафик? В таком случае, можно ускорить индексацию новой страницы.

Вот несколько действенных способов:

  1. Откройте Яндекс.Вебмастер. Перейдите «Индексирование — Переобход страниц». Вставьте в текстовое поле URL-адрес и нажмите внизу «Отправить». Молодые сайты таким способом могут проиндексировать до 30 новых страниц за сутки, далее лимиты устанавливаются индивидуально.
  2. Для Google. Заходим в Search Console. В поле сверху вставляем URL-адрес и жмём Enter. Откроется страница с предварительными данными, здесь нажимаем «Запросить индексирование».
  3. Разместите ссылку на новую страницу в социальных сетях: ВКонтакте, Facebook, Twitter и прочих. Чем больше, тем лучше.
  4. Сделайте email-рассылку с анонсом новой страницы или статьи. Также рассылку можно сделать в соцсетях или мессенджерах.
  5. Добавьте внутренние ссылки, ведущих на нужную страницу. Лучше всего размещать такие ссылки на самых посещаемых страницах своего сайта.
  6. Чаще обновляйте сайт и публикуйте новый контент. Тогда поисковые роботы сами будут чаще сканировать ваш ресурс.

Все эти действия в комплексе или по отдельности позволят поисковикам раньше обнаружить и проиндексировать новую страницу или ресурс в целом.

Как проверить индексацию сайта

Чтобы проверить индексацию сайта в поисковых системах, можно сделать следующее.

Способ 1. Введите в поиске специальный запрос: оператор [site] и адрес сайта (без пробела).

Пример: site:postium.ru.

Актуально, как для Яндекса, так и для Google.

Способ 2: Как узнать сколько страниц проиндексировал Яндекс.

Заходим в Яндекс. Вебмастер и переходим «Индексирование — Структура сайта». Напротив своего сайта, в столбце «В поиске» вы увидите количество проиндексированных страниц.

Способ 3: Как узнать сколько страниц проиндексировал Google.

Заходим в Search Console и открываем раздел «Покрытие». Здесь также показывается количество проиндексированных страниц, и страницы с ошибками.

Способ 4. Расширения для браузера, такой как, например RDS-бар.

Способ 5. Различные SEO-сервисы для анализа сайтов: Serpstat, Netpeak Checker, Pr-cy и прочие.

Заключение

После успешной индексации сайта в поисковых системах, работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказаться в ситуации, когда значительная часть трафика из поисковиков просто исчезла.

Полезные ссылки:

Индексация сайта — что это такое, определение в маркетинге на ROMI center

Что это такое

Индексация страниц сайтов в поисковиках происходит по алгоритмам поисковых систем: учитываются ссылки ресурса, релевантность и распределение контента по разделам. Роботам важно понять, насколько представленная информация ценна для пользователя, который ввёл запрос в поисковую строку. Именно это и позволяет выявить поисковая индексация сайта. 

Как настроить свой ресурс для наилучшей поисковой выдачи и как проверить все показатели? Обо всём этом расскажем далее.

Как проходит индексация сайта

Как только появилась глобальная сеть, у владельцев поисковых систем возникла необходимость фильтрации результатов запросов. В эти времена и появилась индексация сайта по ключевым словам. Такой односторонний метод оценки привёл к тому, что на первых строках результатов появлялись совершенно бесполезные страницы, сплошь и рядом заполненные необходимыми словоформами. 

С тех пор многое изменилось и поисковые роботы научились оценивать сайты сразу по нескольким параметрам для получения наиболее достоверной информации. Сейчас индексация сайта бесплатная и высота отображения ресурса зависит исключительно от его качества. 

Для улучшения индексации ресурса большинству русскоязычных сайтов достаточно учесть особенности алгоритмов двух основных поисковиков: Google и Яндекс. Подача данных нового сайта может происходить автоматическим и ручным методами. Рассмотрим далее самые распространённые вопросы о прохождении индексации: 

Как происходит автоматическая проверка?

Автоматическая индексация сайта в поисковых системах происходит при помощи механизмов, которые самостоятельно находят ресурс и анализируют его контент, релевантность информации, ссылки, трафик, время визитов пользователей и многое другое. Началу прохождения такой проверки способствует наличие ссылок на сайт на других ресурсах.

Индексация в Google сайта: как сделать вручную? 

Необходимо зарегистрировать ресурс в сервисе Google Search Console. 

Где проверить количество страниц в индексе?

Чтобы узнать, сколько страниц сайта проиндексировано Яндексом, перейдите по ссылке. Для аналогичного мониторинга в Google необходимо ввести в поисковую строку значение site: домен сайта. Например site:moisait.ru

Почему Яндекс не индексирует сайт? 

Яндекс сканирует ресурсы с более низкой скоростью, в сравнении с Google. Для получения заветной отметки в базе данных необходимо зарегистрироваться в Яндекс.Вебмастер. 

Индексация Яндекс и Google: что важно учесть?

Помимо регистрации в Яндекс.Вебмастер и Search Console необходимо проверить карту сайта — sitemap, а также указать необходимые параметры индексации в файле Robots.txt.

Сколько времени индексируется новый сайт

Сколько занимает проверка — зависит от поисковой системы. Google является скоростным лидером в данном процессе, управляясь с индексацией примерно за одну неделю. Время индексации в Яндексе может быть больше — до нескольких недель. 

Скорость, с которой поисковик заметит ресурс зависит от множества параметров, поэтому указанные сроки весьма условны. Например, дополнительные страницы уже проиндексированного сайта рассматриваются быстрее.

Что значит переиндексация сайта

Переиндексация — повторный анализ страниц, производимый алгоритмами поисковых систем. Как часто происходит данный процесс? Во многом это зависит от регулярности обновлений. Чем чаще на сайте появляется новая информация, тем с большим вниманием поисковик рассматривает ресурс, чтобы не пропустить новости. О прочих лайфхаках для ускорения индексации поговорим далее. 

Проверить сайт на запрет индексации

При индексации сайта могут возникнуть проблемы, которые требуется оперативно устранить. Чтобы страницы успешно прошли проверку и отображались в поиске.

Яндекс.Вебмастер и Search Console содержат разделы, в которых можно посмотреть проблемы, найденные на ресурсе. Например, система может сделать запрет на индексацию страниц за нарушение правил безопасности или за отсутствие подверждённого домена.

Последствия запрета индексации части сайта отразятся на показах этих страниц. Пользователь просто не увидит их, когда введёт в поисковик целевой запрос. 

Как открыть сайт для индексации, скрыв отдельные страницы

Однако иногда часть страниц требуется закрыть от индексации преднамеренно, прописав их в файле robots.txt. Вот в каких случаях это может пригодиться:

  1. Дублированные страницы.
  2. Страницы в разработке.
  3. Технические разделы, которые необходимо скрыть.

Во-первых, запретить индексацию специально можно путём указания имени нужного файла или папки в файле robots.txt: 

User-agent: *

Disallow: /folder/file.php

Disallow: /folder/

Системы не смогут проверить noindex и nofollow, поэтому второй вариант скрытия ненужного контента — это указание данных тегов. 

Запретить индексацию сайта полностью

Иногда требуется полностью удалить сайт из базы данных поисковых систем. Для это необходимо прописать в robots.txt значение:

User-agent: *

Disallow: /

Если же сайт не индексируется, но требуется обратное — необходимо в первую очередь проверить этот же файл. Возможно, во время работ на ресурсе он был временно скрыт от посторонних взглядов.

Проверка индексации сайта в поисковых системах

Проверить индексацию страницы можно:

  • При помощи поисковой строки, добавив к домену сайта символы «site:».
  • Встроенными инструментами Яндекс.Вебмастер и Google Search Console.
  • Специальными сервисами, например RDS Bar или XSEO.in.

Как ускорить индексацию?

Индексирование сайта — это целый ряд процессов, повлиять на которые возможно, улучшив качество ресурса. Как проверить, достаточно ли хорош продукт с точки зрения поисковых роботов? Выполните перечисленные пункты и потенциальные клиенты уже совсем скоро увидят вас на страницах Яндекса и Google. 

  • Поисковые боты ценят частое обновление контента, поэтому нужно публиковать новости регулярно. 
  • Файлы sitemap.xml и robots.txt должны быть корректно заполнены.
  • Индексация ссылок — краеугольный камень SEO, поэтому стоит включить внутреннюю перелинковку и добавить внешние ссылки. 
  • Необходимо проверить наличие ошибок.
  • Провести индексацию сайта наилучшим образом поможет качественный контент и удобство ресурса для пользователей.
  • Проверить контент сайта и включить в него ключевые слова, по которым необходимо отображаться. 
  • Исключить дубли страниц или скрыть их от индексации.

Как часто Яндекс переиндексирует сайты?

В Корпорации РБС систематически проводятся исследования алгоритмов поисковых систем, в том числе, конечно же, алгоритмов Яндекса. Аналитические данные, полученные в результате исследований, позволяют совершенствовать и улучшать технологии продвижения сайтов. Так, например, нами был проведен эксперимент, позволивший получить ответ на вопрос, который волнует многих оптимизаторов: как часто Яндекс переиндексирует сайты?

Некоторые оптимизаторские компании придерживаются в своей работе устоявшихся представлений о том, что переиндексация проходит примерно раз в две недели — месяц. Так считалось раньше, многие продолжают считать так и сегодня. Однако, по данным наших последних исследований, средняя частота индексации страницы сайта поисковыми роботами Яндекса составляет 2 месяца.

Вас, конечно, интересует вопрос, как мы получили эти цифры. Воспользовавшись операторами Яндекса, которые позволяют искать страницы по дате документа, мы произвели подсчет того, сколько страниц было проиндексировано за несколько месяцев. То есть, мы получили точное количество страниц, проиндексированных за день, за месяц и т.д. На основании этих данных, усреднив дату индексации по массе страниц, была подсчитана средневзвешенная частота индексации рунета.

Итоговые данные исследования представлены в таблице:

Сколько месяцев назадДата индексации: начиная сДата индексации: заканчиваяПроиндекси-рованных страниц в месяцПроиндекси-рованных сайтов в месяцПроизведение числа страниц на число месяцев ожидания
0,524.11.200824.12.200811662753285246643 583137664
1,525.10.200824.11.20085170378247348362 775556736
2,525.09.200825.10.200857504960010233151 1,438E+09
3,526.08.200825.09.20083191396807032475 1,117E+09
4,527.07.200826.08.20081564730561619253 704128752
5,527.06.200827.07.2008675090801153613 371299940
6,528.05.200827.06.2008553732401512878 359926060
7,528.04.200828.05.200832786320817107 245897400
8,529.03.200828.04.200819774816813317 168085936
9,528.02.2008 29.03.200819155704765290 181979188
10,529.01.200828.02.200818788006 651709 197274063
11,530.12.200729.01.200814784696 521438 170024004
12,530.11.2007 30.12.200712517872 561495 156473400
Суммарное число страниц2974665222Среднее число месяцев до индексации 2,1749955

Изучив данные, представленные в таблице и на графике, можно сделать вывод, что срок давности индексации «средней» страницы в рунете составляет 2,17 месяца. Если посчитать более точно — учесть первые три месяца (75% всех проиндексированных страниц) с точностью до дня — получится, что средняя периодичность индексации составляет 59 дней (на 24 декабря 2008). То есть, примерно два месяца, а не две недели — месяц, как полагали раньше.

Что дают оптимизаторам эти цифры? За установленную ссылку оптимизатор, а вместе с ним и клиент платит 2 месяца ежедневно. А ссылка начинает приносить пользу только через 2 месяца — нерациональный расход бюджета на продвижение, не так ли? Когда проиндексированность ссылок систематически проверяется с помощью специальных программных комплексов, такого не происходит. Вывод прост — доверяйте свой бюджет на продвижение умелым и опытным оптимизаторам, которые имеют возможность отслеживать и снимать нерабочие ссылки и заменять их новыми.

Статья подготовлена по материалам исследований Евгения ТРОФИМЕНКО, начальника отдела исследований и аналитики Корпорации РБС.

отличия и особенности — SEO-словарь веб-студии Муравейник

В данной статье рассмотрим различия в индексации Яндекса и Google и почему в разных поисковиках может быть проиндексировано разное количество страниц. Подписчик спрашивает: «По какой причине в индексе Яндекса и Google количество страниц моего сайта разное? К примеру, в Яндексе 155, а в Google 230. Насколько это плохо? Как определить, почему так случилось? Как исправить?».

Почему необходимо попадание страниц в индекс

Индекс — это некоторая поисковая база, из которой потом поисковая система выбирает старнички, чтобы они участвовали в ранжировании (то есть участвовали в конкуренции за первые места) по тем или иным запросам.

Если страница вылетела из индекса либо в него не попала, то, соответственно, нигде не будет участвовать — и это плохо. Потому что если она хоть как-то худо-бедно в индекс залетела, то какой-нибудь запрос все равно на себя притянет, по нему выйдет. Пусть он даже будет супермикрочастотный, все равно хоть какой-то трафик может на себя собирать.

Потому за этим действительно нужно следить. У каждой поисковой системы существуют разные критерии по добавлению страниц в индекс и сохранении их там.

Есть четкие, например, и Яндекс, и Google выбрасывают дубли, а также страницы, закрытые от индексации тем или иным способом (и это очевидно, вебмастеры сами сказали поисковиком, что их не надо индексировать) и т.д.

Но есть и более мягкие критерии:

  • в Яндексе — это те страницы, которые раньше называли недостаточно качественные, а сейчас — малополезные, малоценные либо невостребованные. И у Яндекса свой набор правил, по которым эти страницы вылетают;
  • в Google такие страницы попадают в «просканировано, но не проиндексировано». То есть поисковик об этих страницах узнал, но пока решил в индекс не добавлять.

    • В обе эти категории входят страницы, которые по этим «мягким», не всегда понятным критериям не попадают в индекс. И в основном различие в индексации Яндекса или Google относится к этим категориям страниц, которые вылетели и не попали в индекс по неоднозначным критериям.

    Особенности индексирования в Яндексе и Google

    В Яндексе «недостаточно качественное» поменялось на одтельные два блока — малополезное/малоценное и невостребованное — и две категории как бы объединены, но по факту это 2 разных проблемы.

    Первая, когда они малополезны, малоценны — это про их качество: мало контента, либо он настолько некачественный или недостаточный по мнению Яндекса, что из-за этого страница не попадает в индекс. Обычно это карточки товаров без фотографий, документ практически без контента — только заголовок, а больше ничего нет, или заголовок и один комментарий. Вот такие часто вылетают. То есть просто страница настолько проигрывает конкурирующим, что не может быть показана по какому-либо запросу, потому что бесполезна.

    А вот вторая часть — невостребованы — это абсолютно про другое. Такая страница не нужна, нет тех запросов, по которым она будет ранжироваться, люди такое не спрашивают, поэтому даже нет смысла ее добавлять. И здесь вопрос в спросе.

    Например, у вас есть теговая страница на сайте. И вы берете и добавляете заголовок в Вордстат, можно даже без разметки (кавычек, восклицательных знаков), а просто в широком соответствии. Даже можно регион не выставлять, а выбрать всю страну. И смотрите, а есть ли в таком режиме хоть какой-то мизерный спрос на это. И если хотя бы 10-20 человек так спрашивают, то страницу можно оставлять и под «невостребована» она не попадет. Если там 0, то лучше такую теговую страницу вообще не создавать, не внедряйте искусственную семантику на сайт, это вам только навредит. В ряде случаев это может пройти, но потом все равно такие страницы вылетят и сайту будет плохо.

    Иногда, конечно, бывает, что может повезти и получится. Есть опыт, когда сгенерировали всё на всё, немного доделали и оно все-таки зашло — но это довольно редкая ситуация.

    В Google нет такой детализации. Данный поисковик не особо любит объяснять, почему он именно так решил и именно эти страницы в категорию «просканировано, но не проиндексировано» отправил. И, в общем, в справке у них это тоже описано довольно абстрактно. В Яндексе тоже раньше про недостаточно качественно толком написано не было, сейчас хоть расписали в новой формулировке, спасибо им за это. А вот у Google четких критериев нет.

    Что делать

    Таким образом, все отличие в количестве проиндексированных страниц заключается в том, что критерии отличаются у разных поисковиков. Так что вам нужно заходить и в отчет Яндекса по просканивроанным и проиндексирвоанным старницам, смотреть, почему вылетели именно они: недостаточно качественные, дубли или еще какие-то причины, они случайно стали закрыты или не случайно. И обратить внимание, есть ли проблемы, какие, и постараться исправить их: сделать документы более качественными, а если не востребованы (спроса нет), то просто удалить, и в Яндекс и Google они не должны попадать.

    И в Google тоже заходить в отчет «просканировано, но не проиндексировано» и смотреть, какие страницы туда попали, затем пробовать их либо прокачать, либо закрыть от индексации.

    Поэтому в целом такое отличие, как правило, не несет ничего плохого, но если очень сильно отличается количество страниц, то нужно проверять и там, и там и как-то исправлять.


    Что такое индексация сайта, как ее проверить и как ускорить

    Чтобы открыть онлайн-магазин, запустить информационный или развлекательный портал в сети необходим сайт – это, буквально, место или сегмент в виртуальном пространстве с уникальным адресом (домен), где размещается контент и файлы по проекту. Но чтобы ресурс можно было найти среди других, его необходимо «прописать» в специальной базе поисковых систем – индексе.


    Что такое индексация сайта? Как её правильно выполнить и проверить? Можно ли ускорить этот процесс и полностью отказаться от него, на что влияет индекс? На все вопросы подробно отвечаем в этой статье.

    Разбираемся в понятиях

    Индексация страницы – это процесс сбора, проверки и внесения информации о контенте сайта в базу поисковых систем. Такая непростая и трудоемкая работа поручается специальным роботам, которые целиком обходят весь сайт и, следуя установленным алгоритмам ПС, собирают информацию со страниц. При индексации учитываются внешние и внутренние ссылки, графические элементы, текстовое наполнение и другое. Если ресурс проходит проверку, то он вносится в индекс ПС, то есть пользователи смогут его найти по поисковым запросам.

    Вся информация в базе – это выжимка данных, собранных поисковыми роботами с сайтов в Интернете. Пользователю, обратившемуся к такой библиотеке через ПС, предлагается сначала каталог сайтов с релевантной запросу информацией. Поисковые системы ранжируют ресурсы по собственным алгоритмам, учитывая полезность, тематику и другие параметры. Ознакомившись с краткой информацией о ресурсе (заголовок + сниппет), пользователь кликает на позицию в выдаче и переходит на целевую страницу для дальнейшего изучения.

    Попытки структурировать сайты в сети были приняты в конце 90-х годов прошлого века. В то время алгоритмы ПС только разрабатывались, поэтому индекс напоминал предметный указатель по ключевым словам, которые находили роботы на проверяемых страницах. Соответственно в ТОП выдачи часто проникали переоптимизированные и абсолютно бесполезные для пользователей сайты. За 20-30 лет развития алгоритмы отбора усложнились. Сегодня роботы смотрят не только на попадание контента в тематику, но и на его качество, полезность для людей, доступность сайта с разных устройств, скорость загрузки и многое другое.

    Как индексируют Яндекс и Google


    Для большинства пользователей Рунета, индексация в поисковых системах – это добавление сайта в базу Яндекса и/или Гугла. Обычно достаточно прописать ресурсы только в этих поисковиках, чтобы развивать свой проект. Провести индексацию, независимо от выбранной ПС, можно двумя способами:

    1. Поисковые роботы самостоятельно находят и проверяют созданный сайт или его новые страницы. Многие эксперты считают такой вариант самым выгодным, ведь если ПС сами хотят внести ресурс в индекс, то он пользуется популярностью. Значит, приносит пользу. Как роботы определяют полезность страниц: наличие активных внешних ссылок, объемы трафика и вовлеченность посетителей. Если все условия выполняются, то индексация сайта проходит быстрее: от 24 часов до недели. В противном случае ПС могут и вовсе «забыть» о новом ресурсе. Работы у роботов хватает.
    2. Пользователь принудительно отправляет сайт на индексацию с помощью заполнения формы на сервисе поисковой системы. Созданные страницы помещаются в очередь на «прописку» и ждут посещения роботов ПС. Обычно добавляют URL главной страницы, а боты сами обходят весь ресурс, ориентируясь по карте сайта, меню и внутренним ссылкам. Используются сервисы Google Webmaster Tools и Яндекс.Вебмастер соответственно. Этот вариант занимает больше времени, но не требует финансовых затрат.

    Для сканирования сайтов существуют разные боты ПС. Например, проверку новых страниц перед внесением в индекс делает основной робот, который проверяет весь контент на ресурсе. Новую информацию на проиндексированных страницах проверяет быстрый робот в соответствии с графиком обновления. Также используются боты для сканирования новостной ленты, графического контента и другие.

    Как проверить?

    Алгоритмы индексации и соответственно скорость работы ботов Яндекса и Гугла отличаются. Считается, что Google проверяет страницы быстрее. Это связано с тем, что система сначала сканирует сайт полностью – полезные и неполезные страницы, но в выдачу пропускает только качественные ресурсы. Таким образом, попадание в индекс Гугла ещё не гарантирует место в выдаче.

    Индексация сайта в Яндексе, что это такое и почему долго? Роботы ПС проверяют только полезные материалы, отсеивая мусорные страницы. Поэтому индексация затягивается. В любом случае сканирование контента на соответствие требованиям выполняют обе системы: Яндекс сразу, а Гугл после «прописки».

    Проверить индексацию можно тремя способами:

    • Использовать инструменты вебмастеров, которые предоставляются поисковыми системами бесплатно – это webmaster.yandex.ru или google.com/webmasters. В Гугле откройте Search Console и далее раздел «Индекс Google». Информация о статусе сайта находится в блоке «Статус индексирования». В Яндексе пройдите по следующей цепочке: «Индексирование сайта» — «Страницы в поиске». Естественно нужно сначала внести в форму URL сайта и подтвердить права владельца.
    • Использовать специальные операторы, которые вводятся в поисковую строку. Для Яндекса и Гугла нужно прописать значение «site:» и после двоеточия добавить домен ресурса. Например: site:calltouch.ru. Таким способом можно узнать количество проиндексированных страниц. Если значения в Гугле и Яндексе сильно различаются, то вероятно сайт под фильтром.



    • Воспользоваться браузерными плагинами или спецсервисами. Это небольшие дополнения к веб-обозревателю, которые автоматически проверяют наличие страниц в индексе. Популярное решение — RDS Bar.


    Как ускорить?

    От того, как быстро роботы ПС проверят новый контент напрямую зависит скорость появления страниц в поисковой выдаче. Соответственно на сайт быстрее придет аудитория и совершит целевые действия. Скорость индексации зависит от нескольких факторов:

    • Авторитетность сайта в сети, полезность для пользователей;
    • Отсутствие ошибок при индексации;
    • Качество и частота обновления контента;
    • Наличие внутренних и внешних ссылок;
    • Вложенность страниц;
    • Правильно заполненные файлы sitemap.xml и robots.txt;
    • Корректно выставленные ограничения в роботсе.

    Для ускорения индексации рекомендуется выполнить следующие действия:

    1. Подобрать надежный и быстрый хостинг.
    2. Поставить сайт на индексацию в ПС Яндекса и Гугла.
    3. Корректно настроить robots.txt. В файле нужно запретить посещение технических, служебных страниц, просмотр другой информации, не представляющей пользы для посетителей.
    4. Создать файл карты sitemap.xml и сохранить его в корне сайта. По нему роботы проверяют структуру страниц, а также следят за обновлением контента.
    5. Проверить код главной и других страниц на наличие ошибок и дублей.
    6. Проверить текстовое наполнение на количество ключевых слов.
    7. Регулярно размещать на сайте новый полезный контент. Рекомендуется настроить внутреннюю перелинковку между статьями и страницами. Это простой и эффективный вариант повысить вовлеченность пользователей в проект и соответственно «подрасти» в выдаче.
    8. Настроить навигацию, сделать доступ к нужной странице с главного меню не длиннее 3-х кликов. К юзабилити сайтов сегодня предъявляются повышенные требования, так как это напрямую влияет на поведенческие факторы посетителей. Если до нужной информации расстояние в 10-12 кликов, то 90% пользователей покинут такой сайт.
    9. Разместить ссылки на ресурс в соцсетях, на тематических форумах, досках объявлений и других площадках генерации трафика.

    Часто требуется уменьшить вес изображений, так как «тяжелая» графика замедляет загрузку страниц, плохо сказывается на индексировании и дальнейшем продвижении в поисковой выдаче.

    Как закрыть страницы от роботов?


    Выше мы узнали, что такое индексация страниц сайта, зачем она нужна, как ускорить этот процесс. Поговорим теперь, как спрятать от проверки информацию на страницах и зачем это делать.  Обычно запрет на сканирование ботами ПС устанавливают, чтобы скрыть от публичного просмотра технические и служебные страницы, конфиденциальную информацию, ресурсы в разработке, дубли и другое.

    То есть, чтобы качественно продвигаться в поиске, нужно знать, какие данные показывать, а какие скрывать.

    Поставить запрет на сканирование ботами можно несколькими способами:

    1. Использовать файл robots.txt. В документе можно запретить индексацию отдельной страницы, так и всего сайта целиком. Этот файл как раз и устанавливает правила для роботов ПС. Для запрета используются два основных оператора: указание адресата (User-agent) и запрещающая директива (Disallow), которая ставит «шлагбаум» для бота. Например, если сайт ещё не готов к запуску, то в роботсе можно прописать следующий код: User-agent: * и на следующей строке Disallow: /. Так вы закроете весь ресурс для роботов ПС.
    2. Прописать специальные теги в файле robots.txt. Обычно этот вариант используется для скрытия одной страницы от сканирования. Используются теги noindex и nofollow, которые запрещают ботам ПС проверять страницу или часть контента. Например, можно запретить работу конкретного бота следующим кодом: <meta name=»googlebot» content=»noindex, nofollow»/>.

    На что влияет индексация?

    Благодаря «прописке» в поисковых системах Яндекса и Гугла, сайты попадают в поле видимости пользователей и потенциальных клиентов. Сама по себе целевая страница в сети, онлайн-магазин или Landing Page не представляет ценности. Полезность её определяют посетители. Соответственно находясь в индексе и регулярно обновляя контент, ресурс растет в выдаче. Это увеличивает приток трафика и помогает развивать проект.

    Роботы ПС оценивают не только качество контента, но и поведенческие факторы, посещаемость, вовлеченность. С помощью этих метрик определяется полезность сайта. Чем лучше поведенческие факторы аудитории, тем выше страницы в ранге. 

    Первые 20 строк поисковой выдаче собирают 95% всего трафика по запросу. Поэтому быть в индексе на хорошем счету у ПС – это гарантия успешного продвижения и высоких конверсий.

    Резюме

    Мы рассмотрели, что такое индексация сайта в поисковых системах Яндекс и Гугла. Изучили основные моменты добавления, проверки и ускорения «прописки» в ПС. Узнали, как и зачем выставлять запреты на сканирование страниц ботами. У индексации простая задача, но с далеко идущими последствиями – внести информацию о сайте в базу поисковых систем.

    Почему сайт не в поиске: причины и способы проверки

    Проверка индексации сайта через Яндекс Вебмастер и Google Search Console

    Для того, чтобы проверить качество индексации страниц сайта, достаточно воспользоваться сервисами от двух поисковиков: Яндекс Вебмастер и Google Search Console. Каждая из этих панелей показывает количество находящихся в индексе страниц для своего поисковика (Яндекс и Google, соответственно).

    Google Search Console

    Зайдя в этот инструмент, на главной странице находим блок «Покрытие». В нем показывается график с количеством страниц сайта в индексе Гугла (зеленый график), и количество страниц, которые содержат ошибки (красный график). В таком виде удобно смотреть как добавлялись/удалялись страницы из индекса в определенный отрезок времени.

    Из блока «Покрытие» есть возможность перехода в полный отчет. На отдельной странице будет показан график, количество ошибок, загруженных страниц без ошибок и исключенные страницы. Кликая по каждому из показателей, получаем графические данные по нему, а также списки самих URL-адресов.


    Заходим в блок «Покрытие»


    Просматриваем нужный отчет

    Яндекс Вебмастер

    Аналогичные возможность есть у Яндекс Вебмастера. Чтобы посмотреть проиндексированные страницы Яндексом, заходим в пункт «Индексирование – Страницы в поиске». Пролистав ниже, находим все страницы сайта, которые на текущий момент находятся в индексе.


    Выбираем раздел «Индексирование – Страницы в поиске»


    Список проиндексированных страниц

    Инструмент позволяет просматривать исторические данные о том, как менялось количество проиндексированных страниц. Для этого вверху графика нажимаем «История», а внизу слева выставляем необходимый временной диапазон.


    Анализируем историю индексации

    Как видно из примера, сайт выпадал из индекса полностью, но через какое-то время вернулся вновь.

    Почему сайт может выпасть из индекса? Причины и их решения

    Причин, по которым сайта нет в поиске, может быть множество, рассмотрим основные.

    Новый сайт или страница

    Процесс индексации представляет собой сканирование поисковым краулером документов сайта. После чего данные обрабатываются, а уже после появляются (или не появляются) в поисковой выдаче. Обновление поисковой базы называется Update, и у каждого поисковика он происходит с разной скоростью. Поэтому если страницы недавно созданного сайта не отображаются в поиске, то чаще всего они еще просто не были проиндексированы.

    Отсутствие запрета на индексацию сайта

    Закрыть от индексации можно весь сайт, либо отдельные его документы. Поэтому вторым шагом по поиску причины отсутствия сайта в индексе, будет проверка файла robots.txt, находящегося в корне файловой системы.

    Данный файл открывается с помощью любого текстового редактора, в нем должны отсутствовать следующие строки:

    Блок на весь сайт
User -agent: *
Disallow: /
Или для отдельных страниц:
User-agent: *
Disallow: /page.html

    Страницы могут быть закрыты от индексации посредством метатегов. Если известно, каких именно нет страниц в индексе, проверьте их вручную (либо с помощью автоматизированных инструментов, например, Screaming Frog SEO Spider) на наличие следующего метатега (он доступен только для Яндекса, Google его игнорирует):

    <meta name="robots" content="noindex" />

    Кроме этого, любой документ можно проверить на доступность поисковыми роботами в инструменте Яндекс Вебмастера: Индексирование – Анализ robots.txt. Вставляем в блоке «Разрешены ли URL?» адрес страницы и смотрим результат.


    Проверяем отдельные URL на индексацию

    Дублированный контент

    Поисковые системы заинтересованы в том, чтобы их выдача была как можно более качественной, максимально отвечающей запросам пользователей. Нет смысла добавлять в поиск страницы, если их дубли уже есть в интернете.

    Поэтому перед публикацией контента, особенно текстового, обязательно проверяйте его на уникальность, это можно сделать в следующих сервисах:

    • Text.Googlebot» search_bot

      Запрет в самой CMS

      Это больше всего касается сайтов созданных на платформе WordPress, дело в том, что в админке этого движка есть настройка запрета индексации сайта, и даже если в Robots.txt индексация открыта, то сайт индексироваться не будет. Важно проверить что галочка в данном разделе снята и индексация разрешена.


      WordPress — проверка запрета индексации

      Отсутствие четкой структуры сайта

      Весь контент на сайте должен находиться в структурированном виде, на различных уровнях вложенности (Главная – Категория – Подкатегория – и т.д.). Причем не рекомендуется создавать уровни вложенности более 5. Если эти два правила не соблюдаются, то процесс индексации может затянуться по времени, особенно, если страниц на сайте много.

      Страница или сайт недоступны

      Сайт и его страницы должны быть доступны как посетителям, так и поисковым краулерам, и отдавать код 200. По разным причинам, этот код может отличаться:

      • 4xx – документ недоступен по текущему адресу. Не рекомендуется удалять страницы, находящиеся в индексе поисковика, т.к. это может негативно сказать на ранжировании сайта. Лучше сделать 301-редирект (перенаправление) с удаленной страницы на другую релевантную.
      • 5xx – сервер не в состоянии выполнить запрос.

      Чтобы проверить код ответа сервера, заходим в одноименный инструмент в Яндекс Вебмастере.


      Инструмент для просмотра кода ответов сервера


      Пример отчета

      На сайт наложены фильтры

      Если сайт или его страницы резко выпали из индекса, скорее всего, был наложен фильтр со стороны поисковой системы. Проверить на наличие некоторых фильтров можно в панелях вебмастеров.

      В Google Search Console заходим в пункт «Меры, принятые вручную». Если на сайт применена какая-либо санкция со стороны сотрудников Google, то эта информация будет доступна здесь.


      Google Search Console

      Автоматически наложенные санкции не отображаются в панели, но их можно обнаружить по косвенным признакам.

      Проблемы с Яндексом также частично отображаются в Вебмастере на странице «Сводка».


      Проблемы сайта в Яндекс.Вебмастере

      Вот список некоторых действий, которые могут привести к санкциям со стороны поисковиков:

      • Неадекватное наращивание внешней ссылочной массы. Поисковики не любят манипулирование факторами ранжирования, поэтому при обнаружении накладывают фильтры, понижая сайт в результатах выдачи, либо вовсе удаляют его (или отдельно взятые страницы) из индекса. Фильтры: Минусинск и Пингвин.
      • Низкокачественный или неуникальный контент. Фильтры: АГС, Panda, Баден-Баден.
      • Переоптимизация контента. Недопустимо превышать порог 3-5% плотности ключевых слов, а также использовать вхождения в неестественном виде (например, «купить квартира Москва»).
      • Накрутка поведенческих факторов, например, фейковые посещения сайта.

      Сайт заблокирован государственными органами

      В РФ действует закон, запрещающий распространение определенного типа контента в интернете. За это (кроме уголовного преследования), возможна блокировка сайта по решению ряда государственных органов: Роскомнадзора, Ген. Прокуратуры, МВД, Роспотребнадзора и т.д.

      Эта причина блокировки одна из самых явных, т.к. при посещении сайта пользователь получает всю информацию со ссылками на федеральный закон.


      Блокировка сайта

      Небольшой список материалов, которые подлежат такой блокировке:

      • Информация о способах изготовления и т.д. наркотических веществ.
      • Антиправительственная информация, по типу организации митингов, призывы к массовым беспорядкам и т.д.
      • Описание способов совершения самоубийств.
      • И прочее.

      Дублированный контент внутри сайта

      Если на сайте появляются страницы-дубли, то часть из них выпадет из индекса. Причем может случиться так, что выпадет именно целевая страница.

      Дубли чаще всего появляются в силу специфики работы CMS, когда одна и та же страница доступна по разным адресам, но для поисковика это разные документы. Чтобы этого избежать, рекомендуется изучить подобные нюансы используемой CMS и настроить ее таким образом, чтобы дубли не появлялись (например, установив плагин), либо с них было перенаправление (301-редирект) на основную страницу.

      В рамках данной статьи мы рассмотрели основные причины, по которым сайт может выпасть из поиска. Определив и решив их, после одного или нескольких Update поисковой базы, страницы сайта вернутся в органическую выдачу. 

      Статистика сканирования — Вебмастер. Справка

      Робот-индексатор Яндекса регулярно сканирует страницы сайта и загружает их в поисковую базу. Робот может не загрузить страницу, если она недоступна.

      Яндекс.Вебмастер позволяет узнать, какие страницы вашего сайта сканирует робот. Вы можете просмотреть URL-адреса страниц, которые робот не смог загрузить из-за недоступности сервера хостинга или из-за ошибок в содержании страницы.

      Информация о страницах доступна в Яндекс.Вебмастер на странице. Информация обновляется ежедневно в течение шести часов после посещения страницы роботом.

      По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию об определенном разделе, выберите его из списка в поле URL сайта. Доступные разделы отражают структуру сайта, известную Яндексу (кроме разделов, добавленных вручную).

      Если в списке нет страниц, которые должны быть включены в результаты поиска, воспользуйтесь инструментом «Переиндексировать страницы», чтобы сообщить о них Яндексу.

      Вы можете скачать информацию о страницах в формате XLS или CSV с помощью фильтров.

      Примечание. Данные доступны с 20 февраля 2017 года.

      1. Динамика состояния страниц
      2. Изменения страниц в поисковой базе
      3. Список страниц, просканированных роботом
      4. Фильтрация данных

      Информация о странице представлена ​​в следующем виде:

      • Новые и измененные — количество страниц, просканированных роботом в первый раз, и страниц, статус которых изменился после того, как они были просканированы роботом.

      • Статистика сканирования — количество страниц, просканированных роботом, с кодом ответа сервера.

      Изменения отображаются, если код ответа HTTP изменился, когда робот снова обратился к странице. Например, 200 OK превращается в 404 Not Found. Если изменилось только содержание страницы, в Яндекс.Вебмастере это не отобразится.

      Чтобы просмотреть изменения, установите параметр «Последние изменения». Может отображаться до 50 000 изменений.

      Яндекс.Вебмастер показывает следующую информацию о страницах:

      • Дата последнего посещения страницы роботом (дата сканирования).

      • Путь к странице из корневого каталога сайта.

      • Код ответа сервера, полученный при сканировании.

      На основе этой информации вы можете узнать, как часто робот просматривает страницы сайта. Вы также можете увидеть, какие страницы были только что добавлены в базу данных, а какие были повторно просканированы.

      Страницы, добавленные в базу поиска

      Если страница просматривается в первый раз, в столбце «Была» отображается статус «Н / д», а в столбце «Текущий» отображается ответ сервера (например, 200 OK).

      После успешной загрузки страницы в базу данных поиска она может отображаться в результатах поиска после обновления базы данных поиска. Информация о нем отображается в разделе «Страницы в поиске».

      Страницы, переиндексированные роботом

      Если робот просканировал страницу раньше, статус страницы может измениться при повторном сканировании: в столбце Was отображается ответ сервера, полученный во время предыдущего посещения, в столбце Current отображается ответ сервера получено во время последнего сканирования.

      Предположим, что страница, включенная в поиск, стала недоступна для робота. В этом случае он исключается из поиска. Через некоторое время вы можете найти его в списке исключенных страниц в разделе «Страницы в поиске».

      Страница, исключенная из поиска, может оставаться в базе данных поиска, чтобы робот мог проверить ее доступность. Обычно робот запрашивает страницу до тех пор, пока на нее есть ссылки, и это не запрещено в файле robots.txt.

      Чтобы просмотреть список страниц, установите для параметра значение Все страницы.Список может содержать до 50 000 страниц.

      Вы можете просмотреть список страниц сайта, просканированных роботом, и следующую информацию о них:

      • Дата последнего посещения страницы роботом (дата сканирования).

      • Путь к странице из корневого каталога сайта.

      • Код ответа сервера, полученный при последней загрузке страницы роботом.

      Наконечник. Если в списке показаны страницы, которые уже удалены с сайта или не существуют, вероятно, робот находит ссылки на них при посещении других ресурсов.Чтобы запретить роботу доступ к ненужным страницам, запретите индексацию с помощью директивы Disallow в файле robots.txt.

      Вы можете фильтровать информацию о страницах и изменениях в поисковой базе по всем параметрам (дате сканирования, URL страницы, коду ответа сервера) с помощью значка. Вот несколько примеров:

      По ответу сервера

      Вы можете создать список страниц, которые робот просканировал, но не смог загрузить из-за ответа сервера 404 Not Found.

      Вы можете фильтровать только новые страницы, которые были недоступны для робота.Для этого установите переключатель в положение «Последние изменения».

      Также вы можете получить полный список страниц, которые были недоступны для робота. Для этого установите переключатель в положение Все страницы.

      По фрагменту URL

      Вы можете создать список страниц с URL, содержащим определенный фрагмент. Для этого выберите из списка Содержит и введите фрагмент в поле.

      По URL-адресу с использованием специальных символов

      Вы можете использовать специальные символы для соответствия началу строки или подстроки и устанавливать более сложные условия с помощью регулярных выражений.Для этого выберите совпадения URL-адресов из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них в новую строку.

      Для условий доступны следующие правила:

      Символы, используемые для фильтрации
      Символ Описание Пример
      * Любое количество символов Соответствует любому количеству символов

      Показать данные для всех страниц, начинающихся с https: // example.com / тариф /, включая указанную страницу: / тариф / *

      Использование символа *

      Символ * может быть полезен при поиске URL-адресов, содержащих два или более определенных элемента.

      Например, вы можете найти новости или объявления за определенный год: / news / * / 2017/.

      @ Отфильтрованные результаты содержат указанную строку (но не обязательно строго соответствуют ей) Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: @tariff
      ~ Условие — регулярное выражение Отображение данных для страниц с URL-адресами, соответствующими регулярному выражению.Например, вы можете отфильтровать все страницы с адресом, содержащим фрагмент ~ таблица | диван | кровать , повторяющийся один или несколько раз.
      ! Отрицательное условие Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: ! / Тарифа / *

      Использование символов не чувствительно к регистру.

      Символы @,!, ~ Можно использовать только в начале строки. Доступны следующие комбинации:

      9012 страницы с URL-адресами, соответствующими регулярному выражению
      Оператор Пример
      ! @ Исключить страницы с URL-адресами, содержащими тариф: ! @Tariff

      4 причины, по которым Яндекс.Веб-мастер необходим для вашего веб-сайта

      Яндекс.Вебмастер — это набор инструментов, аналогичных инструментам Google для веб-мастеров, с множеством функций, которые позволяют веб-мастерам и владельцам сайтов проверять статус индексации и оптимизировать видимость своих веб-сайтов в Яндексе. Некоторые функции, такие как отправка и проверка карты сайта или создание и проверка файла robots.txt, также доступны в GWT, а некоторые другие доступны только для Яндекса, что делает Яндекс.Вебмастер неотъемлемой частью инструментария любого SEO-менеджера.Давайте посмотрим!

      1. Связь с Яндексом

      Яндекс — ведущая поисковая система в России, и, следовательно, если вы хотите добиться успеха в привлечении органического трафика на свой российский сайт, вам лучше прислушаться к тому, что он вам скажет. Через Яндекс.Вебмастер владельцы сайта получают:

      Общие сообщения

      Яндекс часто дает советы по оптимизации сайта, изменения алгоритма и другую полезную информацию. Вы также получаете уведомления о новых пользователях, присоединяющихся к вашей учетной записи, о новых сайтах, связанных с вашей учетной записью, и т. Д.

      Предупреждения о безопасности

      Если сайт был взломан или на нем было обнаружено другое вредоносное ПО, Яндекс уведомляет владельца через Яндекс.Вебмастер. Эта функция может оказаться очень полезной и помочь выявить проблемы на ранней стадии, поскольку обнаружение вредоносных программ Яндексом лучше, чем у Google или Norton.

      Количество страниц в поисковом индексе

      В отличие от Google, который почти постоянно обновляет результаты поиска и повторно сканирует сайты, Яндекс обновляет поисковый индекс еженедельно или раз в две недели.За обновлениями можно следить с помощью различных инструментов, и когда происходит большое обновление, обычно полезно проверить, что произошло с позициями сайта, а также количеством проиндексированных страниц.

      Если к сайту применен фильтр или штраф, эффект обычно виден после обновления индекса поиска.

      Изменение ТИЦ

      TIC (тематический индекс цитирования) — это оценка, которую Яндекс присваивает всем веб-сайтам аналогично Page Rank в Google. Яндекс регулярно обновляет ТИЦ, и за обновлениями легко следить через Яндекс.Веб-мастер.

      2. Управление появлением в поиске

      Яндекс предоставляет множество возможностей для создания привлекательных сниппетов поисковой выдачи. Некоторые элементы должны быть добавлены разработчиками (например, микроформаты), а другие можно настроить через Яндекс.Вебмастер:

      URL-адрес

      Для длинных доменов Яндекс дает возможность использовать некоторые буквы с большой буквы, чтобы доменное имя было более читабельным. Например, russiansearchmarketing.com может отображаться в поисковой выдаче как RussianSearchMarketing.com.

      Дополнительные ссылки

      В отличие от Google, Яндекс дает довольно много контроля над органическими дополнительными ссылками. Через Яндекс.Вебмастер можно изменить текст дополнительных ссылок или удалить дополнительные ссылки, которые не актуальны.

      Интерактивные фрагменты — «Острова»

      Около 1,5 года назад Яндекс представил новый макет поисковой выдачи с интерактивными сниппетами под названием Яндекс.Острова. Идея «островов» состоит в том, чтобы приблизить к пользователю наиболее важную информацию и упростить поиск решений проблем пользователей, отвечая на их вопросы быстрее, прямо в результатах поиска.Дизайн «острова» может варьироваться от очень простого — например, кнопка или поле поиска — до довольно сложного, например, формы подачи заявки или даже системы бронирования.

      «Острова» необходимо отправить через Яндекс.Вебмастер.

      3. Настройка региональной принадлежности

      Яндекс, как и Google, показывает результаты локального поиска в разных регионах России. Чтобы Яндекс определил правильный регион для вашего сайта, вы можете воспользоваться настройками «География сайта» в Яндекс.Вебмастере.

      Региональные настройки важны, если вы работаете с так называемыми «геозависимыми» поисковыми запросами, такими как «французский ресторан», «доставка пиццы», другими словами, с продуктами и услугами, которые можно приобрести на месте.

      4. Утверждение авторства текста

      Как я писал в одном из своих предыдущих постов, Яндекс предоставляет в Яндекс.Вебмастере функцию «оригинальные тексты», которая позволяет владельцам контента сообщать Яндексу о своем авторстве. Заявление об авторстве чрезвычайно важно для всех, но особенно для недавно запущенных сайтов, поскольку это сводит к минимуму возможность того, что пираты контента будут ранжироваться выше оригиналов.

      Яндекс.Вебмастер — один из важнейших инструментов поисковой оптимизации Яндекса. Если у вас еще нет учетной записи, обязательно включите ее в свой набор инструментов SEO в 2015 году.

      международных поисковых систем: SEO для Baidu, Yandex и Naver

      Google. Это наиболее широко используемая поисковая система, и для многих это первое, что люди каждый день вводят в свои веб-браузеры. Однако это не единственная поисковая система, которую используют люди. По данным Alexa, Baidu — четвертый по популярности веб-сайт (первое место в рейтинге Google).Фактически, Китай занимает третье место по численности пользователей Интернета (731 миллион в 2016 году), поэтому неудивительно, что Baidu занимает такое высокое место.

      Для веб-сайтов (крупных корпоративных веб-сайтов) не редкость иметь международную аудиторию, поэтому для любого, кто думает о SEO, важно знать обо всех основных поисковых системах.

      Обладая различными функциями и возможностями, каждый сканер поисковой системы настроен для работы с совершенно разным темпом и способностями, часто с совершенно другой конечной целью (удобство для мобильных устройств, авторитетность веб-сайта и т. Д.).

      Итак, когда вы оптимизируете аудиторию, например, в России, вы должны думать, как российские поисковые системы (в данном случае Яндекс!).

      Общий взгляд на поисковые системы по всему миру

      Google: поисковая система с большей долей рынка

      Ларри Пейдж и Сергей Брин основали Google в 1998 году, и это, безусловно, самая широко используемая поисковая система с долей рынка около 90%. Google использует наибольшее количество точек данных для индексации и ранжирования страниц в Интернете, что делает его алгоритмы одними из самых сложных среди любой поисковой системы.Некоторые из основных факторов, которые принимаются во внимание, включают техническое состояние вашего веб-сайта, внешний авторитет (обратные ссылки), удобство для мобильных устройств и, что наиболее важно, качество контента. Сканер Google также очень продвинутый — он способен обрабатывать JavaScript и сканировать миллиарды страниц каждый день.

      На приведенном ниже графике показаны URL-адреса, просканированные Google на определенном веб-сайте. Чтобы проиллюстрировать различия между каждой поисковой системой и ее возможностями, все графики представляют один и тот же веб-сайт за один и тот же период времени с ежедневным просмотром.

      В этом примере Google сканирует около 1–2 млн новых URL-адресов в день. Объем сканирования превышает количество просканированных URL-адресов, а это означает, что ваши страницы можно сканировать несколько раз в день (Woohoo!). Вы можете проверить, как часто Google сканирует ваши страницы, в Google Search Console или непосредственно на платформе Botify.

      Как вы гарантируете, что Google сканирует и индексирует ваши новые страницы?

      Есть несколько способов увеличить скорость сканирования, чтобы Google сканировал и индексировал ваши новые страницы.Например, вы можете сократить время загрузки своего сайта (и, как результат, улучшить свой UX — победа, победа!) И отправить обновленную карту сайта, указав в первую очередь самые важные новые URL-адреса.

      После того, как вы предприняли шаги, чтобы заставить Google сканировать ваши новые URL-адреса, вы можете использовать такой инструмент, как Botify Log Analyzer, чтобы узнать, происходит ли это на самом деле (например, действительно ли Google сканирует мои URL-адреса? Как часто?).

      Кроме того, новый и улучшенный сканер JavaScript от Botify позволит вам точно увидеть, как поисковые системы обрабатывают JavaScript на вашем веб-сайте.Они могут сканировать ваши новые URL-адреса, но видят ли они весь ваш контент?

      Эти и многие другие аспекты помогут вам определить, будут ли сканироваться ваши новые страницы и когда, и помогут направить ботов в правильном направлении.

      Bing: поисковая система Microsoft

      Microsoft запустила Bing в 2009 году, и по данным на 2017 год, она занимала около 9% мирового рынка и 33% в США.

      Подобно Google, Bing имеет ключевые отличия в способах сканирования, индексации и ранжирования веб-страниц.

      Ключевые различия между Google и Bing

      • Рейтинг: Алгоритмы ранжирования Bing используют некоторые из тех же факторов, что и Google, например обратные ссылки и удобство для мобильных устройств, но оценивают их иначе, чем Google — обратные ссылки кажутся гораздо более важными для ранжирования в Bing, чем в Google, в то время как удобство для мобильных устройств в Google важнее, чем Bing.
      • JavaScript: Bing утверждает, что обрабатывает JavaScript, но по нашему опыту мы видели несколько примеров этого.К счастью, Microsoft недавно объявила, что Bingbot становится вечнозеленым. Bing внедряет Microsoft Edge для запуска JavaScript и отображения страниц, а Microsoft Edge скоро перейдет на Chromium (проект с открытым исходным кодом, на котором основан Google Chrome). Это изменение позволит Bingbot получить доступ к функциям Chromium и будет продолжать использовать новые функции, доступные с каждым обновлением. Это не только выигрыш для оптимизаторов, работающих с JavaScript, но и упрощает совместную оптимизацию веб-сайтов для Bing и Google без необходимости устранять неполадки друг с другом.Ознакомьтесь с нашей статьей об обновлении строки пользовательского агента Googlebot, чтобы узнать больше о том, что вечнозеленый бот может изменить для SEO.
      • Приоритет сканирования: Bingbot определяет приоритеты URL-адресов, просматривая внутренние ссылки и карты сайта, в то время как робот Googlebot использует множество других факторов. Кроме того, Bingbot иногда попадает в «ловушки сканирования», такие как фасетная навигация и URL-адреса внутреннего поиска.
      • Объем сканирования: Как показано ниже, объем сканирования Bing почти соответствует количеству просканированных URL (это означает, что вместо того, чтобы сканировать URL несколько раз, он сканирует их только один раз или гораздо реже).Между тем, количество просканированных новых URL-адресов остается очень низким, что затрудняет быстрое проиндексирование новых важных страниц.

      Но у нас большие новости!

      На нашей недавней конференции Crawl2Convert в Нью-Йорке мы были очень рады, что Фабрис Канель, главный менеджер программы Bing, представил новый API Bing, который поможет вам мгновенно проиндексировать новейшие страницы. Более того, API будет напрямую интегрирован в платформу Botify! Эта интеграция будет запущена в соответствии с FastIndex, компонентом активации Botify, который позволит клиентам Botify создавать полностью оптимизированные карты сайта.Вы сможете увеличить ежедневные лимиты отправки и быстро проиндексировать свои страницы — с помощью FastIndex и Bing API.

      Baidu: основная поисковая система Китая

      Baidu — доминирующая поисковая система, используемая в Китае. Он похож по размеру и масштабу на Google в США и напоминает Google по своим инвестициям. Например, как и Google, Baidu инвестировала в машинное обучение, чтобы улучшить свои алгоритмы ранжирования.

      В отличие от этого, Baidu обладает огромной способностью сканировать.Вместо того, чтобы полагаться на такие сигналы, как канонические, для определения приоритетов сканирования и индексирования, Baidu обычно может сканировать все и самостоятельно решать, что следует индексировать.

      Кроме того, в Китае большое внимание уделяется мобильным устройствам, поэтому результаты мобильного поиска Baidu могут сильно отличаться от результатов поиска Baidu для настольных компьютеров. Мобильная связь является таким приоритетом в Китае, что Baidu даже создает мобильные версии веб-сайтов только для настольных компьютеров на лету.

      Baidu также имеет инициативу, аналогичную Google AMP.Инициатива Baidu, подобная AMP, началась просто как MIP (Mobile Instant Pages), после чего была представлена ​​новая, более утилитарная платформа под названием Bear Paw (названная в честь логотипа Baidu). В 2018 году Baidu объявила, что будет направлять 50% своего мобильного трафика на страницы BP.

      Объем сканирования

      Baidu почти эквивалентен количеству просканированных URL-адресов, поэтому шансы на то, что ваши страницы будут сканироваться чаще, чем раз в неделю, невелики. Однако он сканирует новые URL-адреса с высокой скоростью, что отлично подходит для быстрой индексации ваших новых URL-адресов, вместо того, чтобы ждать несколько дней или недель для индексации.Кроме того, сканер Baidu может обрабатывать JavaScript, хотя и выборочно.

      П.С. Хотя Google China действительно существует, он был заблокирован для материкового Китая в 2010 году и доступен только в Гонконге. Итак, если у вашего веб-сайта много посетителей из Китая, они, скорее всего, ищут и находят вас через Baidu!

      Яндекс: главная поисковая система России

      Яндекс — популярная поисковая система в России, а также крупнейшая технологическая компания страны.Из поисковых систем в Азии Яндекс наиболее сопоставим с Bing. Многие традиционные приемы SEO, такие как создание обратных ссылок и создание статей, по-прежнему работают, но Яндекс не может приблизиться к масштабам других поисковых роботов. Поисковый робот фокусируется на новых и чрезвычайно важных URL-адресах, а не на частом сканировании всего веб-сайта. Следует отметить, что краулер не сканирует и не отображает JavaScript, что затрудняет ранжирование веб-сайтов на основе JS в Яндекс.

      Как и Baidu, Яндекс обычно не сканирует URL-адреса более одного раза в заданный период времени.Тем не менее, он сканирует изрядное количество новых URL-адресов (примерно 50 КБ в день!), Что оптимистично для веб-сайтов с новыми веб-страницами, требующими индексации.

      Naver: основная поисковая система Южной Кореи

      Naver — самая популярная поисковая система в Южной Корее. Эта поисковая система больше похожа на Yahoo! начала 2000-х годов. Выступая в роли «первой страницы Интернета». Хотя они индексируют контент с веб-сайтов, большая часть их контента и страниц представляет собой тщательно отобранные страницы поиска, а не стандартные результаты поиска.Naver объединяет пользователей на основе общих интересов и использует это как средство передачи им релевантной информации. Naver также запустил Knowledge-IN в качестве общедоступного портала вопросов и ответов, на котором пользователи могут получить ответы на свои вопросы, а Naver — для сбора данных, чтобы расставить приоритеты по темам в соответствии с их популярностью.

      В некотором смысле Naver — больше издатель, чем поисковая система. Ранжирование во многом зависит от их определения авторитетности веб-сайта с использованием как отзывов людей, так и алгоритма ранжирования.Присутствие в социальных сетях также играет роль в алгоритме.

      Naver сканирует веб-сайты нечасто, со скоростью от 2 до 6 тысяч в день в приведенном ниже примере, при этом от 500 до 2 тысяч из этих страниц являются новыми URL-адресами. Кроме того, Naver не обрабатывает JavaScript.

      Уф, информации было много! Можете ли вы вкратце описать, как каждая поисковая система обрабатывает JavaScript, канонические и многое другое?

      Мы уверены, что сможем!

      Итак, хотя вы можете использовать одну поисковую систему (вероятно, Google), помните, что миллионы других пользователей по всему миру используют разные системы для поиска в Интернете.Разные поисковые системы означают разный опыт и разные вещи, о которых следует помнить при поисковой оптимизации. Например, результаты поиска Naver основываются на сообществах и интересах, а Baidu уделяет приоритетное внимание оптимизации мобильных приложений.

      Если у вас корпоративный веб-сайт с глобальной аудиторией, определите эти аудитории и поисковые системы, которые они используют, чтобы вы могли лучше оптимизировать свой веб-сайт для охвата этой аудитории. Например, вы пытаетесь привлечь российскую аудиторию с помощью веб-сайта с большим количеством JavaScript? Или китайская аудитория без сильного опыта работы в мобильной сети?

      Знание, какие поисковые системы использует ваша аудитория, также важно для того, чтобы быть в курсе последних новостей из этой поисковой системы.Например, когда придет следующий BERT, вы захотите узнать об этом, чтобы не отставать и не отставать.

      Хотя поисковая оптимизация может быть разной во всем мире, она одинаково важна везде. Итак, протестируйте свой сайт и убедитесь, что вы делаете все возможное, чтобы привлечь внимание людей, которые ищут вас, независимо от того, где они находятся!

      различий между Яндексом и Google SEO

      На момент написания статьи Яндекс занимал 44% рынка в России (для поиска) по сравнению с 53% Google, что делает это одно из ближайших полей битвы Google за превосходство.

      Яндекс — это гораздо больше, чем просто поисковая система. За последние два десятилетия она диверсифицировалась и превратилась в компанию, занимающуюся потребительскими технологиями. Сегодня Яндекс расширяется в сфере личных и коммерческих финансов, а также доставки продуктов.

      По этой причине и для целей данной статьи я буду сравнивать только поисковый продукт Яндекса (и продукты, напрямую связанные с производительностью веб-сайта) с поиском Google.

      Основы хорошего SEO для Google можно применить и к Яндекс.

      Однако есть некоторые ключевые различия в том, как Яндекс работает с определенными технологиями, и в ожиданиях, которые вы должны в результате этого ожидать.

      Технические различия в SEO

      Давайте взглянем на некоторые важные различия между Google и Яндексом в том, что касается технического SEO.

      Поисковые системы могут обнаруживать, сканировать и отображать контент веб-сайта. Затем он обрабатывается, оценивается и сравнивается с другими документами, затем оценивается и отображается на страницах результатов поиска соответственно.

      Реклама

      Продолжить чтение ниже

      По большей части Google и Яндекс очень похожи в том, как они обрабатывают технические элементы веб-сайта. Тем не менее, есть некоторые уникальные отличия, которые необходимо учитывать при оптимизации для рунета.

      1. JavaScript

      В отличие от Google, Яндекс испытывает трудности со сканированием и индексированием веб-сайтов на JavaScript. Одностраничные приложения, разработанные исключительно на JavaScript, а не предварительно обработанные (или динамически обработанные), не будут индексироваться для Яндекс.

      Яндекс запутал проблему, когда объявил об обновлении алгоритма Vega ближе к концу 2019 года. В том же пресс-релизе компания рассказала о предварительном рендеринге результатов поиска для мобильных пользователей.

      Некоторые ошибочно принимают это за предварительную визуализацию веб-сайтов Яндексом для целей поиска.

      На самом деле Яндекс использует ИИ для более точного прогнозирования пользовательского запроса, а также для предварительной выборки и предварительной загрузки релевантных страниц результатов поиска, чтобы уменьшить неудобства пользователей при использовании поисковой службы.

      2. AMP против Turbo

      В то время как у Google есть AMP, у Яндекса есть Turbo. Прием со стороны российского SEO-сообщества относительно необходимости Turbo сопоставим: голоса из обоих уголков убедительно доказывают, нужны они или нет.

      Реклама

      Продолжить чтение ниже

      Когда Турбо-страницы были впервые запущены, веб-мастера описали их как ограничивающие и «игрушечные» для веб-сайтов с контентом.

      Однако за последние годы они были усовершенствованы для поддержки большей настройки, рекламы и функциональности электронной коммерции (с несколькими вариантами оплаты).Турбо-страницы также вносят свой вклад в видимый «знак качества» сайта на страницах результатов поиска — подробнее об этом через минуту.

      3. Таргетинг на регион сайта

      Как и у Google, у Яндекса есть алгоритмы и соображения для поисковых запросов с локальным намерением или, как их определяет Яндекс, геозависимых запросов.

      Учитывая размеры России, это важно для удовлетворения потребностей пользователей.

      Яндекс рекомендует (настоятельно), чтобы определенные типы веб-сайтов использовали настройку «региональной привязки» в Инструментах для веб-мастеров Яндекса, чтобы помочь Яндексу показывать их в правильных географических местоположениях поисковой выдачи, а также гарантировать, что они будут видны их целевой пользовательской базе.

      Инструменты Яндекса для веб-мастеров — Настройка привязки к региону сайта

      Яндекс рекомендует, чтобы веб-сайты со статьями / контентом без региональной привязки (как в примере на изображении выше) не требовали региональной привязки.

      Однако на веб-сайтах, посвященных региональной тематике или тематике конкретного местоположения, например газетам и некоторым журналам или веб-сайтам, предлагающим товары или услуги, не отвечающие национальным требованиям, следует указывать регионы, в которых они работают.

      Примечательное упоминание: Hreflang

      Если бы я написал эту статью год назад, я бы подчеркнул, что Яндекс не поддерживает hreflang через карты сайта XML.

      Однако в августе 2020 года мы увидели изменения в документации для веб-мастеров Яндекса по поддержке интернационализации и новый раздел, посвященный hreflang карты сайта XML.

      Это означает, что Яндекс имеет те же возможности поддержки hreflang, что и Google.

      Инструменты для веб-мастеров и Search Console

      Несколько лет назад инструменты Яндекса для веб-мастеров были довольно ограниченными. Но в последние годы команда Яндекса вложила большие средства в платформу.

      Вот некоторые из основных отличий, которые помогут вам отслеживать, индексировать и получать более подробное представление об эффективности ваших кампаний в обычном поиске Яндекса.

      4. Активный мониторинг URL-адресов

      Одна действительно полезная функция в Инструментах для веб-мастеров Яндекса — это возможность активно отслеживать до 100 URL-адресов на вашем сайте.

      Мониторинг важных страниц, встроенный в Яндекс. Инструменты для веб-мастеров

      Эта функция обновляется автоматически, и вы можете указать, какие URL-адреса вы хотите отслеживать.

      Объявление

      Продолжить чтение ниже

      Он сообщит вам текущий статус страницы, какая версия страницы отображается в результатах (кэшированная или последняя просканированная) и дату последней индексации.

      На изображении выше нижний URL в последний раз проиндексировался 17 апреля, вернул 200, и эта версия используется в результатах поиска.

      Вместе с отчетом статистики сканирования (который доступен в Яндекс WMT) вы можете определить, когда ваш обновленный контент будет переиндексирован, а затем предоставлен пользователям.

      5. Значки знаков качества

      Google протестировал отображение значков в поисковой выдаче для предстоящего обновления Page Speed.

      Хотя это новость для Google, Яндекс (и Baidu) уже некоторое время отображают значки в результатах поиска.

      Яндекс имеет 16 значков, известных как индикаторы качества сайта, которые он может выбрать для отображения.

      Некоторые из них могут быть достигнуты с помощью технических настроек, таких как значок Турбо-страницы.

      Другие, например значок «Популярный сайт», полагаются на то, что веб-сайт наберет достаточно высокий балл в SQI (индекс качества сайта), который рассчитывается на основе множества факторов, включая:

      Реклама

      Продолжить чтение ниже

      • Размер аудитории сайта.
      • Предполагаемый уровень удовлетворенности пользователя (поведенческие сигналы).
      • Насколько сами Яндекс доверяют сайту (предполагаемые сигналы EAT).

      Есть ряд других факторов, и стоит отметить, что, поскольку Яндекс полагается на сигналы поведения пользователей для ряда своих алгоритмов и определений качества, он отлично справляется с попытками маркетологов искусственно обыгрывать систему. .

      В своей документации Яндекс говорит, что «значения SQI могут быть сброшены или удалены для веб-сайта, если они видят попытки повлиять на оценку.

      Также со всеми алгоритмическими наказаниями Яндекс уточняет, что:

      «Яндекс не комментирует изменения этого показателя и не предоставляет никаких гарантий или сроков его восстановления».

      6. Разбивка блоков результатов особого содержания

      Как и Google, Яндекс имеет ряд блоков результатов и фрагментов особого содержания, которые он может использовать для увеличения страницы результатов поиска.

      Однако, в отличие от Google, в Яндексе для веб-мастеров вы можете увидеть свое право на получение трех различных специальных типов результатов и одиннадцати типов результатов сниппетов.Это указывает на конкретные проблемы, препятствующие вашему соответствию.

      Примечательное упоминание: скорость индексирования

      Многие статьи между Яндексом и Google за последние годы подчеркивают, что Яндекс зачастую медленнее индексирует веб-сайт.

      Реклама

      Продолжить чтение Ниже

      Как ни странно, последние два года этого не было. При открытой индексации Яндекс назначит вашему сайту уровень сканирования и соответственно выполнит индексацию.

      Алгоритмические различия

      По большей части многие алгоритмы Яндекса соответствуют алгоритмам Google и преследуют те же цели.

      Однако есть два отличия, о которых вам следует знать.

      7. Поведенческие факторы

      Хотя есть некоторые споры о том, как Google использует сигналы поведения пользователей (и в какой степени) в рамках своих алгоритмов, позиция Яндекса гораздо более монохромная.

      Яндекс учитывает пользовательские сигналы.

      Пользовательские сигналы и CTR из поисковой выдачи могут использоваться для определения:

      • Позиционирование в SQI (индекс качества сайта), способствующее присуждению значков знака качества.
      • Размещение результатов на страницах результатов поисковой системы.

      В результате Яндекс внедрил меры по выявлению любых игр или мошенничества в показателях поведения пользователей. Маркетологи и специалисты по SEO могут получить доступ к инструментам через Metrica, чтобы лучше анализировать удовлетворенность пользователей (подробнее об этом ниже в статье).

      Реклама

      Читать ниже

      Кроме того, Яндекс рекомендует регулярно анализировать логи вашего веб-сервера. Обратите особое внимание на:

      • Источники трафика: Определите, какие источники привлекают наибольшее количество посетителей на ваш сайт.
      • Поисковые запросы : проанализируйте, какие запросы приводят посетителей на ваш сайт.
      • Целевые страницы : Измерьте конверсии на таких страницах, как тележки для покупок и формы.
      • Характеристики платформы : Выясните, какие платформы используют пользователи, чтобы найти вас и оптимизировать для лучшего взаимодействия с сайтом.

      8. Оценка ICS (или IKS)

      Оценка Яндекс ICS — это способ оценки качества веб-сайта. Он учитывает такие факторы, как количество посещений, время пребывания пользователя на сайте и количество кликов по объявлениям.

      Они сочетаются с опросами, выполненными людьми, о точности и удобочитаемости для получения окончательной оценки.

      При поиске чего-либо в пределах России вы увидите лучшие результаты с оценками от 1 до 100 в зависимости от того, насколько они полезны для пользователей Яндекса и других критериев, предложенных ниже.

      Если рейтинг веб-сайта ниже определенного порога, его рейтинг будет понижен.

      Яндекс Метрика против Google Analytics

      Версия Google Analytics от Яндекса, Metrica, имеет те же отчеты и функциональность, что и Google Analytics.

      Реклама

      Продолжить чтение ниже

      Однако есть несколько отличных инструментов, которые могут предоставить полезные сведения о том, как пользователи взаимодействуют с вашим контентом, а также об эффективности вашего веб-сайта.

      9. Удержание пользователей

      В то время как в GA4 вводятся более качественный когортный анализ и показатели удержания пользователей, в Метрике это уже есть.

      В Метрике вы можете быстро увидеть разбивку пользователей по сеансам и достигнутым целям.

      В Метрике вы можете увидеть взаимодействие пользователей на детальном, анонимном уровне.

      Этот уровень готовых данных особенно полезен при создании персонажей и планировании контента на основе путешествий пользователя. Это также полезно для того, чтобы помочь исправить любые предвзятые неправильные представления о том, как пользователи будут взаимодействовать с веб-сайтом.

      Реклама

      Продолжить чтение ниже

      10. Тепловые карты

      Еще одна замечательная функция Яндекс Метрики, которая отличается от Google Analytics, — это возможность просматривать тепловые карты пользователей.

      Готовые тепловые карты пользователей в Яндекс Метрике

      Поскольку эта функция совмещена с аналитикой, на тепловой карте вы можете напрямую:

      • Сравнить пользовательские сегменты (например, обычные пользователи и пользователи социальных сетей).
      • Изменить диапазоны дат.
      • Добавить критерии сеанса (e.грамм. более 30 секунд, просмотрено 2+ страницы).

      Встроенная панель инструментов также дает вам представление о показателях верхней и нижней части страницы.

      Например, на скриншоте выше мы видим, что 55,9% кликов на главной странице (за последний квартал) приходились на ссылки, видимые при загрузке страницы.

      Реклама

      Продолжить чтение ниже

      Различия в поддержке сообщества

      Наконец, еще одна большая разница между Google и Яндексом заключается в том, как они взаимодействуют со своими SEO-сообществами.

      В Google есть Джон Мюллер, Дэниел Вайсберг, Мартин Сплитт и Гэри Иллис, которые задают случайные вопросы, а также предлагают поддержку и понимание проблем веб-мастеров.

      Яндекс не имеет отдельного лица или группы лиц, которым можно было бы направлять запросы.

      Вместо этого у них есть группа службы технической поддержки, каждый член которой использует один и тот же публичный псевдоним, Платон Щукин.

      Если вы хотите привлечь русскоязычную аудиторию, Яндекс — это то, что вам нужно.Как видите, есть некоторые особенности, о которых следует помнить, но в целом принципы оптимизации кажутся универсальными.

      Компаниям, стремящимся расширить свой охват на международном уровне, было бы неплохо оптимизировать свой контент для поисковых систем за пределами Google, особенно в странах, где другие платформы более популярны.

      Если вы уделяете первоочередное внимание качественному контенту и удобству для пользователей, вы обязательно добьетесь успеха за границей.

      Реклама

      Продолжить чтение ниже

      Дополнительные ресурсы:

      Изображение предоставлено

      Все скриншоты сделаны автором, апрель 2021 года

      Как отправить и подтвердить свой сайт

      Яндекс часто называют российской поисковой системой.

      Это не только самая популярная поисковая система в России, но и вторая по популярности после Google во многих странах.

      Однако в большинстве стран, где популярен Яндекс, проживает большая часть русскоязычного населения.

      Во всем мире Яндекс занимает около полпроцента рынка, что делает его похожим по размеру на DuckDuckGo.

      Главная страница поиска Яндекса

      Рекомендуется разместить свой сайт в Яндексе, добавив его в инструменты Яндекса для веб-мастеров. Это поможет вам оптимизировать работу вашего сайта в поиске Яндекса.

      Кроме того, инструменты Яндекса для веб-мастеров предлагают множество полезных отчетов и инструментов для оптимизации SEO в целом, а не только для Яндекс.

      Например, вы можете видеть внешние ссылки на ваш сайт, неработающие ссылки, проблемы сканирования и индексации и многое другое.

      Что такое Яндекс инструменты для веб-мастеров?

      Инструменты для веб-мастеров Яндекса — это бесплатная веб-служба Яндекса для веб-мастеров, позволяющая отслеживать эффективность их сайтов в поисковой системе Яндекса.

      Вы можете использовать его, чтобы загрузить карту сайта, посмотреть, какой трафик вы получаете, получить список проиндексированных страниц, увидеть ошибки сканирования или индексации, проблемы со скоростью сайта и т. Д.

      Он служит той же цели, что и Google Search Console и Bing & Yahoo Webmaster Tools.

      Как добавить свой сайт в Яндекс Инструменты для веб-мастеров

      Чтобы добавить веб-сайт, вам необходимо создать учетную запись на Яндексе, затем добавить свой сайт и подтвердить, что он принадлежит вам.

      Вот шаги, чтобы быстро разместить свой сайт в Яндексе для веб-мастеров:

      1. Перейдите на эту веб-страницу: https://passport.yandex.com/registration
      2. Введите свои данные для создания учетной записи на Яндексе, затем нажмите «Зарегистрироваться».
      3. Далее перейдите по адресу: https: // webmaster.yandex.com/
      4. Войдите в систему или нажмите «Перейти».
      5. Нажмите кнопку «+» или кнопку «Добавить сайт».
      6. Введите основной URL своего сайта и нажмите «Добавить».
      7. Скопируйте проверочный код внутри контентной части (без кавычек)
      8. Зайдите на свой сайт и введите проверочный код в свой плагин SEO
      9. Теперь вернитесь в Яндекс Инструменты для веб-мастеров и нажмите «Проверить».

      Продолжайте читать, чтобы получить более подробные инструкции, как это сделать, со скриншотами.

      Шаг 1. Создайте аккаунт на Яндексе

      Чтобы добавить сайт в инструменты для веб-мастеров, необходимо иметь аккаунт на Яндексе.

      Для создания учетной записи перейдите на эту страницу: https://passport.yandex.com/registration

      Теперь введите свои данные (имя, имя пользователя, пароль и т. Д.) И нажмите кнопку «Зарегистрироваться».

      Яндекс хочет, чтобы вы добавили номер телефона, чтобы вам было проще восстановить учетную запись, если вы забудете пароль.

      Однако можно пропустить это и использовать вместо него секретный вопрос.

      Шаг 2. Добавьте свой сайт

      Теперь, когда у вас есть учетная запись на Яндексе, вы можете войти в инструменты Яндекс для веб-мастеров и добавить свой сайт.

      Перейдите сюда, чтобы получить доступ к инструментам Яндекс для веб-мастеров: https://webmaster.yandex.com/

      Войдите в систему, если необходимо, затем нажмите кнопку «Перейти». Теперь вы должны увидеть страницу, на которой вы можете разместить свой сайт.

      Затем нажмите кнопку «Добавить сайт» или кнопку «+» вверху.

      Теперь вам будет предложено добавить URL главной домашней страницы вашего сайта.Обязательно укажите правильную версию, включая http / https и www, если вы ее используете.

      Для моего сайта https включен, но у меня нет субдомена www. Поэтому я включаю https, но не www.

      Когда вы ввели свой сайт в форму, нажмите желтую кнопку «Добавить».

      Шаг 3. Подтвердите свой веб-сайт

      Далее вам необходимо подтвердить сайт, чтобы доказать Яндексу, что вы являетесь полноправным владельцем.

      Инструменты Яндекс для веб-мастеров дают 4 варианта верификации:

      • Мета-тег: Добавьте тег html в раздел заголовка вашего сайта.
      • HTML-файл: Загрузите HTML-файл в корневой каталог вашего сайта.
      • Запись DNS: Добавьте запись TXT в настройки DNS.
      • WHOIS: Добавьте и подтвердите свой адрес электронной почты WHOIS через Яндекс.Паспорт.

      Параметр метатега очень прост, если вы используете плагин SEO в WordPress.

      Вы просто копируете текст внутри мета-тега content = ”” (без кавычек) и вводите его в свой плагин SEO.

      Если вы используете Yoast SEO, перейдите в панель управления WordPress -> SEO -> Общие -> Инструменты для веб-мастеров.

      Затем вставьте проверочный код в поле Яндекс для веб-мастеров.

      Вы также можете сделать это с помощью большинства других хороших плагинов SEO, таких как SEO Framework (который намного лучше плагина SEO, чем Yoast).

      Теперь вернитесь к инструментам Яндекс для веб-мастеров и нажмите желтую кнопку «Проверить».

      Если проверка прошла успешно, вы получите подтверждение того, что ваш сайт подтвержден.Если это не помогло, очистите кеш своего сайта и повторите попытку.

      Поздравляем! Вы добавили и подтвердили свой сайт в инструментах Яндекс для веб-мастеров.

      Далее: добавляем карту сайта, настраиваем геотаргетинг

      Заполнение информационной панели и отчетов полезными данными может занять несколько дней.

      А пока вы должны сделать эти две вещи прямо сейчас, чтобы оптимизировать производительность вашего сайта.

      1. Добавьте карту сайта

      Добавление карты сайта упростит поиску Яндексом всех страниц вашего сайта.

      Находясь в личном кабинете Яндекса, выполните следующие действия, чтобы загрузить карту сайта:

      1. На левой боковой панели нажмите «Индексирование»
      2. Нажмите «Файлы Sitemap»
      3. Введите URL вашей карты сайта
      4. Нажмите «Добавить»

      Карта сайта перейдет в очередь на обработку, что может занять несколько дней.

      2. Настройте геотаргетинг

      Результаты поиска Яндекса кардинально меняются в зависимости от местонахождения искателя.

      Если у вас местный бизнес, обязательно сообщите Яндексу, на какой географический регион вы ориентируетесь.

      Если ваш сайт нацелен на глобальную аудиторию (например, у меня), вы можете попросить Яндекс отключить геотаргетинг.

      Вы можете настроить параметры геотаргетинга в разделе «Информация о сайте» -> «Регион». Если вы не хотите использовать геотаргетинг, нажмите «Без географического таргетинга».

      Вот инструкция от Яндекса о том, как правильно реализовать геотаргетинг для вашего сайта.

      Вернитесь через несколько дней

      Осталось только ждать.

      Вам нужно авторизоваться в инструментах Яндекс для веб-мастеров через несколько дней, чтобы увидеть, начали ли отчеты отображать полезные данные.

      Вот несколько интересных отчетов:

      • Внешние ссылки
      • Внутренние ссылки
      • Показатели качества сайта
      • Статистика поисковых запросов
      • Статистика сканирования

      Также доступно множество других отчетов и инструментов, некоторые из которых очень полезны для SEO.

      Canonical SEO Failure

      Этот пост не столько об обучении, сколько о развлечении злорадства для вас и о катарсисе для меня. Это история о том, как один неудачный HTML-тег выгнал меня почти из всех поисковых систем, и мой путь длился несколько месяцев назад. И почему это, в конце концов, не имело значения.

      Все началось в декабре 2020 года: в рамках продолжающейся холодной войны с Google Apple объявила о добавлении Ecosia в качестве возможной поисковой системы по умолчанию в iOS 14.3. По сути, это интерфейс для поискового индекса Bing с дополнительным преимуществом использования прибыли для посадки деревьев.

      Как и каждый, первое, что я сделал, это попытался найти свое имя, и & mldr; не нашел.

      Я осторожно проверил другие поисковые системы: DuckDuckGo : только мой LinkedIn и & mldr; мой RSS-канал !? Нервничая, я зашел в сам Bing: просто забыл какую-то старую чушь на странице. Подозревая худшее, я пошел в Яндекс, у которого есть собственный индексатор: только моя первая страница (по крайней мере!).Наконец, я проверил свою статистику и увидел, что получаю трафик только от Google, а не от других поисковых систем.

      Теперь я знал, что что-то было очень неправильно.

      Расследование

      Эта веб-страница существует с 2004 года, и я никогда не уделял много времени поисковой оптимизации (SEO). Я стараюсь писать хороший контент, который, как мне хотелось бы, существовал, и поэтому на него будут делиться и ссылаться. Я также стараюсь иметь хорошую разметку и URL-адреса, но это все. Несмотря на отсутствие заметного трафика, поток посетителей с годами немного увеличился, поэтому я не видел причин тратить на это много времени.Теперь все изменилось, если я хотел узнать, что происходит. Таким образом, я наконец-то открыл учетные записи веб-мастеров в Bing, Яндексе и Google.

      Расследование не заняло много времени, потому что, когда я попытался проверить индекс Bing, я получил следующее:

      О.

      Bing — и все, кто использует их индекс — думали, что все мои URL-адреса на самом деле были просто альтернативными версиями индексной страницы, и отказывались их индексировать. Быстрая проверка на Яндексе подтвердила, что это та же проблема. Аккуратный!

      Оказывается, это была полностью моя вина, потому что каждая страница на моей домашней странице имела следующий тег:

      Что буквально говорит сканерам, что индексная страница является канонической версией того, что они сканируют прямо сейчас.

      По какой-то причине он был частью моего базового шаблона. Зачем я его туда положил? Я понятия не имею! Возможно, я использовал неправильную переменную Hugo . Может быть, я думал, что тег означает что-то другое (указывающий мой канонический домен ?). Это было частью более крупного редизайна, поэтому моя история git тоже не помогла .

      В любом случае ущерб был нанесен: со временем, когда сканеры Bing и Yandex проверяли страницу на наличие обновлений, они видели тег и выкидывали страницу из своего индекса до тех пор, пока ничего не оставалось .

      Устранение повреждений

      Исправление было тривиальным. Мне просто нужно было изменить одну строку в моем базовом шаблоне:

        - 
+

      Я сделал это 24 декабря 2020 года.

      Но восстановление после последствий заняло бы у гораздо больше, чем я думал, .

      Хотя поисковые системы используют автоматических сканеров для поиска нового содержания, у них также есть механизмы, чтобы сообщать им о новом и обновленном содержании. Предположительно, чтобы отправить сканеров вручную, а не ждать, пока они органически заметят изменения, что может занять некоторое время.

      Есть хорошо известные файлы, такие как sitemap.xml, есть кнопки с надписью «запросить повторное индексирование», а затем есть веб-API и веб-формы, где вы можете выгрузить списки URL-адресов, которые вы хотите просканировать (снова).

      Никто из на самом деле ничего не сделал, за исключением того, что Бинг сказал мне, что они все исправят. Все эти входные данные, по-видимому, в лучшем случае рассматриваются как предложений .

      Я повторно отправил свою карту сайта с уменьшенными интервалами обновления, извлек URL-адреса и отправил их на повторное индексирование, а также вручную щелкнул некоторые URL-адреса , пожалуйста, повторно проиндексируйте их. Но абсолютно ничего не произошло за недель .

      Может быть, мои отчаянные попытки пометили меня как хакера роста SEO.Возможно, канонический тег — это наихудший сценарий, который радикально снижает приоритет этих страниц. В любом случае, стало повседневной рутиной проверять, знает ли Bing, что я существую, и вручную запрашивать переиндексирование моей страницы «О нас».

      Мне пришлось подождать до января 4 января 2021 года, чтобы это произошло. Почти две недели попрошайничества и торга. Однако это не означает, что страницы были в результатах! Прошло до февраля , пока поиск моего имени в Bing не начал возвращать мою страницу о себе.

      Это также не означает, что все моих страниц были переиндексированы. Фактически, я мог наблюдать всплывающие страницы в «реальном времени», поскольку Bing заново открывал их в течение следующих нескольких месяцев. На удобной панели инструментов отображается количество проиндексированных страниц:

      .

      Количество проиндексированных страниц с течением времени.

      Как видите, несмотря на мои уговоры, потребовалось до марта , чтобы вся моя домашняя страница снова была полностью проиндексирована.

      Итак, в целом, потребовалось почти три месяца , чтобы оправиться от моей глупой ошибки. Несмотря на то, что содержит тонн органических высококачественных обратных ссылок.

      А как насчет Google?

      Я не упомянул Google выше, но это их вина, почему я не заметил этого раньше. Даже сейчас, после исправления ошибок SEO, я получаю примерно 90% поискового трафика от Google. 10% трафика — ничто, если от этого не зависят ваши средства к существованию и вы не смотрите на свою аналитику весь день.

      Google просто решил проигнорировать этот тег, потому что страница слишком отличалась от «канонической» страницы.

      В некотором роде это напоминает мне войну браузеров, где «лучшим» браузером был тот, который мог максимально раскрыть тарабарщину HTML, которую все выкладывали на Geocities .

      Извлеченные уроки

      1. Если вы думали, что неправильно настроенный DNS требует много времени, подумайте еще раз.
      2. Google действительно хорошо индексирует веб-сайты. Даже если вы непреднамеренно усложните им задачу.
      3. Намного меньше (технически подкованных!) Людей используют альтернативные поисковые системы, чем вы думаете.Для это страница , DuckDuckGo — 4%, Bing — 2%, Baidu — 1,3%. Однако 6% — это не повод для насмешек, если веб-трафик ставит еду на ваш стол.
      4. Если вы управляете веб-сайтом, создайте учетную запись веб-мастера по крайней мере в Google и Bing, чтобы вы сразу узнали о таких проблемах. Не так, как я, годы спустя, случайно. Опять же, Google действительно хорошо умеет заранее сообщать вам о проблемах.

      Индекс качества сайта Яндекса (SQI)

      Автор Анастасия Курмакаева

      Несколько лет назад мы говорили о TCI Яндекса в нашем испанском блоге — тематическом индексе цитирования, метрике, используемой для измерения репутации и авторитета веб-сайта.Этот индекс устарел в 2018 году, после того как он почти 20 лет был одним из важнейших показателей российского SEO. Теперь он заменен новым индикатором «SQI» или «Индекс качества сайта» ( И ндекс к ачества с айта , или « ИКС » для краткости на русском языке), обслуживающий довольно много та же цель.

      Разница между ними заключается в том, что SQI появился для адаптации к текущей ситуации, охватывая гораздо более широкий список факторов, чем ныне несуществующий TCI , значение которого в основном основывалось на упоминаниях (ссылках), полученных на веб-сайте. с других сайтов.

      Говоря словами блога Яндекс вебмастера, пора было адаптироваться к текущей реальности, когда мы не можем измерить надежность веб-сайта, просто используя ссылки, которые он получает, поскольку этот показатель, безусловно, слишком низок в мире, где доминируют социальными сетями, мобильными веб-сайтами и растущей важностью предоставления пользователям удовлетворительного пользовательского опыта.

      Сегодня, почти два года с момента запуска индекса и его окончательного отхода от БЕТА в ноябре 2019 года, мы собираемся изучить, что это такое, как он измеряется, как развивался, какие аспекты он принимает во внимание, и как мы можем проверить этот рейтинг как для нашего веб-сайта, так и для наших конкурентов, среди другой интересной информации.

      Что такое SQI Яндекса и как он измеряется

      Как мы уже говорили, SQI измеряет качество веб-сайта. Он пересчитывается и обновляется ежемесячно. Его минимальное значение равно 0, но максимальное значение неизвестно. Для справки: один из самых посещаемых новостных сайтов в России, ria.ru , в настоящее время имеет рейтинг SQI 61 500, а vk.com , самая популярная социальная сеть среди русскоязычных пользователей, получает SQI. рейтинг 330,000. Более скромный сайт, правда, зоотовары например.ru (интернет-магазин товаров для домашних животных, работающий по всей стране) получает SQI 260. Следовательно, это означает, что , мы всегда должны учитывать это значение в контексте нашей отрасли и наших прямых конкурентов в России .

      Если мы посмотрим на объяснение, предоставленное самой компанией в разделе справки относительно SQI, , индикатор измеряет, насколько полезен ваш сайт для пользователей с точки зрения алгоритма Яндекса . Эти аспекты используются для расчета этого индекса для любого веб-сайта:

      • Размер аудитории.
      • Удовлетворенность пользователей веб-сайтом.
      • Степень доверия пользователей и Яндекса к сайту.
      • Имел ли сайт какие-либо нарушения или нет.
      • Если алгоритм обнаружил попытки искусственно повлиять на SQI веб-сайта.
      • Кроме того, Яндекс использует информацию, которую получает через собственные сервисы (поиск, карты, дзен…), важность которых зависит от типа бизнеса.

      Как вы, наверное, уже заметили, факторы, указанные в официальных источниках Яндекса, несколько расплывчаты и недостаточны, оставляя нам больше вопросов, чем ответов.Мы можем полностью понять, откуда они берутся: совершенно естественно, что компания хочет предотвратить любые искусственные манипуляции с этим показателем, чтобы он как можно точнее отражал реальное качество веб-сайта.

      Тем не менее, аспекты, влияющие на полезность веб-сайта и удовлетворенность пользователей его содержанием, безграничны, поэтому у нас нет другого выбора, кроме как изучить выводы, которые мы можем сделать, чтобы улучшить наш имидж в глазах Яндекса.

      Страница SQI в Яндекс Вебмастере предоставляет следующую дополнительную информацию:

      Чем лучше сайт соответствует целям пользователей, тем он популярнее, что приводит к более высоким позициям в результатах поисковых систем и увеличению посещаемости.

      Это может означать, что посещаемость и рейтинг нашего веб-сайта могут так или иначе влиять на полученный рейтинг SQI, , но не наоборот; то есть нет никаких указаний на то, что полученное значение SQI напрямую влияет на ранжирование .

      Если мы проверим значки, которые инструмент дает нам, когда мы достигнем определенных целей в этом самом разделе, мы увидим, что до сих пор мы идем правильным путем с нашей гипотезой:

      Более конкретно:

      1. Популярный веб-сайт : этот значок присваивается веб-сайтам, которые имеют высокий и постоянный объем трафика и с определенной аудиторией. * Тем не менее, источник или источники трафика не указываются.
      2. Выбор пользователей : этот значок присваивается сайтам с высоким уровнем вовлеченности и лояльности пользователей по данным Яндекса.
      3. Безопасное соединение : этот значок выдается веб-сайтам, значительная часть трафика которых идет на HTTPS-страницы. Этот значок получит веб-сайты с большим объемом трафика.
      4. Турбо-страницы (эквивалент AMP в Яндексе): этот значок присваивается веб-сайтам, получающим трафик с турбо-страниц, что значительно увеличивает скорость загрузки на мобильных устройствах.

      Эти данные показывают, что при расчете SQI действительно преобладают пользовательский опыт и трафик. Но о каких метриках и индикаторах нам следует беспокоиться в этом смысле? В дополнение к вышеупомянутым факторам:

      • Хорошее взаимодействие с пользователем обычно приводит к увеличению среднего времени сеанса на для веб-сайта, поскольку пользователи Интернета считают себя побужденными продолжать просматривать веб-сайт дольше, если он пригоден для использования, его содержание актуально и интересно, и навигация интуитивно понятна.Следовательно, если у ваших страниц высокий показатель отказов, среднее время сеанса низкое, у вас мало повторяющихся посетителей или количество посещаемых страниц очень мало, вам следует тщательно проанализировать свой веб-сайт, чтобы увидеть, что не удается: как его контент структурирован, актуальна ли предоставленная информация и является ли ее ценной, интуитивно ли навигация…
      • Наличие веб-сайта с хорошей скоростью загрузки и производительностью , даже без турбо-страниц, также является ключевым моментом. Несмотря на то, что Яндекс активно инвестирует в эту технологию, точно так же, как Google инвестирует в AMP, их использование не всегда будет нашим лучшим выбором.Вам по-прежнему необходимо обеспечить бесперебойную работу мобильной и настольной версии на соответствующих устройствах, а качество сети пользователя не является определяющим фактором загрузки веб-сайта.
      • Упоминания на других веб-сайтах, включая социальные сети , хотя уже не являются основным фактором, как раньше для TCI, также способствуют повышению доверия и надежности для пользователей. Веб-сайт, который не получает рекомендательных ссылок, вряд ли когда-либо будет считаться полезным для пользователей, и признание, которое он получает, будет сильно ограничено этим.

      Как проверить Yandex SQI

      Если мы хотим измерить SQI веб-сайта, которым мы владеем, или веб-сайта, к которому нам предоставлен доступ в Yandex Webmaster, это очень просто: достаточно перейти к инструменту Yandex Webmaster, где вы быстро увидите раздел для проверки . Это первый в списке, вы не можете его пропустить:

      В этом же разделе мы можем отслеживать наш SQI вместе с другими веб-сайтами, которые мы считаем нашими прямыми конкурентами , добавляя до 19 доменов, включая наши собственные составляют даже 20.

      Мы можем даже разместить небольшой значок с нашим рейтингом SQI в нижнем колонтитуле нашего веб-сайта, чтобы посетители, посещающие нас, тоже могли его видеть, и иметь еще один индикатор, на который можно положиться и убедиться, что они могут нам доверять:

      Более того, если мы хотим проверить SQI для других веб-сайтов, не добавляя их в наш список конкурентов на Yandex Webmaster, в нашем распоряжении есть различные инструменты, позволяющие нам это делать, например, этот или этот, где мы может ввести несколько URL одновременно и посмотреть, что Яндекс думает об этих сайтах.Мы также можем ввести следующий URL-адрес в адресную строку любого браузера:

       https://yandex.ru/cycounter?  youtube.com

      А затем замените домен youtube.com, который мы использовали в качестве примера, любым другим доменом, который мы хотим проверить.

      Как улучшить этот индикатор

      Итак, мы уже изучили вероятные факторы, влияющие на рейтинг SQI, поэтому нам нужно подробно проанализировать текущее состояние нашего собственного веб-сайта и посмотреть, где есть больше возможностей для улучшения.Если мы будем стараться предлагать лучшее, то, вероятно, со временем этот рейтинг будет расти.

      Как мы объясняли в начале этого поста, мы должны проанализировать наш рейтинг SQI Яндекса в контексте нашей отрасли и наших прямых конкурентов, если мы собираемся сравнивать себя с другими веб-сайтами, либо чтобы узнать, как мы сравниваем с нашими конкурентов на рынке или для поиска возможных оптимизаций для проведения на нашем собственном веб-сайте, вдохновляясь прямыми конкурентами, которые добиваются лучших результатов.

      Важно помнить, что этот индикатор постоянно дорабатывается и обновляется.Как и Google, Яндекс неустанно работает над доработкой и улучшением своего алгоритма и инструментов. Это означает, что мы, вероятно, увидим его колебания в долгосрочной перспективе, но не каждый день.

      Несколько заключительных слов

      Многие SEO-менеджеры и веб-мастера задавали вопросы по этому показателю, когда команда Яндекс не рассчитывала индекс качества для поддоменов . Т.е. если у нас есть блог или веб-сайт, размещенный на субдомене –blog.domain.com или mywebsite.domain.com — полученный нами рейтинг SQI будет полностью для домена.

      Многие пользователи усомнились в этом ограничении в комментариях под записью, анонсирующей новый SQI в блоге Яндекс веб-мастеров. Тем не менее, Елена Першина, высший авторитет Яндекса во всем, что связано с поиском, проливает свет на эту область. В этом отношении есть важный нюанс: это правило не распространяется на крупные платформы, на которых размещаются другие веб-сайты в качестве поддоменов, а именно blogspot.

      No related posts.

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *