Содержание

Что это за теги Nofollow и Noindex, в чем разница и как правильно прописывать

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

  1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
  2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
  3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
  4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:


<meta name="robots" content="index"/> 

А с таким индексация запрещается:


<meta name="robots" content="noindex"/> 

Такое правило можно указать для конкретного робота. Например, поискового бота Google:


<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.


<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить. 

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:


<meta name="robots" content="nofollow"/>  

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:


<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.


<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

  • Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей.
    Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
  • Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
  • Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике. 
  • Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
  • Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:


<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:


<meta name="robots" content="noindex, nofollow"/> 

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Какая разница между тегами nofollow и noindex? — SEO

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

  1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
  2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
  3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
  4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:

<meta name="robots" content="index"/> 

А с таким индексация запрещается:

<meta name="robots" content="noindex"/> 

Такое правило можно указать для конкретного робота. Например, поискового бота Google:

<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.

<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить. 

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:

<meta name="robots" content="nofollow"/>

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:

<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.

<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

  • Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
  • Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
  • Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике. 
  • Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
  • Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:

<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:

<meta name="robots" content="noindex, nofollow"/>

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots. txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

что это значит, в чем разница и как правильно их использовать

Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Заключение

Как мы видели, независимо от того, будет ли ссылка на noindex на страницу или на nofollow на ссылку, сводится к двум вопросам: хотите ли вы, чтобы эта страница отображалась на страницах результатов поиска и , если поисковые системы будут переходить по ссылкам на эта страница? Например, для страниц с благодарностями или страниц входа в систему ответ на первый вопрос — «нет». Для страницы с множеством партнерских ссылок ответ на второй вопрос — «нет». Помните о примерах из этого поста, и у вас больше не будет проблем с поиском ответов для вашего собственного сайта!

PS. Вы noindex пост или страницу, хотя не хотели? Не беспокойтесь, вы легко можете исправить случайную ошибку noindex !

Подробнее: Как не индексировать пост »

noindex vs. nofollow — Справочный центр Siteimprove

Модуль Siteimprove SEO уведомляет пользователей о страницах, исключенных с помощью noindex / nofollow.Эта статья предназначена для объяснения разницы между метатегами noindex и nofollow, когда их использовать и как эти теги влияют на веб-индексирование и страницы результатов поиска (SERP).

И noindex, и nofollow являются частью протокола исключения роботов (REP) , стандарта для управления индексацией веб-страниц на вашем сайте. Давайте рассмотрим несколько примеров noindex и nofollow и то, как они контролируют доступ и индексацию вашего веб-сайта Google и другими поисковыми системами.

Что такое noindex и когда его использовать?

Обычно, когда робот Googlebot находит страницу, он читает все ссылки на этой странице, а затем выбирает эти страницы и индексирует их. Это основной процесс, с помощью которого робот Google «сканирует» Интернет. Это полезно, поскольку позволяет Google включать все страницы вашего сайта, если они связаны друг с другом. Что делать, если вы не хотите, чтобы некоторые страницы вашего сайта отображались в индексе Google? Здесь применяется метатег noindex.

Когда вы добавляете метатег «noindex» к веб-странице, он сообщает поисковой системе, что она не может добавить страницу в свой поисковый индекс, даже если поисковая система может сканировать страницу.

Пример Noindex

статей в разделе «Последние новости» CNN могут появиться только на несколько часов, прежде чем они будут обновлены и перенесены в раздел «Статьи». В этом случае CNN захочет проиндексировать полные статьи, а не раздел последних новостей с короткой частью полной статьи.

Таким образом, вы можете добавить тег noindex к статьям, находящимся в настоящее время в разделе «Последние новости», и удалить этот тег, как только статья больше не будет актуальной.

Чтобы превратить обычные ссылки в ссылки noindex, добавьте «noindex» в HTML-код:

  Текст ссылки  

Что такое nofollow и когда его использовать?

Nofollow — это атрибут HTML, который предписывает большинству поисковых систем воздерживаться от перехода по ссылке и тем самым передавать значение на страницу, на которую ведет ссылка. Некоторые эксперты по SEO интерпретируют это как способ сообщить поисковым системам, что вы не доверяете или не можете поручиться за содержание ссылки, на которую ведет ссылка. Короче говоря, если вы хотите, чтобы поисковая машина проиндексировала вашу веб-страницу в поиске, но вы, , не хотите, чтобы переходила по ссылкам на этой странице; добавьте на свою страницу тег nofollow.


Чтобы превратить обычные ссылки в ссылки nofollow, добавьте «nofollow» в HTML-код *:

  Текст ссылки  

* Вы можете добавить код вручную, но многие CMS автоматически вставляют его при необходимости. Обратитесь за советом к своему веб-мастеру.

Пример Nofollow

Когда пользователи ищут в Google фразы, связанные с новостями, CNN хочет, чтобы разделы их статей (со статьями) находились в первых строчках поисковой выдачи, потому что статьи являются наиболее ценным активом CNN.

Не имеет смысла располагать их раздел входа наверху.

Таким образом, чтобы сообщить Google, что статьи важнее входа в систему, CNN добавит тег nofollow к своей ссылке для входа.

Примечание: Сканер Siteimprove не учитывает «noindex» или «nofollow» при определении содержания для сканирования. Сканируем на основе настроек сканирования.

Разница между мета-тегами Noindex и Nofollow

Узнали об index, noindex, follow, nofollow…. и интересно, о чем, черт возьми, люди говорят? Прочтите это руководство, чтобы узнать больше!

NOINDEX

Директива noindex — это часто используемое значение в метатеге, которое может быть добавлено в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не включать эту конкретную страницу в свой список результатов поиска.

По умолчанию веб-страница настроена на «индексирование». Вам следует добавить директиву на веб-страницу в разделе HTML, если вы не хотите, чтобы поисковые системы сканировали данную страницу и включали ее в SERP (страницы результатов поисковой системы).

Какие примеры страниц следует установить на «noindex»?

  • Страницы с благодарностями — если вы включаете на свой веб-сайт формы для сбора потенциальных клиентов, такие как «Свяжитесь с нами» или «Назначьте встречу», вы, вероятно, направите пользователей из своих веб-форм на уникальные страницы с благодарностью после того, как пользователь отправит форму. Наличие уникальных страниц с благодарностью для каждой формы — это лучший способ отслеживать цели и заявки потенциальных клиентов на вашем веб-сайте, но вы не хотите, чтобы посетители попадали на ваши страницы с благодарностью, потому что они включены в индекс Google! Посетитель должен появиться на ваших страницах с благодарностью только после того, как они заполнили вашу веб-форму.Установка для ваших страниц благодарности значения «noindex» поможет предотвратить включение этих страниц в поисковую выдачу.
  • Страницы только для членов — Если у вас есть раздел вашего веб-сайта, посвященный вашим сотрудникам или членам организации, но вы не хотите, чтобы эти веб-страницы были доступны для широкой публики или поисковых систем, директива «noindex» поможет уберечь эти страницы от быть найденным в поисковой выдаче.

NOFOLLOW

Директива nofollow — это часто используемое значение в метатеге, которое может быть добавлено в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не передавать равенство ссылок через какие-либо ссылки на данной веб-странице.

Ссылки — важная часть поисковой оптимизации, хотя эксперты все время спорят о том, какую роль ссылки играют в общем рейтинге. Мы знаем, что ссылки с внешних авторитетных веб-сайтов помогут укрепить доверие к нашему собственному веб-сайту и повысить его рейтинг. Внутренние ссылки тоже полезны! Они помогают пользователям и роботу Google перемещаться по вашему сайту и объединять важные идеи.

По умолчанию ссылки настроены на «подписку». Вы можете установить ссылку на «nofollow» следующим образом: Anchor Text , если вы хотите предложить Google, чтобы гиперссылка не передавала значение ссылочного капитала / SEO целевой ссылке.

Какие примеры ссылок следует установить на «nofollow»?

  • Ссылки в комментариях блога — Если вы потратили время на написание ценного сообщения в блоге для своего веб-сайта, вы не хотите, чтобы конкурент или спамер по ссылкам мог добавить бесполезный комментарий к вашему сообщению в блоге со ссылкой на свой собственный веб-сайт, на котором написано что-то вроде «Отличный блог. Я также написал блог на эту горячую тему »и включил обратную ссылку на его / ее веб-страницу, чтобы он / она извлекли выгоду из ссылки, которую этот человек только что добавил с вашего веб-сайта на свою. Если для этой ссылки установлено значение «nofollow», спамер по ссылкам может сообщить об этом заранее и может не беспокоиться о добавлении комментария «Отличный блог» к вашему сообщению в блоге, зная, что это не принесет пользы для SEO.
  • Платные ссылки — Еще одна тактика SEO, завоевавшая популярность в SEO-сообществе blackhat, — это массовая покупка ссылок в Интернете.Владельцы веб-сайтов со страницей спонсоров на своем сайте могут выбрать включение логотипов и ссылок на свои веб-сайты спонсоров мероприятия, но использовать метатег «nofollow» для каждой ссылки на странице спонсора, чтобы указать Google, что они не могут поручиться за каждую. веб-сайт организации, на который делается ссылка. Имейте в виду, что, хотя ссылки «nofollow» не предназначены для повышения SEO связанного контента, они по-прежнему ценны для взаимодействия с пользователем и привлечения трафика.

ЗАКЛЮЧЕНИЕ

Надеюсь, это руководство дало вам лучшее понимание noindex vs.nofollow и когда каждый из них может быть полезен. Напоминаем:

  • «noindex» предлагает поисковым системам (в первую очередь Google) не индексировать определенную веб-страницу.
  • «nofollow» предлагает поисковым системам (в первую очередь Google) не передавать ссылочную массу через ссылки на веб-странице.

При применении директив noindex и nofollow к своему веб-сайту обязательно проконсультируйтесь с квалифицированным агентством цифрового маркетинга. Если все сделано неправильно, эти маленькие теги могут нанести большой ущерб вашему органическому трафику.

Познакомьтесь с Кэти Хельгесен

Кэти Хельгесен, директор по SEO в Launch Digital Marketing, имеет более чем 15-летний опыт работы в области цифрового маркетинга, SEO и аналитики. Ей нравится кататься на американских горках, читать, смеяться, спать и проводить время со своим мужем, 3 детьми и 2 собаками. Просмотреть все сообщения Кэти Хельгесен →

В чем разница между NoIndex и NoFollow?

В чем разница между NoFollow и NoIndex?

Цифровые маркетологи тратят много времени и энергии на совершенствование каждой страницы контента на веб-сайте.У каждой страницы есть цель, с хорошо проработанным и стратегически сформулированным содержанием, ориентированным на целевого пользователя. Контент создается для привлечения потенциальных клиентов и повышения авторитета веб-страниц и их соответствующих доменов. Затем эти страницы отправляются для индексации поисковым системам, чтобы их можно было сканировать и в конечном итоге сохранять для того, чтобы их нашел конечный пользователь.

Однако есть страницы, сканирование которых запрещено. Эти страницы могут помешать вашей тяжелой работе по созданию этого красивого и индивидуального контента.Помня об этом, вам нужно знать, как правильно сообщить сканерам поисковых систем, что вы не хотите, чтобы ваш контент индексировался или сканировался.

Что такое NoIndex?

NoIndex — это метатег, который добавляется в код заголовка веб-страницы, чтобы сообщить поисковым системам, что, хотя они могут сканировать страницу, чтобы понять ее содержание, они не могут проиндексировать страницу, чтобы она отображалась в результатах поиска. Это пример того, как NoIndex отображается в исходном коде веб-страницы:

Что такое NoFollow?

NoFollow — это метатег, добавляемый в код заголовка веб-страницы, который сообщает поисковым системам не переходить по ссылкам на этой странице.По сути, это дезавуирует ссылки на этой странице и информирует поисковую систему, чтобы она не передавала никаких полномочий или «ссылочного веса» страницам, на которые есть ссылки в вашем контенте. Это пример того, как NoFollow отображается в исходном коде веб-страницы:

Чем они отличаются?

NoIndex и NoFollow сильно различаются по полезности. Вы будете использовать NoIndex при указании поисковой системе не сохранять вашу веб-страницу для отображения в результатах поиска, в то время как вы будете использовать NoFollow, когда вы дадите указание сканерам поисковой системы не переходить по ссылкам на вашей странице.Следовательно, NoIndex предназначен для вашей веб-страницы , а NoFollow — для ссылок , которые существуют на вашей веб-странице.

Когда следует использовать каждый?

Примером метатега NoIndex является страница с благодарностью. Вы бы не хотели, чтобы поисковая система отображала страницу с благодарностью на странице результатов поисковой системы, поскольку это обычно страница, на которую пользователь попадает после того, как он заполнил вашу форму генерации лидов. Чтобы поисковые системы знали, что эту страницу хранить нельзя, вы должны указать метатег NoIndex в коде заголовка вашей веб-страницы.Другие примеры страниц, которые вы не хотели бы индексировать поисковыми системами, включают Политику конфиденциальности, Положения и условия и страницы Страница не найдена.

Примером метатега NoFollow также является целевая страница. Если ваша целевая страница содержит ссылку на ваше предложение, скажем, электронную книгу «10 советов, как максимально использовать ваши усилия в цифровом маркетинге», вы должны убедиться, что сканер поисковой системы не просканирует эту ссылку и не начнет индексировать этот контент.

Изучение ресурсов для защиты и оптимизации вашего контента для поисковых систем является важной частью вашего контент-маркетинга и инициатив по привлечению потенциальных клиентов.Правильное использование метатегов NoFollow и NoIndex поможет вам максимально использовать вашу контент-стратегию и убедиться, что вы не теряете ценных потенциальных клиентов.

Как мне реализовать NoIndex или NoFollow на моем веб-сайте?

Если вы используете WordPress, мы рекомендуем бесплатный инструмент Yoast SEO для управления вашими усилиями по SEO на странице. Чтобы активировать функции NoIndex и NoFollow, вы должны включить «расширенные настройки» на панели настроек Yoast.

Оттуда вы найдете варианты для реализации правил NoIndex и NoFollow на каждой странице вашего веб-сайта.

Легко, как пирог!

Что это такое и как их использовать?

Три слова, приведенные выше, могут звучать как SEO gobbledegook, но это слова, которые стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot. Это весело.

Итак, начнем с основ: есть три способа контролировать, какие части вашего сайта будут сканироваться поисковыми системами:

  1. Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска.
  2. Disallow: запрещает сканирование ваших страниц.
  3. Nofollow: говорит им не переходить по ссылкам на вашей странице.

Что такое метатег Noindex?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный метод запрета индексирования страницы — это добавить тег в заголовок HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница не должна быть заблокирована (запрещена) в файле robots.txt файл. Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы поисковые системы не индексировали вашу страницу, просто добавьте в раздел следующее:

Вторая часть тега содержимого указывает, что необходимо переходить по всем ссылкам на этой странице, что мы обсудим ниже.

В качестве альтернативы тег noindex можно использовать в теге X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Дополнительную информацию см. В сообщении разработчиков Google о спецификациях метатега Robots и HTTP-заголовка X-Robots-Tag.

Как использовать Noindex в файле robots.txt?

Тег noindex в файле robots.txt также указывает поисковым системам не включать страницу в результаты поиска, но это более быстрый и простой способ не индексировать сразу много страниц, особенно если у вас есть доступ к вашему robots.txt. файл. Например, вы не можете индексировать любые URL-адреса в определенной папке.

Вот пример директивы noindex, которую можно поместить в файл robots.txt:

Noindex: / robots-txt-noindexed-page /

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Что такое запретительная директива?

Запрещение страницы означает, что вы даете поисковым системам указание не сканировать ее, что должно быть выполнено в файле robots.txt вашего сайта. Это полезно, если у вас много страниц или файлов, которые бесполезны для читателей или поискового трафика, поскольку это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Чтобы добавить запрет, просто добавьте в файл robots.txt следующую строку:

Запретить: / your-page-url /

Если на странице есть внешние ссылки или канонические теги, указывающие на нее, ее все равно можно проиндексировать и ранжировать, поэтому важно сочетать запрет с тегом noindex, как описано ниже.

Предупреждение: запрещая страницу, вы фактически удаляете ее со своего сайта.

Запрещенные страницы не могут передавать PageRank куда-либо еще — поэтому любые ссылки на этих страницах фактически бесполезны с точки зрения SEO — а запрещение страниц, которые должны быть включены, может иметь катастрофические последствия для вашего трафика, поэтому будьте особенно осторожны при написании запрещающих директив.

Как объединить Noindex и Disallow?

Noindex (страница) + Disallow: Disallow не может сочетаться с noindex на странице, потому что страница заблокирована, и, следовательно, поисковые системы не будут сканировать ее, чтобы знать, что они не должны оставлять страницу вне индекс.

Noindex (robots.txt) + Disallow : предотвращает появление страниц в индексе, а также предотвращает сканирование страниц. Однако помните, что через эту страницу не может пройти PageRank.

Чтобы объединить запрет с индексом noindex в файле robots.txt, просто добавьте обе директивы в файл robots.txt:

Запрещено: / example-page-1/

Запрещено: / example-page-2/

Noindex: / example-page-1/

Noindex: / example-page-2/

Что такое тег Nofollow?

Тег nofollow в ссылке указывает поисковым системам не использовать ссылку для определения важности связанных страниц (PageRank) или обнаружения дополнительных URL-адресов на том же сайте.

Обычно nofollows использует ссылки в комментариях и другом контенте, который вы не контролируете, платные ссылки, встраиваемые элементы, такие как виджеты или инфографику, ссылки в гостевых сообщениях или что-то не по теме, на которое вы все еще хотите ссылаться.

Исторически сложилось так, что оптимизаторы поисковых систем также избирательно исключали переход по ссылкам, чтобы направлять внутренний PageRank на более важные страницы.

Теги Nofollow могут быть добавлены в одном из двух мест:

  • страницы (чтобы nofollow все ссылки на этой странице):
  • Код ссылки (для nofollow отдельной ссылки): пример страницы

nofollow не предотвратит полное сканирование связанной страницы; он просто предотвращает сканирование по этой конкретной ссылке. Наши и другие тесты показали, что Google не будет сканировать URL-адрес, который он находит в ссылке nofollowed.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница отображается в файле Sitemap, эта страница все равно может отображаться в результатах поиска. Точно так же, если это URL, о котором уже знают поисковые системы, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и представил два новых атрибута ссылки, а именно:

  • rel = «sponsored» — Атрибут sponsored следует использовать для идентификации ссылок, предназначенных для рекламных целей, при наличии соглашений о спонсорстве и компенсации.
  • rel = «ugc» — В качестве атрибута для пользовательского содержимого это значение рекомендуется для ссылок на сайтах с пользовательским содержимым, например для сообщений на форумах и комментариев в блогах.

Кроме того, все ссылки, помеченные как nofollow, sponsored или ugc, теперь рассматриваются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как раньше использовалось для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, который также охватывает их влияние и мнения экспертов.

Что такое Noindex Nofollow?

Как упоминалось выше, добавление тега nofollow к странице не препятствует ее полному сканированию. Поэтому, чтобы предотвратить индексирование, вам также нужно не индексировать страницу. Это позволит Google сканировать страницу, но она не будет отображаться в индексе. Страницы, которые вы, вероятно, захотите включить в noindex; страницы администратора / входа, внутренние результаты поиска и страницы регистрации. Чтобы Google полностью прекратил сканирование страницы, вы также должны запретить это (см. Выше).

Другие директивы: Canonical Tags, Pagination и Hreflang

Есть и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса:

  • Канонические теги сообщают поисковым системам, какую страницу из группы похожих страниц следует проиндексировать.Канонизированные (т.е. вторичные страницы, которые направляют поисковые системы к первичной версии) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на свои настольные.
  • Pagination группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
  • Hreflang сообщает поисковым системам, какие международные версии одного и того же контента предназначены для какого региона, чтобы они могли определить приоритетность правильной версии для каждой аудитории.Все эти версии останутся в индексе.

Сколько времени вам следует потратить на сокращение краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны эффективность сканирования и бюджет сканирования для SEO, и, хотя обычной практикой является запрещение и noindex большие группы страниц, которые не имеют преимуществ для поисковых систем или читателей (например, back -end кода, который используется только для работы сайта или некоторых типов дублированного контента), решение о том, скрывать ли много отдельных страниц, вероятно, не лучший вариант использования времени и усилий.

Google любит индексировать как можно больше URL-адресов, поэтому, если нет особой причины скрыть страницу от поисковых систем, обычно можно оставить решение на усмотрение Google. В любом случае, даже если вы скроете страницы от поисковых систем, Google все равно будет проверять, изменились ли эти URL-адреса. Это особенно актуально, если есть ссылки, указывающие на эту страницу; даже если Google забыл об URL-адресе, он может снова обнаружить его в следующий раз, когда на него будет найдена ссылка.

Тестирование с помощью Search Console, DeepCrawl и Robotto

Тестовые роботы.txt с помощью Search Console

Тестер robots.txt в Search Console (в разделе «Сканирование») — популярный и в значительной степени эффективный способ проверить новую версию файла на наличие ошибок до того, как он будет опубликован, или протестировать конкретный URL, чтобы убедиться, что он заблокирован:

Однако этот инструмент не работает точно так же, как Google, с некоторыми небольшими различиями в конфликтующих правилах разрешения / запрета, которые имеют одинаковую длину.

Инструмент тестирования robots.txt сообщает, что это разрешено, однако Google сказал: «Если результат не определен, robots.txt могут разрешить или запретить сканирование. По этой причине не рекомендуется полагаться на то, что какой-либо из результатов будет использоваться повсеместно ».

Подробнее см. В этом обсуждении на справочном форуме в Центре веб-мастеров.

Найти все неиндексируемые страницы с помощью DeepCrawl

Запустите универсальное сканирование без каких-либо ограничений (но с применением условий robots.txt), чтобы DeepCrawl мог вернуть все ваши URL-адреса и показать вам все индексируемые / неиндексируемые страницы.

Если у вас есть параметры URL, которые были заблокированы для робота Googlebot с помощью Search Console, вы можете имитировать эту настройку для сканирования, используя поле «Удалить параметры» в разделе Дополнительные настройки> Перезапись URL .

Затем вы можете использовать следующие отчеты, чтобы убедиться, что сайт настроен так, как вы ожидали при первом сканировании, а затем объединить их со встроенными журналами изменений при последующих сканированиях.

Индексация> Страницы Noindex

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, HTTP-заголовке или файле robots.txt файл.

Индексация> Запрещенные страницы

В этом отчете содержатся все URL-адреса, которые невозможно просканировать из-за запрещающего правила в файле robots.txt. На панели управления вашего отчета есть цифры для обоих этих отчетов:

Используйте наши интуитивно понятные отчеты в каждом из наших отчетов, чтобы проверять определенные папки и выявлять шаблоны в URL-адресах, которые в противном случае вы могли бы пропустить:


Протестируйте новый файл robots.txt с помощью DeepCrawl

Используйте роботов DeepCrawl.txt Функция перезаписи в дополнительных настройках для замены живого файла на пользовательский.

Затем при следующем запуске сканирования вы можете использовать тестовую версию вместо активной.

В отчетах о добавленных и удаленных запрещенных URL-адресах будет показано, какие именно URL-адреса были затронуты измененным файлом robots. txt, что упростит оценку.

Для получения дополнительной информации прочтите наше руководство по управлению изменениями robots.txt с помощью DeepCrawl.

Хотите больше такого?

Мы надеемся, что вы нашли этот пост полезным для получения дополнительной информации о noindex, nofollow и disallow для управления сканированием вашего сайта.

Вы можете узнать больше об этих темах в нашей Технической библиотеке SEO или, если вы хотите узнать, как проводить технический SEO-аудит, прочтите наше руководство.

Кроме того, если вы заинтересованы в том, чтобы быть в курсе последних обновлений Google и рекомендациями по передовому опыту, почему бы не заглянуть в наши электронные письма?

Зайди меня!

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Теги

Управление роботами

Разница между метатегами Noindex и Nofollow

Если вы тратите какое-то время на выполнение задач цифрового маркетинга, вы, вероятно, встречали разные термины. Некоторые из них, такие как скорость страницы и цена за клик (CPC), довольно просты.Однако некоторые маркетинговые термины, особенно относящиеся к метатегам, могут немного сбивать с толку. Сегодня эксперты по цифровому маркетингу из Saba SEO, ведущей SEO-компании в Сан-Диего, обсуждают разницу между метатегами noindex и nofollow.

Что такое тег Noindex?

Тег «noindex» предназначен для того, чтобы делать то, что подразумевает его название — указывать поисковым системам, таким как Google, не индексировать или оценивать конкретную веб-страницу. Это необходимо сделать, поскольку веб-страницы по умолчанию автоматически устанавливаются на «index.Как правило, у вас должны быть поисковые системы, пропускающие страницы, которые мало или совсем не предлагают SEO, а также страницы, на которые вы не хотите, чтобы клиенты попадали в поисках того, что вы предлагаете. Общие страницы noindex включают в себя:

• Страницы с благодарностью
• Страницы с конфиденциальным содержанием, предназначенные только для внутреннего доступа
• Страницы только для членов

Что такое тег Nofollow?

Тег «nofollow» предназначен только для ссылок. Он говорит поисковым системам не подсчитывать ссылки на определенные страницы для целей качества / равенства ссылок.Хотя как внешние, так и внутренние ссылки могут быть полезны для целей ранжирования, бывают случаи, когда вы не хотите, чтобы ссылки имели большое значение, потому что они не предлагают реальной ценности для SEO или могут быть сомнительными. Теги Nofollow могут использоваться для:

• Комментарии в блогах, где легче разместить нерелевантные ссылки
• Ссылки, которые являются рекламными или спонсорскими
• Платные ссылки
• Ссылки, которые появляются в пресс-релизах

Примечание: ссылки Nofollow не имеют Значение PageRank (фактор Google), но они по-прежнему имеют некоторую ценность, поскольку позволяют посетителям находить ваш контент или сайт.

Вкратце, теги noindex не позволяют поисковым системам подсчитывать определенные страницы для целей ранжирования, а теги nofollow управляют количеством ссылок. То, как вы будете использовать эти теги, будет зависеть от представленного контента и целей ваших веб-страниц, но конечная цель — оптимизировать вашу видимость в Интернете, а также создать удобство для пользователей.

Цифровым маркетологам, которым нужна помощь в использовании таких инструментов, как метатеги, для оптимизации своего присутствия в Интернете и повышения рейтинга в поисковой сети, следует обратиться к надежным профессионалам в Saba SEO, ведущей SEO-компании в Сан-Диего.Мы предлагаем первоклассный опыт в области поисковой оптимизации, маркетинговых кампаний в Интернете, управления социальными сетями, веб-разработки и многого другого. Чтобы узнать больше о наших передовых услугах, позвоните нам сегодня по телефону 858-277-1717.

Noindex vs Nofollow vs Disallow Commands

29 марта 2019 г.

Части следующего адаптированы из моей книги Tech SEO Guide , теперь доступной на Amazon.

Существует распространенная проблема, связанная с различием между командами noindex, nofollow и disallow.Все три являются мощными инструментами для повышения эффективности обычного поиска на веб-сайте, но каждый имеет уникальные ситуации, в которых они могут применяться. К сожалению, во многих случаях они применяются неправильно, что значительно снижает эффективность поиска на сайте.

Две операции поискового робота

Чтобы понять, что делают команды noindex, nofollow и disallow, давайте сделаем шаг назад и рассмотрим, что делают роботы поисковых систем. Поисковые системы рассылают роботов, чтобы они сканировали и понимали сайт. Эти роботы сложны, но выполняют две основные операции.

  • Сканирование : как только робот обнаруживает веб-сайт, он просматривает все страницы и файлы на веб-сайте, которые может найти. Можно установить ограничения для файлов и страниц, которые может видеть робот, и внести другие изменения, чтобы робот находил все, что ему нужно.
  • Индексирование : после сканирования роботы берут всю информацию, собранную во время этого сканирования, чтобы решить, какая информация, содержащаяся на конкретной странице, может и должна отображаться в результатах поиска.В рамках этого роботы поисковых систем также будут решать, в какие результаты поиска следует включить страницы веб-сайта (если таковые имеются) и где страница должна занимать место в этих результатах.

Disallow против Noindex против Nofollow

Disallow: Controlling Crawling

Первый метод управления поисковым роботом — это команда запрета. Это указано в файле robots. txt. Файл robots.txt — это простой текстовый файл, размещенный в корневом каталоге вашего веб-сайта.Он предоставляет роботам директивы, сообщающие им, какие каталоги вы бы предпочли, чтобы они не сканировали.

Если указано, поисковый робот, который соблюдает эту команду, не будет сканировать страницу, файл или каталог, которые были запрещены. Например, вы можете указать это в файле robots.txt, чтобы запретить поисковому роботу сканировать все, что находится в / a-secret-directory.

Disallow: / a-secret-directory

Вы также можете указать запрет только для определенного робота.Например, эта запись в файле robots.txt указывает ботам Google избегать каталога my-content-admin-area. Однако боты Bing все еще могли сканировать этот каталог.

user-agent: googlebot
Disallow: / my-content-admin-area /

Запрещенные файлы могут по-прежнему индексироваться и появляться в результатах поиска. Например, Google и Bing могут найти ссылку на запрещенную страницу на вашем веб-сайте или в другом месте в Интернете. Они не могли сканировать страницу, чтобы увидеть ее содержимое, но они знали бы, что страница существует, и могли бы показать ее в индексе Google.

Как правило, лучше ничего не запрещать. Один набор файлов, который вы хотите никогда не запрещать, — это файлы JavaScript, CSS или изображения. Эти файлы управляют внешним видом страницы, и Google полагается на эти факторы дизайна при оценке страницы, особенно при определении удобства для мобильных устройств.

Meta Robots Nofollow: Controlling Crawling

Далее у нас есть команда nofollow. На самом деле существует два разных оператора nofollow. Команда nofollow, управляющая сканированием, — это мета-робот nofollow.Этот nofollow применяется на уровне страницы путем указания nofollow в метатеге robots в теге страницы.



...



...

При размещении в веб-страницы мета-nofollow дает команду роботу поисковой системы не сканировать никакие ссылки на странице. Это часть большого набора директив, которые вы можете указать в метатеге robots.

Роботы, соблюдающие эту директиву, смогут сканировать эту страницу, но не будут сканировать страницы, на которые есть ссылки с этой страницы. Если вы не хотите, чтобы роботы вообще сканировали страницу, не говоря уже о ссылках, содержащихся на этой странице, то запрет robots.txt — лучший метод управления сканированием.

Rel Nofollow: объяснение природы ссылки

Другой вариант nofollow — это команда rel = ”nofollow”. Это может повлиять на сканирование, но более важная цель состоит в том, чтобы объяснить, почему эта ссылка включена.Традиционно rel = ”nofollow” использовался для указания любых ссылок, которые были спонсируемыми или имели денежные отношения. С тех пор Google ввел другие типы квалификаторов: rel = «sponsored» и rel = «ugc». Квалификатор rel = «sponsored» предназначен для любой платной ссылки, rel = «ugc» — для любой ссылки, содержащейся в пользовательском контенте, а rel = «nofollow» — для любой другой ссылки, с которой вы бы предпочли, чтобы роботы Google не связывали Ваш сайт.

Эти команды rel указываются на уровне ссылки с атрибутом rel, добавленным к определенному тегу .Например, эта ссылка будет nofollowed, и эта ссылка на страницу / no-robots-here не будет связана с вашим веб-сайтом.

Ссылка

Noindex: управление индексированием

Команда «noindex» может быть указана на странице в мета-роботах тег. Если на страницу включен метатег noindex, поисковым роботам разрешено сканировать страницу, но им не рекомендуется индексировать страницу (это означает, что страница не будет включена в результаты поиска, если эта команда будет соблюдена).

Пример:

Несколько примечаний:

  • Ранее вы могли указать noindex в файле robots.txt. Однако это больше не поддерживается Google (и, вероятно, никогда не было). При этом официальном отсутствии поддержки единственный способ указать noindex — на уровне страницы.
  • Если вы не можете добавить метатег к страницы, вы также можете использовать X-Robots в заголовке HTTP. Это может быть полезно для запрета индексации содержимого, отличного от HTML, например PDF-файлов или некоторых изображений.

Использование Noindex и Disallow

Важно четко понимать, как команды Disallow и Noindex работают вместе. Эти команды можно объединить тремя способами, чтобы повлиять на индексацию и сканирование.

Запрет Noindex
Сценарий 1 X
X X

В сценарии 1 страница с параметром noindex не будет включена в результат поиска.Однако робот все еще может сканировать страницу, то есть роботы могут получать доступ к содержанию на странице и переходить по ссылкам на странице.

В сценарии 2 страница не будет сканироваться, но может быть проиндексирована и появится в результатах поиска. Поскольку робот не сканировал страницу, робот ничего об этом не знает. Любой контент, включенный в эту страницу в результаты поиска, будет собираться из других источников, например, из ссылок на страницу.

Сценарий 3 будет работать точно так же, как Сценарий 2, если в метатеге robots был указан noindex.Это связано с тем, что при указании Disallow робот не будет сканировать страницу. Если робот не сканирует страницу, он не увидит метатег, указывающий на то, что страницу не индексировать. Если для страницы необходимо установить значение noindex и запретить, сначала установите noindex, а затем, после удаления страницы из поискового индекса, установите запрет.

Рекомендации по использованию Nofollow

Когда использовать Nofollow для управления сканированием?

Как правило, роботам нужно сказать, что они могут переходить по всем ссылкам на странице. Если слишком агрессивно указывать, по каким ссылкам следовать или nofollow, может начаться впечатление, что веб-сайт пытается манипулировать восприятием веб-сайта роботом. Это практика, известная как формирование страницы, где команды nofollow используются для моделирования того, как сигналы с одной страницы передаются на другую. В лучшем случае эти попытки манипулировать роботом больше не работают. В худшем случае попытки манипулировать роботами с помощью rel nofollow могут привести к штрафу.

Когда использовать квалификаторы Rel в ссылках

Rel = «nofollow», rel = «sponsored» или rel = «ugc» следует использовать для конкретных случаев, когда вам необходимо четко указать характер ссылки.Ярким примером являются ссылки на странице, на которой был произведен платеж в обмен на ссылку. Например, если сообщение в блоге содержит ссылки на рекламу, эти ссылки должны иметь атрибут rel nofollow. Однако с помощью дополнительных квалификаторов Google дает понять, что любые пользовательские ссылки должны иметь этот квалификатор.

Disallow, Noindex или Nofollow являются необязательными

Disallow, Noindex и Nofollow являются необязательными — роботам не нужно выполнять ни одну из этих команд. На самом деле, слово «команда» — это немного преувеличение.Эти директивы являются рекомендациями. Боты Google могут игнорировать любую из этих рекомендаций. Часто игнорирование этих команд является признаком более серьезной проблемы, связанной с тем, что роботы неправильно понимают, как сканировать ваш сайт. В таких ситуациях вы хотите исследовать, в чем заключается эта более серьезная проблема, и решить ее, вместо того, чтобы просто переоснащать свои команды noindex, disallow или nofollow.

Кроме того, поскольку эти команды являются необязательными, вы не хотите полагаться на них для каких-либо важных аспектов своего веб-сайта.Если часть веб-сайта не должна быть общедоступной или если вы хотите, чтобы часть вашего веб-сайта не попала в результаты поиска Google, вам следует рассмотреть альтернативы. Обычной областью, где это становится проблемой, являются промежуточные веб-сайты, которые вы явно не хотите, чтобы роботы Google сканировали, и определенно не хотите их индексировать. На промежуточном веб-сайте запрета запрета или noindex недостаточно для гарантии того, что боты покинут сайт. Вместо этого вы захотите потребовать логин для доступа к этому промежуточному сайту.Вход в систему не является обязательным и не может быть проигнорирован, что означает, что боты не смогут его сканировать или индексировать.

Резюме директив роботов

Самое важное, что нужно помнить, — это две операции: сканирование и индексирование. Мы можем контролировать или влиять на оба из них, используя разные директивы.

В итоге эти директивы таковы:

  • Disallow запрещает роботу сканировать страницу, файл или каталог.
  • Noindex запрещает роботу индексировать страницу.
  • Meta nofollow говорит роботу не переходить по определенной ссылке или всем ссылкам на странице.
  • Rel = «nofollow» (или rel = «sponsored» или rel = «ugc») дополнительно уточняет природу ссылки

Используйте квалификаторы Disallow, Noindex, Meta Nofollow и rel умеренно и только после тщательного рассмотрения всех возможных последствий как их использование повлияет на эффективность SEO вашего сайта. При их использовании убедитесь, что вы не блокируете доступ роботов к важным частям вашего веб-сайта, таким как JavaScript, CSS или файлы изображений.В случае сомнений не добавляйте никаких директив.

Тестирование команд робота

Если вы решили использовать команды робота, вы хотите протестировать их, чтобы убедиться, что роботы правильно понимают команды. Хотя вы можете использовать инструменты сканирования, чтобы помочь в этом, более простой метод тестирования — в Google Search Console.

Тестирование Robots.txt

В Google Search Console вы можете проверить текущий файл robots.txt, чтобы увидеть, какие страницы, если таковые имеются, в настоящее время указаны как страницы, к которым Google не должен получать доступ. В настоящее время он недоступен в навигации в Google Search Console, но доступен как устаревший инструмент (доступ прямо здесь).

На этой странице вы увидите текущий файл robots.txt вашего сайта. Под файлом robots.txt вы можете ввести URL-адреса со своего веб-сайта и проверить, не сможет ли Google сканировать эту страницу из-за файла robots.txt. В этом примере каталог wp-admin заблокирован для сканирования, но все остальные URL-адреса должны быть разрешены для сканирования.

Проверка возможности сканирования и индексирования

Другой метод проверки того, могут ли роботы сканировать или индексировать страницу в Google Search Console, заключается в использовании инспектора URL.В новой консоли поиска Google введите URL-адрес, который вы хотите протестировать.

После загрузки результатов в отчете о покрытии вы можете увидеть, разрешены ли сканирование и индексирование. В этом примере разрешены оба варианта — это предполагаемый ответ. Если, однако, я указал noindex или disallow для этой страницы, сканирование или проиндексированные разрешенные ответы должны быть отрицательными.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *