Содержание

самая подробная справка от Q-SEO

В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег <noindex>, атрибут rel=”nofollow” и мета-тег <meta name=»robots» content=»noindex, nofollow» />. В этой статье мы подробно разберемся с их определениями и предназначениями.

Что такое тег <noindex>

<noindex>…</noindex> – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега <noindex> и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег <noindex> для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

<noindex><a href=»http://site.com/»>текст ссылки</a></noindex>

<noindex><a href=»http://site.com/»>текст ссылки</a></noindex>

Тег <noindex> для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

<noindex>Текст, запрещённый к индексированию</noindex>

<noindex>Текст, запрещённый к индексированию</noindex>

<!—noindex—>Текст, запрещённый к индексированию<!—/noindex—>

<!—noindex—>Текст, запрещённый к индексированию<!—/noindex—>

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер.

Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

<a href=»http://site.com/» rel=»nofollow»>текст ссылки</a>

<a href=»http://site.com/» rel=»nofollow»>текст ссылки</a>

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel=»nofollow». Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

https://support.google.com/webmasters/answer/96569?hl=ru

https://yandex.ru/support/webmaster/controlling-robot/html.xml?lang=ru

Передает ли nofollow-ссылка вес

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.

Нужно ли использовать rel=”nofollow” для внутренних ссылок

Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.

Как использовать совместно тег <noindex> и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег <noindex> и атрибут rel=”nofollow” одновременно:

<noindex><a href=»http://site.com/» rel=»nofollow»>текст ссылки</a></noindex>

<noindex><a href=»http://site.com/» rel=»nofollow»>текст ссылки</a></noindex>

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel=»nofollow»>.

Мета-тег <meta name=»robots» content=»noindex, nofollow» />

Этот мета-тег устанавливается в секцию <head> на той странице, которая не должна индексироваться и выглядит это следующим образом:

<head> … <meta name=»robots» content=»noindex, nofollow» /> . .. </head>

<head>

…

<meta name=»robots» content=»noindex, nofollow» />

…

</head>

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации <meta name=»robots» content=»х, y» />

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

  1. <meta name=»robots» content=»noindex, follow» /> нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
  2. <meta name=»robots» content=»noindex» /> выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
  3. <meta name=»robots» content=»noindex, nofollow» /> – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
  4. <meta name=»robots» content=»index, follow» /> – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
  5. <meta name=»robots» content=»index, nofollow» /> — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
  6. <meta name=»robots» content=»nofollow» /> — делает то же самое — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Если вам необходимо закрыть от индексации страницы только для Google, можно использовать <meta name=»googlebot» content=»noindex» />. Так говорит справка Google.

Если закрыть от индексации только для Яндекса –

<meta name=»yandex» content=»noindex»/>. Об этом также очень подробно написано в справке Яндекс.

Как сочетать meta name=»robots» с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом <meta name=»robots» content=»noindex, nofollow» /> и закрытием соответствующей страницы в файле robots. txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если же страница уже была проиндексирована, рекомендуется установить в секцию <head> мета-тег <meta name=»robots» content=»noindex, nofollow» />. Это исключит ее из индекса и предотвратит последующее попадение в него.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

Правильно настроив его, вы сможете видеть контент, завернутый в тег <noindex> (будет подсвечиваться):

Ссылки с rel=»nofollow» (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег <noindex>):

И использование мета-тега <meta name=»robots» content=»x, y» />:

Теперь вы знаете как с помощью данных методов настроить правильную индексацию страниц. Это может оказать положительное влияние на процесс раскрутки веб-сайта.

Комментарии

Комментарии

Что это за теги Nofollow и Noindex, в чем разница и как правильно прописывать

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

  1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
  2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
  3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
  4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:


<meta name="robots" content="index"/>

А с таким индексация запрещается:


<meta name="robots" content="noindex"/>

Такое правило можно указать для конкретного робота. Например, поискового бота Google:


<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.


<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить. 

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:


<meta name="robots" content="nofollow"/>

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:


<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.


<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

  • Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
  • Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
  • Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике. 
  • Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
  • Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:


<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:


<meta name="robots" content="noindex, nofollow"/>

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots. txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Тег noindex и атрибут nofollow: что это такое

Тег noindex введен поисковой системой Яндекс. Он предназначен для закрытия от индексации роботами ссылки или части html кода на странице. Имеет следующую структуру:

<noindex> ссылка или часть кода, которые необходимо скрыть, </noindex>

Данный тег не чувствителен к вложенности и может быть размещен в любой части кода. Поисковые машины, кроме Яндекса, воспринимают команду в качестве невалидной. Если валидность кода важна, тег оформляется следующим образом:

<!—noindex—> текст <!—/noindex—>

Функции:

Тег noindex позволяет:

  • повысить релевантность страницы поисковым запросам за счет уменьшения доли второстепенной информации и увеличения плотности ключевых слов,
  • скрыть дублирующийся контент, за использование которого может последовать пессимизация сайта в выдаче Яндекса,
  • сохранять статический вес страниц и управлять его передачей, так как закрытие одних ссылок пропорционально увеличивает вИЦ оставшихся,
  • улучшить сниппет. Если в ходе раскрутки сайта в его текстовое описание в выдаче попадает ненужная информация со страницы, ее закрывают от индексации,
  • скрыть от роботов лишние данные (коды счетчиков, ссылки на сайты с постоянно изменяющейся информацией и т.д.).

Nofollow

Атрибут nofollow не оказывает влияния на индексацию ссылок, но сообщает поисковым роботам, что вес данного линка равен нулю. При продвижении сайта это позволяет сохранить его PR и тИЦ, которые на указанную страницу не передаются. Поисковые боты (кроме googlebot) по ссылке переходят. Атрибут поддерживают Google, Yahoo и Яндекс (с 30 апреля 2010 года). Структура написания параметра следующая: анкор ссылки

Атрибут nofollow используют для ссылок на все сайты, которым не требуется передавать TrustRank ресурса-донора. Для внутренней перелинковки прием не применяется.

Noindex и nofollow позволяют закрыть от индексацию не только отдельную ссылку, но и всю страницу (прописываются внутри нее или в файле robots. txt):

<Meta name=”robot” content=”noindex, nofollow”>

или

<html> 
<head> 
<meta content=”nofollow”/> 
<title>Заголовок данной страницы</title> 
</head>

Nofollow и noindex могут использоваться совместно:

<noindex><a rel=»nofollow» href=»http://example.ru»> анкор ссылки</a></noindex>.

В таком случае поисковый робот Google ссылку проигнорирует, а Яндекса не увидит.

Другие термины на букву «N»

Совпадений не найдено

Все термины SEO-Википедии

Теги термина

Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:

  • прописать метатег robots в HTML-коде страницы в элементе head;

  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

  1. Поддерживаемые Яндексом директивы
  2. Указание нескольких директив
  3. Указания для определенных роботов

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы. -->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Атрибут rel | htmlbook.ru

Internet ExplorerChromeOperaSafariFirefoxAndroidiOS
10. 50+4.0+

Спецификация

HTML:3.24.015.0XHTML:1.01.1

Описание

Атрибут rel определяет отношения между текущим документом и документом, на который ведет ссылка, заданная атрибутом href. Несмотря на то, что браузеры в большинстве своем не поддерживают атрибут rel, на сайтах часто можно встретить код rel=»nofollow», предназначенный для поисковых систем Google и Яндекс. Ссылки, помеченные таким образом, не передают PageRank и ТИЦ.

Синтаксис

<a rel="строка">...</a>

Обязательный атрибут

Нет.

Значения

Некоторые возможные значения перечислены ниже.

answer
Ответ на вопрос.
chapter
Раздел или глава текущего документа.
co-worker
Ссылка на страницу коллеги по работе.
colleague
Ссылка на страницу коллеги (не по работе).
contact
Ссылка на страницу с контактной информацией.
details
Ссылка на страницу с подробностями.
edit
Редактируемая версия текущего документа.
friend
Ссылка на страницу друга.
question
Вопрос.

Весь список значений можно посмотреть по адресу http://wiki.whatwg.org/wiki/RelExtensions

В HTML5 поддерживается следующие значения.

archives
Ссылка на архив сайта.
author
Ссылка на страницу об авторе на том же домене.
bookmark
Постоянная ссылка на раздел или запись.
first
Ссылка на первую страницу.
help
Ссылка на документ со справкой.
index
Ссылка на содержание.
last
Ссылка на последнюю страницу.
license
Ссылка на страницу с лицензионным соглашением или авторскими правами.
me
Ссылка на страницу автора на другом домене.
next
Ссылка на следующую страницу или раздел.
nofollow
Не передавать по ссылке ТИЦ и PR.
noreferrer
Не передавать по ссылке HTTP-заголовки.
prefetch
Указывает, что надо заранее кэшировать указанный ресурс.
prev
Ссылка на предыдущую страницу или раздел.
search
Ссылка на поиск.
sidebar
Добавить ссылку в избранное браузера.
tag
Указывает, что метка (тег) имеет отношение к текущему документу.
up
Ссылка на родительскую страницу.

Значение по умолчанию

Нет.

Пример 1

HTML 4.01IECrOpSaFx

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" 
  "http://www.w3.org/TR/html4/strict.dtd">
<html>
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>Тег А, атрибут rel</title>
 </head>
 <body>
  <p><a href="http://ya.ru" rel="nofollow">Наш ответ Яндексу</a></p>
 </body>
</html>

Пример 2

HTML5IECrOpSaFx

<!DOCTYPE html>
<html>
 <head>
  <meta charset="utf-8">
  <title>Добавить в избранное</title>
 </head>
 <body>
  <p><a href="http://htmlbook. ru" rel="sidebar">Добавить в избранное</a></p>
 </body>
</html>

Браузеры

Firefox поддерживает значение prefetch и sidebar. Opera поддерживает значение sidebar.

Noindex, nofollow — чек лист для работы

Noindex и nofollow зачастую называют некорректно: тегами, метатегами, атрибутами. На самом деле noindex — это тег, а nofollow — атрибут внутри тега.

Метатеги — это теги, которые относятся ко всей странице: <meta name=»robots» content=»noindex, nofollow» />

Тег <noindex> создает конструкцию: <noindex> … </noindex>;

атрибут rel=”nofollow” может появляться в конструкции тега.

С помощью этих параметров можно и нужно указывать поисковым роботам Google, Яндекс или других систем, как именно нужно взаимодействовать с контентом, находящимся внутри этих параметров.

Где и как использовать noindex и nofollow

Эти атрибуты могут располагаться в заголовке страницы, и тогда они будут правилом для всего контента. А могут ограждать конкретный текстовый фрагмент, ссылку или изображение.

Для страниц метатеги noindex и nofollow закрывают от индексации:

  • страницы регистрации;
  • служебные страницы;
  • страницы авторов комментариев;
  • другие «вредные» для индексации страницы;

Для контента теги noindex и атрибут nofollow закрывают от индексации:

  • «вредные» ссылки;
  • цитаты из различных источников;
  • повторяющийся контент

Чтобы закрыть от индексации страницы — метатеги noindex и nofollow

Когда нужно чтобы страница и контент на ней индексировались, а поисковый робот не переходил по ссылкам. В таком случае используем конструкцию:

 <meta name="robots" content="index, nofollow"/>

Когда надо закрыть страницу от индексации, а переходы по ссылкам разрешить, вставляем

 <meta name="robots" content="noindex, follow"/>

Чтобы индексировались и ссылки, и сама страница, в заголовке применяем метатег

<meta name="robots" content="index, follow"/>

Для полного закрытия страницы и ссылок на ней от индексации:

<meta name="robots" content="noindex, nofollow"/>

Для примера приведем заголовок страницы, в которой используются метатеги с полным закрытием страницы и ссылок для индексации ее роботом поисковой системы (noindex, nofollow):

<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="Description для данной странички">
<title>…</title>
</head>
<body>

Для контента и ссылок тег noindex и атрибут nofollow

Чтобы скрыть от индексации фрагмент текста (работает только для Яндекс и Рамблер), используем следующее решение:

 <!--noindex--> (текст, который нужно скрыть) <!--/noindex-->

Чтобы скрыть от индексации ссылку, используем:

<a href="https://mysite. com/" rel="nofollow">Текст ссылки </a>

Чтобы скрыть ссылку от индексации и Яндекс, и Google, применяем

<noindex><a href="http://mysite.com/" rel="nofollow">текст ссылки</a></noindex>

Google в данной конструкции принимает только rel=»nofollow», а для Яндекса действуют и noindex, и rel=»nofollow».

<noindex> — неофициальный тег

<noindex>…</noindex> используется поисковыми системами Яндекс и Rambler. Цель — скрыть от индексации указанный контент.

Google на данный тег не обращает внимание, ибо он не является принятым тегом разметки html.

rel=”nofollow” — атрибут внутри тега ссылки

rel=”nofollow” запрещает поисковым системам переходить по указанной ссылке. Конструкция:

<a href="signin.php" rel="nofollow">Войти</a>

Как сообщается в ответе поддержки Google для веб-мастеров, поисковая система не переходит по ссылке и не использует для перехода по ней краулинговый бюджет. Но это не значит, что робот туда не заглянет и не проверит. То есть дальнейшая судьба данной ссылки такая: мы про тебя знаем, но молчим, пока это безопасно.

Если нужно скрыть от индексации страницы только для Google, можно использовать <meta name=»googlebot» content=»noindex» />.

Если нужно закрыть от индексации только для Яндекс – <meta name=»yandex» content=»noindex»/>.

Закрытие индексации через файл robots.txt

Метатеги, описанные ранее <meta name=»robots» content=»noindex, nofollow»> появляются только после открытия роботом страницы и прочтения заголовка.

Закрытие же страницы через файл robots.txt запрещает даже заходить на страницу.

Если поисковая система раньше проиндексировала эту страницу, то она будет находится в индексе поисковых систем (даже после закрытия в файле robots.txt). А в description нам сообщат, что описание для данной страницы отобразить невозможно, ведь она закрыта от индексации в файле robots. txt.

# robots.txt for http://www.w3.org/
User-agent: W3C-gsa
Disallow: /Out-Of-Date
User-agent: W3T_SE
Disallow: /Out-Of-Date
User-agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT; MS Search 4.0 Robot)
Disallow: /
# W3C Link checker
User-agent: W3C-checklink
Disallow:
User-agent: Applebot
Disallow: /People/domain/
# the following settings apply to all bots
User-agent: *
# Blogs - WordPress
# https://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization
Disallow: /*/wp-admin/
Disallow: /*/wp-includes/
Disallow: /*/wp-content/plugins/
Disallow: /*/wp-content/cache/
Disallow: /*/wp-content/themes/
Disallow: /blog/*/trackback/
Disallow: /blog/*/feed/
Disallow: /blog/*/comments/
Disallow: /blog/*/category/*/*
Disallow: /blog/*/*/trackback/
Disallow: /blog/*/*/feed/
Disallow: /blog/*/*/comments/
Disallow: /blog/*/*?

Поэтому для непроиндексированных страниц можно использовать как вариант закрытия через метатеги в заголовке, так и через файл роботс. тхт.

Если страница уже была проиндексирована, рекомендуем вставить в заголовок, в секцию <head> метатег <meta name=»robots» content=»noindex, nofollow» />. Это исключит ее из индексации и предотвратит последующее попадание в нее.

В данном файле есть несколько блоков. Первый — User-agent — команда для определения робота, к которому относится последующие директивы. В коде файла роботс.тхт, что представлен выше — для робота W3C-gsa, W3T_SE, Mozilla/4.0, W3C-checklink, Applebot. А звездочка ( * ) после команды User-agent — говорит что последующие директивы относятся ко всем поисковым роботам.В большинстве случаев нам понадобиться заголовок в файле robots.txt следующего стандартного вида:

User-agent: *    # applies to all robots

Последующие директивы позволяют исключить как отдельные страницы, так и целые папки со страницами. Код будет выглядеть так:

Disallow: /      # disallow indexing of all pages

В случае, если в данной папке есть одна или несколько страниц, которые должны быть проиндексированы поступаем следующим образом:

User-agent: *
Disallow: /help          #запрещает страницы к индексированию, которые находятся в каталоге, например:  /help. html и /help/index.html
Disallow: /help/         #запрещает только те страницы, которые находятся на уровень ниже каталога help, а те, что в этом каталоге - остаются открытыми, например: /help/index.html закрыт, но  /help.html - открыт

В файле robots.txt обязательно должно быть хотя бы одно поле Disallow. Как же поступить если нам не нужно закрывать ни одной страницы? Оставляем поле пустым:

Disallow:           #если после директивы оставить поле пустым - считается что все страницы сайта остаются открытыми для индексирования
Распространенные ошибки:
  1. Попытка закрыть от индексации ссылку следующей комбинацией: <nofollow><a href=»index.php»>Перейти</a></nofollow>

    2. Тег <noindex> для разметки html является неофициальным; в официальной разметке есть только атрибут rel или метатег со значением nofollow.

  2. Попытка закрыть ссылку от индексации с помощью тега <noindex>. Таким образом можно закрыть только анкор (текст ссылки, а не саму ссылку), и только для Яндекс.

Выводы

Для экономии краулингового бюджета важно закрывать от индексации лишние ссылки, вес которых не существенен для продвижения.

Для поисковых систем ссылки nofolow выглядят естественно, а их наличие является нормальным. Однако большое количество исходящих ссылок на сайте может оказаться и минусом, несмотря на то, что они были закрыты от индексации.

Заказать сайт

nofollow и noindex | Закрыть ссылку от индексации

 nofollow и noindex – любимые персонажи разметки html-страницы, главная задача которых состоит в запрете индексирования ссылок и текстового материала веб-страницы поисковыми роботами.

 

 


 nofollow и noindex – самые загадочные персонажи разметки html-страницы, главная задача которых состоит в запрете индексирования ссылок и текстового материала веб-страницы поисковыми роботами.

nofollow (Яндекс & Google)

nofollow – валидное значение в HTML для атрибута rel тега «a» (rel=»nofollow»)
Это значение предназначено для поисковых систем.
Оно устанавливает запрет на переход по ссылке и последующее её индексирование.

rel=»nofollow» – не переходить по ссылке

Оба главных русскоязычных поисковика (Google и Яндекс) – прекрасно знают атрибут rel=»nofollow» и, поэтому – превосходно управляются с ним. В этом, и Google, и Яндекс, наконец-то – едины. Ни один поисковый робот не пойдёт по ссылке, если у неё имеется атрибут rel=»nofollow»:

<a href=»http://example.ru» rel=»nofollow»>анкор (видимая часть ссылки)</a>

content=»nofollow» – не переходить по всем ссылкам на странице

Допускается указывать значение nofollow для атрибута content метатега <meta>.
В этом случае, от поисковой индексации будут закрыты все ссылки на веб-странице

<meta name=»robots» content=»nofollow»/>

Атрибут content является атрибутом тега <meta> (метатега). Метатеги используются для хранения информации, предназначенной для браузеров и поисковых систем. Все метатеги размещаются в контейнере <head>, в заголовке веб-страницы.

Действие атрибутов rel=»nofollow» и content=»nofollow»

на поисковых роботов Google и Яндекса

Действие атрибутов rel=»nofollow» и content=»nofollow»
на поисковых роботов Google и Яндекса несколько разное:

Google
Увидев атрибут rel=»nofollow» у отдельно стоящей ссылки, поисковые роботы Google не переходят по такой ссылке и не индексируют её видимую часть (анкор). Увидев атрибут content=»nofollow» у метатега <meta> в заголовке страницы, поисковые роботы Google сразу «разворачивают оглобли» и катят к себе восвояси, даже не пытаясь заглянуть на такую страницу. Таким образом, чтобы раз и навсегда закрыть от роботов Google отдельно стоящую ссылку (тег <а>) достаточно добавить к ней атрибут rel=»nofollow»:
<a href=»http://example.ru» rel=»nofollow»>Анкор</a>
А, чтобы раз и навсегда закрыть от роботов Google всю веб-страницу,
достаточно добавить в её заголовок строку с метатегом:
<meta name=»robots» content=»nofollow»/>
Яндекс
Для роботов Яндекса атрибут rel=»nofollow» имеет действие запрета только! на индексацию ссылки и переход по ней. Видимую текстовую часть ссылки (анкор) – роботы Яндекса всё равно проиндексируют.
Для роботов Яндекса атрибут метатега content=»nofollow» имеет действие запрета только! на индексацию ссылок на странице и переходов по них. Всю видимую текстовую часть веб-страницы – роботы Яндекса всё равно проиндексируют.
Для запрета индексации видимой текстовой части ссылки или страницы для роботов Яндекса – ещё потребуется добавить его любимый тег или значение noindex
noindex – не индексировать текст

(тег и значение только для Яндекса)

Тег <noindex> не входит в спецификацию HTML-языка.
Тег <noindex> – это изобретение Яндекса, который предложил в 2008 году использовать этот тег в качестве маркера текстовой части веб-страницы для её последующего удаления из поискового индекса. Поисковая машина Google это предложение проигнорировала и Яндекс остался со своим ненаглядным тегом, один на один. Поскольку Яндекс, как поисковая система – заслужил к себе достаточно сильное доверие и уважение, то придётся уделить его любимому тегу и его значению – должное внимание.

Тег <noindex> – не признанное изобретение Яндекса

Тег <noindex> используется поисковым алгоритмом Яндекса для исключения служебного текста веб-страницы поискового индекса. Тег <noindex> поддерживается всеми дочерними поисковыми системами Яндекса, вида Mail.ru, Rambler и иже с ними.

Тег noindex – парный тег, закрывающий тег – обязателен!

Учитывая не валидность своего бедного и непризнанного тега,
Яндекс соглашается на оба варианта для его написания:
Не валидный вариант – <noindex></noindex>,
и валидный вариант – <!— noindex —><!—/ noindex —>.

Хотя, во втором случае – лошади понятно, что для гипертекстовой разметки HTML, это уже никакой не тег, а так просто – html-комментарий на веб-странице.

Тег <noindex> – не индексировать кусок текста

Как утверждает справка по Яндекс-Вебмастер, тег <noindex> используется для запрета поискового индексирования служебных участков текста. Иными словами, часть текста на странице, заключённая в теги <noindex></noindex> удаляется поисковой машиной из поискового индекса Яндекса. Размеры и величина куска текста не лимитированы. Хоть всю страницу можно взять в теги <noindex></noindex>. В этом случае – останутся в индексе одни только ссылки, без текстовой части.

Поскольку Яндекс подходит раздельно к индексированию непосредственно самой ссылки и её видимого текста (анкора), то для полного исключения отдельно стоящей ссылки из индекса Яндекса потребуется наличие у неё сразу двух элементов – атрибута rel=»nofollow» и тега <noindex>. Такой избирательный подход Яндекса к индексированию ссылок даёт определённую гибкость при наложении запретов.

Так, например, можно создать четыре конструкции, где:

Ссылка индексируется полностью
<a href=»http://example.ru»>Анкор (видимая часть ссылки)</a>
Индексируется только анкор (видимая часть) ссылки
<a href=»http://example. ru» rel=»nofollow»>Анкор</a>
Индексируется только ссылка, без своего анкора
<a href=»http://example.ru»><noindex>Анкор</noindex></a>
Ссылка абсолютно НЕ индексируется
<a href=»http://example.ru» rel=»nofollow»><noindex>Анкор</noindex></a>

Для справки: теги <noindex></noindex>, особенно их валидный вариант <!— noindex —><!—/ noindex —> – абсолютно не чувствительны к вложенности. Их можно устанавливать в любом месте HTML-кода. Главное, не забывать про закрывающий тег, а то – весь текст, до самого конца страницы – вылетит из поиска Яндекса.

Метатег noindex – не индексировать текст всей страницы

Допускается применять noindex в качестве значения для атрибута метатега content –
в этом случае устанавливается запрет на индексацию Яндексом текста всей страницы.

Атрибут content является атрибутом тега <meta> (метатег). Метатеги используются для хранения информации, предназначенной для браузеров и поисковых систем. Все метатеги размещаются в контейнере <head>, в заголовке веб-страницы.

Абсолютно достоверно, ясно и точно, что использование noindex в качестве значения атрибута content для метатега <meta> даёт очень хороший результат и уверенно «выбивает» такую страницу из поискового индекса Яндекса.

<meta name=»robots» content=»noindex»/>
Текст страницы, с таким метатегом в заголовке –
Яндекс совершенно не индексирует, но при этом он –
проиндексирует все ссылки на ней.

 

Разница в действии тега и метатега noindex

Визуально, разница в действии тега и метатега noindex заключается в том, что запрет на поисковую индексацию тега noindex распространяется только на текст внутри тегов <noindex></noindex>, тогда как запрет метатега – сразу на текст всей страницы.
Пример: <noindex>Этот текст будет не проиндексирован</noindex>

<meta name=»robots» content=»noindex»/>
Текст страницы, с таким метатегом – Яндекс полностью не индексирует

Принципиально, разница в действии тега и метатега проявляется в различиях алгоритма по их обработке поисковой машиной Яндекса. В случае с метатегом noindex, робот просто уходит со страницы, совершенно не интересуясь её содержимым (по крайней мере – так утверждает сам Яндекс). А, вот в случае с использованием обычного тега <noindex> – робот начинает работать с контентом на странице и фильтровать его через своё «ситечко». В момент скачивания, обработки контента и его фильтрации возможны ошибки, как со стороны робота, так и со стороны сервера. Ведь ни что не идеально в этом мире.
Поэтому, кусок текста страницы, заключённого в теги <noindex></noindex> – могёт запросто попасть Яндексу «на зуб» для дальнейшей поисковой индексации. Как утверждает сам Яндекс – это временное неудобство будет сохраняться до следующего посещения робота. Чему я не очень охотно верю, потому как, некоторые мои тексты и страницы, с тегом и метатегом noindex – висели в Яндексе по нескольку месяцев.

Особенности метатега noindex

Равно, как и в случае с тегом <noindex>, действие метатега noindex позволяет гибко накладывать запреты на всю страницу. Примеры метатегов для всей страницы сдерём из Яндекс-Вебмастера:

не индексировать текст страницы
<meta name=»robots» content=»noindex»/>
не переходить по ссылкам на странице
<meta name=»robots» content=»nofollow»/>
не индексировать текст страницы и не переходить по ссылкам на странице
<meta name=»robots» content=»noindex, nofollow»/>
что, аналогично следующему:
запрещено индексировать текст и переходить
по ссылкам на странице для роботов Яндекса
<meta name=»robots» content=»none»/>

Вот такой он, тег и значение noindex на Яндексе :):):).

Тег и метатег noindex для Google

Что-же касается поисковика Google, то он никак не реагирует на присутствие выражения noindex, ни в заголовке, ни в теле веб-страницы. Google остаётся верен своему валидному «nofollow», который он понимает и выполняет – и для отдельной ссылки, и для всей страницы сразу (в зависимости от того, как прописан запрет). После некоторого скрипения своими жерновами, Яндекс сдался и перестал продвижение своего тега и значения noindex, хотя – и не отказывается от него полностью. Если роботы Яндекса находят тег или значение noindex на странице – они исправно выполняют наложенные запреты.

Универсальный метатег (Яндекс & Google)

С учётом требований Яндекса, общий вид универсального метатега,
закрывающего полностью всю страницу от поисковой индексации,
выглядит так:

<meta name=»robots» content=»noindex, nofollow»/>
– запрещено индексировать текст и переходить по ссылкам на странице
для всех поисковых роботов Яндекса и Google

nofollow и noindex | Закрываемся от индексации на tehnopost.info

  1. nofollow (Яндекс & Google)
    1. rel=»nofollow» – не переходить по ссылке
    2. content=»nofollow» – не переходить по всем ссылкам
    3. Действие rel=»nofollow» и content=»nofollow»
      на поисковых роботов Google и Яндекса
  2. noindex – не индексировать текст
    (тег и значение только для Яндекса)
    1. Тег <noindex> – не признанное изобретение Яндекса
    2. Тег <noindex> – не индексировать кусок текста
    3. Метатег noindex – не индексировать текст всей страницы
    4. Разница в действии тега и метатега noindex
    5. Особенности метатега noindex
    6. Тег и метатег noindex для Google
  3. Универсальный метатег (Яндекс & Google)

Страницы веб-роботов

О теге

роботов

В двух словах

Вы можете использовать специальный тег HTML, чтобы запретить роботам индексировать содержание страницы и / или не сканировать ее на предмет наличия ссылок.

Например:

 

 ...

При использовании тега robots следует учитывать два важных момента:

  • роботы могут игнорировать ваш тег.Особенно вредоносные роботы, которые сканируют Интернет на наличие уязвимостей в системе безопасности и сборщики адресов электронной почты, используемые спамерами не обращаю внимания.
  • директива NOFOLLOW применяется только к ссылкам на этой странице. Это вполне вероятно, что робот найдет те же ссылки на других страница без NOFOLLOW (возможно, на каком-то другом сайте), и так далее попадает на вашу нежелательную страницу.

Не путайте это NOFOLLOW с rel = «nofollow» атрибут ссылки.

Реквизиты

Как и / robots.txt, роботы META tag является стандартом де-факто. Он возник в результате встречи «птиц пера» в 1996 году. распределенный семинар по индексированию, и он был описан в заметках о совещании.

Тег META также описан в HTML Спецификация 4.01, Приложение B.4.1.

Остальная часть этой страницы дает обзор того, как использовать роботов. Теги на ваших страницах с некоторыми простыми рецептами. Чтобы узнать больше, см. Также FAQ.

Как написать метатег для роботов

Где поставить

Как и любой тег, он должен быть помещен в раздел HEAD HTML-кода. page, как в примере выше.Вы должны поместить его на каждую страницу своего сайт, потому что робот может найти глубокую ссылку на любой страницу на вашем сайте.

Что в него класть

Атрибут «ИМЯ» должен быть «РОБОТЫ».

Допустимые значения атрибута CONTENT: «ИНДЕКС», «НОИНДЕКС», «СЛЕДУЮЩИЕ», «НЕ СЛЕДУЕТ». Допускается несколько значений, разделенных запятыми, но очевидно, только некоторые комбинации имеют смысл. Если нет тег роботов, по умолчанию — «INDEX, FOLLOW», так что нет необходимости объяснять это.Остается:

Что это такое и как их использовать?

Три слова, приведенные выше, могут звучать как SEO gobbledegook, но это слова, которые стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot. Это весело.

Итак, начнем с основ: есть три способа контролировать, какие части вашего сайта будут сканироваться поисковыми системами:

  1. Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска.
  2. Disallow: запрещает сканирование ваших страниц.
  3. Nofollow: говорит им не переходить по ссылкам на вашей странице.

Что такое метатег Noindex?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный метод запрета индексации страницы — это добавить тег в заголовок HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница не должна быть заблокирована (запрещена) в файле robots.txt файл. Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы поисковые системы не индексировали вашу страницу, просто добавьте следующее в раздел:

Вторая часть тега содержимого здесь указывает, что необходимо переходить по всем ссылкам на этой странице, которые мы обсудим ниже.

В качестве альтернативы тег noindex можно использовать в теге X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Для получения дополнительной информации см. Сообщение разработчиков Google о спецификациях метатега Robots и HTTP-заголовка X-Robots-Tag.

Как я могу использовать Noindex в файле Robots.txt?

Тег noindex в вашем файле robots.txt также указывает поисковым системам не включать страницу в результаты поиска, но это более быстрый и простой способ не индексировать сразу много страниц, особенно если у вас есть доступ к вашему robots.txt. файл. Например, вы не можете индексировать любые URL-адреса в определенной папке.

Вот пример директивы noindex, которую можно поместить в файл robots.txt:

Noindex: / robots-txt-noindexed-page /

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Что такое запретительная директива?

Запрещение страницы означает, что вы даете поисковым системам указание не сканировать ее, что необходимо сделать в файле robots.txt вашего сайта. Это полезно, если у вас много страниц или файлов, которые бесполезны для читателей или поискового трафика, поскольку это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Чтобы добавить запрет, просто добавьте в файл robots.txt следующую строку:

Запретить: / your-page-url /

Если на странице есть внешние ссылки или канонические теги, указывающие на нее, ее все равно можно проиндексировать и ранжировать, поэтому важно сочетать запрет с тегом noindex, как описано ниже.

Предупреждение: запрещая страницу, вы фактически удаляете ее со своего сайта.

Запрещенные страницы не могут передавать PageRank куда-либо еще — поэтому любые ссылки на этих страницах фактически бесполезны с точки зрения SEO — а запрещение страниц, которые должны быть включены, может иметь катастрофические последствия для вашего трафика, поэтому будьте особенно осторожны при написании запрещающих директив.

Как совместить Noindex и Disallow?

Noindex (страница) + Disallow: Disallow не может сочетаться с noindex на странице, потому что страница заблокирована, и поэтому поисковые системы не будут сканировать ее, чтобы знать, что они не должны оставлять страницу вне индекс.

Noindex (robots.txt) + Disallow : предотвращает появление страниц в индексе, а также предотвращает сканирование страниц. Однако помните, что через эту страницу не может пройти PageRank.

Чтобы объединить запрет с noindex в файле robots.txt, просто добавьте обе директивы в файл robots.txt:

Запрещено: / example-page-1/

Запрещено: / example-page-2/

Noindex: / example-page-1/

Noindex: / example-page-2/

Что такое тег Nofollow?

Тег nofollow в ссылке указывает поисковым системам не использовать ссылку для определения важности связанных страниц (PageRank) или обнаружения дополнительных URL-адресов на том же сайте.

Обычно nofollows использует ссылки в комментариях и другом контенте, который вы не контролируете, платные ссылки, встраиваемые элементы, такие как виджеты или инфографику, ссылки в гостевых сообщениях или что-нибудь не по теме, на которое вы все еще хотите связать людей.

Исторически сложилось так, что оптимизаторы поисковых систем также избирательно исключали переход по ссылкам, чтобы направлять внутренний PageRank на более важные страницы.

Теги Nofollow могут быть добавлены в одном из двух мест:

  • страницы (чтобы nofollow все ссылки на этой странице):
  • Код ссылки (для nofollow отдельной ссылки): пример страницы

nofollow не предотвратит полное сканирование связанной страницы; он просто предотвращает сканирование по этой конкретной ссылке. Наши и другие тесты показали, что Google не будет сканировать URL-адрес, который он находит в ссылке nofollowed.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница отображается в файле Sitemap, эта страница может по-прежнему отображаться в результатах поиска. Точно так же, если это URL, о котором уже знают поисковые системы, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и представил два новых атрибута ссылки, а именно:

  • rel = «sponsored» — Атрибут sponsored следует использовать для идентификации ссылок, предназначенных для рекламных целей, при наличии соглашений о спонсорстве и компенсации.
  • rel = «ugc» — В качестве атрибута для пользовательского контента это значение рекомендуется для ссылок на сайтах с пользовательским контентом, например для сообщений на форумах и комментариев в блогах.

Кроме того, все ссылки, помеченные как nofollow, sponsored или ugc, теперь обрабатываются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как раньше использовалось для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, который также охватывает их влияние и мнения экспертов.

Что такое Noindex Nofollow?

Как упоминалось выше, добавление тега nofollow к странице не препятствует ее полному сканированию.Поэтому, чтобы предотвратить индексирование, вам также нужно не индексировать страницу. Это позволит Google сканировать страницу, но она не будет отображаться в индексе. Страницы, которые вы, вероятно, захотите включить в noindex; страницы администратора / входа, внутренние результаты поиска и страницы регистрации. Чтобы Google полностью прекратил сканирование страницы, вам также следует запретить это (см. Выше).

Другие директивы: Canonical Tags, Pagination и Hreflang

Есть и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса:

  • Канонические теги сообщают поисковым системам, какую страницу из группы похожих страниц следует проиндексировать.Канонизированные (т. Е. Вторичные страницы, которые направляют поисковые системы к первичной версии) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на свои настольные.
  • Разбивка на страницы группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
  • Hreflang сообщает поисковым системам, какие международные версии одного и того же контента предназначены для какого региона, чтобы они могли определить приоритетность правильной версии для каждой аудитории.Все эти версии останутся в индексе.

Сколько времени вам следует потратить на сокращение краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны эффективность сканирования и бюджет сканирования для SEO, и, хотя обычной практикой является запрещение и noindex большие группы страниц, которые не имеют никакой пользы для поисковых систем или читателей (например, back -end кода, который используется только для работы сайта или некоторых типов дублированного контента), решение о том, скрывать ли много отдельных страниц, вероятно, не лучший вариант использования времени и усилий.

Google любит индексировать как можно больше URL-адресов, поэтому, если нет особой причины скрыть страницу от поисковых систем, обычно можно оставить решение на усмотрение Google. В любом случае, даже если вы скроете страницы от поисковых систем, Google все равно будет проверять, изменились ли эти URL-адреса. Это особенно актуально, если есть ссылки, указывающие на эту страницу; даже если Google забыл об URL-адресе, он может снова обнаружить его в следующий раз, когда на него будет найдена ссылка.

Тестирование с помощью Search Console, DeepCrawl и Robotto

Тестовые роботы.txt с помощью Search Console

Тестер robots.txt в Search Console (в разделе «Сканирование») — популярный и в значительной степени эффективный способ проверить новую версию вашего файла на наличие ошибок до того, как он будет опубликован, или проверить конкретный URL, чтобы убедиться, что он заблокирован:

Однако этот инструмент не работает точно так же, как Google, с некоторыми небольшими различиями в конфликтующих правилах разрешения / запрета, которые имеют одинаковую длину.

Инструмент тестирования robots.txt сообщает, что это разрешено, однако Google сказал: «Если результат не определен, robots.txt могут разрешить или запретить сканирование. По этой причине не рекомендуется полагаться на то, что какой-либо из результатов будет использоваться повсеместно ».

Подробнее читайте в этом обсуждении на справочном форуме в Центре веб-мастеров.

Найти все неиндексируемые страницы с помощью DeepCrawl

Запустите универсальное сканирование без каких-либо ограничений (но с применением условий robots.txt), чтобы DeepCrawl мог вернуть все ваши URL-адреса и показать вам все индексируемые / неиндексируемые страницы.

Если у вас есть параметры URL, которые были заблокированы для робота Googlebot с помощью Search Console, вы можете имитировать эту настройку для сканирования, используя поле «Удалить параметры» в разделе Расширенные настройки> Перезапись URL .

Затем вы можете использовать следующие отчеты, чтобы убедиться, что сайт настроен так, как вы ожидали при первом сканировании, а затем объединить их со встроенными журналами изменений при последующих сканированиях.

Индексация> Страницы Noindex

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, HTTP-заголовке или файле robots.txt файл.

Индексация> Запрещенные страницы

Этот отчет содержит все URL-адреса, сканирование которых невозможно из-за запрещающего правила в файле robots.txt. На панели управления вашего отчета есть цифры для обоих этих отчетов:

Используйте наши интуитивно понятные отчеты в каждом из наших отчетов, чтобы проверять определенные папки и выявлять шаблоны в URL-адресах, которые в противном случае вы могли бы пропустить:


Протестируйте новый файл robots.txt с помощью DeepCrawl

Используйте роботов DeepCrawl.txt Функция перезаписи в расширенных настройках для замены живого файла на пользовательский.

Затем при следующем запуске сканирования вы можете использовать тестовую версию вместо активной.

В отчетах о добавленных и удаленных запрещенных URL-адресах будет показано, какие именно URL-адреса были затронуты измененным файлом robots.txt, что упростит оценку.

Для получения дополнительной информации прочтите наше руководство по управлению изменениями robots.txt с помощью DeepCrawl.

Хотите больше такого?

Мы надеемся, что этот пост был полезен для вас, когда вы узнали больше о noindex, nofollow и disallow для управления сканированием вашего сайта.

Вы можете узнать больше об этих темах в нашей Технической библиотеке SEO или, если вы хотите узнать, как проводить технический SEO-аудит, прочитайте наше руководство.

Кроме того, если вы заинтересованы в том, чтобы быть в курсе последних обновлений Google и рекомендациями по передовому опыту, почему бы не заглянуть в наши электронные письма?

Закрой меня!

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Теги

Управление роботами

noindex vs. nofollow — Справочный центр Siteimprove

Модуль Siteimprove SEO уведомляет пользователей о страницах, исключенных noindex / nofollow. Эта статья предназначена для объяснения разницы между метатегами noindex и nofollow, когда их использовать и как эти теги влияют на веб-индексирование и страницы результатов поисковой системы (SERP).

И noindex, и nofollow являются частью протокола исключения роботов (REP) , стандарта для управления индексированием веб-страниц на вашем сайте. Давайте рассмотрим несколько примеров noindex и nofollow и то, как они контролируют доступ и индексацию вашего веб-сайта Google и другими поисковыми системами.

Что такое noindex и когда его использовать?

Обычно, когда робот Googlebot находит страницу, он читает все ссылки на этой странице, а затем выбирает эти страницы и индексирует их.Это основной процесс, с помощью которого робот Googlebot «сканирует» Интернет. Это полезно, поскольку позволяет Google включать все страницы вашего сайта, если они связаны друг с другом. Что делать, если вы не хотите, чтобы некоторые страницы вашего сайта отображались в индексе Google? Здесь применяется метатег noindex.

Когда вы добавляете метатег «noindex» к веб-странице, он сообщает поисковой системе, что она не может добавить страницу в свой поисковый индекс, даже если поисковая система может сканировать страницу.

Пример Noindex

статей в разделе «Последние новости» CNN могут появиться только на несколько часов, прежде чем они будут обновлены и перемещены в раздел «Статьи».В этом случае CNN захочет проиндексировать все статьи, а не раздел последних новостей с короткой частью полной статьи.

Таким образом, вы можете добавить тег noindex к статьям, находящимся в настоящее время в разделе «Последние новости», и удалить этот тег, как только статья больше не будет актуальной.

Чтобы превратить обычные ссылки в ссылки noindex, добавьте «noindex» в HTML-код:

  Текст ссылки

Что такое nofollow и когда его использовать?

Nofollow — это атрибут HTML, который предписывает большинству поисковых систем воздерживаться от перехода по ссылке и тем самым передавать значение странице, на которую ведет ссылка.Некоторые эксперты по SEO интерпретируют это как способ сообщить поисковым системам, что вы не доверяете или не можете поручиться за содержание ссылки, на которую ведет ссылка. Короче говоря, если вы хотите, чтобы поисковая машина проиндексировала вашу веб-страницу в поиске, но вы, , не хотите, чтобы переходила по ссылкам на этой странице; добавьте на свою страницу тег nofollow.


Чтобы превратить обычные ссылки в ссылки nofollow, добавьте «nofollow» в HTML-код *:

  Текст ссылки

* Вы можете добавить код вручную, но многие CMS автоматически вставляют его при необходимости.Обратитесь за советом к своему веб-мастеру.

Пример Nofollow

Когда пользователи ищут в Google фразы, связанные с новостями, CNN хочет, чтобы разделы их статей (со статьями) занимали первое место в поисковой выдаче, потому что статьи являются наиболее ценным активом CNN.

Не имеет смысла располагать их раздел входа наверху.

Чтобы сообщить Google, что статьи важнее входа в систему, CNN добавит тег nofollow к своей ссылке для входа.

Примечание. Сканер Siteimprove не учитывает «noindex» или «nofollow» при определении содержания для сканирования.Сканируем на основе настроек сканирования.

Nofollow в HTML и HTTP-заголовке

Середина Этот совет заслуживает дальнейшего изучения и может потребовать дополнительного внимания в зависимости от типа и количества затронутых URL-адресов. Возможная проблема Этот совет вряд ли повлияет на сайт в данный момент, но его следует изучить, поскольку он может вызвать проблемы в будущем.

Это означает, что рассматриваемый URL имеет директиву nofollow как в HTML, так и в заголовке HTTP.

Почему это важно?

Рекомендуется указывать директивы для роботов только один раз для любого заданного URL. Это связано с тем, что выполнение этой операции несколько раз делает конфигурацию более уязвимой для человеческих ошибок.

В этом сценарии у вас есть nofollow, указанный в X-Robots-Tag в заголовке HTTP, а также мета nofollow в HTML.

На этом этапе не будет ничего «неправильного», поскольку все директивы роботов согласованы. Однако, если в будущем вы захотите изменить страницу с nofollow на подписку и войдете в свой шаблон страницы или конфигурацию плагина, чтобы изменить мета nofollow, существует вероятность того, что вы можете полностью забыть также изменить заголовок HTTP.

Конечный результат будет таков, что страница останется «nofollow», даже если вы думали, что изменили ее так, чтобы она не была. Google четко заявляет, что если у вас есть несколько конфликтующих директив, они выберут вариант , наиболее ограничивающий (и вполне вероятно, что другие поисковые системы последуют его примеру).

Вы можете избежать такого катастрофического будущего, указав директивы для роботов только в одном месте.

Что проверяет подсказка?

Этот совет будет запускаться для любого внутреннего URL-адреса, который содержит директивы nofollow как в HTML, так и в заголовке HTTP.

Примеры, запускающие эту подсказку

Подсказка сработает для любого URL-адреса, имеющего оба следующих элемента;

Meta nofollow в, 

  
  
  
  example  
  
 ... 
 < / head> 
  ...

И в заголовке HTTP: 

 HTTP /... 200 OK 
 ... 
 X-Robots-Tag: nofollow

Почему эта подсказка помечена как «Возможная проблема»?

Этот совет является «потенциальной проблемой», что означает, что он вряд ли повлияет на сайт в данный момент, но его следует изучить, поскольку это может вызвать проблемы в будущем.

Директивы

Robots, внедренные несколько раз, обычно не являются преднамеренными, поэтому они отмечены в Sitebulb, чтобы вы могли исключить потенциальный ущерб в будущем. Для этого вам может потребоваться помощь разработчика, так как вам нужно будет настроить шаблоны страниц, плагины или заголовки HTTP — удалив дублирование, чтобы директивы robots определялись только один раз.

Какие страницы на вашем сайте использовать с помощью noindex или nofollow? • Yoast

Михиэль Хейманс

Михиэль был одним из наших первых сотрудников и раньше был партнером Yoast. Начните оптимизацию своего сайта с его статей!

Некоторые страницы вашего сайта служат определенной цели, но эта цель не состоит в ранжировании в поисковых системах и даже не в привлечении трафика на ваш сайт. Эти страницы должны быть там, как клей для других страниц, или просто потому, что правила требуют, чтобы они были доступны на вашем веб-сайте.Если вы регулярно читаете наш блог, вы знаете, как noindex или nofollow могут помочь вам справиться с этими страницами. Однако, если вы новичок в этих условиях, пожалуйста, продолжайте читать и позвольте мне объяснить, что они из себя представляют и к каким страницам они могут применяться!

Что такое noindex nofollow?

noindex означает, что веб-страница не должна индексироваться поисковыми системами и, следовательно, не должна отображаться на страницах результатов поисковой системы. nofollow означает, что пауки поисковых систем не должны переходить по ссылкам на этой странице.Вы можете добавить эти значения в свой метатег robots. Мета-тег robots — это фрагмент кода в разделе заголовка веб-страницы. Он сообщает поисковым системам, как сканировать и индексировать ли страницу.

Наше полное руководство по метатегу robots — отличное чтение, если вы хотите немного глубже погрузиться в эту тему.

Вкратце:

  • Метатег robots в большинстве случаев выглядит следующим образом:
  • VALUE1 и VALUE2 установлены на индекс , по умолчанию следует , что означает данная страница может быть проиндексирована поисковыми системами, и по ссылкам на этой странице можно переходить для сканирования страниц, на которые они ссылаются.
  • VALUE1 и VALUE2 могут иметь значение noindex, nofollow или другую комбинацию, например индекс , nofollow .

Но пусть вас не пугает этот код. Yoast SEO поможет вам! Если вы хотите узнать, как noindex пост в WordPress очень простым способом, вам следует прочитать этот пост: Как noindex пост в WordPress: простой способ.

Но когда вы должны использовать какое значение?

Страницы для установки в noindex

Авторские архивы в блоге одного автора

Если вы единственный, кто пишет для своего блога, страницы ваших авторов, вероятно, на 90% совпадают с домашней страницей вашего блога.Это бесполезно для Google и может рассматриваться как дублированный контент. Чтобы предотвратить такое дублирование контента, вы можете полностью отключить авторский архив. Вот как легко включить или отключить его с помощью Yoast SEO. Если по какой-то причине вы хотите сохранить его на своем сайте, но не в результатах поиска, вы можете noindex его. К счастью, с Yoast SEO это тоже не сложно; просто проверьте, как нельзя индексировать архив автора.

Определенные (настраиваемые) типы сообщений

Иногда плагин или веб-разработчик добавляют пользовательский тип сообщения, который вы не хотите индексировать.Например, в Yoast мы используем персонализированные страницы для наших продуктов, поскольку мы не являемся типичным интернет-магазином, продающим физические продукты. Таким образом, нам не нужно изображение продукта, фильтры, такие как размеры и технические характеристики, на вкладке рядом с описанием. Поэтому мы не индексируем обычные страницы продуктов, которые выводит WooCommerce, и используем наши собственные страницы. Действительно, у нас noindex тип сообщения о продукте.

Соответственно, мы видели решения для электронной коммерции, которые также добавляли такие характеристики, как размеры и вес, в качестве настраиваемого типа сообщений.Эти страницы считаются некачественным контентом. Вы поймете, что эти страницы бесполезны ни для посетителей, ни для Google, поэтому их тоже нужно держать подальше от страниц результатов поиска.

Страницы с благодарностями

Эта страница служит только для того, чтобы поблагодарить вашего клиента / подписчика на новостную рассылку / впервые комментирующего. Эти страницы обычно представляют собой страницы с тонким контентом, с опциями допродажи и обмена в социальных сетях, но они не представляют ценности для тех, кто использует Google для поиска полезной информации. Следовательно, этих страниц не должно быть на страницах результатов поиска.

Страницы администратора и входа

Большинство страниц входа не должны находиться в Google. Но это так. Не допускайте попадания своего в индекс, добавив к нему noindex . Исключение составляют страницы входа в систему, которые обслуживают сообщество, например Dropbox или аналогичные службы. Просто спросите себя, стали бы вы гуглить одну из своих страниц входа в систему, если бы вы не работали в своей компании. В противном случае можно с уверенностью сказать, что Google не нужно индексировать эти страницы входа. К счастью, если вы используете WordPress, вы в безопасности, поскольку CMS не индексирует страницу входа на ваш сайт автоматически.

Результаты внутреннего поиска

Результаты внутреннего поиска — это в значительной степени последние страницы, на которые Google хотел бы отправлять своих посетителей. Если вы хотите испортить поиск, вы ссылаетесь на другие страницы поиска вместо фактического результата. Но ссылки на странице результатов поиска по-прежнему очень ценны, вы определенно хотите, чтобы Google следил за ними. Таким образом, необходимо переходить по всем ссылкам, а мета-настройка роботов должна быть:

Yoast SEO следит за тем, чтобы для ваших внутренних поисковых страниц по умолчанию было установлено значение noindex.Это одна из скрытых функций Yoast SEO. Это не редактируемый параметр, потому что это просто то, как это должно быть сделано в соответствии с рекомендациями Google, и мы полностью с ними согласны.

Только для разработчиков: если вы действительно хотите изменить это, это можно сделать с помощью одного из наших фильтров. Пример можно найти здесь.

Страницы для установки nofollow

Для всех примеров, упомянутых выше, нет необходимости nofollow все ссылки на этих страницах.Вы не хотите, чтобы они отображались в результатах поиска, но вы хотите, чтобы Google переходил по ссылкам на странице. Теперь, когда следует добавить nofollow в метатег роботов?

Если вы установите страницу nofollow с метатегом robots, ни одна из ссылок на этой странице не будет переходить. Google придумал nofollow, чтобы иметь возможность различать ссылки на ненадежный контент (или, позже, оплаченный, например, рекламу). На обычном веб-сайте, вероятно, очень мало страниц, на которых вы бы хотели, чтобы Google не переходил по любой ссылке .

Пример: если у вас есть страница со списком книг по SEO с избытком партнерских ссылок Amazon, они могут быть полезны для вашего сайта для ваших пользователей. Но я бы добавил nofollow на всю страницу, если на странице нет ничего важного. Однако вы могли бы проиндексировать его. Просто убедитесь, что вы правильно скрываете свои ссылки.

Одинарные ссылки Nofollow

Если у вас есть сообщение или страница с несколькими ссылками, вы можете помочь поисковым системам квалифицировать их.В настоящее время вы можете использовать nofollow для одной ссылки или даже установить для нее спонсируемый или пользовательский контент. Добавление правильных атрибутов rel к вашей ссылке позволяет вам это сделать. Например, ссылка на рекламу будет выглядеть так: пример ссылки . С Yoast SEO настроить эти атрибуты rel очень просто, как вы можете видеть в этом видео:

Заключение

Как мы видели, независимо от того, используется ли noindex страница или nofollow ссылка, сводятся к двум вопросам: хотите ли вы, чтобы эта страница отображалась на страницах результатов поиска и , если поисковые системы переходят по ссылкам на эта страница? Например, для страниц с благодарностью или страниц входа в систему ответ на первый вопрос — «нет».Для страницы с множеством партнерских ссылок ответ на второй вопрос — «нет». Помните о примерах из этого поста, и у вас больше не будет проблем с поиском ответов для вашего собственного сайта!

шт. Вы noindex пост или страницу, хотя не хотели? Не беспокойтесь, вы легко можете исправить случайную ошибку noindex !

Подробнее: Как не индексировать сообщение »

Далее!

  • Событие Comference online 2021 14-15 октября 2021 г. Команда Yoast спонсирует онлайн-конференцию 2021 года, нажмите здесь, чтобы узнать, будем ли мы там, кто будет и многое другое! Все мероприятия, в которых мы будем участвовать »
  • Вебинар по SEO Yoast Вебинар по новостям SEO — 31 августа 2021 г. 31 августа 2021 г. Зарегистрируйтесь на наш веб-семинар по новостям SEO в августе 2021 года.Наши SEO-эксперты Джоно и Джуст расскажут вам о последних новостях Google и WordPress. Все вебинары Yoast SEO »

Разница между метатегами Noindex и Nofollow

Слышал про index, noindex, follow, nofollow… .и интересно, о чем, черт возьми, люди говорят? Ознакомьтесь с этим руководством, чтобы узнать больше!

NOINDEX

Директива noindex — часто используемое значение в метатеге, которое можно добавить в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не включать эту конкретную страницу в свой список результатов поиска.

По умолчанию веб-страница настроена на «индексирование». Вам следует добавить директиву на веб-страницу в разделе HTML, если вы не хотите, чтобы поисковые системы сканировали данную страницу и включали ее в SERP (страницы результатов поисковой системы).

Какие примеры страниц следует установить на «noindex»?

  • Страницы с благодарностью. Если вы включаете на свой веб-сайт формы сбора потенциальных клиентов, такие как «Свяжитесь с нами» или «Назначьте встречу», вы, вероятно, направите пользователей из своих веб-форм на уникальные страницы с благодарностью после того, как пользователь отправит форму.Наличие уникальных страниц с благодарностями для каждой формы — это лучший способ отслеживать цели и заявки от потенциальных клиентов на вашем веб-сайте, но вы не хотите, чтобы посетители попадали на ваши страницы с благодарностью, потому что они включены в индекс Google! Посетитель должен появиться на ваших страницах с благодарностью только после того, как они заполнили вашу веб-форму. Установка для ваших страниц благодарности значения «noindex» поможет предотвратить включение этих страниц в поисковую выдачу.
  • Страницы только для членов — Если у вас есть раздел вашего веб-сайта, посвященный вашим сотрудникам или членам организации, но вы не хотите, чтобы эти веб-страницы были доступны для широкой публики или поисковых систем, директива «noindex» поможет защитить эти страницы от быть найденным в поисковой выдаче.

NOFOLLOW

Директива nofollow — это часто используемое значение в метатеге, которое можно добавить в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не передавать равенство ссылок через какие-либо ссылки на данной веб-странице.

Ссылки являются важной частью поисковой оптимизации, хотя эксперты все время спорят о том, какую роль ссылки играют в общем рейтинге. Мы знаем, что ссылки с внешних авторитетных веб-сайтов помогут укрепить доверие к нашему собственному веб-сайту и повысить его рейтинг.Внутренние ссылки тоже полезны! Они помогают пользователям и роботу Googlebot перемещаться по вашему веб-сайту и объединять важные идеи.

По умолчанию для ссылок установлено значение «следовать». Вы должны установить ссылку на «nofollow» следующим образом: Anchor Text , если вы хотите предложить Google что гиперссылка не должна передавать ссылочной стоимости / значению SEO целевой ссылке.

Какие примеры ссылок следует установить на «nofollow»?

  • Ссылки в комментариях блога — Если вы потратили время на то, чтобы написать ценный пост для своего веб-сайта, вы не хотите, чтобы конкурент или спамер по ссылкам мог добавить бесполезный комментарий к вашему сообщению в блоге со ссылкой на свой собственный веб-сайт, на котором написано что-то вроде «Отличный блог.Я также написал блог на эту горячую тему »и включил обратную ссылку на его / ее веб-страницу, чтобы он / она извлекли выгоду из ссылки, которую этот человек только что добавил с вашего веб-сайта на свою. Если для этой ссылки установлено значение «nofollow», спамер по ссылкам может сообщить об этом заранее и может не беспокоиться о добавлении комментария «Отличный блог» к вашему сообщению в блоге, зная, что от этого не будет никакой выгоды для SEO.
  • Платные ссылки. Еще одна тактика SEO, завоевавшая популярность в SEO-сообществе черных шляп, — это массовая покупка ссылок через Интернет.Владельцы веб-сайтов со страницей спонсоров на своем сайте могут включить логотипы и ссылки на свои веб-сайты спонсоров мероприятия, но использовать метатег «nofollow» для каждой ссылки на странице спонсора, чтобы указать Google, что они не могут поручиться за каждую. веб-сайт организации, на который делается ссылка. Имейте в виду, что хотя ссылки «nofollow» не предназначены для повышения SEO для связанного контента, они по-прежнему ценны для взаимодействия с пользователем и трафика.

ЗАКЛЮЧЕНИЕ

Надеюсь, это руководство дало вам лучшее понимание noindex vs.nofollow и когда каждый из них может быть полезен. Напоминаем:

  • «noindex» предлагает поисковым системам (в первую очередь Google) не индексировать определенную веб-страницу.
  • «nofollow» предлагает поисковым системам (в первую очередь Google) не передавать ссылочную массу через ссылки на веб-странице.

Обязательно проконсультируйтесь с квалифицированным агентством цифрового маркетинга при применении директив noindex и nofollow к своему веб-сайту. Если сделать это неправильно, эти маленькие теги могут нанести большой ущерб вашему органическому трафику.

Познакомьтесь с Кэти Хельгесен

Кэти Хельгесен, директор по SEO в Launch Digital Marketing, имеет более чем 15-летний опыт работы в области цифрового маркетинга, SEO и аналитики. Ей нравится кататься на американских горках, читать, смеяться, спать и проводить время со своим мужем, 3 детьми и 2 собаками. Просмотреть все сообщения Кэти Хельгесен →

Что такое теги NoIndex и как они влияют на SEO?

Директивы «Без индекса» предписывают поисковым системам исключить страницу из индекса, что делает ее непригодной для отображения в результатах поиска.

Теги мета-роботов «Noindex»

Самый распространенный способ запретить поисковым системам индексировать страницу — это включить тег Meta Robots в тег HTML-страницы с помощью директивы noindex, как показано ниже:

Примерно в 2007 году основные поисковые системы начали реализовывать поддержку директив noindex в тегах Meta Robots. Теги Meta Robots могут также включать другие директивы, такие как директива «follow» или «nofollow», которая предписывает поисковым системам сканировать или не сканировать ссылки, найденные на текущей странице.

Обычно веб-мастера используют директиву noindex для предотвращения индексации контента, не предназначенного для поисковых систем.

Некоторые распространенные варианты использования директив noindex:

  • Страницы, содержащие конфиденциальную информацию
  • Страницы корзины покупок или оформления заказа на веб-сайте электронной коммерции
  • Альтернативные версии страниц для активных A / B или сплит-тестов
  • «Промежуточные» (или незавершенные) версии страниц, еще не готовые для публичного использования

Кроме того, поисковые системы поддерживают директиву noindex, доставляемую через заголовки HTTP-ответа для данной страницы.Хотя этот подход менее распространен и его труднее определить с помощью обычных инструментов SEO, иногда инженерам или веб-мастерам проще включить его в зависимости от конфигурации их сервера.

Имя и значение для заголовка ответа «noindex» следующие:

X-Robots-Tag: noindex

Лучшие практики SEO для директив noindex

1. Избегайте использования «noindex» на ценных страницах.

Случайное включение тега или директивы noindex на ценную страницу может привести к тому, что эта страница будет удалена из индексов поисковой системы и перестанет получать весь органический трафик.

Например, если новая версия веб-сайта запущена, но теги «noindex», которые были включены для предотвращения индексации поисковыми системами новых версий страниц до того, как они были готовы, остались на месте, новая версия веб-сайта может немедленно перестать получать трафик. из поиска

2. Поймите, что «noindex» в конечном итоге рассматривается как «nofollow»

Веб-мастера часто использовали теги Meta Robots или заголовки ответов, чтобы сигнализировать поисковым системам, что текущая страница не должна индексироваться, но ссылки на странице должны сканироваться, как со следующим тегом Meta Robots:

Обычно используется для страниц с разбивкой на страницы.Например, «noindex, follow» может применяться к спискам архивов блога, чтобы сами страницы архива не появлялись в результатах поиска, но позволяли поисковым системам сканировать, индексировать и оценивать сами сообщения блога.

Однако этот подход может работать не так, как предполагалось, поскольку Google объяснил, что их системы в конечном итоге обрабатывают директиву «noindex, follow» как «noindex, nofollow» — другими словами, они в конечном итоге перестанут сканировать ссылки на любой странице с директива noindex.Это может помешать вообще проиндексировать страницы назначения ссылок или снизить их PageRank или авторитет, снизив их рейтинг по релевантным ключевым словам.

3. Избегайте использования правил «noindex» в файлах Robots.txt

Хотя никогда официально не поддерживался, поисковые системы какое-то время соблюдали директивы noindex в правилах robots.txt. Поскольку правила robots.txt с подстановочными знаками могут применяться ко многим страницам одновременно без внесения каких-либо изменений в сами страницы, многие веб-мастера предпочли этот метод.Google не рекомендует использовать файлы robots.txt для установки директив noindex и устаревшего кода, который поддерживал эти правила в сентябре 2019 года.

No related posts.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *