Содержание

Теги noindex и nofollow: как использовать

Тег noindex и атрибут nofollow – это различные элементы, использующиеся в коде страницы. Они предназначены для различных целей и применяются по-разному, но для лучшего понимания их стоит рассматривать вместе.

Тег noindex

Noindex применяется для того, чтобы сообщить роботу «Яндекса» о том, что нельзя индексировать определенные части веб-страницы. Тег размещается в HTML-коде и имеет закрывающий тег. Контент, оказавшийся между открывающим и закрывающим тегами, будет игнорироваться ботом.

Тег noindex был придуман «Яндексом», и в настоящее время только два поисковика учитывают его: «Яндекс» и «Рамблер». Боты других поисковых систем игнорируют тег и все равно индексируют всю веб-страницу полностью. Кроме того, тег не может запретить индексировать гиперссылки и передавать по ним вес другому веб-ресурсу.

Запрещающий тег Noindex для Яндекса

Тег Noindex

Валидность

Тег <noindex> не стандартизирован, поэтому его применение может привести к появлению ошибок в коде. Вследствие этого его записывают немного по-другому. В коде страницы этот тег выглядит так:

<!—noindex—>

«Текст, который не должен индексироваться Яндексом»

<!—/noindex—>

Восклицательные знаки и дефисы применяются для валидации кода. Если не использовать эти символы (а писать без них, как это бывает с обычными тегами), то проверка на валидность будет показывать ошибку.

При верном использовании этого тега страница будет правильно восприниматься «Яндексом», Google и другими поисковыми роботами. При этом «Яндекс» поймет, что часть контента надо исключить из индексации, а Google сделает вывод, что в коде нет ошибок, и будет индексировать полностью. У поисковой системы «Гугл» нет аналогичного тега, несмотря на то, что у такого элемента есть много плюсов.

Когда применяется noindex

Этот тег приносит неоспоримую пользу веб-ресурсу. Его применяют, когда надо:

  • скрыть от ботов часть HTML-кода, например коды счетчиков;

  • запретить индексировать часто меняющийся текст веб-страницы, который бессмысленно добавлять в индекс;

  • скрыть неуникальные фрагменты текста, чтобы не терять позиции в поисковой выдаче из-за неуникальности.

Атрибут nofollow

Nofollow – это не тег, а атрибут, использующийся в теге гиперссылки <a>. Этот атрибут, понятный для всех поисковых роботов, используется для того, чтобы запретить переходить по ссылке и передавать вес по ней.

В коде это выглядит так:

<a href=”гиперссылка” rel=”nofollow”> Текст ссылки </a>

Этот атрибут стандартизирован в HTML, поэтому все поисковые боты правильно воспринимают его и выполняют инструкции: не переходят и не передают вес. При этом ссылка не становится невидимой.

Атрибут Nofollow в теге гиперссылки

Атрибут Nofollow

Когда применяется nofollow

Существует много ситуаций, в которых этот атрибут незаменим. Nofollow используется, когда требуется:

  • перераспределить вес между несколькими ссылками на одной веб-странице;

  • поставить ссылку на сайт, у которого другая тематика;

  • запретить передачу веса на веб-ресурс, который поисковики считают некачественным;

  • управлять количеством ссылок, которые должны учитываться поисковыми системами;

  • не допустить передачу веса по множеству ссылок в комментариях.

При использовании nofollow нужно знать меру, потому что сайты, на которых все ссылки закрыты с помощью этого атрибута, не вызывают доверия у поисковиков.

Теги noindex и nofollow могут применяться в качестве значения для атрибута content. Это нужно для того, чтобы в метатеге robots дать указание роботам, что на данной странице не нужно ничего индексировать или переходить по ссылкам, размещенным на ней.

Таким образом, применение nofollow или noindex зависит от целей, которых нужно достичь. В качестве таких целей может быть необходимость скрыть часть текста, ссылки или запретить индексировать всю страницу. При этом noindex работает только для «Яндекса», а nofollow – для всех поисковиков.

Noindex является тегом, а nofollow – атрибутом тега <a>. Noindex используется для того, чтобы запретить индексацию контента, а nofollow предназначен для запрета перехода по ссылке и передачи веса.

что это значит, в чем разница и как правильно их использовать

Есть проблемы с ранжированием, проект не растет, хотите проверить работу своих специалистов по продвижению? Закажите профессиональный аудит в Семантике

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

В чем отличие между noindex и nofollow

Первое существенное отличие их в том, что первый был виден ранее для Google, а второй — только для Яндекса и Rambler. В настоящее время Яндекс также научился распознавать Ноуфоллоу, который работает только для ссылок, а Ноуиндекс — для любого кода сайта.

Применение Nofollow не превращает ссылку в невидимую, а всего лишь указывает, что по ней не нужно идти и индексировать документ, на который она ведет. Поисковый робот индексирует эту гиперссылку, но вес с сайта не передается, если она ведет на чужой ресурс. Работает этот атрибут для всех поисковиков.

Что касается тега Noindex, то с ним работает только Яндекс. Гугл же просто проигнорирует его. Использовать его нужно в тех случаях, когда вы хотите закрыть какой-то участок страницы — текст, картинку или ссылку — от индексации. Поисковик контент распознает, но впоследствии выкидывает из индекса. Эта мера установлена для полного анализа страницы и процедуры наложения возможных санкций за нарушения.

Для чего нужен Noindex

  • Закрывается ненужная/неуникальная информация, что улучшает релевантность страницы, потому что увеличивается плотность ключевых фраз, соответствие тематике, уникальность.
  • Прячутся сквозные блоки и гиперссылки, наличие которых может приводить к пессимизации.
  • Скрывается личная и служебная информация, если вы не хотите, чтобы она легко находилась через поиск.

Для чего нужен Nofollow

  • Закрытие лишних веб-ссылок.
  • Сохранение веса страницы неизменным.
  • Распределение определенного веса по ссылкам.

Как использовать noindex и nofollow

Тэг Noindex для любого контента применяется так:

текст, который надо скрыть <a href=”ссылка куда-то”>, и еще</a> текст</noindex>.

Весь текст и анкор ссылки изначально индексируются, но потом удаляются из базы поисковика. Гиперссылка индексируется, и вес по ней передается.

При работе с Ноиндекс существует вероятность того, что снизится валидность кода, так как данный тэг знает только российский поисковик. Поэтому рекомендуется следующий вариант написания:

<!—Noindex—> Весь текст, который надо скрыть  <!—/noindex—>.

Весь текст, который надо скрыть .

При этом другие поисковики просто его пропустят, и валидность кода останется неизменной.

Атрибут Nofollow для ссылок применяется

<a href=”веб-ссылка куда-то” rel=”nofollow”> анкор </a>

При этом анкор попадает в индекс, но поисковик по веб-ссылке не идет, вес на странице остается.

Если на странице слишком много Нофоллоу, то это может негативно сказаться на лояльности поисковиков.

Совместное использование

Для того чтобы закрыть и текстовую часть, и гиперссылку, следует придерживаться такого написания:

<!—Noindex—> Весь текст, который надо скрыть  <a href=”веб-ссылка куда-то” rel=”nofollow”> анкор </a>, и еще текст <!—/noindex—>

Варианты правильного использования Noindex и Nofollow для запрета индексации документа в целом

Тег и атрибут, все время ходят “за ручку”, и часто их применяют вместе. Они могут применяться в meta name=robots документа для указания рекомендаций по его индексации и переходу по веб-ссылкам. Указание на запрет индексации необходимо, если обнаружены дубли страниц, Или в сети появилась конфиденциальная или устаревшая информация, а другим способом страницы убрать нельзя.

В случае, если вы хотите закрыть всю страницу от индексации и запретить учет располагающихся на ней ссылок, необходимо указать в метаданных страницы — следующее:

Ноуиндекс создает команду Яндексу не индексировать контент на странице, но робот ходит по ее веб-ссылкам. Поэтому дополнительный Ноуфоллоу указывает по ним на не ходить. Данное указание воспринимают как Яндекс, так и Google.

Что касается удаления документа из индекса Google, то поисковиком предусмотрен альтернативный метод: запись X-Robots-Tag: noindex, nofollow. Данное указание закрепляется в http-заголовках, не видимых в коде страницы.

Рассказываем о разнице между Nofollow и Noindex, как их правильно использовать для ссылок и скрытия контента на сайте.

Всегда следите за наличием рассмотренных в статье тегов и атрибутов в нужных местах, чтобы получать именно тот результат, которого вы ожидаете.

Как правильно использовать noindex и nofollow

Грамотное использование тегов  noindex и nofollow — важная составляющая правильной seo-оптимизации страниц сайта.

Пренебрегать их использованием не стоит, так как ноуиндекс и ноуфоллоу играют важную роль в передачи веса сайта, а так же делают ваш ресурс более привлекательным в «глазах» как добавить сайт в сервис Яндекса  и Google. 

 

Noindex

Сразу стоит сказать, что теги <noindex></noindex> учитываются только поисковой системой яндекса, Гугл просто их не замечает. Ноуиндекс применяют для сокрытия от ян-са, а точнее для запрета индексации какого-то участка html- кода.

Помещённый текст между <noindex> и </noindex> не будет проиндексирован. Ссылки же и картинки закрыть не получится, с ними он не работает и они попадут в индекс.

Тег <noindex> считается не валидным и многие html-редакторы его просто выбрасывают. В таком случае его надо прописывать как <!— noindex —> и <!— /noindex —>, в этом виде он становиться вполне для них съедобен и валиден.

Весь текст после открывающего тега <noindex> не будет проиндексирован, поэтому (если есть необходимость) не забывайте нужные участки текста закрывать тегом </noindex>.

Ноуиндекс можно использовать, когда необходимо спрятать от яндекса ненужные «загрязняющие» страницы части html-кодов:

  • не уникальный или повторяющийся контент

  • вставленные цитаты с других источников

  • различные формы- рассылки, подписки, почта

  • закрыть ненужные неприличные слова

      

Nofollow – это атрибут тега <a>, запрещающий индексацию и передачу веса по ссылке поисковиком Google, и так же учитывается Яндексом. Хотя на счёт ян-кса существуют и другие мнения.

Пример написания ноуфоллоу в ссылке: <a href=»http://kakoyto.ru» rel=»nofollow»>текст ссылки</a>.

Nofollow применяют:

  • чтобы запретить передачу веса по ссылке на сайт с плохой репутацией у поисковиков

  • чтобы не переносить вес на не соответствующий тематике ресурс

  • для уменьшения общего количества исходящих ссылок со страницы

  • когда нежелательно передавать вес на супер-сайты с очень большим ТИЦ и PR

  • закрыть ссылки в комментариях, когда это не нужно

     

 Некоторые оптимизаторы применяют совместное использование noindex и nofollow, заключая ссылки в оба тега. На мой взгляд это не эффективно, так как ноуфоллоу запрещает перенос веса, а добавление ноуиндекс закроет лишь текст ссылки — анкор от индексации яндексом, что не имеет никакого смысла.

В заключении стоит сказать, что применение того или иного тега, не гарантирует, что поисковые системы полностью будут следовать этим указаниям. Хозяин — барин…

***

 

  • < Назад
  • Вперёд >

Как использовать NOINDEX и NOFOLLOW?

Общаясь с клиентами и посещая тематические форумы по SEO не редко можно встретить вопрос, как, каким образом и в каких случаях использовать запрет индексации, «NOINDEX» и «NOFOLLOW»?

Прежде чем погрузиться в эту тему полностью уточним синтаксис, как объявляются эти правила.

«NOINDEX» можно объявить как HTML-тег:

<noindex>текст или код, запрещаемый для индексирования</noindex>

Но, написав код именно так, вы получите ошибку валидатора, потому что такой синтаксис не валиден. Если вы стремитесь к валидному коду, следует написать так:

<!-- noindex -->текст или код, запрещаемый для индексирования<!--/ noindex -->

Если вы хотите запретить индексировать всю страницу, можно использовать META-тег:

<meta name="robots" content="noindex"/>

Теперь рассмотрим синтаксис объявления «NOFOLLOW».

«NOFOLLOW» можно объявить как содержимое атрибута REL – (relationship) дословно-отношения. Атрибут указывает на отношение текущего документа к документу, на который ведёт ссылка, указанная в атрибуте «HREF» тега «A»:

<a href=”” rel="nofollow">анкор</a>

или как META-тег:

<meta name="robots" content="nofollow"/>

Как именно использовать эти инструкции, решать вам. А вот разницу давайте рассмотрим вместе.

<NOINDEX> и REL=»NOFOLLOW»

HTML-тег «NOINDEX» запрещает поисковой системе «Яндекс», только «Яндекс» поймёт эту инструкцию, и не будет индексировать выделенную этим тегом часть кода HTML-страницы. Только в Яндексе, потому что в поисковой системе «Google» возможность исключения части страницы не предусмотрена, что и указано в хелпе (помощи) поисковой системы.

Существует заблуждение, что если часть текста или кода страницы выделить тегом «NOINDEX», то Яндекс пропустит этот кусок кода при обходе роботом. Нет, не пропустит. Часть кода будет прочитана роботом и проанализирована поисковой системой, но не будет появляться и учитываться в поисковой выдаче системы. Чтобы лучше понять, почему так, поясним работу поисковых роботов, краулеров. Робот заходит на страницу вашего сайта и начинает её сканировать, читать. В какой-то момент обнаруживается объявление, открытие тега «NOINDEX». Так как страница роботом читается так же, как и людьми, слева направо и сверху вниз, разница в том, что робот читает не видимую часть, а код страницы, то краулер должен увидеть закрытие тега, то есть в какой точке страницы заканчивается отрывок кода, который вы запрещаете для индексации, значит, страница будет прочитана полностью. А значит, всё её содержимое будет известно поисковой системе. В связи с этим можно утверждать, что скрывать тегом «NOFOLLOW» часть неуникального текста – бессмысленно. Поисковая система поймёт и просчитает уникальность текста на вашей странице.

Встречается ещё один миф об этом теге. Если в тег «NOINDEX» поместить ссылку, то она не будет проиндексирована, а значит, не будет передавать свой «вес». Будет. Но в поисковую выдачу не попадёт текст, указанный в этой ссылке, сам анкор.

Какой смысл у тега «NOINDEX»?

Возникает резонный вопрос. А для чего нужен тег «NOINDEX»?

Тег «NOINDEX» предназначен для скрытия информации именно в поисковой выдаче, например, текст на странице посвящён описанию какой-либо одной характеристике товара, которая встречается у очень многих позиций вашего интернет-магазина, и вы в качестве примеров приводите описания этих товаров для сравнения и вам не нужно, чтобы в поиске всплывали эти второстепенные описания. Вот в этом случае ненужные подробные описания товаров и заключаются в тег «NOINDEX». Или ещё вариант, если на многих страницах повторяется один и тот же кусок текста. Конечно же, он может попасть в поисковую выдачу на всех этих страницах. Чтобы этого не произошло, используется тег «NOINDEX».

Как закрыть ссылку? Используем «NOFOLLOW».

С тегом «NOINDEX» разобрались. А для чего нужен «NOFOLLOW»?

Иногда нужно сослаться на информацию на другом интернет-ресурсе, но по каким-то причинам очень не хочется отдавать «вес» своей страницы. Вот в таких случаях и применяется атрибут отношения страницы-донора к акцептору (странице принимающей вес) – «NOFOLLOW».

Содержимое атрибута REL «NOFOLLOW» понимается обоими флагманами поиска, «Яндексом» и «Google». При указании «NOFOLLOW» роботы обойдут, прочитают и проанализируют сами ссылки, содержащиеся анкоры (текстовое содержание ссылки) и страницы, на которые идут ссылки, но вес вашей страницы передан не будет.

Синтаксис использования «NOINDEX» «NOFOLLOW» следующий:

Передаётся вес и индексируется анкор ссылки.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы передаётся, но Яндекс не индексирует текстовое содержимое ссылки, анкор.

<!-- noindex --><a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a><!--/ noindex -->

Вес страницы не передаётся и Яндекс не индексирует текстовое содержимое ссылки, анкор.

<!-- noindex --><a href=”http://reg50.ru/” rel="nofollow"> Поддержка и продвижение сайтов</a><!--/ noindex -->

META-теги NOINDEX и NOFOLLOW

В начале статьи мы указали, что кроме тега «NOINDEX» и содержимого атрибута REL «NOFOLLOW» (rel=”nofollow”) есть ещё и META-теги с такими же именами. А зачем нужны они, если имеющегося функционала и так достаточно? Для чего используются
<meta name="robots" content="noindex"/>
и
<meta name="robots" content="nofollow"/>?

META-тег «NOINDEX», как и в случае с HTML-тегом запрещает индексирование только поисковой системе «Яндекс», всей страницы. То есть, в поисковую выдачу не попадёт только текстовая составляющая всей страницы, но страница будет прочтена и проанализирована, ссылки передадут «вес» страницам на которые ссылаются.

При наличии META-тега «NOFOLLOW» поисковые системы не будут индексировать ссылки, переходить по ним на акцепторы и передачи веса страниц не будет. Но, если на других страницах вашего сайта имеются такие же ссылки и они не закрыты META-тегом или атрибутом, то вес будет передан.

Итого

Теперь подведём итоги об использовании и значении «NOINDEX» и «NOFOLLOW».

Если нам нужно исключить какую-либо информацию из поисковой выдачи, используем «NOINDEX».

Если нам нужно сослаться на источник или материал на нашем сайте, но не нужно передавать вес страницы-донора, используем «NOFOLLOW».

При объявлении этих инструкций не забываем об описанных выше нюансах и принципах обработки этих команд поисковыми системами.

 

Успешного Вам продвижения!

 

#оптимизация сайта, #продвижение сайта, #техническая оптимизация

что это за теги, в чем разница и как правильно прописывать

Тег <noindex> – команда поисковому роботу Яндекс, чтобы он не индексировал определенную часть страницы. Для Google такой тег не подходит, к тому же, робот не предусматривает возможность закрытия от индексации какой-то части страницы.

Некоторые вебмастера ошибочно полагают, что с помощью тега <noindex> можно полностью спрятать часть страницы от робота. На самом деле, Яндекс обязательно проанализирует его содержимое. Единственное, за что отвечает этот тег – говорит поисковому роботу не помещать в индекс содержимое, заключенное в нем.

Поэтому если вы надеетесь, что сможете заключить в тег неуникальный контент, чтобы повысить общую уникальность страницы, у вас ничего не получится. Содержимое в теге все равно будет прочитано.

Зачем нужен тег <noindex>

Использовать тег рационально, когда нужно запретить боту показывать в поисковой выдаче определенную информацию. Например, это могут быть контактные данные, которые нежелательны для участия в поиске. Также бывает что на странице слишком часто меняется текст и его нет смысла индексировать.

Ссылки, которые заключены в теге <noindex> тоже будут индексироваться и учитываться пауками. Единственное отличие таких линков от обычных в том, что робот не проиндексирует их текстовое содержимое (анкор).

Если же вам нужно скрыть ссылки от робота, то придется воспользоваться атрибутом rel=»nofollow». Его одинаково хорошо понимают как Гугл, так и Яндекс. Атрибут не скроет ссылку от робота, но благодаря ему вес по ней не будет передаваться.

Как написать тег <noindex>

Пример 1:

<noindex><a href="https://puzat.ru/">Курсы по заработку на сайтах</a></noindex>

Yandex не индексирует анкор, но вес ссылки передает.

Пример 2:

<noindex><a href="https://puzat.ru/">Курсы по заработку на сайтах</a></noindex>

Yandex не индексирует анкор, но передает вес по ссылке.

Пример 3:

Совместное использование тегов nofollow и noindex вполне допустимы:

<noindex><a href=" https://puzat.ru/" rel="nofollow">Курсы по заработку на сайтах</a></noindex>

Такое оформление линка позволит удержать вес на странице и при этом Яндекс не прочитает анкор.

Прописать тег на странице сайта можно несколькими способами:

  1. <noindex>Содержимое, запрещенное для индексации</noindex>
  2. <!—noindex—>Содержимое, запрещенное для индексации<!—/noindex—

Для Яндекса нет разницы какой из вариантов использовать, так он их одинакового хорошо воспринимает. Но тег <noindex> не относится к официальной спецификации языка разметки HTML, поэтому другие поисковые системы могут воспринять его как ошибку.

Преимущества тега noindex

  1. Скрывая ненужный контент на странице, вы увеличиваете общую релевантность документа за счет увеличения плотности вхождения ключевых слов.
  2. Удобный и простой способ скрыть содержимое сквозных блоков, так как их содержимое выводится на разных страницах и выглядит дублем в глазах поисковых систем.
  3. В некоторых случаях поисковые боты используют контактную информацию в сниппетах. Если это не желательно, то тег noindex решит эту проблему.

Выводы

Тег <noindex> рационально использовать, если нужно запретить Яндексу показывать определенную информацию в поисковой выдаче. Если в нем заключены ссылки, и вы не заинтересованы, чтобы по ним передавался вес, нужно использовать атрибут nofollow. Однако бот все равно будет переходить по ссылке (например, если информация о ней была получена из иных источников: ссылки, карта сайта). Последний атрибут понимает как Яндекс, так и Google.

А вы используете теги noindex и nofollow на своем сайте? Поделитесь опытом в комментариях.

WordPress nofollow noindex плагин для внешних ссылок


WordPress плагины для закрытия внешних ссылок

Ссылки на внешние сайты в некоторых случаях требуется закрывать от индексации поисковиками. Это убережет от санкций со стороны поисковых систем и поможет сохранить ссылочную массу внутри вашего сайта. В больших информационных сайтах и блогах количество исходящих ссылок может исчисляться сотнями. Для автоматизации работы при этом рекомендуется воспользоваться плагинами WordPress.

Зачем закрывать внешние ссылки?

Когда поисковый робот, посетивший страницу вашего сайта, видит у ссылки атрибут rel со значением nofollow, он не переходит по указанному адресу и не учитывает исходящую ссылку в показателях ранжирования внешнего сайта. Если на многих страницах сайта имеются ссылки без атрибута nofollow, которые окажутся нерелевантными информации, представленной на странице, поисковик может понизить позиции сайта для этих страниц.

Закрытие внешних ссылок на сайте поможет:

  • предотвратить ссылочный спам в комментариях и блогах;
  • не передавать ссылочный вес сайта по таким адресам;
  • обезопасить сайт от фильтров поисковых систем.

Значение nofollow понимают все поисковики, атрибут noindex присущ исключительно поисковой системе Яндекс. При этом noindex может закрывать от индексации не только ссылки, но и блок текста. Такая ситуация актуальна, например, когда на вашем сайте имеется цитата, которую не следует логически связывать с сайтом и использовать в ключевых запросах.

Как прописать вручную HTML атрибуты ссылки noindex и nofollow?

Ссылка в html-коде страницы оформляется с помощью парного тега <а></а>. Чтобы закрыть ее от индексации, необходимо добавить атрибут rel со значением nofollow:

<а href=”http://site.ru” rel=”nofollow”>Текст ссылки</а>

Для автоматического добавления атрибута nofollow к исходящим ссылкам на сайте WordPress можно использовать специальные плагины, например, Rel Nofollow Checkbox или Rel Nofollow. Тег noindex прописывается для закрываемого текста следующим образом:

<!--noindex-->Блок текста</!--noindex-->

Поскольку noindex поддерживается исключительно Яндексом и игнорируется другими поисковиками, этот атрибут нужно устанавливать вручную, плагины для него не предусмотрены. Если необходимо, чтобы анкор ссылки тоже не индексировался Яндексом, поместите эту ссылку внутрь тега noindex.

Плагин Rel Nofollow Checkbox

Этот плагин добавляет во всплывающее окно настроек ссылки чекбокс для выбора опции nofollow. Установите и активируйте плагин Rel Nofollow Checkbox в админке WordPress, выбрав в меню «Плагины» пункт «Добавить новый».

У плагина нет индивидуальных настроек, он просто добавит опцию во всплывающее окно для настройки ссылки. Вы можете использовать эту функцию при необходимости применения значения nofollow к определенным ссылкам.

При создании записи выделите мышью нужный анкор и нажмите кнопку для вставки ссылки на панели инструментов встроенного редактора WordPress. Щелкните по кнопке «Настройка ссылки» в выпадающей панели.

Появится всплывающее окно, в котором требуется указать параметры ссылки. Для применения атрибута nofollow поставьте флажок в соответствующем чекбоксе. После задания всех нужных настроек примените их нажатием кнопки «Обновить».

Плагин Rel Nofollow

Установите и активируйте плагин Rel Nofollow в админке WordPress, выбрав в меню «Плагины» пункт «Добавить новый». Этот плагин не оснащен индивидуальными настройками, он автоматически добавляет значение nofollow ко всем внешним ссылкам после сохранения или публикации записи на сайте.

Ссылки, у которых уже имеется атрибут rel, плагином игнорируются, поэтому для открытия индексации установите значение атрибута dofollow. После того как вы настроили атрибут rel у внешних ссылок, плагин можно деактивировать, чтобы не перегружать сайт. Отключение плагина не повлияет на уже проставленные значения nofollow.

В каком случае удобнее использовать плагин Rel Nofollow Checkbox или Rel Nofollow? Если вы только создаете новый сайт на WordPress и вручную проставляете внешние ссылки, у которых периодически встречается атрибут nofollow, вероятно, плагин Rel Nofollow Checkbox окажется более подходящим.

Для больших сайтов со значительным числом исходящих ссылок плагин Rel Nofollow позволит автоматизировать всю работу и сэкономить время на настройку. Кроме того, его можно выключить после завершения работы.

iPipe – надёжный хостинг-провайдер с опытом работы более 15 лет.

Мы предлагаем:

Закрыть ссылки от индексации. Тег noindex и тег nofollow — IT портал

Как закрыть ссылки от индексации? В данной статье мы опишем два варианта для реализации этой задачи. Мы будем использовать теги: nofollow и noindex

Значение и применение nofollow

Изначально nofollow был атрибутом для мета тега robots, и распространял запрет индексации ссылок на уровне всей страницы, например:

<meta name="robots" content="nofollow" />

Сейчас редко кто использует этот атрибут для закрытия всей страницы, зато многие используют значение nofollow для атрибута rel.

Как правильно закрыть ссылку атрибутом rel=“nofollow“:

<a href="site.com" rel="nofollow">Ваша ссылка</a>

На заметку:

Атрибут rel="nofollow" запрещает роботу следовать по ссылке, т.е. разрывает связку донор-акцептор. Если связки нет, то PageRank акцептору не передается. При этом ссылка, на странице донора, прекрасно индексируется поисковыми системами.

Если вспомнить формулу расчета PageRank, то из нее следует, что вес, передаваемый по ссылке, равен весу страницы донора, деленному на все ссылки со страницы. Т.е. вес, который предается по ссылкам с донора, передается и по ссылке с атрибутом nofollow. Только в данном случае перетекает в никуда, вместо того, что бы найти себе полезное применение на сайте.

По поводу Яндекса можно сказать следующее: поисковик рекомендует закрывать ненадежные ссылки (спам ссылки) rel="nofollow", из этого можно сделать вывод, что робот Яндекса учтет данные ему «рекомендации» и перехода по ссылке не будет.

Особенно важно закрывать все внешние ссылки для сайтов, которые находятся еще в песочнице, чтобы не отдавать свой «детский» вес, а наоборот стараться накапливать его.

Значение и применение тега noindex

С помощью тега noindex можно закрывать от индексирования участки текста в контенте, которые являются не уникальными, анкоры ссылок, но никак не сами ссылки.

Немного про понятие валидности тега noindex. Дело в том, что распространенное написания тега noindex не проходит валидность. Вот например:

<noindex>Ваш текст, который нужно закрыть от индексации</noindex>

Так вот, такое написание тега не пройдет валидацию, а Google вообще об этом теге ничего неизвестно.

Тег noindex является парным и использовать его надо только так, как показано в примере ниже:

<!--noindex-->Ваш текст, который нужно закрыть от индексации<!--/noindex-->

Надеемся статья кому то была полезна. Подписывайтесь на наш блог. Не забывайте о помощи сайту.

Похожие материалы:

В чем разница между NoIndex и NoFollow?

В чем разница между NoFollow и NoIndex?

Цифровые маркетологи тратят много времени и энергии на совершенствование каждой страницы контента на веб-сайте. У каждой страницы есть цель, с хорошо проработанным и стратегически сформулированным контентом, ориентированным на целевого пользователя. Контент создается для привлечения потенциальных клиентов и повышения авторитета веб-страниц и их соответствующих доменов.Затем эти страницы отправляются для индексации в поисковые системы, чтобы их можно было просканировать и в конечном итоге сохранить, чтобы ваш конечный пользователь нашел их.

Однако есть страницы, которые не следует сканировать. Эти страницы могут помешать тяжелой работе, которую вы проделали для создания красивого и индивидуального контента. Имея это в виду, вам нужно знать, как правильно сообщить сканерам поисковых систем, что вы не хотите, чтобы ваш контент индексировался или сканировался.

Что такое NoIndex?

NoIndex — это метатег, который добавляется в код заголовка веб-страницы, чтобы сообщить поисковым системам, что, хотя они могут сканировать страницу, чтобы понять ее содержимое, они не могут индексировать страницу, чтобы она отображалась в результатах поиска.Это пример того, как NoIndex отображается в исходном коде веб-страницы:

.

Что такое NoFollow?

NoFollow — это метатег, который добавляется в код заголовка веб-страницы и указывает поисковым системам не переходить по ссылкам на этой странице. По сути, это отклоняет ссылки на этой странице и информирует поисковую систему о том, что не следует передавать какие-либо полномочия или «ссылочный вес» страницам, на которые есть ссылки в вашем контенте. Это пример того, как NoFollow отображается в исходном коде веб-страницы:

.

Чем они отличаются?

NoIndex и NoFollow совершенно разные по полезности.Вы будете использовать NoIndex, когда указываете поисковой системе не сохранять вашу веб-страницу для отображения в результатах поиска, в то время как вы будете использовать NoFollow, когда вы указываете поисковым роботам не переходить по ссылкам на вашей странице. Таким образом, NoIndex предназначен для вашей веб-страницы , а NoFollow — для ссылок , которые существуют на вашей веб-странице.

Когда следует использовать каждый из них?

Примером метатега NoIndex является страница благодарности. Вы бы не хотели, чтобы поисковая система отображала страницу благодарности на странице результатов поисковой системы, поскольку обычно это страница, на которую попадает пользователь после того, как он заполнил вашу форму генерации лидов.Для того, чтобы поисковые системы знали, что эта страница не должна храниться, вы должны указать метатег NoIndex в коде шапки вашей веб-страницы. Другими примерами страниц, которые вы не хотели бы индексировать поисковыми системами, являются страницы «Политика конфиденциальности», «Положения и условия» и «Страница не найдена».

Примером метатега NoFollow также является целевая страница. Если на вашей целевой странице есть ссылка на ваше предложение, скажем, на электронную книгу «10 советов, как максимально эффективно использовать ваши усилия в области цифрового маркетинга», вы должны убедиться, что поисковый робот не просканирует эту ссылку и не начнет индексировать этот контент.

Изучение ресурсов для защиты и оптимизации вашего контента для поисковых систем является важной частью вашего контент-маркетинга и инициатив по привлечению потенциальных клиентов. Правильное использование метатегов NoFollow и NoIndex поможет вам максимально эффективно использовать свою контент-стратегию и убедиться, что вы не теряете ценные лиды.

Как реализовать NoIndex или NoFollow на моем веб-сайте?

Если вы используете WordPress, мы рекомендуем бесплатный инструмент SEO Yoast для управления вашими усилиями по SEO на странице.Чтобы активировать функции NoIndex и NoFollow, вы должны включить «расширенные настройки» на панели настроек Yoast.

Здесь вы найдете варианты реализации правил NoIndex и NoFollow на каждой странице вашего веб-сайта.

Просто как пирог!

тегов Magento Nofollow Noindex — Блог GoMage

Сегодня многие SEO-специалисты часто используют теги Nofollow и Noindex, чтобы распределить вес страниц, а также скрыть некоторые ненужные части контента или html-кода.В чем разница между noindex и nofollow?

Понимание Nofollow — атрибуты тега Noindex

Первый термин — это тег, скрывающий часть текста или всю страницу от индексации поисковыми системами, второй — атрибут тега , который помогает регулировать вес страницы, запрещая отправку ее в доступ к сайту.

Noindex используется для сокрытия ненужной информации от поисковых систем, например. коды счетчиков посетителей сайта, неуникальный контент, часто обновляемая информация.

Основная роль Nofollow — сохранение веса страницы. Этот атрибут нужен, если вы не желаете передавать часть веса страницы на неподтвержденный источник, в случае, если вы ссылаетесь на такие популярные сайты, как Google или Subscribe. Этот тег также будет полезен, если на странице слишком много исходящих ссылок. Кроме того, вы также можете использовать Nofollow, чтобы скрыть ссылки в комментариях.

Вы можете настроить Nofollow и Noindex в Magento ® самостоятельно. Эксперты GoMage рекомендуют два возможных пути:

  • , разместив файл robots.txt в корневой директории вашего сайта;
  • , используя метатег name=»robots».

В первом случае вам необходимо обновить файл robots.txt с именами страниц, которые вы хотите скрыть, используя следующий код:

 

  Агент пользователя: *
Запретить: /myfile.html
  

Этот метод в основном используется для запрета индексации всей страницы вместо определенной части текста или ненужного кода.

Соответственно, если вы не хотите передавать часть веса страницы, вместо noindex следует использовать nofollow.

Второй вариант запрета индексации может выглядеть так:

 

  
<голова>

Название страницы сайта

  

Атрибут content может иметь следующие значения:

 

  



  

 

УКАЗАТЕЛЬ, СЛЕДУЙТЕ Означает, что вы «говорите» роботам поисковых систем проиндексировать определенный контент сайта, а затем возвращаетесь и проверяете изменения позже.
НОИНДЕКС, СЛЕДУЙТЕ Означает, что вы «говорите» роботам поисковых систем не индексировать определенный контент сайта, а вернуться и проверить изменения позже.
ИНДЕКС, NOFOLLOW Означает, что вы «говорите» роботам поисковых систем проиндексировать определенный контент сайта только один раз и не возвращаться и не проверять изменения позже.
НОИНДЕКС, НОФОЛЛОУ Означает, что вы «говорите» роботам поисковых систем не индексировать определенный контент сайта и не возвращаться и не проверять изменения позже.

 

Вы можете выбрать содержимое для скрытия в административной панели Magento®: Система -> Конфигурация -> Дизайн -> Заголовок HTML -> Роботы по умолчанию

Чтобы установить noindex и nofollow на статических страницах, вы можете использовать обновление макета. Во вкладке CMS — Страницы выберите нужную страницу, затем найдите поле Layout Update XML и вставьте следующий код:

 

  <ссылочное имя="голова">
 noindex, nofollowроботы

  

 

Этот код также можно использовать в любом выбранном вами шаблоне.Если у вас есть какие-либо проблемы или вопросы, мы рекомендуем вам связаться с нашей командой разработчиков Magento ®. Мы будем рады помочь Вам.

Nofollow и Noindex в Magento® 2

Описанная выше процедура абсолютно приемлема для Magento ® 2. Вы должны следовать той же логике для настройки тегов noindex, nofollow и robots.txt.

Вам необходимо зайти в панель администратора Magento ®, затем выбрать раздел «Магазины» >> «Конфигурация». С левой стороны в разделе «Общие» вы должны выбрать «Дизайн».Откройте вкладку «Поисковые роботы» и настройте необходимые параметры.

Принудительно можно установить собственные пользовательские инструкции в параметре Изменить пользовательскую инструкцию файла robots.txt . Например, вам нужно запретить доступ ко всем папкам, пока ваш интернет-магазин находится в разработке.

Есть примеры пользовательских Инструкций:

Если вы хотите разрешить полный доступ

 Агент пользователя:* 
 Запретить: 

Если вы хотите запретить доступ ко всем папкам

 Агент пользователя:* 
 Запретить: / 

 

Инструкции по умолчанию

 Запретить: /lib/ 
 Запретить: /*.PHP$ 
 Запретить: /pkginfo/ 
 Запретить: /отчет/ 
 Запретить: /var/ 
 Запретить: /каталог/ 
 Запретить: /клиент/ 
 Запретить: /sendfriend/ 
 Запретить: /обзор/ 
 Запретить: /*SID= 

Существуют не только технические причины, по которым вам необходимо закрыть свой контент от индексации поисковыми роботами. В некоторых случаях вам может помочь тег noindex:

  • необходимо процитировать часть закона или отрывок из книги и такое содержание не может быть уникальным;
  • нужно разместить интересную статью, которая была опубликована на другом сайте.Почему бы нет? Если такой контент может помочь посетителям дольше оставаться в вашем интернет-магазине, вы можете использовать его;
  • Технические тексты или инструкции
  • могут содержать примеры кода, которые также не могут быть уникальными.

Во всех этих случаях вы можете запретить индексацию определенной части текста или всей страницы.

Надеемся, что наши советы будут вам полезны. Наша команда GoMage готова помочь вам в случае необходимости.

Имеет директивы noindex и nofollow

На виду Эта подсказка не является ни проблемой, ни возможностью, и доводится до вашего сведения, поскольку она может обеспечить полезное направление расследования.

Это означает, что указанный URL содержит директивы noindex и nofollow.

Почему это важно?

Если URL-адрес имеет значение noindex,nofollow, это означает, что поисковые системы получают указание не включать URL-адрес в свой индекс, а также не планировать и не сканировать любые ссылки, найденные в HTML (аналогично, программы-краулер, такие как Sitebulb, не будут эти ссылки, если в настройках сканирования не снят флажок «уважать роботов»).

Использование этого типа директив для роботов является распространенным способом контроля того, какой контент поисковые системы могут сканировать и индексировать (например,грамм. область входа пользователя). Таким образом, в этих URL-адресах потенциально нет ничего плохого, Sitebulb просто уведомляет вас о том, что они есть.

Что проверяет подсказка?

Эта подсказка сработает для любого внутреннего URL-адреса, который имеет атрибуты noindex,nofollow либо в HTML, либо в заголовке HTTP.

Примеры, вызывающие эту подсказку

Подсказка сработает для любого URL-адреса со следующим:

Мета noindex,nofollow в ,

  

ИЛИ noindex,nofollow в заголовке HTTP:

 HTTP/... 200 ОК
 
...
X-Robots-Tag: noindex,nofollow

Почему эта подсказка помечена как «Понимание»?

Эта подсказка является «пониманием», что означает, что не обязательно предпринимать какие-либо действия — подсказка предназначена для того, чтобы привлечь ваше внимание к чему-либо, а не помечать проблему, которую необходимо исправить. Настройка URL-адресов как noindex, nofollow очень распространена, и часто в этой ситуации нет ничего плохого.

Однако стоит дважды проверить, что нет URL-адресов, использующих эти директивы, которые вы действительно хотите правильно просканировать и проиндексировать.Если да, то решение этой проблемы начнется с удаления оскорбительных директив.

Как скрыть веб-страницы с помощью noindex, nofollow и disallow

Это руководство по использованию noindex, nofollow и disallow пригодится, если ваши веб-страницы должны быть невидимы для поисковых систем, индексирующих роботов и сканеров веб-страниц.

В некоторых случаях вам может понадобиться сделать веб-страницы невидимыми для поисковых систем, индексирующих роботов и сканеров веб-страниц.В этих случаях вы можете рассмотреть возможность добавления «noindex», «nofollow» и/или «disallow» к атрибутам, тегам, метаданным и командам вашей веб-страницы; это включает в себя сайты, используемые для разработки, тестирования или подготовки, или если вы хотите ограничить доступ к страницам (например, вход на порталы или фотогалереи), или если страницы или определенные ссылки считаются избыточными, устаревшими, заархивированными или содержат тривиальный контент.

Это руководство поможет вам понять, как использовать «noindex», «nofollow» и/или «disallow» в процессе обслуживания и управления вашим веб-сайтом.

Примеры синтаксиса

Указатель веб-страниц

В следующих примерах показаны несколько параметров и комбинаций, доступных для тегов метаданных, которые можно добавить в тег .

Этот тег метаданных скажет всем поисковым системам проиндексировать весь ваш веб-сайт; он также проиндексирует все остальные ваши веб-страницы.

Этот тег метаданных предписывает поисковым системам не индексировать конкретно эту страницу, но будет сканировать остальные веб-страницы на вашем веб-сайте.

Этот тег метаданных указывает поисковым системам индексировать только эту страницу и прекратить дальнейшее сканирование.

Этот тег метаданных предписывает поисковым системам не индексировать эту страницу и не сканировать ее дальше.

Предположим, вы хотите запретить только роботу Googlebot индексировать ваш веб-сайт; вы бы использовали этот синтаксис.

Связывание

Вы также можете использовать «nofollow» в определенных активных ссылках на страницах, которые вы не хотите индексировать. Синтаксис для ссылки nofollow выглядит так, как показано на этом примере тега привязки ColdFusion cfm.

Robots.txt запретить

Вы также можете использовать файл robots.txt и поместить его в корневой каталог вашего веб-сайта или другой каталог в зависимости от конфигурации вашего веб-сервера. Типичный файл robots.txt будет содержать всего несколько строк кода, который дает команду роботам, используя так называемый протокол/стандарт исключения роботов. Приведенные ниже примеры синтаксиса иллюстрируют несколько способов реализации этой функции.

В этом примере всем роботам приказано держаться подальше от вашего веб-сайта.

Агент пользователя: *
Запретить:/

В этом примере всем роботам приказано держаться подальше от определенных каталогов.

User-agent: *
Disallow: /backup/
Disallow: /archive/
Disallow: /cgi-mail/

В этом примере всем роботам приказано держаться подальше от определенного файла.

User-agent: *
Disallow: /any-directory/any-file.htm

Вы можете указать несколько определенных роботов, чтобы не допускать их к определенным или всем областям вашего веб-сайта.Несколько примеров показаны ниже.

Агент пользователя: badbot
Запретить: /private/

User-agent: anybot-news
Disallow: /

Агент пользователя: googlebot
Запретить: /

Внимание

Хотя эти стратегии помогут вам в управлении доступом, их использование не гарантирует автоматически, что указанные вами теги или команды «noindex», «nofollow» и/или «disallow» будут соблюдаться всеми поисковыми системами, пауками, и гусеницы.Чтобы эти методы вступили в силу, может потребоваться время, особенно если страницы ранее были разрешены для индексации или отслеживания, а затем впоследствии были установлены nofollow или noindex. Вы можете по-прежнему видеть страницы в результатах поиска, потому что их индексация не обновлялась или не обновлялась в последнее время.

Менеджер магазина Magento

Когда вы начинаете новый проект на сервере разработки или создаете несколько транзакционных страниц, вам может потребоваться скрыть некоторые из ваших страниц или весь веб-сайт от поисковых систем, чтобы они не индексировались заранее.Лучший способ запретить роботам индексировать ваш контент или следить за ним — использовать файл robots.txt и метатеги nofollow и noindex в html-заголовке страниц. Веб-сайт Magento с открытым исходным кодом или Adobe Commerce позволяет настраивать такие параметры из панели администратора без использования кода.


Что такое файл robots.txt и зачем он вам нужен?

Допустим, некоторые веб-роботы хотят посетить ваш сайт https://store.emagicone.com и проиндексировать или отследить его содержимое. Перед началом индексации роботы сначала войдут в ваш https://store.emagicone.com/robots.txt и проверьте его. Этот файл находится в корне вашего сайта Magento и содержит инструкции для роботов о том, как обрабатывать или не обрабатывать ваш сайт.


Настройка Noindex и Nofollow в Magento 2

Существует несколько способов запретить роботам индексировать определенное содержимое магазина. Ниже мы расскажем, как закрыть от индексации весь магазин, страницы, товары и категории.


Способ 1. Настройка Noindex/Nofollow для Magento 2 Store

Если вы используете Magento 2.1.x перейдите в Stores > Configuration > General (слева) > Design section

Доступ к настройкам файла robots.txt Magento 2 через магазин admin

Если вы запускаете магазин Magento 2.2.0, 2.2.1 или 2.2.2, в панели администратора выберите Content > Design section — Configuration:


Чтобы закрыть магазин от индексации, выберите раздел Контент в панели администратора.

Там вы найдете таблицу, содержащую все ваши просмотры магазина. Нажмите «Изменить» рядом с конфигурацией магазина:

. Edit Design Configuration, чтобы закрыть магазин от индексации

Откроется окно с «Глобальными» настройками.Прокрутите вниз до «Другие настройки» и нажмите «Роботы поисковых систем», чтобы развернуть этот раздел. Здесь вы увидите поле «Роботы по умолчанию». Нажмите, чтобы увидеть раскрывающийся список:

Чтобы закрыть магазин от индексации, выберите необходимое действие из выпадающего списка

Доступны четыре варианта «Роботы по умолчанию»:

  • INDEX, FOLLOW — позволяет веб-роботам индексировать ваш сайт и отслеживать его изменения;
  • NOINDEX, FOLLOW — предписывает роботам не индексировать ваш сайт, но позволяет отслеживать его изменения;
  • INDEX, NOFOLLOW — указывает роботам проиндексировать ваш сайт, но не проверять его дальше на наличие изменений.
  • NOINDEX, NOFOLLOW — запрещает роботам ни индексировать, ни отслеживать ваш сайт.

Вы можете выбрать вариант в зависимости от ваших целей или использовать поле «Редактировать пользовательскую инструкцию файла robots.txt», если вам нужно заблокировать доступ к определенным папкам или URL-адресам.

Введите в это поле следующие директивы для роботов в зависимости от ваших потребностей:

Чтобы заблокировать всех роботов из определенных папок:

Агент пользователя: *

Запретить: /имя папки

Чтобы заблокировать определенных роботов из определенных папок:

Агент пользователя: имя робота

Запретить: /имя папки

Чтобы запретить некоторым ботам доступ к одной папке, но разрешить доступ к другой:

Агент пользователя: имя робота

Запретить: /имя папки Разрешить: /имя папки


Метод 2.Настройка Noindex/Nofollow для конкретных страниц Magento 2

Есть еще один способ запретить роботам обрабатывать ваши веб-страницы.

В панели администратора слева выберите раздел «Контент». В разделе «Элементы» выберите «Страницы». Вы найдете таблицу, содержащую все страницы вашего магазина. Нажмите «Выбрать» справа и выберите опцию «Редактировать» из выпадающего списка:

Редактировать страницу, чтобы закрыть ее от индексации

Разверните раздел «Дизайн» и найдите поле «Обновление макета XML».Для того, чтобы эта страница не индексировалась и не подписывалась, вставьте этот код в поле:

Вставьте код и сохраните страницу, чтобы закрыть ее от индексации

Способ 3: настройка Noindex/Nofollow для определенных категорий и продуктов Magento 2

Указанный выше код также можно использовать для настройки разрешений для некоторых страниц вашей категории или продукта, будь то в версии 2.1.x или версии 2.2.

Чтобы заблокировать страницу товара выберите «Товары» из раздела «Каталог» на панели администратора.Нажмите «Редактировать» справа от поля продукта:

. Отредактируйте продукт, чтобы закрыть его из индексации

. Прокрутите вниз и найдите раздел «Дизайн». Разверните его и введите фрагмент кода в поле «Обновление макета XML». Нажмите «Сохранить»:

Вставьте код для закрытия товара из индексации

Для заблокируйте страницу категорий выберите «Категории» в разделе «Каталог» и найдите нужную категорию в списке справа. Найдите раздел «Дизайн» и введите указанный выше код в поле «Обновление макета XML»:

Вставьте код и сохраните категорию, чтобы закрыть ее от индексации

Вывод: нужно ли блокировать доступ к некоторым моим ссылкам?

Определенно да.Для владельца интернет-магазина важно иметь возможность управлять доступом к некоторым папкам или URL-адресам своего сайта, запрещая или разрешая веб-роботам индексировать их или отслеживать их. Помимо ограничения доступа для неизвестных сканеров, вы можете значительно улучшить SEO, применив эти ограничения.

Дело в том, что, наполняя свой сайт контентом, вы наверняка стремитесь максимально оптимизировать его для Google, чтобы он отображался на первых позициях поисковой выдачи. Тем не менее, некоторые ссылки на ваш сайт могут оказать негативное влияние на ваш рейтинг в Google, поэтому было бы уместно запретить роботам поисковых систем индексировать или отслеживать их.

Magento предоставляет своим пользователям большинство способов управления доступом к сайту в несколько кликов прямо из панели администратора. Воспользуйтесь любым из них и защитите свой интернет-магазин от любой нежелательной индексации или отслеживания.


Связанные статьи:

Как разблокировать robots.txt и удалить тег noindex

Устранение проблем с индексом и сканированием: с чего начать

Прежде всего, давайте попробуем сузить круг проблемы. Для этого войдите в Google Search Console.Затем скопируйте и вставьте URL-адрес домашней страницы вашего сайта в тестер robots.txt и нажмите «Отправить». (На данный момент этот инструмент существует только в старой версии Google Search Console.) Если он «ЗАБЛОКИРОВАН», см. вопрос № 1, если он «РАЗРЕШЕН», см. вопрос № 2 ниже.

Проблема № 1: домен или URL-адрес заблокированы файлом robots.txt

Если строка запрета загорается красным цветом и вы видите слово «БЛОКИРОВАНО» в поле в правом нижнем углу, как на снимке экрана ниже, robots. txt является виновником. Чтобы отменить это, вам потребуется доступ и редактирование* файла robots.txt для вашего сайта.

*Если вы не тот человек, который обычно возится с серверной частью вашего веб-сайта, я настоятельно рекомендую вам обратиться к разработчику вашего веб-сайта, ИТ-специалисту или кому-либо еще, кто занимается обслуживанием веб-сайта.

Теперь в приведенном выше примере происходят две вещи, одна хорошая и одна плохая, исходя из нашего текущего затруднительного положения. Этот URL-адрес /wp-admin/ намеренно запрещен, поскольку мы не хотим, чтобы серверная часть нашего веб-сайта сканировалась какой-либо из поисковых систем.Это должно остаться.

Однако проблема заключается в строке Disallow: / . Эта строка, или, лучше сказать, косая черта, блокирует сканирование вашего веб-сайта всеми поисковыми системами… в общем, все это. Поэтому, чтобы разблокировать robots.txt, эту часть необходимо удалить из файла robots.txt.

Буквально требуется всего один персонаж, чтобы бросить разводной ключ во что-нибудь. После внесения необходимых изменений в файл верните URL-адрес домашней страницы в тестер robots.txt, чтобы проверить, поддерживает ли ваш сайт поисковые системы.Если все в порядке, в правом нижнем углу будет написано «РАЗРЕШЕНО» зеленым цветом, и теперь поисковые системы могут начать сканировать сайт.

Это исправление должно успешно разблокировать файл robots.txt на всем сайте (или, по крайней мере, для любой страницы, не обозначенной специально как запрещенная, как с URL-адресом /wp-admin/ выше), но не стесняйтесь копировать и вставлять пару дополнительных страниц сайта в к инструменту тестера, чтобы убедиться, что проблема решена не только для вашей домашней страницы.

Если вы хотите узнать больше об этой конкретной марке ботов, ознакомьтесь с Yoast.com Полное руководство по Robots.txt.

Проблема № 2: удаление метатега noindex в WordPress

Если вышеуказанная проблема не является причиной вашего беспокойства на веб-сайте, а все, что происходит, становится «РАЗРЕШЕННЫМ» (как и должно быть), есть еще одна распространенная причина, по которой ваш веб-сайт WordPress может не отображаться в поиске — надоедливый тег «noindex».

Чтобы проверить, так ли это, вернитесь к новой версии Search Console и вставьте любой URL-адрес в поле поиска «Проверить любой URL-адрес в…» в верхней части страницы и нажмите Enter.

Если в отчете о проверке URL-адресов отображается следующее сообщение: Нет: «noindex» обнаружен в метатеге «роботы» , это единственная установка флажка в серверной части WordPress, которая вызывает весь этот шум.

Чтобы разблокировать поисковые системы от индексации вашего веб-сайта, сделайте следующее:

  • Войдите в WordPress
  • Перейдите в «Настройки» → «Чтение»
  • Прокрутите страницу вниз, где написано «Поисковая видимость»
  • Снимите флажок рядом на «Запретить поисковым системам индексировать этот сайт»
  • Нажмите кнопку «Сохранить изменения» ниже

Если вы используете плагин Yoast SEO — WordPress, также проверьте настройки сообщений в блоге, чтобы убедиться, что они настроены аналогичным образом. разрешить индексацию.

После этого вернитесь в Search Console и повторно отправьте URL-адрес, который вы пробовали ранее. Если ваши настройки настроены правильно, все должно петь по-другому. Теперь, когда вы отправляете URL-адрес, отчет о проверке URL-адреса должен быть лишен всех предупреждений и сообщений об ошибках, по крайней мере, связанных с индексированием и возможностью сканирования, и вы сможете «Запросить индексирование», что, как я полагаю, было вашей целью все это время. .

Я надеюсь, что это поможет, но если описанные выше шаги не помогли решить вашу текущую проблему, я рекомендую прочитать эту статью поддержки веб-мастеров Google о «noindex», чтобы узнать больше.

Очевидной, но важной частью поисковой оптимизации является обеспечение того, чтобы ваш сайт отображался в результатах поиска. Для этого вам необходимо убедиться, что ваш веб-сайт можно сканировать и индексировать, что означает удаление тега «noindex» и разблокировку файла robots.txt из общедоступных частей вашего сайта. Эти настройки необходимы для успеха, поэтому сделайте себе одолжение и не игнорируйте предупреждения Search Console или неустойчивое поведение, устраняйте эти проблемы с помощью советов и ресурсов, предоставленных выше.

Тег noindex в теле вашей страницы приведет к тому, что Google не будет индексировать страницу!

Сегодня я получил электронное письмо от владельца сайта с вопросом, могу ли я проконсультироваться с ним, чтобы помочь ему понять, почему они не могут повысить рейтинг своей домашней страницы в Google.Ранее у них были некоторые проблемы с пенальти, но они были устранены. Остальная часть сайта хорошо ранжировалась, но домашняя страница, похоже, была оштрафована. Я решил поделиться этой крутой историей детективной работы и сотрудничества, которая заканчивается тем, что мы находим причину и радуемся!

Страница не проиндексирована

Первое, что я сделал, это сделал поиск по сайту в Google. Сайт конечно присутствовал, но я не смог найти домашнюю страницу сайта в результатах Google. Далее я проверил robots.txt сайта, введя www.sitename.com/robots.txt. Хотя многие каталоги сайта были заблокированы, у Google не было очевидной причины не видеть домашнюю страницу.

Вероятно, мне следовало сначала посетить этот сайт, чтобы сэкономить время. Когда я зашел на сайт, я увидел этот большой сияющий маяк в правом нижнем углу экрана:

.

 

Что ж, это, безусловно, сойдет. (Кстати, это было создано с помощью расширения Nofollow Chrome).Я собирался написать владельцу сайта и сказать ему, чтобы он просто удалил тег noindex с сайта, но я проверил исходный код и был сбит с толку, когда CTRL-F вообще не обнаружил в исходном коде «noindex».

Спасибо, Твиттер!

Итак, я обратился к Твиттеру. Я люблю задавать вопросы своим коллегам по SEO в Twitter. Я твитнул свой вопрос, и несколько человек высказали свое мнение. Спасибо Майку Высоцке, Роуи и Томасу Хейнсу, у которых были отличные идеи, в том числе проверить, не заблокирована ли страница тегом x-robots в заголовке, но это было не так.

Дженни Халаш попросила меня поделиться ссылкой, и она потратила немало времени, копаясь в этой загадке. И в конце концов она решилась! Она решила просмотреть страницу с помощью инструментов разработчика Chrome. Это можно сделать, нажав Вид —> Разработчик —> Инструменты разработчика.

Затем она нажала CTRL-F и БУМ! Посмотрите, что было спрятано в div:

Вау. Также был второй тег noindex в другом div на странице.

Время для этого было невероятным, так как ранее на этой неделе Гэри Иллиес из Google написал в Твиттере предупреждение о том, что включение тега noindex в тело вашей страницы (в отличие от заголовка) приведет к тому, что Google не будет индексировать страницу

Будьте внимательны с директивами noindex: большинство поисковых систем будут учитывать их, даже если они находятся в элементе BODY.https://t.co/Q2OVA6peow

— Гэри Иллиес (@methode) 17 июня 2015 г.

Исправление

Нарушающий код удален с сайта. Владелец сайта будет использовать выборку Google в качестве робота Google в консоли поиска Google, чтобы быстро попросить Google проиндексировать страницу. Я ожидаю, что домашняя страница должна вернуться в ранжирование довольно быстро.

 

Обновление: Потребовалось около 24 часов, чтобы страница снова заняла место в рейтинге. Все было хорошо, когда этот код был удален.

Информационный бюллетень обновлений Google

Хотите получать обновления, когда Google вносит большие изменения в алгоритм или другое объявление? Подпишите здесь!

Последние новости SEO уже в пути! Пожалуйста, проверьте свою электронную почту, чтобы подтвердить подписку. Если нет в вашем почтовом ящике, проверьте нежелательную почту.

.

Добавить комментарий

Ваш адрес email не будет опубликован.