Noindex яндекс валидный: Валидный тег NOINDEX для Яндекс

Обратите внимание, что Bing интерпретирует это как инструкцию подождать 10 секунд после сканирования, в то время как Яндекс интерпретирует ее как указание на доступ к вашему сайту только один раз в каждые 10 секунд. Это небольшая разница, но все же интересно узнать.

Будьте осторожны при использовании директивы crawl-delay . Установив задержку сканирования в 10 секунд, вы разрешите этим поисковым системам доступ только к 8 640 страницам в день.Для небольшого сайта этого может показаться много, но для крупных сайтов не так уж много. С другой стороны, если вы почти не получаете трафика от этих поисковых систем, это хороший способ сэкономить часть полосы пропускания.

Директива карты сайта для XML-файлов Sitemap

Используя директиву sitemap , вы можете указать поисковым системам, в частности, Bing, Yandex и Google, где найти вашу XML-карту сайта. Конечно, вы также можете отправить свои XML-карты сайта в каждую поисковую систему, используя соответствующие инструменты для веб-мастеров, и мы настоятельно рекомендуем вам это сделать, потому что программы инструментов для веб-мастеров поисковых систем предоставят вам много ценной информации о вашем сайте.Если вы не хотите этого делать, добавление строки sitemap в файл robots.txt — хорошая быстрая альтернатива.

 Карта сайта: https://www.example.com/my-sitemap.xml 

Проверьте свой robots.txt

Существуют различные инструменты, которые могут помочь вам проверить файл robots.txt, но когда дело доходит до проверки директив сканирования, мы всегда предпочитаем обращаться к источнику. У Google есть инструмент тестирования robots.txt в своей консоли поиска Google (в меню «Старая версия»), и мы настоятельно рекомендуем его использовать:

Обязательно тщательно протестируйте свои изменения, прежде чем вводить их в действие! Вы не будете первым, кто случайно использовал robots.txt, чтобы заблокировать весь свой сайт и уйти в небытие поисковой системы!

Увидеть код

В июле 2019 года Google объявил, что делает свой парсер robots.txt открытым исходным кодом. Это означает, что, если вы действительно хотите разобраться в деталях, вы можете пойти и посмотреть, как работает их код (и даже использовать его самостоятельно или предложить модификации).

полное руководство • Yoast

Джоно — цифровой стратег, технолог по маркетингу и разработчик полного цикла. Он занимается техническим SEO, новыми технологиями и стратегией бренда.

Если вы используете мета-тегов роботов на своих страницах, вы можете дать поисковым системам инструкции о том, как вы хотите, чтобы они сканировали или индексировали части вашего веб-сайта. На этой странице представлен обзор всех различных значений, которые могут быть в метатеге роботов, их функций и поисковых систем, поддерживающих каждое значение.

Различные значения метатегов роботов

Следующие значения («параметры») могут быть размещены по отдельности или вместе в атрибуте content тега (через запятую), чтобы управлять тем, как поисковые системы взаимодействуют с вашей страницей.

Прокрутите вниз, чтобы увидеть, какие поисковые системы поддерживают какие конкретные параметры.

индекс

Разрешить поисковым системам добавлять страницу в свой индекс, чтобы люди могли ее обнаружить.

Примечание: Если нет директив, относящихся к индексированию, предполагается, что это значение по умолчанию.

noindex

Запретить поисковым системам добавлять эту страницу в свой индекс и, следовательно, запретить им показывать ее в своих результатах.

Примечание. Неофициальные сообщения от Google предполагают, что, если для страницы задано значение noindex в течение длительного периода времени, ее также можно рассматривать, как если бы она была также установлена ​​на nofollow .Точный механизм этого неясен, и неясно, ведут ли другие поисковые системы аналогично.

подписаться на

Сообщает поисковым системам, что они могут переходить по ссылкам на странице, чтобы обнаружить другие страницы.

Примечание: Если нет директив, относящихся к следующим ссылкам, предполагается, что это значение по умолчанию.

nofollow

Указывает роботам поисковых систем не «поддерживать» (передавать капитал). любые ссылок на странице.Обратите внимание, что сюда входят всех ссылок на странице, включая, например, ссылки в элементах навигации, ссылки на изображения или другие ресурсы и т. Д.

Примечание: Неясно (и несовместимо между поисковыми системами), запрещает ли этот атрибут поисковым системам переход по ссылкам или просто не дает им присваивать какое-либо значение этим ссылкам.

нет

Ярлык для noindex, nofollow .

все

Ярлык для индекса , следуйте за .

Примечание: Предполагается по умолчанию на всех страницах и ничего не делает, если указано.

noimageindex

Запретить поисковым системам индексировать изображения на странице.

Примечание: Если изображения связаны напрямую из других источников, поисковые системы все равно могут их индексировать, поэтому использование HTTP-заголовка X-Robots-Tag, как правило, является лучшей идеей.

нет архива

Запрещает поисковым системам показывать кэшированную копию этой страницы в своих списках результатов поиска.

нокаш

То же, что и noarchive , но используется только MSN / Live.

№

№

Запрещает поисковым системам показывать текст или фрагмент видео (т. Е. Метаописание ) этой страницы в результатах поиска, и запрещают им показывать кэшированную копию этой страницы в своих списках результатов поиска.

Примечание. Фрагменты могут по-прежнему показывать миниатюру изображения, если также не используется noimageindex .

nositelinkssearchbox

Запрещает поисковой системе показывать встроенное окно поиска для вашего сайта.

nopagereadaloud

Запрещает поисковой системе читать вслух содержимое вашей страницы с помощью голосовых служб / результатов.

notranslate

Запрещает поисковым системам показывать перевод страницы в результатах поиска.

max-snippet: [номер]

Задает максимальное количество символов для метаописания.

Примечание: Пропуск этого тега может привести к предполагаемому значению 0 . Значение по умолчанию –1 должно означать «без ограничений».

max-video-preview: [номер]

Задает максимальное количество секунд для видео при предварительном просмотре.

Примечание: Пропуск этого тега может привести к предполагаемому значению 0 . Значение по умолчанию -1 должно означать «без ограничений».

max-image-preview: [настройка]

Задает максимальный размер изображения для использования в предварительном просмотре ( нет , стандартный или большой ).

Примечание: Пропуск этого тега может привести к подразумеваемому значению нет .

рейтинг

Указывает, что страница содержит материалы для взрослых.

unavailable_after

Сообщает поисковым системам дату / время, после которых они не должны показывать это в результатах поиска; «синхронизированная» версия noindex .

Примечание: должен быть в формате RFC850 (например, понедельник, 15 августа 05 15:52:01 UTC ).

нояка

Запрещает фрагменту результатов поиска использовать описание страницы из Справочника Яндекса.

Примечание: Поддерживается только Яндекс.

нойдир

Запрещает Yahoo использовать описание этой страницы в каталоге Yahoo в качестве фрагмента для вашей страницы в результатах поиска.

Примечание: Поскольку Yahoo закрыл свой каталог, этот тег устарел, но время от времени вы можете встретить его.

Какая поисковая система поддерживает какие значения метатегов роботов?

В этой таблице показано, какие поисковые системы поддерживают какие значения.Обратите внимание, что документация, предоставляемая некоторыми поисковыми системами, скудна, поэтому есть много неизвестных.

^{* Большинство поисковых систем не имеют специальной документации для этого, но мы предполагаем, что поддержка исключения параметров (например,g., nofollow ) подразумевает поддержку положительного эквивалента (например, после ).
** Хотя атрибуты noodp и noydir все еще могут «поддерживаться», эти каталоги больше не существуют, и вполне вероятно, что эти значения ничего не делают.}

Правила для конкретных поисковых систем

Иногда вам может потребоваться предоставить конкретные инструкции определенной поисковой системе , но не другим. Или вы можете предоставить разные поисковые системы совершенно разные инструкции.

В этих случаях вы можете изменить значение атрибута content для конкретной поисковой системы (например, googlebot ).

Примечание: Учитывая, что поисковые системы будут просто игнорировать инструкции, которые они не поддерживают или не понимают, очень редко нужно использовать несколько метатегов роботов для установки инструкций для определенных поисковых роботов.

Конфликтующие параметры и файлы robots.txt

Важно помнить, что мета-теги robots работают иначе, чем инструкции в вашем файле robots.txt, и конфликтующие правила могут вызвать неожиданное поведение. Например, поисковые системы не смогут увидеть ваши метатеги , если страница заблокирована через robots.txt .

Вам также следует позаботиться о том, чтобы не задавать конфликтующие значения в вашем метатеге robots (например, использовать параметры index и noindex ), особенно если вы устанавливаете разные правила для разных поисковых систем. В случае конфликта обычно выбирается наиболее ограничительная интерпретация (т.е., «не показывать» обычно лучше «показывать»).

Добавить noindex или nofollow в сообщение или страницу очень просто, если вы используете WordPress. Прочтите, как использовать Yoast SEO, чтобы сообщения не появлялись в результатах поиска.

Ресурсы из поисковых систем

Как оптимизировать краулинговый бюджет для Google и Яндекс

Поисковые системы не обновляют свои базы данных мгновенно. Процесс индексации может занять недели или даже месяцы.Это определенно не пойдет на пользу SEO. Давайте посмотрим, что такое краулинговый бюджет и почему вам нужно его оптимизировать.

Что такое краулинговый бюджет

Бюджет сканирования — это количество страниц, которые робот поисковой системы просматривает на вашем сайте за один раз. Другими словами, он показывает, сколько новых и обновленных страниц вы можете предоставить поисковому роботу за одно посещение.

Это число может немного меняться, но достаточно стабильно. Важно понимать, что лимит различается от сайта к сайту.Старый и популярный сайт сканируется постоянно, а любой новый веб-ресурс сканируется только частично и с задержками.

Причина проста: ресурсы поисковых систем ограничены. Центров обработки данных никогда не будет достаточно, чтобы мгновенно отслеживать каждое изменение на миллиардах веб-сайтов по всему миру. Особенно, если речь идет о бесполезных и непопулярных веб-ресурсах. Когда бот сканирует некачественные страницы, краулинговый бюджет сокращается. Это отрицательно скажется на рейтинге вашего сайта.

Почему это вообще имеет значение: поисковый робот просматривает заданное количество страниц наугад.Вы не можете вручную заставить его сканировать определенные URL-адреса. Например, ваша страница «О компании» может получить больше посещений, чем новая категория продуктов с новейшими предложениями.

Можете ли вы повлиять на поисковые системы, чтобы увеличить краулинговый бюджет? Да, в некоторой степени. Ниже мы рассмотрели основные методы оптимизации краулингового бюджета.

Как работает веб-сканирование

Робот поисковой системы получает список URL-адресов на вашем веб-сайте для сканирования и время от времени сканирует их. Как создается этот список? Он сформирован на основе следующих элементов:

• Внутренние ссылки на вашем веб-сайте, включая инструменты навигации.
• Карта сайта в формате XML (sitemap.xml).
• Внешние ссылки.

Файл Robots.txt сообщает роботам поисковых систем, какие страницы вашего сайта сканировать. Роботы проверяют текстовый файл, чтобы узнать, можно ли сканировать конкретный URL. Если URL-адрес не указан в файле, он будет добавлен в список сканирования. Тем не менее, обратите внимание, что инструкции в файле robot.txt не являются обязательными для роботов, выполняющих веб-сканирование. Это всего лишь предложение и рекомендация.В некоторых случаях URL все равно будет проиндексирован. Например, если ссылки указывают на него, или перенаправляют на эту страницу в индексе, или любые другие сигналы, которые заставляют паук поисковой системы думать, что URL-адрес необходимо сканировать. В результате страница все равно будет просканирована, и Google отправит вам предупреждение «Проиндексировано, но заблокировано файлом robots.txt».

Гэри Иллис объяснил процесс сканирования роботов Google. Google формирует список URL-адресов и сортирует их по приоритету.Сканирование выполняется сверху вниз по списку.

Как вы определяете приоритеты? — Прежде всего, Google учитывает PageRank страницы. Среди других факторов — карта сайта, ссылки и многое другое.

Как только поисковый робот сканирует URL-адрес и анализирует его содержимое, он добавляет новые URL-адреса в список для их сканирования (немедленно или позже).

Нет надежного способа составить список причин, по которым бот-поисковый робот будет сканировать URL-адрес и почему нет.Однако, если он решит сканировать страницу, он обязательно это сделает. В итоге. Когда именно это произойдет, отчасти зависит от вас.

Как определить проблему обходного бюджета?

Когда робот поисковой системы находит много ссылок на вашем сайте и дает вам большой бюджет сканирования, у вас не будет никаких проблем. Однако что, если ваш сайт состоит из сотен тысяч страниц, но бюджет сканирования невелик? В этом случае вам придется месяцами ждать, пока поисковая система заметит какие-либо изменения на вашем сайте.

Вот что вы можете сделать, чтобы выяснить, есть ли у вас проблема с обходным бюджетом:

• Укажите, сколько страниц вашего веб-сайта следует проиндексировать (эти страницы не должны иметь метатег NOINDEX или быть перечислены в файле robots.txt).
• Сравните количество проиндексированных страниц с общим количеством страниц на вашем сайте с помощью инструментов Google и Яндекс для веб-мастеров.
• В зависимости от поисковой системы выберите инструмент «Статистика сканирования» или отчет «Статистика сканирования».Google работает методично и обычно сканирует страницу за страницей. При этом в Яндексе нет явной системы (см. Скриншот). Иногда он вообще не сканирует сайт или сканирует только некоторые страницы.

• Разделите количество страниц на среднее количество просканированных страниц за день. Если результат в 10 раз превышает количество страниц, сканируемых веб-сканером в день, вам необходимо оптимизировать краулинговый бюджет. Если ваше число меньше 3, все в порядке.

Полезно сравнить количество страниц в поисковых индексах Google и Яндекс. Обходные пути для этих систем разные, но разница должна быть незначительной. Более того, различия в наборе данных этих панелей для веб-мастеров помогут вам получить больше информации и идей.

Как улучшить краулинговый бюджет

Этот абзац включает в себя множество моментов, которые необходимо учесть. Поэтому мы начнем с самых простых до самых сложных.Тем не менее, все эти методы эффективны.

Общий принцип, который необходимо усвоить, заключается в том, что любая ранее проиндексированная страница, которую робот-робот не может просканировать несколько раз подряд, удаляется из поискового индекса. Это относится к страницам, которые недоступны по техническим причинам (например, из-за 500 ошибок), и страницам, индексирование которых заблокировано намеренно — например, с помощью тега NOINDEX.

Деиндексирование страниц Google занимает много времени. Длится месяц.В течение всего этого времени Google проводит периодические проверки, чтобы убедиться, что страница доступна. Яндекс быстрее деиндексирует «битую» страницу. Однако он будет продолжать индексировать и деиндексировать его неоднократно, пока вы не устраните проблемы.

Устранение проблем

Существует только два типа действительных ответов сервера для правильно настроенного веб-сайта: 200 (ОК) и 301 (постоянное перенаправление). Обратите внимание, что первое должно значительно преобладать над вторым. Все остальные ответы требуют внимательного рассмотрения и исправления, и вот почему.

• Если вы по какой-то причине использовали временные 302 редиректы вместо постоянных 301, то бот поисковой системы будет вести себя соответствующим образом: поскольку контент временно недоступен, поисковая система не удалит его. Вместо этого он будет периодически перепроверять страницу. Таким образом, вы просто тратите свой краулинговый бюджет.
• Второй пример — использование ошибки 404 (не найдено) вместо ошибки 410 (ошибка пропавшего). Логика проста: если страницу удалить, система попытается деиндексировать и забыть об этом.В случае ошибки 404 сканеры сайта планируют перепроверить страницу позже.
• 500 ошибок — худшие. Это явный признак некачественного ресурса. Из-за этих ошибок снижается предел скорости сканирования. В результате роботы-роботы сканируют ваш сайт все реже и реже.

Если вы видите это в своих журналах или отчетах SiteAnalyzer, Screaming Frog SEO Spider или их аналогов, выясните причины и примите срочные меры.

Еще один важный источник информации об ошибках — это инструменты для веб-мастеров.Используйте их для отслеживания наиболее важных страниц, чтобы получать уведомления об ошибках и быстро их исправлять.

Избавьтесь от ненужных файлов и дублированного контента

Индекс поисковой системы не должен включать служебные страницы, страницы клиентов, дублирующие другие страницы, страницы фильтров, страницы сравнения продуктов, страницы с параметрами UTM и черновики страниц. Остановите индексирование этих страниц с помощью файла robots.txt.

Сайты электронной коммерции больше всего страдают от дублирования контента. Дублированный контент означает, что похожий контент доступен в нескольких местах (URL) в Интернете, и в результате поисковые системы не знают, какой URL показывать в результатах поиска.Иногда Google индексирует страницы продуктов и даже сеансы клиентов, включая продукты из корзины.

Главное правило — сохранять только одну версию каждого URL!

Иногда удалить дублирующийся контент просто невозможно. В таких ситуациях вы можете использовать канонические теги, которые сообщают поисковым роботам, какую страницу следует проиндексировать, а какие страницы следует игнорировать. В этом случае канонический тег действует как мягкое перенаправление 301.

Вот пример такого случая: карточка товара попадает в две разные товарные категории и отображается с разными URL-адресами.Похоже, у вас две одинаковые страницы с разными URL-адресами. Поисковые системы могут рассматривать одну из этих страниц как копию другой и индексировать только главную страницу. Однако затем они могут снова проиндексировать обе страницы. А затем удалите один из них из поискового индекса. Чтобы избежать этого и не тратить впустую краулинговый бюджет, используйте канонические теги, если система управления контентом сайта не предлагает лучшего решения.

Другой возможный вариант — использовать метатег NOINDEX. Однако имейте в виду, что такие страницы в любом случае сканируются, только реже, чем обычно.Таким образом, краулинговый бюджет продолжает уменьшаться. Кстати, не забудьте добавить в тег NOINDEX атрибут Follow. Таким образом вы предотвратите накопление таких страниц PageRank.

Если вы хотите избавиться от дублированного контента раз и навсегда, вам придется принять более радикальные меры, чем использование метадиректив для поисковых роботов. Если возможно, подумайте об удалении повторяющегося содержимого.

Например: вы можете использовать варианты одного и того же товара, которые немного отличаются друг от друга (цвет, размер и другие параметры).

Минимизировать перенаправления

Первое, что вам нужно сделать при проведении технического SEO-аудита сайта, — это проверить перенаправления с домашней страницы. Он может быть доступен через HTTP или HTTPS, а также иметь URL-адреса, отличные от WWW и WWW. Это дублированные версии одной и той же домашней страницы. Поисковая система может выбрать любое перенаправление в качестве основного. Вы потеряете контроль и потратите впустую свой краулинговый бюджет. Вот почему вы должны настроить 301 (постоянное) перенаправление на правильную версию.

Кроме того, вам необходимо убедиться, что вы используете только одно перенаправление, которое используется между начальным URL и целевым URL.Неправильные настройки перенаправления могут привести к цепочке из двух или трех перенаправлений. Это плохо, и вот почему. Поисковый робот видит новые URL-адреса и добавляет их в свой список URL-адресов для сканирования. Тем не менее, это не означает, что он немедленно проверит эти URL-адреса. Чем длиннее цепочка перенаправлений, тем дольше будет процесс. В результате сканирование задерживается.

Вот типичный пример неправильного перенаправления HTTPS:

Уменьшение количества ссылок — еще одна проблема, связанная с чрезмерным количеством перенаправлений.Объем ссылок уменьшается с каждым перенаправлением, что снижает эффективность построения ссылок.

Домашняя страница — не единственное место, где следует проверять двойные перенаправления. Если при анализе просмотров страниц вы столкнулись с множеством проблем, не забудьте провести тест перенаправления.

Создание XML-карты сайта

Карта сайта должна включать полный список страниц веб-сайта, которые следует проиндексировать. Только важные вещи! Поисковые системы используют его как средство навигации и получают список URL-адресов для сканирования.Файл sitemal.xml может содержать информацию о дате создания, дате последнего изменения, приоритете важности, скорости сканирования и т. Д.

Не думайте, что поисковый робот всегда учитывает ваши инструкции. Вы можете только надеяться, что робот увидит ваш список URL-адресов для сканирования и в конечном итоге использует его. Все остальное обычно игнорируется, чтобы избежать манипуляций. Однако это не означает, что вы не должны использовать эти директивы. Делайте все, что в ваших силах, но не ожидайте, что это даст стопроцентный эффект.

Не каждая CMS позволяет создать карту сайта в соответствии с вашими планами. Он может включать много нежелательных элементов. Что еще хуже, некоторые CMS даже не позволяют создавать карты сайта. В таких случаях вы можете использовать сторонний плагин или вручную отправить карту сайта, созданную с помощью программного обеспечения или внешней службы.

Некоторые эксперты рекомендуют удалять все URL-адреса из карты сайта, как только страницы будут проиндексированы. Не делайте этого, так как это может повредить вашему краулинговому бюджету.

Проверьте карту сайта.xml время от времени. Файл не должен включать удаленные страницы, перенаправления и URL-адреса ошибок.

Создайте хорошую структуру веб-сайта

Это, наверное, самый сложный шаг для выполнения. Реструктуризация функционирующего веб-сайта будет непростой задачей. Создать правильную структуру сайта еще на стадии разработки намного проще.

Плоская структура сайта — это веб-сайт, на котором все страницы находятся на расстоянии четырех или менее кликов от домашней страницы. Глубокая иерархия сайтов состоит из пяти и более подуровней.

Общий принцип: глубокие и сложные структуры сайтов труднее обходить, чем плоские.Кроме того, они менее удобны для посетителей. Добавьте сюда неэффективную навигацию и отсутствие мобильной оптимизации, и у вас будет полный набор проблем с SEO.

Используйте лучшие практики плоской структуры сайта, чтобы сделать важные страницы доступными всего за несколько кликов. Плоская, горизонтальная конструкция предпочтительнее вертикальной.

Однако учтите, что плоская структура без категорий также неэффективна. Вам необходимо разработать структуру, которая сочетает в себе простоту и последовательность иерархии.Однако эта тема требует отдельного обсуждения.

Вам нужно будет использовать нетривиальные методы, выходящие за рамки технического SEO, для оптимизации структуры вашего сайта. Начать следует с визуализации существующей конструкции. В этом вам могут помочь многие инструменты аудита веб-сайтов. На этом этапе можно приступить к внесению небольших корректировок.

Если вы планируете внести глобальные изменения, начните с семантики и группировки запросов. Определите, что можно соединить, объединить или поднять на уровень выше.Возможно, вы сможете полностью удалить некоторые страницы.

Обратите внимание, , что Google и Яндекс ранжируют сайты по-разному. Ваш рейтинг в Google не повысится, если у вас будет куча спам-страниц. В то же время Яндекс ставит более крупные сайты выше, даже если их содержание не на высшем уровне. Поэтому придется искать компромисс.

Использовать заголовок Last-Modified

Большинство разработчиков веб-сайтов и системных администраторов игнорируют этот важный технический параметр.К сожалению, даже некоторые специалисты по SEO не понимают важности последнего измененного заголовка ответа.

Заголовок Last-Modified используется для:

• снизить нагрузку на сервер;
• ускорить индексацию сайта;
• повысить скорость загрузки сайта.

Последний измененный заголовок ответа особенно важен, если ваш сайт большой и вы обновляете его ежедневно. Однако многие веб-мастера вообще не используют его.

Как работает заголовок Last-Modified

Поисковый робот или браузер обращается к определенному URL-адресу, запрашивая веб-страницу.Если он не изменился с момента последнего взаимодействия, сервер возвращает заголовок «304 Not Modified». В этом случае нет необходимости перезагружать уже проиндексированный контент. Однако, если были изменения, то сервер отправит ответ «200 OK», и новый контент будет загружен.

Помимо улучшения производительности, поисковая система обновляет дату содержания страницы. Это очень важно с точки зрения рейтинга, особенно для областей, связанных со здоровьем человека и финансами (YMYL).

Last-Modified позволяет поисковому роботу удалить из своего списка некоторые страницы, которые не были обновлены. Он сканирует обновленные страницы, которые были оптимизированы вами. Вы помогаете расставить приоритеты и сэкономить краулинговый бюджет.

Примечание. Используйте заголовок Last-Modified на страницах с наиболее статичным содержимым. Сквозной блок с обновленным содержимым — это не то, что обновленное содержимое, и сканеру это может не понравиться. Как минимум уменьшите количество таких блоков на целевых страницах. То, что хорошо работает на главной странице, не требуется на других целевых страницах.

Для проверки этого заголовка можно использовать средство проверки ответа заголовка HTTP или аналогичные инструменты.

Улучшите свой ссылочный профиль

Если есть проблемы с индексацией веб-сайта, вам следует проверить ссылочный профиль. Улучшение ссылочного профиля — самый медленный и самый сложный способ оптимизации краулингового бюджета, но он очень полезен.

Обратите внимание, что мы говорим не только о внешних ссылках. Внутренние ссылки также ускоряют индексацию. Когда сканер поисковой системы получает ссылку на часто просматриваемой странице, новая страница будет проиндексирована быстрее.

То же самое касается ссылочного капитала, который передается по внутренним ссылкам. Чем больше ссылок ведет на страницу, тем выше ее важность для бота. Распределяйте ссылочный вес с умом.

страниц, ссылающихся на самих себя, «висячие узлы» и сиротские страницы

Эти ошибки напрямую связаны с внутренними ссылками и вызывают проблемы с индексированием и сканированием. К счастью, эти проблемы легко решить.

Самый простой пример ссылки на страницу — это цепочка навигации, которая указывает, где находится пользователь на сайте.Он не обязательно должен быть интерактивным — вы можете использовать его только для навигации по посетителям. Однако вы также можете просто избавиться от хлебных крошек — это не вызовет проблем с удобством использования.

«Висячий узел» — страница без исходящих ссылок. Он получает ссылочный вес, но не распределяет его. Это тупик для краулера поисковой системы, которому некуда деться со страницы. Обычно такие страницы не вызывают проблем, но их нужно проанализировать и по возможности внести коррективы.

Орфанные страницы представляют собой гораздо более серьезную проблему.Это страницы, которые не связаны ни с какими другими разделами сайта. К счастью, такие страницы очень редки в современных CMS. Например, страница не перечисляется в категориях, не является частью навигации сайта или, что еще хуже, сайт взломан, и злоумышленники разместили свой контент по внешним ссылкам.

Заставьте сканеры сканировать ваш сайт

Вы можете вручную влиять на процессы сканирования. Есть несколько способов сделать это.

Переиндексируйте страницы в панелях веб-мастеров.И Google, и Яндекс позволяют вручную заставлять сканеры сканировать измененные или новые URL-адреса. Самый большой недостаток процесса — долгое время выполнения (до 10 минут) в Google и ограничение в 20 URL в Яндекс.

Делайте репосты в социальных сетях. Да, все еще работает. Выберите социальную сеть, которую отслеживают и сканируют сканеры, и оставьте там свою ссылку. Не стесняйтесь пользоваться своим Твиттером или ВКонтакте.

Проверка журналов

Проверка журналов сервера позволяет узнать все о расписании веб-сканеров.Однако в некоторых случаях вы не сможете получить к ним доступ. Если у вас возникла такая проблема, вам лучше сменить хостинг.

Если у вас нет навыков администратора сервера, журнал вас наверняка напугает. Данных слишком много, и большая их часть бесполезна. Если ваш сайт небольшой, вы сможете работать с логами даже в Notepad ++. Однако попытка открыть журнал большого интернет-магазина может привести к сбою вашего компьютера. В этом случае вам следует использовать профессиональное программное обеспечение для сортировки и фильтрации данных.

Для анализа данных можно использовать настольное программное обеспечение, такое как GamutLogViewer или Screaming Frog Log File Analyzer. Существуют также онлайн-сервисы, такие как splunk.com. Помните, что онлайн-сервисы дороги и рассчитаны на большие объемы данных.

Есть проблема: не каждый GoogleBot, который вы найдете в журналах, на самом деле является GoogleBot. Вот почему вам следует проверить IP-адрес бота и использовать WHOIS для фильтрации фейков.

Ваша цель — обработать данные за достаточно большой период (оптимально месяц) и найти закономерности.Вы должны проверить следующие факторы:

• Как часто сканер посещает ваш сайт?
• Какие URL-адреса наиболее посещаются поисковыми роботами?
• Какие URL-адреса игнорируются поисковыми роботами?
• Возникли ли ошибки на веб-сайте?
• Сканирует ли файл Sitemap?
• Какие категории требуют больше всего ресурсов?

Получив эти данные, вы узнаете, нравятся ли сканерам поисковых систем ваши целевые страницы и почему.Например, вы можете обнаружить, что поисковый робот предпочитает информационный раздел вашего сайта. Это легко объяснить: у этого раздела сайта наибольшее количество внутренних ссылок

Заключение

Оптимизация краулингового бюджета — один из наиболее важных аспектов технического SEO. Слишком маленький предел скорости сканирования снижает эффективность продвижения. После внесения изменений вы ждете изменения рейтинга. Как убедиться, что они приняли меры, которые сработали, даже если нет динамики?

Если ваш сайт семантически структурирован, хорош с технической точки зрения и не очень большой, то вам даже не нужно беспокоиться о своем краулинговом бюджете.Однако небольшие улучшения в любом случае пойдут вам на пользу, поэтому вам следует потратить некоторое время, чтобы проверить свой веб-сайт и внести необходимые изменения.

Robots.txt — Все, что нужно знать оптимизаторам поисковых систем

В этом разделе нашего руководства по директивам для роботов мы более подробно рассмотрим текстовый файл robots.txt и то, как его можно использовать для инструктирования поисковой системе в Интернете. краулеры. Этот файл особенно полезен для управления бюджетом сканирования и проверки того, что поисковые системы проводят время на вашем сайте эффективно и сканируют только важные страницы.

Для чего используется txt-файл robots?

Файл robots.txt предназначен для того, чтобы сообщить сканерам и роботам, какие URL-адреса им не следует посещать на вашем веб-сайте. Это важно, чтобы помочь им избежать сканирования страниц низкого качества или застревания в ловушках сканирования, где потенциально может быть создано бесконечное количество URL-адресов, например, раздел календаря, который создает новый URL-адрес для каждого дня.

Как объясняет Google в своем руководстве по спецификациям robots.txt , формат файла должен быть простым текстом в кодировке UTF-8.Записи (или строки) файла должны быть разделены CR, CR / LF или LF.

Следует помнить о размере файла robots.txt, поскольку поисковые системы имеют свои собственные ограничения на максимальный размер файла. Максимальный размер для Google — 500 КБ.

Где должен находиться файл robots.txt?

Файл robots.txt всегда должен существовать в корне домена, например:

Этот файл относится к протоколу и полному домену, поэтому robots.txt на https: // www.example.com не влияет на сканирование https://www.example.com или https://subdomain.example.com ; у них должны быть собственные файлы robots.txt.

Когда следует использовать правила robots.txt?

В общем, веб-сайты должны стараться как можно реже использовать robots.txt для контроля сканирования. Лучшее решение — улучшить архитектуру вашего веб-сайта и сделать его чистым и доступным для поисковых роботов. Однако с помощью robots.txt, если это необходимо для предотвращения доступа сканеров к некачественным разделам сайта, рекомендуется, если эти проблемы не могут быть устранены в краткосрочной перспективе.

Google рекомендует использовать файл robots.txt только при возникновении проблем с сервером или при проблемах с эффективностью сканирования, например, когда робот Google тратит много времени на сканирование неиндексируемых разделов сайта.

Вот несколько примеров страниц, сканирование которых может быть нежелательно:

• Страницы категорий с нестандартной сортировкой , так как это обычно создает дублирование со страницей основной категории
• Пользовательский контент , который нельзя модерировать
• Страницы с конфиденциальной информацией
• Внутренние поисковые страницы , так как таких страниц результатов может быть бесконечное количество, что создает неудобства для пользователей и расходует бюджет сканирования

Когда нельзя использовать robots.текст?

Файл robots.txt — полезный инструмент при правильном использовании, однако в некоторых случаях это не лучшее решение. Вот несколько примеров того, когда не следует использовать robots.txt для управления сканированием:

1. Блокировка Javascript / CSS

Поисковые системы должны иметь доступ ко всем ресурсам на вашем сайте, чтобы правильно отображать страницы, что является необходимой частью поддержания хорошего рейтинга. Файлы JavaScript, которые кардинально меняют взаимодействие с пользователем, но запрещены для сканирования поисковыми системами, могут привести к ручным или алгоритмическим штрафам.

Например, если вы показываете рекламное межстраничное объявление или перенаправляете пользователей с помощью JavaScript, к которому поисковая система не может получить доступ, это может рассматриваться как маскировка, и рейтинг вашего контента может быть соответствующим образом скорректирован.

2. Блокировка параметров URL

Вы можете использовать robots.txt для блокировки URL-адресов, содержащих определенные параметры, но это не всегда лучший способ действий. Лучше обрабатывать их в консоли поиска Google, поскольку там есть больше параметров для конкретных параметров, чтобы сообщить Google о предпочтительных методах сканирования.

Вы также можете поместить информацию во фрагмент URL ( / page # sort = price ), поскольку поисковые системы не сканируют его. Кроме того, если необходимо использовать параметр URL, ссылки на него могут содержать атрибут rel = nofollow, чтобы предотвратить попытки поисковых роботов получить к нему доступ.

3. Блокировка URL с обратными ссылками

Запрет URL-адресов в файле robots.txt предотвращает передачу ссылочного веса на веб-сайт. Это означает, что если поисковые системы не могут переходить по ссылкам с других веб-сайтов, поскольку целевой URL-адрес запрещен, ваш веб-сайт не получит авторитет, который передаются по этим ссылкам, и, как следствие, вы не сможете получить такой же высокий рейтинг в целом.

4. Получение деиндексированных проиндексированных страниц

Использование Disallow не приводит к деиндексированию страниц, и даже если URL-адрес заблокирован и поисковые системы никогда не сканировали страницу, запрещенные страницы все равно могут быть проиндексированы. Это связано с тем, что процессы сканирования и индексирования в значительной степени разделены.

5. Установка правил, игнорирующих поисковые роботы социальных сетей

Даже если вы не хотите, чтобы поисковые системы сканировали и индексировали страницы, вы можете захотеть, чтобы социальные сети имели доступ к этим страницам, чтобы можно было создать фрагмент страницы.Например, Facebook будет пытаться посетить каждую страницу, размещенную в сети, чтобы предоставить соответствующий фрагмент. Помните об этом при настройке правил robots.txt.

6. Блокировка доступа с тестовых или разработчиков сайтов

Использование robots.txt для блокировки всего промежуточного сайта — не лучшая практика. Google рекомендует не индексировать страницы, но разрешить их сканирование, но в целом лучше сделать сайт недоступным для внешнего мира.

7. Когда нечего блокировать

Некоторым веб-сайтам с очень чистой архитектурой не нужно блокировать поисковые роботы с каких-либо страниц.В этой ситуации совершенно приемлемо не иметь файла robots.txt и возвращать статус 404 по запросу.

Синтаксис и форматирование файла robots.txt

Теперь, когда мы узнали, что такое robots.txt и когда его следует и не следует использовать, давайте взглянем на стандартизированный синтаксис и правила форматирования, которых следует придерживаться при написании файла robots.txt.

Комментарии

Комментарии — это строки, которые полностью игнорируются поисковыми системами и начинаются с # .Они существуют, чтобы вы могли писать заметки о том, что делает каждая строка вашего robots.txt, почему она существует и когда была добавлена. В общем, рекомендуется задокументировать назначение каждой строки вашего файла robots.txt, чтобы ее можно было удалить, когда она больше не нужна, и не изменять, пока она все еще необходима.

Указание агента пользователя

Блок правил может быть применен к определенным пользовательским агентам с помощью директивы « User-agent ». Например, если вы хотите, чтобы определенные правила применялись к Google, Bing и Яндексу; но не Facebook и рекламные сети, этого можно достичь, указав токен пользовательского агента, к которому применяется набор правил.

У каждого поискового робота есть собственный токен агента пользователя, который используется для выбора совпадающих блоков.

будут следовать наиболее конкретным правилам пользовательского агента, установленным для них, с именами, разделенными дефисами, а затем вернутся к более общим правилам, если точное совпадение не будет найдено. Например, Googlebot News будет искать соответствие « googlebot-news «, затем « googlebot «, затем « * «.

Вот некоторые из наиболее распространенных токенов пользовательских агентов, с которыми вы можете столкнуться:

• * — Правила применяются к каждому боту, если нет более конкретного набора правил
• Googlebot — Все сканеры Google
• Googlebot-News — Поисковый робот для новостей Google
• Googlebot-Image — сканер изображений Google
• Mediapartners-Google — сканер Google AdSense
• Bingbot — сканер Bing
• Яндекс — поисковый робот Яндекса
• Baiduspider — краулер Baidu
• Facebot — поисковый робот Facebook
• Twitterbot — поисковый робот Twitter

Этот список токенов пользовательских агентов ни в коем случае не является исчерпывающим, поэтому, чтобы узнать больше о некоторых сканерах, взгляните на документацию, опубликованную Google , Bing , Yandex , Baidu , Facebook и Twitter .

При сопоставлении токена пользовательского агента с блоком robots.txt регистр не учитывается. Например. «Googlebot» будет соответствовать токену пользовательского агента Google «Googlebot».

URL с сопоставлением с шаблоном

У вас может быть определенная строка URL-адреса, которую вы хотите заблокировать от сканирования, поскольку это намного эффективнее, чем включение полного списка полных URL-адресов, которые следует исключить в файле robots.txt.

Чтобы помочь вам уточнить пути URL-адресов, вы можете использовать символы * и $. Вот как они работают:

• * — это подстановочный знак, представляющий любое количество любого символа.Он может быть в начале или в середине пути URL, но не обязателен в конце. Вы можете использовать несколько подстановочных знаков в строке URL-адреса, например, « Disallow: * / products? * Sort = ». Правила с полными путями не должны начинаться с подстановочного знака.
• $ — этот символ обозначает конец строки URL-адреса, поэтому « Disallow: * / dress $ » будет соответствовать только URL-адресам, оканчивающимся на « / dress », но не « / dress? Параметр ».

Стоит отметить, что robots.txt чувствительны к регистру, что означает, что если вы запретите URL-адреса с параметром « search » (например, « Disallow: *? search = »), роботы все равно могут сканировать URL-адреса с разными заглавными буквами, например «? Search = ничего ».

Правила директивы сопоставляются только с путями URL и не могут включать протокол или имя хоста. Косая черта в начале директивы совпадает с началом пути URL. Например. « Disallow: / start » будет соответствовать www.example.com/starts .

Если вы не добавите начало директивы, совпадающей с / или * , она ни с чем не будет соответствовать. Например. « Disallow: start » никогда ничего не будет соответствовать.

Чтобы помочь наглядно представить, как работают разные правила для URL, мы собрали для вас несколько примеров:

Robots.txt Ссылка на карту сайта

Директива карты сайта в файле robots.txt сообщает поисковым системам, где найти карту сайта XML, которая помогает им обнаруживать все URL-адреса на веб-сайте.Чтобы узнать больше о файлах Sitemap, ознакомьтесь с нашим руководством по аудиту файлов Sitemap и расширенной настройке .

При включении файлов Sitemap в файл robots.txt следует использовать абсолютные URL-адреса (например, https://www.example.com/sitemap.xml ) вместо относительных URL (например, /sitemap.xml ). Это также Стоит отметить, что карты сайта не обязательно должны находиться в одном корневом домене, они также могут размещаться во внешнем домене.

Поисковые системы обнаружат и могут сканировать карты сайта, указанные в вашем файле robots.txt, однако эти карты сайта не будут отображаться в Google Search Console или Bing Webmaster Tools без отправки вручную.

Блоки Robots.txt

Правило запрета в файле robots.txt может использоваться разными способами для различных пользовательских агентов. В этом разделе мы рассмотрим некоторые из различных способов форматирования комбинаций блоков.

Важно помнить, что директивы в файле robots.txt — это всего лишь инструкции. Вредоносные сканеры проигнорируют ваших роботов.txt и сканировать любую часть вашего сайта, которая является общедоступной, поэтому запрет не следует использовать вместо надежных мер безопасности.

Несколько блоков пользовательского агента

Вы можете сопоставить блок правил с несколькими пользовательскими агентами, указав их перед набором правил, например, следующие запрещающие правила будут применяться как к Googlebot, так и к Bing в следующем блоке правил:

User-agent: googlebot
User-agent: bing
Disallow: / a

Расстояние между блоками директив

Google игнорирует пробелы между директивами и блоками.В этом первом примере будет выбрано второе правило, даже если есть пробел, разделяющий две части правила:

[код]
User-agent: *
Disallow: / disallowed /

Запретить: / test1 / robots_excluded_blank_line
[/ code]

Во втором примере робот Googlebot-mobile унаследует те же правила, что и Bingbot:

[код]
User-agent: googlebot-mobile

User-agent: bing
Disallow: / test1 / deepcrawl_excluded
[/ code]

Блоки раздельные комбинированные

Объединяются несколько блоков с одним и тем же пользовательским агентом.Таким образом, в приведенном ниже примере верхний и нижний блоки будут объединены, и роботу Googlebot будет запрещено сканировать « / b » и « / a ».

User-agent: googlebot
Disallow: / b

User-agent: bing
Disallow: / a

User-agent: googlebot
Disallow: / a

Robots.txt Разрешить

«Разрешающее» правило robots.txt явно дает разрешение на сканирование определенных URL. Хотя это значение по умолчанию для всех URL-адресов, это правило можно использовать для перезаписи запрещающего правила.Например, если « / location » не разрешено, вы можете разрешить сканирование « / locations / london » с помощью специального правила « Allow: / locations / london ».

Robots.txt Приоритизация

Когда к URL-адресу применяется несколько разрешающих и запрещающих правил, применяется самое длинное правило сопоставления. Давайте посмотрим, что произойдет с URL « / home / search / shirts » при следующих правилах:

Disallow: / home
Allow: * search / *
Disallow: * рубашки

В этом случае сканирование URL разрешено, поскольку правило разрешения содержит 9 символов, а правило запрета — только 7.Если вам нужно разрешить или запретить конкретный URL-путь, вы можете использовать *, чтобы сделать строку длиннее. Например:

Disallow: ******************* / рубашки

Если URL-адрес соответствует и разрешающему правилу, и запрещающему правилу, но правила имеют одинаковую длину, будет выполнено запрещение. Например, URL « / search / shirts » будет запрещен в следующем сценарии:

Disallow: / search
Allow: * рубашки

Роботы.txt Директивы

Директивы уровня страницы (которые мы рассмотрим позже в этом руководстве) — отличные инструменты, но проблема с ними заключается в том, что поисковые системы должны сканировать страницу, прежде чем смогут прочитать эти инструкции, что может потребовать бюджета сканирования.

Директивы Robots.txt могут помочь снизить нагрузку на бюджет сканирования, поскольку вы можете добавлять директивы непосредственно в файл robots.txt, а не ждать, пока поисковые системы просканируют страницы, прежде чем принимать меры. Это решение намного быстрее и проще в использовании.

Следующие директивы robots.txt работают так же, как директивы allow и disallow, в том, что вы можете указать подстановочные знаки ( * ) и использовать символ $ для обозначения конца строки URL.

Robots.txt NoIndex

Robots.txt noindex — полезный инструмент для управления индексированием поисковой системы без использования краулингового бюджета. Запрещение страницы в robots.txt не означает, что она удаляется из индекса, поэтому для этой цели гораздо эффективнее использовать директиву noindex.

Google официально не поддерживает noindex в robots.txt, и вам не следует полагаться на него, потому что, хотя он работает сегодня, он может не работать завтра. Этот инструмент может быть полезен и должен использоваться в качестве краткосрочного исправления в сочетании с другими долгосрочными элементами управления индексами, но не в качестве критически важной директивы. Взгляните на тесты, проведенные ohgm и Stone Temple , которые оба доказывают, что функция работает эффективно.

Вот пример использования роботов.txt noindex:

[код]
Агент пользователя: *
NoIndex: / directory
NoIndex: / *? * Sort =
[/ code]

Помимо noindex, Google в настоящее время неофициально подчиняется нескольким другим директивам индексирования, когда они помещаются в robots.txt. Важно отметить, что не все поисковые системы и сканеры поддерживают эти директивы, а те, которые поддерживают, могут перестать поддерживать их в любой момент — не следует полагаться на их постоянную работу.

Обычные роботы.txt, проблемы

Есть несколько ключевых проблем и соображений, касающихся файла robots.txt и его влияния на производительность сайта. Мы нашли время, чтобы перечислить некоторые ключевые моменты, которые следует учитывать при использовании robots.txt, а также некоторые из наиболее распространенных проблем, которых вы, надеюсь, можете избежать.

1. Имейте запасной блок правил для всех ботов — Использование блоков правил для определенных строк пользовательского агента без резервного блока правил для каждого другого бота означает, что ваш сайт в конечном итоге встретит бота, у которого нет никаких наборов правил для следить.
2. I t Важно, чтобы файл robots.txt поддерживался в актуальном состоянии. — Относительно распространенная проблема возникает, когда файл robots.txt устанавливается на начальном этапе разработки веб-сайта, но не обновляется по мере роста веб-сайта, а это означает, что потенциально полезные страницы запрещены.
3. Помните о перенаправлении поисковых систем через запрещенные URL-адреса — Например, / продукт > / запрещено > / категория
4. Чувствительность к регистру может вызвать множество проблем — Веб-мастера могут ожидать, что какой-то раздел веб-сайта не будет сканироваться, но эти страницы могут сканироваться из-за альтернативного регистра i.е. «Disallow: / admin» существует, но поисковые системы сканируют « / ADMIN ».
5. Не запрещать URL-адреса с обратными ссылками — Это предотвращает переход PageRank на ваш сайт от других пользователей, которые ссылаются на вас.
6. Задержка сканирования может вызвать проблемы с поиском — Директива « crawl-delay » заставляет сканеры посещать ваш веб-сайт медленнее, чем им хотелось бы, а это означает, что ваши важные страницы могут сканироваться реже, чем это необходимо. Эта директива не соблюдается Google или Baidu, но поддерживается Bing и Яндексом.
7. Убедитесь, что robots.txt возвращает код состояния 5xx только в том случае, если весь сайт не работает. — Возвращение кода состояния 5xx для /robots.txt указывает поисковым системам, что веб-сайт закрыт на техническое обслуживание. Обычно это означает, что они попытаются сканировать веб-сайт еще раз позже.
8. Disallow Robots.txt переопределяет инструмент удаления параметров. — Помните, что ваши правила robots.txt могут переопределять обработку параметров и любые другие подсказки по индексации, которые вы могли дать поисковым системам.
9. Разметка окна поиска дополнительных ссылок будет работать с заблокированными страницами внутреннего поиска — Страницы внутреннего поиска на сайте не должны сканироваться, чтобы разметка окна поиска дополнительных ссылок работала.
10. Запрещение перенесенного домена повлияет на успех миграции — Если вы запретите перенесенный домен, поисковые системы не смогут отслеживать какие-либо перенаправления со старого сайта на новый, поэтому миграция маловероятна. быть успешным.

Роботы для тестирования и аудита.txt

Учитывая, насколько опасным может быть файл robots.txt, если директивы внутри него не обрабатываются должным образом, есть несколько различных способов проверить его, чтобы убедиться, что он настроен правильно. Взгляните на это руководство о том, как проверять URL-адреса, заблокированные файлом robots.txt , а также на эти примеры:

• Используйте DeepCrawl — Запрещенные страницы и Запрещенные URL (не просканированные) Отчеты могут показать вам, какие страницы блокируются поисковыми системами вашими роботами.txt файл.
• Используйте Google Search Console — с помощью инструмента тестера robots.txt GSC вы можете просматривать последнюю кэшированную версию страницы, а также использовать инструмент Fetch and Render для просмотра рендеров от пользовательского агента Googlebot, а также пользовательский агент браузера. На заметку: GSC работает только с пользовательскими агентами Google, и можно тестировать только отдельные URL-адреса.
• Попробуйте объединить данные обоих инструментов, выбрав выборочную проверку запрещенных URL-адресов, которые DeepCrawl пометил в роботах GSC.txt tester, чтобы уточнить конкретные правила, которые приводят к запрету.

Monitoring Robots.txt Изменения

Когда над сайтом работает много людей и возникают проблемы, если хотя бы один символ неуместен в файле robots.txt, постоянный мониторинг вашего robots.txt имеет решающее значение. Вот несколько способов проверить наличие проблем:

• Проверьте Google Search Console, чтобы увидеть текущие robots.txt, который использует Google. Иногда robots.txt может быть доставлен условно на основе пользовательских агентов, поэтому это единственный способ увидеть, что именно видит Google.
• Проверьте размер файла robots.txt, если вы заметили значительные изменения, чтобы убедиться, что он не превышает установленный Google предел в 500 КБ.
• Перейдите к отчету о статусе индекса в Google Search Console в расширенном режиме, чтобы проверить изменения файла robots.txt с количеством запрещенных и разрешенных URL-адресов на вашем сайте.
• Запланируйте регулярное сканирование с помощью DeepCrawl, чтобы отслеживать количество запрещенных страниц на вашем сайте на постоянной основе, чтобы вы могли отслеживать изменения.

Далее: Директивы по роботам на уровне URL

Автор

Рэйчел Костелло

Рэйчел Костелло — технический менеджер по поисковой оптимизации и контенту DeepCrawl. Чаще всего она пишет и говорит обо всем, что касается SEO.

Что делать NOINDEX?

Ладно, кому-то этот пост будет колоссально скучен. Но я хотел дать вам возможность взглянуть на дебаты за кулисами в группе качества поиска Google.Вот обсуждение политики NOINDEX и того, как Google должен обрабатывать метатег NOINDEX. Во-первых, вы хотите прочитать этот пост о том, как Google обрабатывает метатег NOINDEX. Вы также можете посмотреть это видео о том, как удалить свой контент из Google или вообще предотвратить его индексирование. Вот вывод из моего предыдущего сообщения в блоге:

Таким образом, исходя из размера выборки в одну страницу, похоже, что поисковые системы обрабатывают метатег «NOINDEX»:
— Google никак не отображает страницу
— Ask никак не отображает страницу
— MSN показывает ссылку на URL и кешированную ссылку, но без фрагмента.Нажатие на кешированную ссылку ничего не возвращает.
— Yahoo! показывает ссылку на URL и кешированную ссылку, но без фрагмента. Щелчок по кэшированной ссылке возвращает кешированную страницу.

Вопрос в том, следует ли Google полностью исключать страницу с NOINDEX из результатов поиска или показывать ссылку на страницу или что-то среднее между ними? Приведу аргументы по каждому:

Полностью удалить страницу NOINDEX

Так мы поступаем последние несколько лет, и веб-мастера к этому привыкли.Мета-тег NOINDEX дает хороший способ — по сути, один из немногих — полностью удалить все следы сайта из Google (другой способ — наш инструмент для удаления URL-адресов). Это невероятно полезно для веб-мастеров. Единственный угловой случай заключается в том, что если Google видит ссылку на страницу A, но на самом деле не сканирует страницу, мы не узнаем, что страница A имеет тег NOINDEX, и можем показать страницу как непросканированный URL. Для этого есть интересное средство: в настоящее время Google разрешает директиву NOINDEX в файле robots.txt, которая полностью удаляет все совпадающие URL-адреса сайтов из Google.(Это поведение, конечно, может измениться в результате обсуждения политики, поэтому мы мало говорили об этом.)

Веб-мастера иногда стреляют себе в ногу, используя NOINDEX, но если посещаемость сайта из Google очень низкая, веб-мастер будет заинтересован в диагностике проблемы самостоятельно. Кроме того, мы могли бы добавить проверку NOINDEX в консоль для веб-мастеров, чтобы помочь веб-мастерам самостоятельно диагностировать, удалили ли они свой собственный сайт с помощью NOINDEX. Мета-тег NOINDEX выполняет полезную роль, отличную от robots.txt, а тег находится достаточно далеко от проторенного пути, поэтому мало кто использует тег NOINDEX по ошибке.

Показать ссылку / отсылку на страницы NOINDEX

Наш высший долг — перед нашими пользователями, а не перед отдельным веб-мастером. Когда пользователь выполняет навигационный запрос, а мы не возвращаем нужную ссылку из-за тега NOINDEX, это ухудшает взаимодействие с пользователем (плюс это похоже на проблему Google). Если веб-мастер действительно хочет, чтобы его не было в Google, он может использовать инструмент удаления URL-адресов Google.Цифры небольшие, но мы определенно видим, что некоторые сайты случайно удаляются из Google. Например, если веб-мастер добавляет метатег NOINDEX для завершения сайта, а затем забывает удалить этот тег, сайт не будет отображаться в Google, пока веб-мастер не поймет, в чем проблема. Кроме того, недавно мы увидели, как несколько популярных корейских сайтов не возвращаются в Google, потому что все они имеют метатег NOINDEX. Если громкие сайты вроде

— http://www.police.go.kr/main/index.do (Национальное полицейское агентство Кореи)
— http: // www.nmc.go.kr/ (Национальный медицинский центр Кореи)
— http://www.yonsei.ac.kr/ (Университет Йонсей)

не отображаются в Google из-за метатега NOINDEX, что плохо для пользователей (и, следовательно, для Google).

Некоторая золотая середина между

Подавляющее большинство веб-мастеров, использующих NOINDEX, делают это намеренно и правильно используют метатег (например, для припаркованных доменов, которые они не хотят отображать в Google). Больше всего пользователей обескураживает, когда они ищут известный сайт и не могут его найти.Что, если бы Google по-другому относился к NOINDEX, если бы сайт был хорошо известен? Например, если сайт находился в открытом каталоге, то показывать ссылку на страницу, даже если сайт использовал метатег NOINDEX. В противном случае вообще не показывать сайт. Большинство веб-мастеров могут удалить свой сайт из Google, но Google по-прежнему будет возвращать сайты с более высоким профилем, когда пользователи будут искать их.

Как вы думаете?

Это внутреннее обсуждение, которое мы вели по поводу метатегов NOINDEX.Теперь мне любопытно, что вы думаете. Вот опрос:

{демократия: 6}

Мне также были бы интересны (конструктивные) предложения в комментариях о том, как Google должен обрабатывать метатег NOINDEX. Прежде чем оставлять комментарий, постарайтесь занять место как обычного пользователя, так и владельца сайта.

критических ошибок в вашем файле robots.txt нарушат ваш рейтинг, и вы даже не узнаете об этом

Использование файла robots.txt давно обсуждается веб-мастерами, поскольку он может оказаться сильным инструментом, если он хорошо написан или с его помощью можно прострелить себе ногу.В отличие от других концепций SEO, которые можно считать более абстрактными и для которых у нас нет четких рекомендаций, файл robots.txt полностью задокументирован Google и другими поисковыми системами.

Вам нужен файл robots.txt только , если у вас есть определенные части вашего веб-сайта, которые вы не хотите индексировать, и / или вам нужно блокировать или управлять различными сканерами.

* спасибо Ричарду за исправление текста выше.(см. комментарии для получения дополнительной информации) Что важно понимать в случае файла robots, так это тот факт, что он не служит законом для выполнения поисковыми роботами, это скорее указатель с несколькими указателями. Соблюдение этих рекомендаций может привести к более быстрой и лучшей индексации поисковыми системами, а ошибки, скрывающие важный контент от поисковых роботов, в конечном итоге приведут к потере трафика и проблемам с индексацией.