Robots disallow all: Robots.txt — инструкция для SEO — GnomesMonetiZed.RU — Экономическая онлайн игра Золото лепреконов

Содержание

Robots.txt — инструкция для SEO

Файл robots.txt предоставляет важную информацию для поисковых роботов, которые сканируют интернет. Перед тем как пройтись по страницам вашего сайта, поисковые роботы проверяют данный файл.

Это позволят им с большей эффективностью сканировать сайт, так как вы помогаете роботам сразу приступать к индексации действительно важной информации на вашем сайте (это при условии, что вы правильно настроили robots.txt).

Но, как директивы в robots.txt, так и инструкция noindex в мета-теге robots являются лишь рекомендацией для роботов, поэтому они не гарантируют что закрытые страницы не будут проиндексированы и не будут добавлены в индекс.

Если вам нужно действительно закрыть часть сайта от индексации, то, например, можно дополнительно воспользоваться закрытие директорий паролем.

Основной синтаксис

User-Agent: робот для которого будут применяться следующие правила (например, «Googlebot»)

Disallow: страницы, к которым вы хотите закрыть доступ (можно указать большой список таких директив с каждой новой строки)

Каждая группа User-Agent / Disallow должны быть разделены пустой строкой. Но, не пустые строки не должны существовать в рамках группы (между User-Agent и последней директивой Disallow).

Символ хэш (#) может быть использован для комментариев в файле robots.txt: для текущей строки всё что после # будет игнорироваться. Данные комментарий может быть использован как для всей строки, так в конце строки после директив.

Каталоги и имена файлов чувствительны к регистру: «catalog», «Catalog» и «CATALOG» – это всё разные директории для поисковых систем.

Host: применяется для указание Яндексу основного зеркала сайта. Поэтому, если вы хотите склеить 2 сайта и делаете постраничный 301 редирект, то для файла robots.txt (на дублирующем сайте) НЕ надо делать редирект, чтобы Яндекс мог видеть данную директиву именно на сайте, который необходимо склеить.

Crawl-delay: можно ограничить скорость обхода вашего сайта, так как если у вашего сайта очень большая посещаемость, то, нагрузка на сервер от различных поисковых роботов может приводить к дополнительным проблемам.

Регулярные выражения: для более гибкой настройки своих директив вы можете использовать 2 символа

* (звездочка) – означает любую последовательность символов
$ (знак доллара) – обозначает конец строки

Основные примеры использования robots.txt

Запрет на индексацию всего сайта

User-agent: *

Disallow: /

Эту инструкцию важно использовать, когда вы разрабатываете новый сайт и выкладываете доступ к нему, например, через поддомен.

Очень часто разработчики забывают таким образом закрыть от индексации сайт и получаем сразу полную копию сайта в индексе поисковых систем. Если это всё-таки произошло, то надо сделать постраничный 301 редирект на ваш основной домен.

А такая конструкция ПОЗВОЛЯЕТ индексировать весь сайт:

User-agent: *

Disallow:

Запрет на индексацию определённой папки

User-agent: Googlebot

Disallow: /no-index/

Запрет на посещение страницы для определенного робота

User-agent: Googlebot

Disallow: /no-index/this-page. html

Запрет на индексацию файлов определенного типа

User-agent: *

Disallow: /*.pdf$

Разрешить определенному поисковому роботу посещать определенную страницу

User-agent: *

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html

User-agent: Yandex

Allow: /no-bots/block-all-bots-except-Yandex-page.html

Ссылка на Sitemap

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

Нюансы с использованием данной директивы: если у вас на сайте постоянно добавляется уникальный контент, то

лучше НЕ добавлять в robots.txt ссылку на вашу карту сайта,
саму карту сайта сделать с НЕСТАНДАРТНЫМ названием sitemap.xml (например, my-new-sitemap.xml и после этого добавить эту ссылку через «вебмастерсы» поисковых систем),

так как, очень много недобросовестных вебмастеров парсят с чужих сайтов контент и используют для своих проектов.

Статья в тему: Создаем sitemap для Google и Яндекс

Что лучше использовать robots. txt или noindex?

Если вы хотите, чтобы страница не попала в индекс, то лучше использовать noindex в мета-теге robots. Для этого на странице в секции <head> необходимо добавить следующий метатег:

Это позволит вам

убрать из индекса страницу при следующем посещение поискового робота (и не надо будет делать в ручном режиме удаление данной страницы, через вебмастерс)
позволит вам передать ссылочный вес страницы

Через robots.txt лучше всего закрывать от индексации:

админку сайта
результаты поиска по сайту
страницы регистрации/авторизации/восстановление пароля

Как и чем проверить файл robots.txt?

После того, как вы окончательно сформировали файл robots.txt необходимо проверить его на ошибки. Для этого можно воспользоваться инструментами проверки от поисковых систем:

Google Вебмастерс: войти в аккаунт с подтверждённым в нём текущим сайтом, перейти на Сканирование -> Инструмент проверки файла robots. txt.

В данном инструменте вы можете:

сразу увидеть все свои ошибки и возможные проблемы,
прямо в этом инструменте провести все правки и сразу проверить на ошибки, чтобы потом уже перенести готовый файл себе на сайт,
проверить правильно ли вы закрыли все не нужные для индексации страницы и открыты ли все нужные страницы.

Яндекс Вебмастер: чтобы воспользоваться данным инструментом просто перейдите по этой ссылке http://webmaster.yandex.ru/robots.xml.

Этот инструмент почти аналогичный предыдущему с тем небольшим отличием, что:

тут можно не авторизоваться и нет необходимости в подтверждении прав на сайт, а поэтому, можно сразу приступать к проверке вашего файла robots.txt,
для проверки сразу можно задать список страниц, а не вбивать их по одному,
точно убедиться, что Яндекс правильно понял ваши инструкции.

В заключение

Создание и настройка robots.

txt является в списке первых пунктов по внутренней оптимизации сайта и началом поискового продвижения.

Важно его настроить грамотно, чтобы нужные страницы и разделы были доступны к индексации поисковых систем. А не нужные были закрыты.

Но главное помнить, что robots.txt не гарантирует того, что страницы не будут проиндексированы. Как когда-то сказала наша коллега Анастасия Пареха:

Robots.txt — как презерватив, вроде защищает, но вероятность всегда есть)

Хорошие статьи в продолжение:

— 301 редирект – самое полное руководство

— Пагинация для SEO – пошаговое руководство

— Ответы сервера – практичная методичка

А что вы думаете про настройку robots.txt на сайте?

Оцените статью

Загрузка…

Что такое robots.txt и зачем он вообще нужен

Каждый блог дает свой ответ на этот счет. Поэтому новички в поисковом продвижении часто путаются, вот так:

Что за роботс ти экс ти?

Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать. Если файл будет содержать символы не в UTF-8, а в другой кодировке, поисковые роботы могут неправильно их обработать. Правила, перечисленные в файле robots.txt, действительны только в отношении того хоста, протокола и номера порта, где размещен файл.

Файл должен располагаться в корневом каталоге в виде обычного текстового документа и быть доступен по адресу: https://site.com.ua/robots.txt.

В других файлах принято ставить отметку ВОМ (Byte Order Mark). Это Юникод-символ, который используется для определения последовательности в байтах при считывании информации. Его кодовый символ — U+FEFF. В начале файла robots. txt отметка последовательности байтов игнорируется.

Google установил ограничение по размеру файла robots.txt — он не должен весить больше 500 Кб.

Ладно, если вам интересны сугубо технические подробности, файл robots.txt представляет собой описание в форме Бэкуса-Наура (BNF). При этом используются правила RFC 822.

При обработке правил в файле robots.txt поисковые роботы получают одну из трех инструкций:

частичный доступ: доступно сканирование отдельных элементов сайта;
полный доступ: сканировать можно все;
полный запрет: робот ничего не может сканировать.

При сканировании файла robots.txt роботы получают такие ответы:

2xx — сканирование прошло удачно;
3xx — поисковый робот следует по переадресации до тех пор, пока не получит другой ответ. Чаще всего есть пять попыток, чтобы робот получил ответ, отличный от ответа 3xx, затем регистрируется ошибка 404;
4xx — поисковый робот считает, что можно сканировать все содержимое сайта;
5xx — оцениваются как временные ошибки сервера, сканирование полностью запрещается. Робот будет обращаться к файлу до тех пор, пока не получит другой ответ.Поисковый робот Google может определить, корректно или некорректно настроена отдача ответов отсутствующих страниц сайта, то есть, если вместо 404 ошибки страница отдает ответ 5xx, в этом случае страница будет обрабатываться с кодом ответа 404.

Пока что неизвестно, как обрабатывается файл robots.txt, который недоступен из-за проблем сервера с выходом в интернет.

Зачем нужен файл robots.txt

Например, иногда роботам не стоит посещать:

страницы с личной информацией пользователей на сайте;
страницы с разнообразными формами отправки информации;
сайты-зеркала;
страницы с результатами поиска.

Важно: даже если страница находится в файле robots.txt, существует вероятность, что она появится в выдаче, если на неё была найдена ссылка внутри сайта или где-то на внешнем ресурсе.

Так роботы поисковых систем видят сайт с файлом robots.txt и без него:

Без robots. txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу, а из-за этого пострадаете и вы, и сайт.

Так робот поисковых систем видит файл robots.txt:

Google обнаружил файл robots.txt на сайте и нашел правила, по которым следует сканировать страницы сайта

Как создать файл robots.txt

С помощью блокнота, Notepad, Sublime, либо любого другого текстового редактора.

В содержании файла должны быть прописаны инструкция User-agent и правило Disallow, к тому же есть еще несколько второстепенных правил.

User-agent — визитка для роботов

User-agent — правило о том, каким роботам необходимо просмотреть инструкции, описанные в файле robots.txt. На данный момент известно 302 поисковых робота. Чтобы не прописывать всех по отдельности, стоит использовать запись:

Она говорит о том, что мы указываем правила в robots.txt для всех поисковых роботов.

Для Google главным роботом является Googlebot. Если мы хотим учесть только его, запись в файле будет такой:

В этом случае все остальные роботы будут сканировать контент на основании своих директив по обработке пустого файла robots.txt.

Для Yandex главным роботом является… Yandex:

Другие специальные роботы:

Mediapartners-Google — для сервиса AdSense;
AdsBot-Google — для проверки качества целевой страницы;
YandexImages — индексатор Яндекс.Картинок;
Googlebot-Image — для картинок;
YandexMetrika — робот Яндекс.Метрики;
YandexMedia — робот, индексирующий мультимедийные данные;
YaDirectFetcher — робот Яндекс.Директа;
Googlebot-Video — для видео;
Googlebot-Mobile — для мобильной версии;
YandexDirectDyn — робот генерации динамических баннеров;
YandexBlogs — робот поиск по блогам, индексирующий посты и комментарии;
YandexMarket— робот Яндекс. Маркета;
YandexNews — робот Яндекс.Новостей;
YandexDirect — скачивает информацию о контенте сайтов-партнеров Рекламной сети, чтобы уточнить их тематику для подбора релевантной рекламы;
YandexPagechecker — валидатор микроразметки;
YandexCalendar — робот Яндекс.Календаря.

Disallow — расставляем «кирпичи»

Disallow дает рекомендацию, какую именно информацию не стоит сканировать.

Такая запись открывает для сканирования весь сайт:

А эта запись говорит о том, что абсолютно весь контент на сайте запрещен для сканирования:

Ее стоит использовать, если сайт находится в процессе доработок, и вы не хотите, чтобы он в нынешнем состоянии засветился в выдаче.

Важно снять это правило, как только сайт будет готов к тому, чтобы его увидели пользователи. К сожалению, об этом забывают многие вебмастера.

Пример. Как прописать правило Disallow, чтобы дать рекомендации роботам не просматривать содержимое папки /papka/:

Чтобы роботы не сканировали конкретный URL:

Чтобы роботы не сканировали конкретный файл:

Чтобы роботы не сканировали все файлы определенного разрешения на сайте:

Данная строка запрещает индексировать все файлы с расширением . gif

Allow — направляем роботов

Allow разрешает сканировать какой-либо файл/директиву/страницу. Допустим, необходимо, чтобы роботы могли посмотреть только страницы, которые начинались бы с /catalog, а весь остальной контент закрыть. В этом случае прописывается следующая комбинация:

Правила Allow и Disallow сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для страницы подходит несколько правил, робот выбирает последнее правило в отсортированном списке.

Host — выбираем зеркало сайта

Host — одно из обязательных для robots.txt правил, оно сообщает роботу Яндекса, какое из зеркал сайта стоит учитывать для индексации.

Зеркало сайта — точная или почти точная копия сайта, доступная по разным адресам.

Робот не будет путаться при нахождении зеркал сайта и поймет, что главное зеркало указано в файле robots.txt. Адрес сайта указывается без приставки «http://», но если сайт работает на HTTPS, приставку «https://» указать нужно.

Как необходимо прописать это правило:

Пример файла robots.txt, если сайт работает на протоколе HTTPS:

Sitemap — медицинская карта сайта

Sitemap сообщает роботам, что все URL сайта, обязательные для индексации, находятся по адресу http://site.ua/sitemap.xml. При каждом обходе робот будет смотреть, какие изменения вносились в этот файл, и быстро освежать информацию о сайте в базах данных поисковой системы.

Инструкция должна быть грамотно вписана в файл:

Crawl-delay — секундомер для слабых серверов

Crawl-delay — параметр, с помощью которого можно задать период, через который будут загружаться страницы сайта. Данное правило актуально, если у вас слабый сервер. В таком случае возможны большие задержки при обращении поисковых роботов к страницам сайта. Этот параметр измеряется в секундах.

Clean-param — охотник за дублирующимся контентом

Clean-param помогает бороться с get-параметрами для избежания дублирования контента, который может быть доступен по разным динамическим адресам (со знаками вопроса). Такие адреса появляются, если на сайте есть различные сортировки, id сессии и так далее.

Допустим, страница доступна по адресам:

www.site.com/catalog/get_phone.ua?ref=page_1&phone_id=1

www.site.com/catalog/get_phone.ua?ref=page_2&phone_id=1

www.site.com/catalog/get_phone.ua?ref=page_3&phone_id=1

В таком случае файл robots.txt будет выглядеть так:

Здесь ref указывает, откуда идет ссылка, поэтому она записывается в самом начале, а уже потом указывается остальная часть адреса.

Но прежде чем перейти к эталонному файлу, необходимо еще узнать о некоторых знаках, которые применяются при написании файла robots.txt.

Символы в robots.txt

Основные символы файла — «/, *, $, #».

С помощью слэша «/» мы показываем, что хотим закрыть от обнаружения роботами. Например, если стоит один слеш в правиле Disallow, мы запрещаем сканировать весь сайт. С помощью двух знаков слэш можно запретить сканирование какой-либо отдельной директории, например: /catalog/.

Такая запись говорит, что мы запрещаем сканировать все содержимое папки catalog, но если мы напишем /catalog, запретим все ссылки на сайте, которые будут начинаться на /catalog.

Звездочка «*» означает любую последовательность символов в файле. Она ставится после каждого правила.

Эта запись говорит, что все роботы не должны индексировать любые файлы с расширением .gif в папке /catalog/

Знак доллара «$» ограничивает действия знака звездочки. Если необходимо запретить все содержимое папки catalog, но при этом нельзя запретить урлы, которые содержат /catalog, запись в индексном файле будет такой:

Решетка «#» используется для комментариев, которые вебмастер оставляет для себя или других вебмастеров. Робот не будет их учитывать при сканировании сайта.

Например:

Как выглядит идеальный robots.txt

Такой файл robots.txt можно разместить почти на любом сайте:

Файл открывает содержимое сайта для индексирования, прописан хост и указана карта сайта, которая позволит поисковым системам всегда видеть адреса, которые должны быть проиндексированы. Отдельно прописаны правила для Яндекса, так как не все роботы понимают инструкцию Host.

Но не спешите копировать содержимое файл к себе — для каждого сайта должны быть прописаны уникальные правила, которые зависит от типа сайта и CMS. поэтому тут стоит вспомнить все правила при заполнении файла robots.txt.

Как проверить файл robots.txt

Если хотите узнать, правильно ли заполнили файл robots.txt, проверьте его в инструментах вебмастеров Google и Яндекс. Просто введите исходный код файла robots.txt в форму по ссылке и укажите проверяемый сайт.

Как не нужно заполнять файл robots.txt

Часто при заполнении индексного файла допускаются досадные ошибки, причем они связаны с обычной невнимательностью или спешкой. Чуть ниже — чарт ошибок, которые я встречала на практике.

1. Перепутанные инструкции:

Правильный вариант:

2. Запись нескольких папок/директорий в одной инструкции Disallow:

Такая запись может запутать поисковых роботов, они могут не понять, что именно им не следует индексировать: то ли первую папку, то ли последнюю, — поэтому нужно писать каждое правило отдельно.

3. Сам файл должен называться только robots.txt, а не Robots.txt, ROBOTS.TXT или как-то иначе.

4. Нельзя оставлять пустым правило User-agent — нужно сказать, какой робот должен учитывать прописанные в файле правила.

5. Лишние знаки в файле (слэши, звездочки).

6. Добавление в файл страниц, которых не должно быть в индексе.

Нестандартное применение robots.txt

Кроме прямых функций индексный файл может стать площадкой для творчества и способом найти новых сотрудников.

Вот сайт, в котором robots.txt сам является маленьким сайтом с рабочими элементами и даже рекламным блоком.

Хотите что-то поинтереснее? Ловите ссылку на robots.txt со встроенной игрой и музыкальным сопровождением.

Многие бренды используют robots.txt, чтобы еще раз заявить о себе:

В качестве площадки для поиска специалистов файл используют в основном SEO-агентства. А кто же еще может узнать о его существовании? 🙂

А у Google есть специальный файл humans. txt, чтобы вы не допускали мысли о дискриминации специалистов из кожи и мяса.

Когда у вебмастера появляется достаточно свободного времени, он часто тратит его на модернизацию robots.txt:

Хотите, чтобы все страницы вашего сайта заходили в индекс быстро? Мы выберем для вас оптимальную стратегию SEO-продвижения:

{«0»:{«lid»:»1531306243545″,»ls»:»10″,»loff»:»»,»li_type»:»nm»,»li_name»:»name»,»li_ph»:»Имя»,»li_req»:»y»,»li_nm»:»name»},»1″:{«lid»:»1573230091466″,»ls»:»20″,»loff»:»»,»li_type»:»ph»,»li_name»:»phone»,»li_req»:»y»,»li_masktype»:»a»,»li_nm»:»phone»},»2″:{«lid»:»1573567927671″,»ls»:»30″,»loff»:»y»,»li_type»:»in»,»li_name»:»surname»,»li_ph»:»Фамилия»,»li_req»:»y»,»li_nm»:»surname»},»3″:{«lid»:»1531306540094″,»ls»:»40″,»loff»:»»,»li_type»:»in»,»li_name»:»domains»,»li_ph»:»Адрес сайта»,»li_rule»:»url»,»li_req»:»y»,»li_nm»:»domains»},»4″:{«lid»:»1573230077755″,»ls»:»50″,»loff»:»»,»li_type»:»em»,»li_name»:»email»,»li_ph»:»Email»,»li_req»:»y»,»li_nm»:»email»},»5″:{«lid»:»1575903646714″,»ls»:»60″,»loff»:»»,»li_type»:»hd»,»li_name»:»comment»,»li_value»:»Автоматический коммент: заявка из блога, без пользовательского комментария»,»li_nm»:»comment»},»6″:{«lid»:»1575903664523″,»ls»:»70″,»loff»:»»,»li_type»:»hd»,»li_name»:»lead_channel_id»,»li_value»:»24″,»li_nm»:»lead_channel_id»},»7″:{«lid»:»1584374224865″,»ls»:»80″,»loff»:»»,»li_type»:»hd»,»li_name»:»ip»,»li_nm»:»ip»},»8″:{«lid»:»1609939359940″,»ls»:»90″,»loff»:»»,»li_type»:»hd»,»li_name»:»post_id»,»li_nm»:»post_id»}}

Поможем обогнать конкурентов

Выводы

С помощью Robots. txt вы сможете задавать инструкции поисковым роботам, рекламировать себя, свой бренд, искать специалистов. Это большое поле для экспериментов. Главное, помните о грамотном заполнении файла и типичных ошибках.

Правила, они же директивы, они же инструкции файла robots.txt:

User-agent — правило о том, каким роботам необходимо просмотреть инструкции, описанные в robots.txt.
Disallow дает рекомендацию, какую именно информацию не стоит сканировать.
Sitemap сообщает роботам, что все URL сайта, обязательные для индексации, находятся по адресу http://site.ua/sitemap.xml.
Crawl-delay — параметр, с помощью которого можно задать период, через который будут загружаться страницы сайта.
Host сообщает роботу Яндекса, какое из зеркал сайта стоит учитывать для индексации.
Allow разрешает сканировать какой-либо файл/директиву/страницу.
Clean-param помогает бороться с get-параметрами для избежания дублирования контента.

Знаки при составлении robots. txt:

Знак доллара «$» ограничивает действия знака звездочки.
С помощью слэша «/» мы показываем, что хотим закрыть от обнаружения роботами.
Звездочка «*» означает любую последовательность символов в файле. Она ставится после каждого правила.
Решетка «#» используется, чтобы обозначить комментарии, которые пишет вебмастер для себя или других вебмастеров.

Используйте индексный файл с умом — и сайт всегда будет в выдаче.

ROBOTS.TXT. Правильный роботс | Блог Хостинг Украина

Основной синтаксис

User-Agent: робот для которого будут применяться следующие правила (например, «Googlebot»)

Disallow: страницы, к которым вы хотите закрыть доступ (можно указать большой список таких директив с каждой новой строки)

Каждая группа User-Agent / Disallow должны быть разделены пустой строкой. Но, не пустые строки не должны существовать в рамках группы (между User-Agent и последней директивой Disallow).

Символ хэш (#) может быть использован для комментариев в файле robots.txt: для текущей строки всё что после # будет игнорироваться. Данные комментарий может быть использован как для всей строки, так в конце строки после директив.

Каталоги и имена файлов чувствительны к регистру: «catalog», «Catalog» и «CATALOG» – это всё разные директории для поисковых систем.

Host: применяется для указание Яндексу основного зеркала сайта. Поэтому, если вы хотите склеить 2 сайта и делаете постраничный 301 редирект, то для файла robots.txt (на дублирующем сайте) НЕ надо делать редирект, чтобы Яндекс мог видеть данную директиву именно на сайте, который необходимо склеить.

Регулярные выражения: для более гибкой настройки своих директив вы можете использовать 2 символа

* (звездочка) – означает любую последовательность символов

$ (знак доллара) – означает конец строки

Основные примеры использования robots.

txt

Запрет на индексацию всего сайта

User-agent: *

Disallow: /

А такая конструкция ПОЗВОЛЯЕТ индексировать весь сайт:

User-agent: *

Disallow:

Запрет на индексацию определенной папки

User-agent: Googlebot

Disallow: /no-index/

Запрет на посещение страницы для определенного робота

User-agent: Googlebot

Disallow: /no-index/this-page.html

Запрет на индексацию файлов определенного типа

User-agent: *

Disallow: /*. pdf$

Разрешить определенному поисковому роботу посещать определенную страницу

User-agent: *

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html

User-agent: Yandex

Allow: /no-bots/block-all-bots-except-Yandex-page.html

Ссылка на Sitemap

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

Нюансы с использованием данной директивы: если у вас на сайте постоянно добавляется уникальный контент, то

лучше НЕ добавлять в robots.txt ссылку на вашу карту сайта,
саму карту сайта сделать с НЕСТАНДАРТНЫМ названием sitemap.xml (например, my-new-sitemap.xml и после этого добавить эту ссылку через «вебмастерсы» поисковых систем),

Шаблон для WordPress

Allow: /wp-content/themes/*.js

Allow: /wp-content/themes/*.css

Allow: /wp-includes/js/*.css Allow: /wp-includes/js/*.js

Allow: /wp-content/plugins/*.js

Allow: /wp-content/plugins/*.css

Шаблон для Joomla

Allow: /templates/*.css

Allow: /templates/*.js

Allow: /templates/*.png

Allow: /templates/*.gif

Allow: /templates/*.ttf

Allow: /templates/*.svg

Allow: /templates/*.woff

Allow: /components/*.css

Allow: /components/*.js

Allow: /media/*.js Allow: /media/*.css

Allow: /plugins/*.css Allow: /plugins/*.js

Шаблон для Bitrix

Allow: /bitrix/templates/*.js

Allow: /bitrix/templates/*.png

Allow: /bitrix/templates/*. jpg

Allow: /bitrix/templates/*.gif

Allow: /bitrix/cache/css/*.css

Allow: /bitrix/cache/js/s1/*.js

Allow: /upload/iblock/*.jpg

Allow: /upload/iblock/*.png

Allow: /upload/iblock/*.gif

Шаблон для DLE

Allow: /engine/classes/*.css

Allow: /engine/classes/*.js

Allow: /templates/

Разобравшись с простым синтаксисом команд для робота, также важно учесть и такие значения мета-тега robots

Данному мета-тегу можно присвоить четыре варианта значений.

Атрибут content может содержать следующие значения:

index, noindex, follow, nofollow

Если значений несколько, они разделяются запятыми.

В настоящее время лишь следующие значения важны:

Директива INDEX говорит роботу, что данную страницу можно индексировать.

Директива FOLLOW сообщает роботу, что ему разрешается пройтись по ссылкам, присутствующим на данной странице. Некоторые авторы утверждают, что при отсутствии данных значений, поисковые сервера по умолчанию действуют так, как если бы им даны были директивы INDEX и FOLLOW.

Итак, глобальные директивы выглядят так:

Индексировать всё = INDEX, FOLLOW

Не индексировать ничего = NOINDEX,NOFLLOW

Примеры мета-тега robots:

Заказывайте хостинг и выбирайте домен в компании «Хостинг Украина».

У нас качественный и надежный сервис, удобное система управления через админ-панель, интеллектуальные системы защиты и техническая поддержка, которая поможет решить все возникающие вопросы в любое время суток.

Наши цены: SSD хостинг от 1$, VPS на SSD от 12$, Cloud (облачный) хостинг от 3$, облачный VPS от 6$.

Присоединяйтесь к «Хостинг Украина» и мы позаботимся о технической стороне вашего бизнеса.

Кликай и подписывайся!

Только зарегистрированные пользователи могут оставлять комментарии

Директивы Disallow и Allow — Вебмастер.

Справка

Disallow
Allow
Совместное использование директив
Директивы Allow и Disallow без параметров
Использование спецсимволов * и $
Примеры интерпретации директив

Используйте эту директиву, чтобы запретить индексирование разделов сайта или отдельных страниц. Например:

страницы с конфиденциальными данными;
страницы с результатами поиска по сайту;
статистика посещаемости сайта;
дубликаты страниц;
разнообразные логи;
сервисные страницы баз данных.

Примечание. При выборе директивы для страниц, которые не должны участвовать в поиске, если их адреса содержат GET-параметры, лучше использовать директиву Clean-param, а не Disallow. При использовании Disallow может не получиться выявить дублирование адреса ссылки без параметра и передать некоторые показатели запрещенных страниц, например ссылочные.

Примеры:

User-agent: Yandex
Disallow: / # запрещает обход всего сайта

User-agent: Yandex
Disallow: /catalogue # запрещает обход страниц, адрес которых начинается с /catalogue

User-agent: Yandex
Disallow: /page? # запрещает обход страниц, URL которых содержит параметры

Директива разрешает индексирование разделов или отдельных страниц сайта.

Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц 
# начинающихся с '/cgi-bin'

User-agent: Yandex
Allow: /file.xml
# разрешает скачивание файла file.xml

Примечание. Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

Примечание. При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

# Исходный robots.txt:
User-agent: Yandex
Allow: /
Allow: /catalog/auto
Disallow: /catalog

# Сортированный robots.txt:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

Общий пример:

User-agent: Yandex
Allow: /archive
Disallow: /
# разрешает все, что содержит '/archive', остальное запрещено

User-agent: Yandex
Allow: /obsolete/private/*. html$ # разрешает html файлы
                                 # по пути '/obsolete/private/...'
Disallow: /*.php$  # запрещает все '*.php' на данном сайте
Disallow: /*/private/ # запрещает все подпути содержащие
                      # '/private/', но Allow выше отменяет
                      # часть запрета
Disallow: /*/old/*.zip$ # запрещает все '*.zip' файлы, содержащие 
                        # в пути '/old/'

User-agent: Yandex
Disallow: /add.php?*user= 
# запрещает все скрипты 'add.php?' с параметром 'user'

Если директивы не содержат параметры, робот учитывает данные следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # не учитывается роботом

При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, чтобы задавать определенные регулярные выражения.

Спецсимвол * означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
                          # и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'

По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *. Пример:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам 
                    # начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

Чтобы отменить * на конце правила, можно использовать спецсимвол $, например:

User-agent: Yandex
Disallow: /example$ # запрещает '/example', 
                    # но не запрещает '/example. html'

User-agent: Yandex
Disallow: /example # запрещает и '/example', 
                   # и '/example.html'

Спецсимвол $ не запрещает указанный * на конце, то есть:

User-agent: Yandex
Disallow: /example$  # запрещает только '/example'
Disallow: /example*$ # так же, как 'Disallow: /example' 
                     # запрещает и /example.html и /example

User-agent: Yandex 
Allow: /
Disallow: /
# все разрешается

User-agent: Yandex 
Allow: /$
Disallow: /
# запрещено все, кроме главной страницы

User-agent: Yandex
Disallow: /private*html
# запрещается и '/private*html', 
# и '/private/test.html', и '/private/html/test.aspx' и т. п.

User-agent: Yandex
Disallow: /private$
# запрещается только '/private'

User-agent: *
Disallow: /
User-agent: Yandex
Allow: /
# так как робот Яндекса 
# выделяет записи по наличию в строке 'User-agent:', 
# результат — все разрешается

Страницы веб-роботов

О теге

роботов

В двух словах

Вы можете использовать специальный тег HTML, чтобы запретить роботам индексировать содержание страницы и / или не сканировать ее на предмет наличия ссылок.

Например:

...

При использовании тега robots следует учитывать два важных момента:

роботы могут игнорировать ваш тег.Особенно вредоносные роботы, которые сканируют Интернет на наличие уязвимостей в системе безопасности и сборщики адресов электронной почты, используемые спамерами не обратит внимания.
директива NOFOLLOW применяется только к ссылкам на этой странице. Это вполне вероятно, что робот найдет такие же ссылки на других страница без NOFOLLOW (возможно, на каком-то другом сайте), и так далее попадает на вашу нежелательную страницу.

Не путайте это NOFOLLOW с rel = «nofollow» атрибут ссылки.

Реквизиты

Как и / robots.txt, роботы META tag является стандартом де-факто. Он возник в результате встречи «птиц пера» в 1996 году. распределенный семинар по индексированию, и он был описан в заметках о совещании.

Тег META также описан в HTML Спецификация 4.01, Приложение B.4.1.

Остальная часть этой страницы дает обзор того, как использовать роботов. Теги на ваших страницах с некоторыми простыми рецептами. Чтобы узнать больше, см. Также FAQ.

Как написать метатег для роботов

Где поставить

Как и любой тег, он должен быть помещен в раздел HEAD HTML-кода. page, как в примере выше.Вы должны поместить его на каждую страницу своего сайт, потому что робот может найти глубокую ссылку на любой страницу на вашем сайте.

Что в него класть

Атрибут «ИМЯ» должен быть «РОБОТЫ».

Допустимые значения атрибута CONTENT: «ИНДЕКС», «НОИНДЕКС», «СЛЕДУЮЩИЕ», «НЕ СЛЕДУЕТ». Допускается несколько значений, разделенных запятыми, но очевидно, только некоторые комбинации имеют смысл. Если нет тег роботов, по умолчанию — «INDEX, FOLLOW», так что нет необходимости объяснять это.Остается:

Файл Robots.

txt [Примеры 2021] — Moz

Что такое файл robots.txt?

Robots.txt — это текстовый файл, который веб-мастера создают, чтобы проинструктировать веб-роботов (обычно роботов поисковых систем), как сканировать страницы на своем веб-сайте. Файл robots.txt является частью протокола исключения роботов (REP), группы веб-стандартов, которые регулируют, как роботы сканируют Интернет, получают доступ и индексируют контент, а также предоставляют этот контент пользователям.REP также включает в себя такие директивы, как мета-роботы, а также инструкции для страницы, подкаталога или сайта о том, как поисковые системы должны обрабатывать ссылки (например, «следовать» или «nofollow»).

На практике файлы robots.txt указывают, могут ли определенные пользовательские агенты (программное обеспечение для веб-сканирования) сканировать части веб-сайта. Эти инструкции сканирования определяются как «запрещающие» или «разрешающие» поведение определенных (или всех) пользовательских агентов.

Базовый формат:

 User-agent: [имя user-agent] Disallow: [URL-строка, которую нельзя сканировать]

Вместе эти две строки считаются полными robots. txt — хотя один файл роботов может содержать несколько строк пользовательских агентов и директив (например, запрещает, разрешает, задержки сканирования и т. д.).

В файле robots.txt каждый набор директив пользовательского агента отображается как дискретный набор , разделенных разрывом строки:

В файле robots.txt с несколькими директивами пользовательского агента, каждая из которых запрещает или разрешает правило Только применяется к агентам-пользователям, указанным в этом конкретном наборе, разделенном разрывом строки. Если файл содержит правило, которое применяется более чем к одному пользовательскому агенту, поисковый робот будет только обратить внимание (и следовать директивам в) наиболее конкретной группе инструкций .

Вот пример:

Msnbot, discobot и Slurp вызываются специально, поэтому эти пользовательские агенты только обратят внимание на директивы в своих разделах файла robots. txt. Все остальные пользовательские агенты будут следовать директивам в группе user-agent: *.

Пример robots.txt:

Вот несколько примеров использования robots.txt для сайта www.example.com:

URL файла Robots.txt: www.example.com/robots.txt

Блокировка доступа всех поисковых роботов к содержимому

 User-agent: * Disallow: /

Использование этого синтаксиса в файле robots.txt укажет всем поисковым роботам не сканировать никакие страницы www.example .com, включая домашнюю страницу.

Разрешение всем поисковым роботам доступа ко всему контенту

 User-agent: * Disallow:

Использование этого синтаксиса в файле robots.txt указывает поисковым роботам сканировать все страницы на www.example.com, включая домашнюю страницу.

Блокировка определенного поискового робота из определенной папки

 User-agent: Googlebot Disallow: / example-subfolder /

Этот синтаксис сообщает только поисковому роботу Google (имя агента пользователя Googlebot) не сканировать какие-либо страницы, которые содержать строку URL www. example.com/example-subfolder/.

Блокировка определенного поискового робота с определенной веб-страницы

 Пользовательский агент: Bingbot Disallow: /example-subfolder/blocked-page.html

Этот синтаксис сообщает только поисковому роботу Bing (имя пользовательского агента Bing) избегать сканирование конкретной страницы www.example.com/example-subfolder/blocked-page.html.

Как работает robots.txt?

Поисковые системы выполняют две основные задачи:

сканирование Интернета для обнаружения контента;
Индексирование этого контента, чтобы его могли обслуживать искатели, ищущие информацию.

Чтобы сканировать сайты, поисковые системы переходят по ссылкам с одного сайта на другой — в конечном итоге просматривая многие миллиарды ссылок и веб-сайтов. Такое ползание иногда называют «пауками».”

После перехода на веб-сайт, но перед его сканированием поисковый робот будет искать файл robots.txt. Если он найдет его, сканер сначала прочитает этот файл, прежде чем продолжить просмотр страницы. Поскольку файл robots.txt содержит информацию о , как должна сканировать поисковая система, найденная там информация будет указывать дальнейшие действия сканера на этом конкретном сайте. Если файл robots.txt не содержит , а не содержит директив, запрещающих действия пользовательского агента (или если на сайте нет файла robots.txt), он продолжит сканирование другой информации на сайте.

Другой быстрый файл robots.txt, который необходимо знать:

(более подробно обсуждается ниже)

Чтобы его можно было найти, файл robots.txt должен быть помещен в каталог верхнего уровня веб-сайта.
Robots.txt чувствителен к регистру: файл должен иметь имя «robots.txt» (не Robots.txt, robots.TXT и т. Д.).
Некоторые пользовательские агенты (роботы) могут игнорировать ваших роботов.txt файл. Это особенно характерно для более гнусных поисковых роботов, таких как вредоносные роботы или парсеры адресов электронной почты.
Файл /robots.txt является общедоступным: просто добавьте /robots.txt в конец любого корневого домена, чтобы увидеть директивы этого веб-сайта (если на этом сайте есть файл robots.txt!). Это означает, что любой может видеть, какие страницы вы просматриваете или не хотите сканировать, поэтому не используйте их для сокрытия личной информации пользователя.
Каждый субдомен в корневом домене использует отдельных роботов.txt файлы. Это означает, что и blog.example.com, и example.com должны иметь свои собственные файлы robots.txt (по адресу blog.example.com/robots.txt и example.com/robots.txt).
Обычно рекомендуется указывать расположение любых карт сайта, связанных с этим доменом, в нижней части файла robots.txt. Вот пример:

Технический синтаксис robots.txt

Синтаксис robots.txt можно рассматривать как «язык» файлов robots.txt. Есть пять общих терминов, которые вы, вероятно, встретите в файле robots. К ним относятся:

User-agent: Конкретный поисковый робот, которому вы даете инструкции для сканирования (обычно это поисковая система). Список большинства пользовательских агентов можно найти здесь.
Disallow: Команда, используемая для указания агенту пользователя не сканировать определенный URL. Для каждого URL разрешена только одна строка «Disallow:».
Разрешить (применимо только для робота Googlebot): команда, сообщающая роботу Googlebot, что он может получить доступ к странице или подпапке, даже если его родительская страница или подпапка могут быть запрещены.
Crawl-delay: Сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы. Обратите внимание, что робот Googlebot не подтверждает эту команду, но скорость сканирования можно установить в консоли поиска Google.
Карта сайта: Используется для вызова местоположения любых XML-файлов Sitemap, связанных с этим URL. Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo.

Сопоставление с шаблоном

Когда дело доходит до фактических URL-адресов для блокировки или разрешения, robots.txt могут быть довольно сложными, поскольку они позволяют использовать сопоставление с шаблоном для охвата диапазона возможных вариантов URL. И Google, и Bing соблюдают два регулярных выражения, которые можно использовать для идентификации страниц или подпапок, которые SEO хочет исключить. Эти два символа — звездочка (*) и знак доллара ($).

* — это подстановочный знак, который представляет любую последовательность символов.
$ соответствует концу URL-адреса

. Google предлагает здесь большой список возможных синтаксисов и примеров сопоставления с образцом.

Где находится файл robots.txt на сайте?

Когда бы они ни заходили на сайт, поисковые системы и другие роботы, сканирующие Интернет (например, сканер Facebook, Facebot), знают, что нужно искать файл robots. txt. Но они будут искать этот файл в только в одном конкретном месте : в основном каталоге (обычно в корневом домене или на домашней странице). Если пользовательский агент посещает www.example.com/robots.txt и не находит там файла роботов, он будет считать, что на сайте его нет, и продолжит сканирование всего на странице (и, возможно, даже на всем сайте ).Даже если страница robots.txt действительно существует , скажем, по адресу example.com/index/robots.txt или www.example.com/homepage/robots.txt, агенты пользователя не обнаружат ее, и, следовательно, сайт будет обрабатываться так, как если бы в нем вообще не было файла robots.

Чтобы гарантировать, что ваш файл robots.txt найден, всегда включайте его в свой основной каталог или корневой домен.

Зачем нужен robots.txt?

Файлы Robots.txt управляют доступом поискового робота к определенным областям вашего сайта.Хотя это может быть очень опасно, если вы случайно запретите роботу Google сканировать весь ваш сайт (!!), в некоторых ситуациях файл robots. txt может оказаться очень полезным.

Некоторые распространенные варианты использования включают:

Предотвращение появления дублированного контента в результатах поиска (обратите внимание, что мета-роботы часто являются лучшим выбором для этого)
Сохранение конфиденциальности целых разделов веб-сайта (например, промежуточного сайта вашей группы инженеров)
Предотвращение показа страниц результатов внутреннего поиска в общедоступной поисковой выдаче
Указание местоположения карты (карт) сайта
Предотвращение индексации определенных файлов на вашем веб-сайте поисковыми системами (изображений, PDF-файлов и т. Д.))
Указание задержки сканирования для предотвращения перегрузки ваших серверов, когда сканеры загружают сразу несколько частей контента

Если на вашем сайте нет областей, к которым вы хотите контролировать доступ агента пользователя, вы не можете вообще нужен файл robots.txt.

Проверка наличия файла robots.

txt

Не уверены, есть ли у вас файл robots.txt? Просто введите свой корневой домен, а затем добавьте /robots.txt в конец URL-адреса. Например, файл роботов Moz находится по адресу moz.ru / robots.txt.

Если страница .txt не отображается, значит, у вас нет (действующей) страницы robots.txt.

Как создать файл robots.txt

Если вы обнаружили, что у вас нет файла robots.txt или вы хотите изменить свой, создание его — простой процесс. В этой статье от Google рассматривается процесс создания файла robots.txt, и этот инструмент позволяет вам проверить, правильно ли настроен ваш файл.

Хотите попрактиковаться в создании файлов роботов? В этом сообщении блога рассматриваются некоторые интерактивные примеры.

Лучшие методы SEO

Убедитесь, что вы не блокируете какой-либо контент или разделы своего веб-сайта, которые нужно просканировать.
Ссылки на страницах, заблокированных файлом robots.txt, переходить не будут. Это означает 1.) Если на них также не ссылаются другие страницы, доступные для поисковых систем (т. Е. Страницы, не заблокированные через robots.txt, мета-роботы или иным образом), связанные ресурсы не будут сканироваться и не могут быть проиндексированы. 2.) Никакой ссылочный капитал не может быть передан с заблокированной страницы на место назначения ссылки.Если у вас есть страницы, на которые вы хотите передать средства, используйте другой механизм блокировки, отличный от robots.txt.
Не используйте robots.txt для предотвращения появления конфиденциальных данных (например, личной информации пользователя) в результатах поисковой выдачи. Поскольку другие страницы могут напрямую ссылаться на страницу, содержащую личную информацию (таким образом, в обход директив robots.txt в вашем корневом домене или домашней странице), она все равно может быть проиндексирована. Если вы хотите заблокировать свою страницу из результатов поиска, используйте другой метод, например защиту паролем или метадирективу noindex.
Некоторые поисковые системы имеют несколько пользовательских агентов. Например, Google использует Googlebot для обычного поиска и Googlebot-Image для поиска изображений. Большинство пользовательских агентов из одной и той же поисковой системы следуют одним и тем же правилам, поэтому нет необходимости указывать директивы для каждого из нескольких сканеров поисковой системы, но возможность делать это позволяет вам точно настроить способ сканирования содержания вашего сайта.
Поисковая система кэширует содержимое robots.txt, но обычно обновляет кэшированное содержимое не реже одного раза в день.Если вы изменили файл и хотите обновить его быстрее, чем это происходит, вы можете отправить свой URL-адрес robots.txt в Google.

Robots.txt vs meta robots vs x-robots

Так много роботов! В чем разница между этими тремя типами инструкций для роботов? Во-первых, robots.txt — это фактический текстовый файл, тогда как meta и x-robots — это метадирективы. Помимо того, чем они являются на самом деле, все три выполняют разные функции. Файл robots.txt определяет поведение сканирования сайта или всего каталога, тогда как мета и x-роботы могут определять поведение индексации на уровне отдельной страницы (или элемента страницы).

Продолжайте учиться

Используйте свои навыки на практике

Moz Pro может определить, блокирует ли ваш файл robots.txt доступ к вашему веб-сайту. Попробовать >>

Создайте файл robots.txt | Центр поиска Google | Разработчики Google

Если вы пользуетесь услугами хостинга сайтов, например Wix или Blogger, вы может не понадобиться создавать или редактировать файл robots.txt.

Начало работы

Файл robots.txt находится в корне вашего сайта.Итак, для сайта www.example.com , файл robots.txt находится по адресу www. example.com/robots.txt . robots.txt — это простой текстовый файл, следующий за Стандарт исключения роботов. Файл robots.txt состоит из одного или нескольких правил. Каждое правило блокирует (или разрешает) доступ для данного поискового робота на указанный путь к файлу на этом веб-сайте.

Вот простой файл robots.txt с двумя правилами, описанными ниже:

# Группа 1
Пользовательский агент: Googlebot
Запретить: / nogooglebot /

# Группа 2
Пользовательский агент: *
Позволять: /

Карта сайта: http: // www.example.com/sitemap.xml

Пояснение:

Пользовательскому агенту с именем «Googlebot» не разрешено сканировать http://example.com/nogooglebot/ или любые подкаталоги.
Всем остальным пользовательским агентам разрешено сканировать весь сайт. (Это могло быть пропущено и результат будет таким же, поскольку предполагается полный доступ. )
Файл карты сайта находится по адресу http: // www.example.com/sitemap.xml .

Дополнительные примеры см. В разделе синтаксиса.

Основные правила robots.txt

Вот несколько основных рекомендаций для файлов robots.txt. Мы рекомендуем вам прочитать полный синтаксис файлов robots.txt, потому что Синтаксис robots.txt имеет некоторые тонкие особенности, которые вам следует понять.

Формат и расположение

Вы можете использовать практически любой текстовый редактор для создания файла robots.txt файл. Текстовый редактор должен уметь для создания стандартных текстовых файлов UTF-8. Не используйте текстовый процессор; текстовые процессоры часто экономят файлы в проприетарном формате и могут добавлять неожиданные символы, такие как фигурные кавычки, которые может вызвать проблемы для сканеров.

Используйте тестер robots.txt для написания или редактирования файлов robots.txt для вашего сайта. Этот инструмент позволяет вам проверить синтаксис и поведение против вашего сайта.

Правила формата и размещения:

Файл должен называться robots.txt
На вашем сайте может быть только один файл robots.txt.
Файл robots.txt должен находиться в корне хоста веб-сайта, чтобы который применяется. Например, для управления сканированием всех URL-адресов ниже http://www.example.com/ , файл robots.txt должен находиться по адресу http://www.example.com/robots.txt . Это не может быть помещено в подкаталог (например, по адресу http: // example.ru / pages / robots.txt ). Если вы не знаете, как получить доступ к корню вашего веб-сайта или вам нужны разрешения для этого, обратитесь к своему веб-сайту провайдер хостинг-услуг. Если вы не можете получить доступ к корню вашего сайта, используйте альтернативную блокировку метод, такой как метатеги.
Файл robots.txt может применяться к субдоменам (например, http: // website .example.com / robots.txt ) или на нестандартных порты (например, http: // example.com: 8181 /robots.txt ).
Комментарии — это любое содержимое после отметки # .

Синтаксис

robots.txt должен быть текстовым файлом в кодировке UTF-8 (включая ASCII). Использование другого персонажа наборы невозможно.
Файл robots.txt состоит из одной или нескольких групп .
Каждая группа состоит из нескольких правил или директивы (инструкции), по одной директиве на строку.
Группа предоставляет следующую информацию:
- Кому относится группа (пользовательский агент )
- К каким каталогам или файлам может обращаться агент и / или
- К каким каталогам или файлам агент не может получить доступ. .
Группы обрабатываются сверху вниз, и пользовательский агент может соответствовать только одному набору правил, который это первое, наиболее конкретное правило, которое соответствует данному пользовательскому агенту.
Предположение по умолчанию состоит в том, что пользовательский агент может сканировать любую страницу или каталог. не заблокирован правилом Disallow: .
Правила чувствительны к регистру . Например, Disallow: /file.asp применяется к http://www. example.com/file.asp , но не http://www.example.com/FILE.asp .

В роботах используются следующие директивы.txt файлы:

Агент пользователя: [ Обязательно, один или несколько на группу ] директива определяет имя поисковой системы , робот (программное обеспечение веб-сканера), который правило применяется к. Это первая строка для любой группы правил. Имена пользовательских агентов Google: перечисленные в Список пользовательских агентов Google. Использование звездочки ( * ), как в примере ниже, будет соответствовать всем поисковым роботам. , за исключением различных поисковых роботов AdsBot , которые должны иметь явное имя. Примеры:
```
# Пример 1.  Заблокировать только Googlebot
Пользовательский агент: Googlebot
Запретить: /

# Пример 2. Блокировка роботов Googlebot и Adsbot
Пользовательский агент: Googlebot
Пользовательский агент: AdsBot-Google
Запретить: /

# Пример 3. Блокировка всех сканеров, кроме AdsBot
Пользовательский агент: *
Disallow: / 
```
Disallow: [ Как минимум один или несколько Disallow или Разрешить записей в правиле ] Каталог или страница относительно корневого домена, что вы не хотите, чтобы пользовательский агент сканировал.Если правило относится к странице, это должен быть полное имя страницы, как показано в браузере; если он относится к каталогу, он должен заканчиваться Марка /.
Разрешить: [ Как минимум один или несколько Запретить или Разрешить записей в правиле ] Каталог или страница относительно корневого домена, которые могут сканироваться только что упомянутым пользовательским агентом. Это используется для отмены Disallow Директива , разрешающая сканирование подкаталога или страницы в запрещенном каталог.Для одной страницы полное имя страницы, отображаемое в браузере, должно быть указано. В случае каталога правило должно заканчиваться отметкой /.
Sitemap: [ Необязательно, ноль или более на файл ] расположение карты сайта для этого веб-сайта. URL-адрес карты сайта должен быть полным URL-адресом; Google не предполагает и не проверяет альтернативы http / https / www.non-www. Файлы Sitemap — хороший способ указать, какой контент Google должен сканировать , а не какой контент может или не может сканировать .Узнайте больше о файлах Sitemap. Пример:
```
Карта сайта: https://example. com/sitemap.xml
Карта сайта: http://www.example.com/sitemap.xml 
```

Все директивы, кроме карты сайта , поддерживают подстановочный знак * для пути префикс, суффикс или целая строка.

Строки, не соответствующие ни одной из этих директив, игнорируются.

Другой пример файла

Файл robots.txt состоит из одной или нескольких групп, каждая из которых начинается с User-agent Строка, указывающая цель групп.Вот файл с двумя группы; встроенные комментарии объясняют каждую группу:

# Заблокировать googlebot из example.com/directory1 / ... и example.com/directory2 / ...
# но разрешить доступ к directory2 / subdirectory1 / ...
# Все остальные каталоги на сайте разрешены по умолчанию.
Пользовательский агент: googlebot
Запретить: / directory1 /
Запретить: / каталог2 /
Разрешить: / каталог2 / подкаталог1 /

# Блокировать весь сайт от другого сканера. 
Пользовательский агент: anothercrawler
Disallow: /

Полный синтаксис robots.txt

Вы можете найти полные robots.txt здесь. Пожалуйста, прочтите полную документацию, так как в синтаксисе robots.txt есть несколько сложных частей, которые важно узнать.

Полезные правила robots.txt

Вот несколько общих полезных правил robots.txt:

Правило	Образец
Запретить сканирование всего веб-сайта. Имейте в виду, что в некоторых ситуаций URL-адреса с веб-сайта все еще могут быть проиндексированы, даже если они не были поползли.Это не соответствует различные сканеры AdsBot, который должен быть назван явно.	Пользовательский агент: * Disallow: /
Запретить сканирование каталога и его содержимого , следуя имя каталога с косой чертой. Помните, что вам не следует использовать robots.txt для блокировки доступ к частному контенту: вместо этого используйте правильную аутентификацию.URL-адреса, запрещенные Файл robots.txt может быть проиндексирован без сканирования, а файл robots.txt могут быть просмотрены кем угодно, потенциально раскрывая местонахождение вашего личного контента.	Пользовательский агент: * Запретить: / календарь / Disallow: / junk / .
Разрешить доступ одному искателю	User-agent: Googlebot-news Позволять: / Пользовательский агент: * Disallow: /
Разрешить доступ всем, кроме одного поискового робота	Пользовательский агент: Ненужный бот Запретить: / Пользовательский агент: * Разрешить: /
Запретить сканирование отдельной веб-страницы , указав страницу после косая черта:	Пользовательский агент: * Запретить: / частный_файл. HTML
Заблокировать определенное изображение в Картинках Google:	Пользовательский агент: Googlebot-Image Запретить: /images/dogs.jpg
Заблокировать все изображения на вашем сайте из Картинок Google:	Пользовательский агент: Googlebot-Image Disallow: /
Запретить сканирование файлов определенного типа (например, `.gif` ):	Пользовательский агент: Googlebot Disallow: /*.gif$
Запретить сканирование всего сайта, но показывать рекламу AdSense на этих страницах , и запретить использование всех поисковых роботов, кроме `Mediapartners-Google` . Этот реализация скрывает ваши страницы из результатов поиска, но Поисковый робот Mediapartners-Google все еще может проанализировать их, чтобы решить какую рекламу показывать посетителям вашего сайта.	Пользовательский агент: * Запретить: / Пользовательский агент: Mediapartners-Google Разрешить: /
Чтобы сопоставить URL-адреса, которые заканчиваются определенной строкой , используйте `$` . За Например, пример кода блокирует любые URL-адреса, которые заканчиваются на `.xls` :	Пользовательский агент: Googlebot Запретить: /*.xls$

Создайте лучший с помощью этого руководства на 2021 год

Роботы. txt вкратце

Файл robots.txt содержит директивы для поисковых систем. Вы можете использовать его, чтобы запретить поисковым системам сканировать определенные части вашего веб-сайта и давать поисковым системам полезные советы о том, как они могут лучше всего сканировать ваш веб-сайт. Файл robots.txt играет большую роль в SEO.

При внедрении robots.txt помните о следующих передовых методах:

Будьте осторожны при внесении изменений в свой robots.txt: этот файл может сделать большие части вашего веб-сайта недоступными для поисковых систем.
Файл robots.txt должен находиться в корне вашего веб-сайта (например, http://www.example.com/robots.txt ).
Файл robots.txt действителен только для всего домена, в котором он находится, включая протокол ( http или https ).
Разные поисковые системы по-разному интерпретируют директивы. По умолчанию всегда побеждает первая соответствующая директива. Но с Google и Bing побеждает специфика.
По возможности избегайте использования директивы задержки сканирования для поисковых систем.

Что такое файл robots.txt?

Файл robots.txt сообщает поисковым системам, каковы правила взаимодействия с вашим сайтом. Большая часть SEO — это отправка правильных сигналов поисковым системам, а файл robots.txt — один из способов сообщить поисковым системам о ваших предпочтениях сканирования.

В 2019 году мы заметили некоторые изменения, связанные со стандартом robots.txt: Google предложила расширение для протокола исключения роботов и открыла исходный код для своих роботов.txt парсер.

TL; DR

Интерпретатор Google robots.txt довольно гибкий и на удивление снисходительный.
В случае возникновения путаницы в директивах Google перестраховывается и предполагает, что разделы должны быть ограничены, а не неограничены.

Файл robots.txt сообщает поисковым системам, к каким URL нельзя обращаться.
Поисковые системы регулярно проверяют файл robots.txt веб-сайта, чтобы узнать, есть ли какие-либо инструкции по сканированию веб-сайта. Мы называем эти инструкции директивами .
Если файл robots.txt отсутствует или нет применимых директив, поисковые системы будут сканировать весь веб-сайт.
Хотя все основные поисковые системы уважают файл robots.txt, поисковые системы могут игнорировать (части) вашего файла robots.txt. Хотя директивы в файле robots.txt являются сильным сигналом для поисковых систем, важно помнить, что файл robots.txt представляет собой набор необязательных директив для поисковых систем, а не мандат.
Роботы.txt — самый конфиденциальный файл во вселенной SEO. Один персонаж может сломать весь сайт.
Терминология вокруг файла robots.txt
Файл robots.txt является реализацией стандарта исключения роботов , также называемого протоколом исключения роботов .
Зачем вам нужен файл robots.txt?
Файл robots.txt играет важную роль с точки зрения SEO. Он сообщает поисковым системам, как лучше всего сканировать ваш сайт.
Используя файл robots.txt, вы можете запретить поисковым системам доступ к определенным частям вашего веб-сайта , предотвратить дублирование контента и дать поисковым системам полезные советы о том, как они могут сканировать ваш веб-сайт более эффективно .
Будьте осторожны, , когда вносите изменения в свой robots.txt: этот файл может сделать большие части вашего веб-сайта недоступными для поисковых систем.
Robots.txt часто слишком часто используется для уменьшения дублирования контента, тем самым убивая внутренние ссылки, поэтому будьте с ними очень осторожны.Мой совет — всегда использовать его только для файлов или страниц, которые поисковые системы никогда не должны видеть или которые могут значительно повлиять на сканирование, будучи допущенными к ним. Типичные примеры: области входа в систему, которые генерируют много разных URL-адресов, тестовые области или где может существовать многогранная навигация. И обязательно следите за своим файлом robots.txt на предмет любых проблем или изменений.
Большинство проблем, которые я вижу с файлами robots.txt, распадаются на три сегмента:
Неправильная обработка подстановочных знаков.Довольно часто можно увидеть заблокированные части сайта, которые должны были быть заблокированы. Иногда, если вы не будете осторожны, директивы могут также противоречить друг другу.
Кто-то, например разработчик, неожиданно внес изменения (часто при добавлении нового кода) и случайно изменил robots.txt без вашего ведома.
Включение директив, которых нет в файле robots.txt. Robots.txt является веб-стандартом и имеет некоторые ограничения. Я часто вижу, как разработчики создают директивы, которые просто не работают (по крайней мере, для подавляющего большинства поисковых роботов). Иногда это безобидно, иногда не очень.
Пример
Давайте рассмотрим пример, чтобы проиллюстрировать это:
У вас есть веб-сайт электронной коммерции, и посетители могут использовать фильтр для быстрого поиска по вашим товарам. Этот фильтр генерирует страницы, которые в основном показывают то же содержание, что и другие страницы. Это отлично работает для пользователей, но сбивает с толку поисковые системы, поскольку создает дублированный контент.
Вы не хотите, чтобы поисковые системы индексировали эти отфильтрованные страницы и тратили свое драгоценное время на эти URL с отфильтрованным содержанием.Поэтому вам следует настроить правила Disallow , чтобы поисковые системы не получали доступ к этим отфильтрованным страницам продуктов.
Предотвращение дублирования контента также можно сделать с помощью канонического URL или метатега robots, однако они не решают проблему, позволяя поисковым системам сканировать только важные страницы.
Использование канонического URL или метатега robots не помешает поисковым системам сканировать эти страницы. Это только предотвратит отображение этих страниц в результатах поиска поисковыми системами.Поскольку поисковые системы имеют ограниченное время для сканирования веб-сайта, это время следует потратить на страницы, которые вы хотите отображать в поисковых системах.
Ваш robots.txt работает против вас?
Неправильно настроенный файл robots.txt может сдерживать эффективность SEO. Сразу же проверьте, так ли это на вашем сайте!
Это очень простой инструмент, но файл robots.txt может вызвать множество проблем, если он неправильно настроен, особенно для крупных веб-сайтов.Очень легко сделать ошибки, например заблокировать весь сайт после развертывания нового дизайна или CMS или не заблокировать разделы сайта, которые должны быть конфиденциальными. Для крупных веб-сайтов очень важно обеспечить эффективное сканирование Google, и хорошо структурированный файл robots. txt является важным инструментом в этом процессе.
Вам нужно потратить время, чтобы понять, какие разделы вашего сайта лучше всего держать подальше от Google, чтобы они тратили как можно больше своих ресурсов на сканирование страниц, которые вам действительно интересны.
Как выглядит файл robots.txt?
Пример того, как может выглядеть простой файл robots.txt для веб-сайта WordPress:
Агент пользователя: * Disallow: / wp-admin /
Давайте объясним анатомию файла robots.txt на основе приведенного выше примера:
User-agent: user-agent указывает, для каких поисковых систем предназначены следующие директивы.
* : это указывает на то, что директивы предназначены для всех поисковых систем.
Disallow : это директива, указывающая, какой контент недоступен пользовательскому агенту .
/ wp-admin / : это путь , который недоступен для пользовательского агента .
Вкратце: этот файл robots.txt сообщает всем поисковым системам, чтобы они не заходили в каталог / wp-admin / .
Давайте более подробно проанализируем различные компоненты файлов robots.txt:
User-agent в robots.txt
Каждая поисковая система должна идентифицировать себя с помощью пользовательского агента . Роботы Google идентифицируются как Googlebot , например, роботы Yahoo — как Slurp , а робот Bing — как BingBot и так далее.
Запись пользовательского агента определяет начало группы директив. Все директивы между первым пользовательским агентом и следующей записью пользовательского агента обрабатываются как директивы для первого пользовательского агента .
Директивы
могут применяться к определенным пользовательским агентам, но они также могут применяться ко всем пользовательским агентам. В этом случае используется подстановочный знак: User-agent: * .
Директива Disallow в robots.txt
Вы можете запретить поисковым системам получать доступ к определенным файлам, страницам или разделам вашего веб-сайта. Это делается с помощью директивы Disallow . За директивой Disallow следует путь , к которому не следует обращаться. Если путь не определен, директива игнорируется.
Пример
Агент пользователя: * Disallow: / wp-admin /
В этом примере всем поисковым системам предлагается не обращаться к каталогу / wp-admin / .
Разрешить директиву в robots.txt
Директива Allow используется для противодействия директиве Disallow . Директива Allow поддерживается Google и Bing. Используя вместе директивы Allow и Disallow , вы можете указать поисковым системам, что они могут получить доступ к определенному файлу или странице в каталоге, который иначе запрещен. За директивой Allow следует путь , к которому можно получить доступ. Если путь не определен, директива игнорируется.
Пример
Агент пользователя: * Разрешить: /media/terms-and-conditions.pdf Disallow: / media /
В приведенном выше примере всем поисковым системам не разрешен доступ к каталогу / media / , за исключением файла /media/terms-and-conditions.pdf .
Важно: при одновременном использовании директив Allow и Disallow не используйте подстановочные знаки, поскольку это может привести к конфликту директив.
Пример конфликтующих директив
Агент пользователя: * Разрешить: / каталог Disallow: * .html
Поисковые системы не будут знать, что делать с URL-адресом http://www.domain.com/directory.html . Для них неясно, разрешен ли им доступ. Если директивы не ясны для Google, они будут использовать наименее строгую директиву, что в данном случае означает, что они фактически получат доступ к http://www.domain.com/directory.html .
Запрещающие правила в файле robots.txt сайта невероятно эффективны, поэтому с ними следует обращаться осторожно. Для некоторых сайтов предотвращение сканирования определенных шаблонов URL-адресов поисковыми системами имеет решающее значение для обеспечения возможности сканирования и индексации нужных страниц, но неправильное использование правил запрета может серьезно повредить SEO сайта.
Отдельная строка для каждой директивы
Каждая директива должна быть на отдельной строке, иначе поисковые системы могут запутаться при парсинге robots.txt файл.
Пример неверного файла robots.txt
Предотвратить появление файла robots.txt вроде этого:
Агент пользователя: * Disallow: / directory-1 / Disallow: / directory-2 / Disallow: / directory-3/
Robots. txt — одна из тех функций, которые, как я чаще всего наблюдаю, реализованы неправильно, поэтому он не блокирует то, что они хотели заблокировать, или блокирует больше, чем они ожидали, и оказывает негативное влияние на их веб-сайт. Robots.txt — очень мощный инструмент, но слишком часто он неправильно настраивается.
Использование подстановочного знака *
Подстановочный знак можно использовать не только для определения пользовательского агента , но и для сопоставления URL-адресов. Подстановочный знак поддерживается Google, Bing, Yahoo и Ask.
Пример
Агент пользователя: * Запретить: *?
В приведенном выше примере всем поисковым системам запрещен доступ к URL-адресам, содержащим вопросительный знак (? ).
Разработчики или владельцы сайтов часто думают, что могут использовать всевозможные регулярные выражения в файле robots.txt, тогда как на самом деле допустимо только очень ограниченное количество сопоставлений с образцом — например, подстановочные знаки ( * ). Кажется, время от времени возникает путаница между файлами .htaccess и robots.txt.
Использование конца URL $
Чтобы указать конец URL-адреса, вы можете использовать знак доллара ( $ ) в конце пути .
Пример
Агент пользователя: * Disallow: * .php $
В приведенном выше примере поисковым системам не разрешен доступ ко всем URL-адресам, заканчивающимся на.php. URL-адреса с параметрами, например https://example.com/page.php?lang=en не будет запрещен, поскольку URL-адрес не заканчивается после .php .
Добавьте карту сайта в robots.txt
Несмотря на то, что файл robots.txt был изобретен, чтобы указывать поисковым системам, какие страницы не сканировать , файл robots.txt также можно использовать для направления поисковым системам на карту сайта XML. Это поддерживается Google, Bing, Yahoo и Ask.
На карту сайта XML следует ссылаться как на абсолютный URL.URL-адрес , а не должен находиться на том же хосте, что и файл robots.txt.
Ссылка на XML-карту сайта в файле robots.txt — одна из лучших практик, которую мы советуем вам делать всегда, даже если вы уже отправили свою XML-карту сайта в Google Search Console или Bing Webmaster Tools. Помните, что существует больше поисковых систем.
Обратите внимание, что в файле robots.txt можно ссылаться на несколько карт сайта XML.
Примеры
Несколько файлов Sitemap XML, определенных в файле robots.txt файл:
Агент пользователя: * Запретить: / wp-admin / Карта сайта: https://www.example.com/sitemap1.xml Карта сайта: https://www.example.com/sitemap2.xml
В приведенном выше примере говорится, что все поисковые системы не должны обращаться к каталогу / wp-admin / и что есть две карты сайта XML, которые можно найти по адресу https://www. example.com/sitemap1.xml и https://www.example.com/sitemap2.xml .
Одна карта сайта XML, определенная в файле robots.txt:
Агент пользователя: * Запретить: / wp-admin / Карта сайта: https: // www.example.com/sitemap_index.xml
В приведенном выше примере говорится, что все поисковые системы не должны обращаться к каталогу / wp-admin / и что карту сайта XML можно найти по адресу https://www.example.com/sitemap_index .xml .
Часто задаваемые вопросы
Комментарии
Комментарии предшествуют # и могут быть помещены в начало строки или после директивы в той же строке. Все, что находится после # , будет проигнорировано.Эти комментарии предназначены только для людей.
Пример 1
# Не разрешать доступ к каталогу / wp-admin / для всех роботов. Пользовательский агент: * Disallow: / wp-admin /
Пример 2
User-agent: * # Применимо ко всем роботам Disallow: / wp-admin / # Не разрешать доступ к каталогу / wp-admin /.
В приведенных выше примерах передается одно и то же сообщение.
Crawl-delay в robots.txt
Директива Crawl-delay — это неофициальная директива, используемая для предотвращения перегрузки серверов слишком большим количеством запросов.Если поисковые системы могут перегружать сервер, добавление Crawl-delay в ваш файл robots.txt является лишь временным решением. Дело в том, что ваш сайт работает в плохой среде хостинга и / или ваш сайт неправильно настроен, и вы должны исправить это как можно скорее.
Пример robots.txt с указанной задержкой сканирования для Bing
. Способ обработки поисковыми системами Crawl-delay отличается. Ниже мы объясним, как с этим справляются основные поисковые системы.
Часто задаваемые вопросы
Crawl-delay и Google
Сканер Google, робот Google, не поддерживает директиву Crawl-delay , поэтому не беспокойтесь об определении задержки сканирования Google.
Однако Google поддерживает определение скорости сканирования (или «скорости запросов», если хотите) в консоли поиска Google.
Установка скорости сканирования в GSC
Войдите в старую Google Search Console (откроется в новой вкладке).
Выберите веб-сайт, для которого нужно определить скорость сканирования.
Есть только один параметр, который вы можете изменить: Скорость сканирования , с ползунком, где вы можете установить предпочтительную скорость сканирования. По умолчанию для скорости сканирования установлено значение «Разрешить Google оптимизировать мой сайт (рекомендуется)».
Вот как это выглядит в Google Search Console:
Задержка сканирования и Bing, Yahoo и Яндекс
Bing, Yahoo и Яндекс поддерживают директиву Crawl-delay для ограничения сканирования веб-сайта. Однако их интерпретация задержки сканирования немного отличается, поэтому обязательно проверьте их документацию:
Директива Crawl-delay должна быть размещена сразу после директив Disallow или Allow .
Пример:
Пользовательский агент: BingBot Disallow: / private / Задержка сканирования: 10
Задержка сканирования и Baidu
Baidu не поддерживает директиву crawl-delay , однако можно зарегистрировать учетную запись Baidu Webmaster Tools, в которой вы можете контролировать частоту сканирования, аналогично Google Search Console.
Когда использовать файл robots.txt?
Мы рекомендуем всегда использовать файл robots.txt.В его наличии нет абсолютно никакого вреда, и это отличное место для передачи указаний поисковым системам о том, как им лучше всего сканировать ваш сайт.
Файл robots.txt может быть полезен для предотвращения сканирования и индексации определенных областей или документов на вашем сайте. Примерами являются, например, промежуточный сайт или PDF-файлы. Тщательно спланируйте, что нужно проиндексировать поисковыми системами, и помните, что контент, недоступный через robots. txt, все равно может быть найден сканерами поисковых систем, если на него есть ссылки из других частей веб-сайта.
Лучшие практики robots.txt
Лучшие практики robots.txt подразделяются на следующие категории:
Расположение и имя файла
Файл robots.txt всегда должен находиться в корне веб-сайта (в каталоге верхнего уровня хоста) и иметь имя файла robots.txt , например: https: //www.example .com / robots.txt . Обратите внимание, что URL-адрес файла robots.txt, как и любой другой URL-адрес, чувствителен к регистру.
Если файл robots.txt не может быть найден в расположении по умолчанию, поисковые системы сочтут, что директивы отсутствуют, и уйдут на ваш сайт.
Порядок старшинства
Важно отметить, что поисковые системы по-разному обрабатывают файлы robots.txt. По умолчанию первая соответствующая директива всегда побеждает .
Однако с Google и Bing специфичность побеждает . Например: директива Allow имеет преимущество перед директивой Disallow , если ее длина символа больше.
Пример
Агент пользователя: * Разрешить: / about / company / Disallow: / about /
В приведенном выше примере всем поисковым системам, включая Google и Bing, не разрешен доступ к каталогу / about / , за исключением подкаталога / about / company / .
Пример
Агент пользователя: * Disallow: / about / Разрешить: / about / company /
В приведенном выше примере всем поисковым системам , кроме Google и Bing , запрещен доступ к каталогу / about / .Сюда входит каталог / about / company / .
Google и Bing имеют доступ к , поскольку директива Allow длиннее , чем директива Disallow .
Только одна группа директив на робота
Для каждой поисковой системы можно определить только одну группу директив. Наличие нескольких групп директив для одной поисковой системы сбивает их с толку.
Будьте как можно более конкретными
Директива Disallow также срабатывает при частичных совпадениях.Будьте как можно более конкретными при определении директивы Disallow , чтобы предотвратить непреднамеренное запрещение доступа к файлам.
Пример:
Агент пользователя: * Disallow: / directory
В приведенном выше примере поисковым системам запрещен доступ к:
/ каталог
/ каталог /
/ имя-каталога-1
/ имя-каталога.html
/ имя-каталога.php
/ имя-каталога.pdf
Директивы для всех роботов, а также директивы для конкретного робота
Для робота действует только одна группа директив. В случае, если директивы, предназначенные для всех роботов, сопровождаются директивами для конкретного робота, будут приняты во внимание только эти конкретные директивы. Чтобы конкретный робот также выполнял директивы для всех роботов, вам необходимо повторить эти директивы для конкретного робота.
Давайте посмотрим на пример, который проясняет это:
Пример
Агент пользователя: * Disallow: / secret / Запретить: / test / Запретить: / еще не запущено / Пользовательский агент: googlebot Disallow: / not-loaded-still /
В приведенном выше примере всем поисковым системам , кроме Google , запрещен доступ к / secret / , / test / и / not-loaded-yet / . Google не разрешен доступ только к / not-loaded-yet / , но разрешен доступ к / secret / и / test / .
Если вы не хотите, чтобы робот googlebot имел доступ к / secret / и / not-loaded-yet / , вам необходимо повторить эти директивы для googlebot , а именно:
Агент пользователя: * Disallow: / secret / Запретить: / test / Запретить: / еще не запущено / Пользовательский агент: googlebot Disallow: / secret / Запретить: / not-launch-yet /
Обратите внимание, что ваш файл robots. txt общедоступен. Запрет на использование разделов веб-сайта может быть использован злоумышленниками как вектор атаки.
Robots.txt может быть опасным. Вы не только указываете поисковым системам, куда вы не хотите, чтобы они смотрели, вы говорите людям, где вы скрываете свои грязные секреты.
Файл robots.txt для каждого (под) домена
Директивы Robots.txt применяются только к (под) домену, в котором размещен файл.
Примеры
http://example.com/robots.txt действителен для http://example.com , но не для http: // www.example.com или https://example.com .
Рекомендуется, чтобы в вашем (под) домене был доступен только один файл robots.txt.
Если у вас есть несколько файлов robots.txt, убедитесь, что они возвращают HTTP-статус 404 или 301 перенаправляют их в канонический файл robots.txt.
Противоречивые рекомендации: robots.
txt и Google Search Console
Если ваш файл robots.txt конфликтует с настройками, определенными в Google Search Console, Google часто предпочитает использовать настройки, определенные в Google Search Console, вместо директив, определенных в robots.txt файл.
Следите за своим файлом robots.txt
Важно отслеживать изменения в файле robots.txt. В ContentKing мы видим множество проблем, из-за которых неправильные директивы и внезапные изменения в файле robots.txt вызывают серьезные проблемы с поисковой оптимизацией.
Это верно, особенно при запуске новых функций или нового веб-сайта, который был подготовлен в тестовой среде, поскольку они часто содержат следующий файл robots.txt:
Агент пользователя: * Disallow: /
Мы построили роботов.txt, отслеживание изменений и оповещение по этой причине.
Как узнать об изменении файла robots.txt?
Мы видим это постоянно: файлы robots.txt меняются без ведома команды цифрового маркетинга. Не будь этим человеком. Начните отслеживать свой файл robots.txt, теперь получайте оповещения при его изменении!
Не используйте noindex в своем robots.txt
В течение многих лет Google уже открыто рекомендовал не использовать неофициальную директиву noindex (открывается в новой вкладке).Однако с 1 сентября 2019 года Google полностью прекратил его поддержку (открывается в новой вкладке).
Неофициальная директива noindex никогда не работала в Bing, что подтверждено Фредериком Дубутом в этом твите (открывается в новой вкладке):
Лучший способ сообщить поисковым системам, что страницы не следует индексировать, — это использовать метатеги robots или X-Robots-Tag.
Часто задаваемые вопросы
Запретить спецификацию UTF-8 в файле robots.txt
BOM обозначает метку порядка байтов , невидимый символ в начале файла, используемый для обозначения кодировки Unicode текстового файла.
В то время как Google заявляет (открывается в новой вкладке), они игнорируют необязательную отметку порядка байтов Unicode в начале файла robots. txt, мы рекомендуем предотвратить «UTF-8 BOM», потому что мы видели, что это вызывает проблемы с интерпретацией файла robots.txt поисковыми системами.
Несмотря на то, что Google заявляет, что может с этим справиться, вот две причины, чтобы предотвратить спецификацию UTF-8:
Вы не хотите, чтобы у вас возникла двусмысленность в ваших предпочтениях при сканировании в поисковые системы.
Существуют и другие поисковые системы, которые могут быть не такими снисходительными, как утверждает Google.
Примеры robots.txt
В этой главе мы рассмотрим широкий спектр примеров файлов robots.txt:
Разрешить всем роботам доступ ко всему
Есть несколько способов сообщить поисковым системам, что они могут получить доступ ко всем файлам:
Или файл robots.txt пустой, или файл robots.txt вообще отсутствует.
Запретить всем роботам доступ ко всему
Пример robots.txt ниже сообщает всем поисковым системам, что им нельзя обращаться ко всему сайту:
Агент пользователя: * Disallow: /
Обратите внимание, что только ОДИН дополнительный символ может иметь решающее значение.
У всех ботов Google нет доступа
Пользовательский агент: googlebot Disallow: /
Обратите внимание, что запрет на использование робота Googlebot распространяется на всех роботов Googlebot. Сюда входят роботы Google, которые ищут, например, новости ( googlebot-news ) и изображения ( googlebot-images ).
Все боты Google, кроме новостных Googlebot, не имеют доступа
Пользовательский агент: googlebot Запретить: / Пользовательский агент: googlebot-news Disallow:
У Googlebot и Slurp нет доступа
Агент пользователя: Slurp Пользовательский агент: googlebot Disallow: /
У всех роботов нет доступа к двум каталогам
Агент пользователя: * Запретить: / admin / Disallow: / private /
Не все роботы имеют доступ к одному конкретному файлу
Агент пользователя: * Запретить: / каталог / some-pdf. pdf
У робота Googlebot нет доступа к / admin /, а у Slurp нет доступа к / private /
.
Пользовательский агент: googlebot Запретить: / admin / Пользовательский агент: Slurp Disallow: / private /
Часто задаваемые вопросы
Файл robots.txt для WordPress
Приведенный ниже файл robots.txt специально оптимизирован для WordPress, при условии:
Вы не хотите, чтобы ваш раздел администратора сканировался.
Вы не хотите, чтобы ваши страницы результатов внутреннего поиска сканировались.
Вы не хотите, чтобы страницы вашего тега и автора сканировались.
Вы не хотите, чтобы ваша страница 404 сканировалась.
Агент пользователя: * Запретить: / wp-admin / # заблокировать доступ к разделу администратора Запретить: /wp-login.php # заблокировать доступ в админку Запретить: / search / # заблокировать доступ к страницам результатов внутреннего поиска Запретить: *? S = * # заблокировать доступ к страницам результатов внутреннего поиска Disallow: *? P = * # заблокировать доступ к страницам, для которых постоянные ссылки не работают Disallow: * & p = * # заблокировать доступ к страницам, для которых постоянные ссылки не работают Запретить: * & preview = * # заблокировать доступ к страницам предварительного просмотра Запретить: / tag / # заблокировать доступ к страницам тегов Запретить: / author / # заблокировать доступ к страницам авторов Запретить: / 404-ошибка / # заблокировать доступ к странице 404 Карта сайта: https: // www. example.com/sitemap_index.xml
Обратите внимание, что этот файл robots.txt будет работать в большинстве случаев, но вы должны всегда настроить его и протестировать, чтобы убедиться, что он применим к вашей конкретной ситуации.
Файл robots.txt для Magento
Приведенный ниже файл robots.txt специально оптимизирован для Magento и сделает внутренние результаты поиска, страницы входа, идентификаторы сеансов и отфильтрованные наборы результатов, которые содержат критерии цена , цвет , материал и размер критерии недоступными для поисковых роботов. .
Агент пользователя: * Запретить: / catalogsearch / Запретить: / поиск / Запретить: / клиент / аккаунт / логин / Запретить: / *? SID = Запретить: / *? PHPSESSID = Disallow: / *? Price = Disallow: / * & price = Запретить: / *? Color = Запретить: / * & color = Disallow: / *? Material = Запретить: / * & материал = Запретить: / *? Size = Запретить: / * & size = Карта сайта: https://www. example.com/sitemap_index.xml
Обратите внимание, что этот файл robots.txt будет работать для большинства магазинов Magento, но вы должны всегда настраивать его и проверять, чтобы убедиться, что он применим к ваша точная ситуация.
Полезные ресурсы
Я бы всегда старался блокировать результаты внутреннего поиска в robots.txt на любом сайте, потому что эти типы поисковых URL-адресов представляют собой бесконечные и бесконечные пробелы. Робот Googlebot может попасть в ловушку робота-робота.
Каковы ограничения файла robots.txt?
Файл robots.txt содержит директивы
Несмотря на то, что robots.txt пользуется уважением в поисковых системах, он все же является директивой, а не предписанием.
Страницы по-прежнему отображаются в результатах поиска
Страницы, недоступные для поисковых систем из-за файла robots.txt, но имеющие ссылки на них, могут по-прежнему отображаться в результатах поиска, если на них есть ссылки со страницы, которая просматривается. Пример того, как это выглядит:
Наконечник Pro
Эти URL-адреса можно удалить из Google с помощью инструмента удаления URL-адресов в Google Search Console. Обратите внимание, что эти URL-адреса будут только временно «скрыты». Чтобы они не попадали на страницы результатов поиска Google, вам необходимо отправлять запрос на скрытие URL-адресов каждые 180 дней.
Используйте robots.txt, чтобы заблокировать нежелательные и потенциально опасные обратные ссылки на партнерские программы. Не используйте robots.txt для предотвращения индексации контента поисковыми системами, поскольку это неизбежно приведет к сбою. Вместо этого при необходимости примените директиву noindex для роботов.
Файл robots.txt кэшируется до 24 часов
Google указал, что файл robots.txt обычно кэшируется на срок до 24 часов. Это важно учитывать при внесении изменений в свои robots.txt файл.
Непонятно, как другие поисковые системы борются с кешированием robots. txt, но в целом лучше избегать кеширования файла robots.txt, чтобы поисковым системам требовалось больше времени, чем необходимо, чтобы они могли уловить изменения.
Размер файла robots.txt
Для файлов robots.txt в настоящее время Google поддерживает ограничение на размер файла в 500 кибибайт (512 килобайт). Любое содержимое после максимального размера файла может игнорироваться.
Неясно, есть ли у других поисковых систем максимальный размер файла для роботов.txt файлы.
Часто задаваемые вопросы о robots.txt
🤖 Как выглядит пример файла robots.txt?
Вот пример содержания файла robots.txt: User-agent: * Disallow:. Это говорит всем сканерам, что они могут получить доступ ко всему.
⛔ Что делает Disallow all в robots.txt?
Когда вы устанавливаете robots.txt на «Запретить все», вы, по сути, говорите всем сканерам держаться подальше. Никакие сканеры, в том числе Google, не имеют доступа к вашему сайту. Это означает, что они не смогут сканировать, индексировать и оценивать ваш сайт. Это приведет к резкому падению органического трафика.
✅ Что делает Allow all в robots.txt?
Когда вы устанавливаете robots.txt на «Разрешить все», вы сообщаете каждому сканеру, что он может получить доступ к каждому URL-адресу на сайте. Правил приема просто нет. Обратите внимание, что это эквивалентно пустому файлу robots.txt или отсутствию файла robots.txt вообще.
🤔 Насколько важен robots.txt для SEO?
В общем, роботы.txt очень важен для SEO. Для более крупных веб-сайтов файл robots.txt необходим, чтобы дать поисковым системам очень четкие инструкции о том, к какому контенту нельзя обращаться.
Дополнительная литература
Полезные ресурсы
Часто задаваемые вопросы о robots.txt
Как заблокировать поисковые системы с помощью правила запрета robots.txt
Вы ищете способ контролировать, как роботы поисковых систем сканируют ваш сайт? Или вы хотите сделать некоторые части вашего сайта приватными? Вы можете сделать это, изменив файл robots. txt с помощью команды disallow .
Из этой статьи вы узнаете, что robots.txt может сделать для вашего сайта. Мы также покажем вам, как использовать его, чтобы блокировать роботов поисковых систем.
Что такое Robots.txt?
Robots.txt — это простой текстовый файл, используемый для взаимодействия с поисковыми роботами. Файл находится в корневом каталоге сайта.
Он работает, сообщая ботам, какие части сайта следует и не следует сканировать.Это до robots.txt и независимо от того, разрешено или запрещено ботам сканировать веб-сайт.
Другими словами, вы можете настроить файл так, чтобы поисковые системы не сканировали и индексировали страницы или файлы на вашем сайте.
Почему я должен блокировать поисковую систему?
Если у вас есть страницы, содержащие конфиденциальную информацию, вы можете сделать их частными. К сожалению, роботы поисковых систем не могут автоматически различать общедоступный и частный контент. В этом случае необходимо ограничение доступа.
Вы также можете запретить ботам сканировать весь ваш сайт. Особенно, если ваш сайт находится в режиме обслуживания или на стадии подготовки.
Еще одно применение robots.txt — предотвращение проблем с дублированием контента, которые возникают, когда одни и те же сообщения или страницы появляются на разных URL-адресах. Дубликаты могут негативно повлиять на SEO.
Решение простое — выявите повторяющийся контент и запретите ботам сканировать его.
Как использовать Robots.txt для запрета работы поисковых систем?
Если вы хотите проверить robots.txt , вы можете просмотреть его, добавив robots.txt после URL вашего сайта, например www.myname.com/robots.txt . Вы можете редактировать его через файловый менеджер панели управления хостингом или через FTP-клиент.
Давайте настроим файл robots.txt с помощью файлового менеджера hPanel от Hostinger. Во-первых, вы должны войти в File Manager в разделе панели Files . Затем откройте файл из каталога public_html .
Если файла нет, вы можете создать его вручную. Просто нажмите кнопку New File в правом верхнем углу файлового менеджера, назовите его robots.txt и поместите в public_html .
Теперь можно начинать добавлять команды в файл. Вы должны знать два основных из них:
User-agent — относится к типу бота, который будет ограничен, например Googlebot или Bingbot.
Disallow — здесь вы хотите ограничить работу ботов.
Рассмотрим пример. Если вы хотите, чтобы бот Google не сканировал определенную папку вашего сайта, вы можете поместить эту команду в файл:
User-agent: Googlebot Disallow: / example-subfolder /
Вы также можете заблокировать сканирование ботами определенной веб-страницы. Если вы хотите заблокировать Bingbot со страницы, вы можете установить команду следующим образом:
User-agent: Bingbot Disallow: /example-subfolder/blocked-page.html
А что, если вам нужны роботы .txt , чтобы запретить использование всех роботов поисковых систем? Вы можете сделать это, поместив звездочку (*) рядом с User-agent . А если вы хотите запретить им доступ ко всему сайту, просто поставьте косую черту (/) рядом с Disallow . Вот как это выглядит:
User-agent: * Disallow: /
Вы можете настроить разные конфигурации для разных поисковых систем, добавив несколько команд в файл. Также имейте в виду, что изменения вступят в силу после сохранения файла robots.txt файл.
Заключительные слова
Теперь вы узнали, как изменить файл robots.txt . Это позволяет вам управлять доступом роботов поисковых систем к вашему сайту. Теперь вы можете отдыхать спокойно, зная, что там будет отображаться только то, что вы хотите найти на страницах результатов поиска.
Меркис — администратор серверов и эксперт по Linux в Hostinger. Он поддерживает все в рабочем состоянии, решая сложные проблемы управления сервером. Кроме того, он большой поклонник технологии блокчейн, веб-разработки и бодибилдинга.
Как создать идеальный файл Robots.txt для SEO
Все любят «хаки».
Я не исключение — мне нравится находить способы сделать свою жизнь лучше и проще.
Вот почему техника, о которой я расскажу вам сегодня, — одна из моих самых любимых. Это законный SEO-прием, которым вы можете сразу же начать пользоваться.
Это способ улучшить ваше SEO за счет использования естественной части каждого веб-сайта, о которой редко говорят.Реализовать тоже несложно.
Это файл robots.txt (также называемый протоколом исключения роботов или стандартом).
Этот крошечный текстовый файл есть на каждом веб-сайте в Интернете, но большинство людей даже не знают о нем.
Он разработан для работы с поисковыми системами, но, что удивительно, это источник сока SEO, который только и ждет, чтобы его разблокировали.
Я видел, как клиент за клиентом отклонялись назад, пытаясь улучшить свое SEO. Когда я говорю им, что они могут редактировать небольшой текстовый файл, они мне почти не верят.
Однако существует множество несложных или трудоемких методов улучшения SEO, и это один из них.
Для использования всех возможностей robots.txt не требуется никакого технического опыта. Если вы можете найти исходный код для своего веб-сайта, вы можете использовать его.
Итак, когда вы будете готовы, следуйте за мной, и я покажу вам, как именно изменить файл robots.txt, чтобы он понравился поисковым системам.
Почему важен файл robots.txt
Во-первых, давайте посмотрим, почему robots.txt имеет значение в первую очередь.
Файл robots.txt, также известный как протокол или стандарт исключения роботов, представляет собой текстовый файл, который сообщает веб-роботам (чаще всего поисковым системам), какие страницы вашего сайта сканировать.
Он также сообщает веб-роботам, какие страницы , а не нужно сканировать.
Допустим, поисковая система собирается посетить сайт. Перед посещением целевой страницы он проверяет robots.txt на наличие инструкций.
Есть разные типы роботов.txt, поэтому давайте рассмотрим несколько различных примеров того, как они выглядят.
Допустим, поисковая система находит этот пример файла robots.txt:
Это базовый скелет файла robots.txt.
Звездочка после «user-agent» означает, что файл robots.txt применяется ко всем веб-роботам, посещающим сайт.
Косая черта после «Запретить» указывает роботу не посещать никакие страницы сайта.
Вам может быть интересно, зачем кому-то мешать веб-роботам посещать свой сайт.
В конце концов, одна из основных целей SEO — заставить поисковые системы легко сканировать ваш сайт, чтобы повысить ваш рейтинг.
Вот где кроется секрет этого SEO-взлома.
У вас наверняка много страниц на сайте? Даже если вы так не думаете, пойдите и проверьте. Вы можете быть удивлены.
Если поисковая система просканирует ваш сайт, она просканирует каждую из ваших страниц.
А если у вас много страниц, боту поисковой системы потребуется некоторое время, чтобы их просканировать, что может отрицательно повлиять на ваш рейтинг.
Это потому, что у Googlebot (робота поисковой системы Google) есть «краулинговый бюджет».
Это делится на две части. Первый — это ограничение скорости сканирования. Вот как Google объясняет это:
Вторая часть — требование сканирования:
По сути, краулинговый бюджет — это «количество URL-адресов, которые робот Googlebot может и хочет просканировать».
Вы хотите помочь роботу Googlebot оптимально расходовать бюджет сканирования для вашего сайта. Другими словами, он должен сканировать ваши самые ценные страницы.
Есть определенные факторы, которые, по мнению Google, «негативно повлияют на сканирование и индексирование сайта».
Вот эти факторы:
Итак, вернемся к robots. txt.
Если вы создаете правильную страницу robots.txt, вы можете указать роботам поисковых систем (и особенно роботу Googlebot) избегать определенных страниц.
Подумайте о последствиях. Если вы укажете роботам поисковых систем сканировать только ваш самый полезный контент, они будут сканировать и индексировать ваш сайт только на основе этого контента.
По словам Google:
«Вы не хотите, чтобы ваш сервер был перегружен поисковым роботом Google или тратил бюджет на сканирование неважных или похожих страниц вашего сайта».
Правильно используя robots.txt, вы можете указать роботам поисковых систем разумно расходовать свой краулинговый бюджет. Именно это делает файл robots.txt таким полезным в контексте SEO.
Заинтригованы силой robots.txt?
Так и должно быть! Поговорим о том, как его найти и использовать.
Как найти файл robots.txt
Если вы просто хотите быстро просмотреть свой файл robots. txt, есть очень простой способ просмотреть его.
На самом деле этот метод будет работать для любого сайта . Так вы можете заглянуть в файлы других сайтов и увидеть, что они делают.
Все, что вам нужно сделать, это ввести основной URL-адрес сайта в строку поиска вашего браузера (например, neilpatel.com, quicksprout.com и т. Д.). Затем добавьте в конец /robots.txt.
Произойдет одна из трех ситуаций:
1) Вы найдете файл robots.txt файл.
2) Вы найдете пустой файл.
Например, у Disney не хватает файла robots.txt:
3) Вы получите 404.
Метод возвращает 404 для robots.txt:
Найдите секунду и просмотрите файл robots.txt своего сайта.
Если вы обнаружите пустой файл или ошибку 404, вы захотите это исправить.
Если вы найдете действительный файл, вероятно, для него установлены настройки по умолчанию, которые были созданы при создании вашего сайта.
Мне особенно нравится этот метод просмотра файлов robots. txt других сайтов. После того, как вы изучите все тонкости robots.txt, это может стать полезным упражнением.
Теперь давайте посмотрим, как на самом деле изменить файл robots.txt.
Как найти файл robots.txt
Ваши следующие шаги будут зависеть от того, есть ли у вас файл robots.txt. (Проверьте, делаете ли вы это, используя метод, описанный выше.)
Если у вас нет файла robots.txt, вам придется создать его с нуля.Откройте текстовый редактор, например Блокнот (Windows) или TextEdit (Mac).
Используйте для этого только текстовый редактор . Если вы используете такие программы, как Microsoft Word, программа может вставлять дополнительный код в текст.
Editpad.org — отличный бесплатный вариант, и вы увидите, что я использую в этой статье.
Вернуться в robots.txt. Если у вас есть файл robots.txt, вам нужно найти его в корневом каталоге вашего сайта.
Если вы не привыкли копаться в исходном коде, то найти редактируемую версию вашего файла robots. txt файл.
Обычно вы можете найти свой корневой каталог, перейдя на веб-сайт своей учетной записи хостинга, войдя в систему и перейдя в раздел управления файлами или FTP вашего сайта.
Вы должны увидеть что-то вроде этого:
Найдите файл robots.txt и откройте его для редактирования. Удалите весь текст, но сохраните файл.
Примечание. Если вы используете WordPress, вы можете увидеть файл robots.txt при переходе на yoursite.com/robots.txt, но вы не сможете найти его в своих файлах.
Это связано с тем, что WordPress создает виртуальный файл robots.txt, если в корневом каталоге нет файла robots.txt.
Если это произойдет с вами, вам нужно будет создать новый файл robots.txt.
Создание файла robots.txt
Вы можете создать новый файл robots.txt с помощью любого текстового редактора по вашему выбору. (Помните, используйте только текстовый редактор.)
Если у вас уже есть файл robots.txt, убедитесь, что вы удалили текст (но не файл).
Во-первых, вам нужно познакомиться с некоторым синтаксисом, используемым в файле robots.txt.
У Google есть хорошее объяснение некоторых основных терминов robots.txt:
Я покажу вам, как создать простой файл robot.txt, а затем мы рассмотрим, как настроить его для SEO.
Начните с установки термина пользовательского агента. Мы собираемся настроить его так, чтобы он применялся ко всем веб-роботам.
Сделайте это, поставив звездочку после термина пользовательского агента, например:
Затем введите «Disallow:», но после этого ничего не вводите.
Поскольку после запрета нет ничего, веб-роботы будут направлены на сканирование всего вашего сайта. Прямо сейчас все на вашем сайте — это честная игра.
На данный момент ваш файл robots.txt должен выглядеть так:
Я знаю, что это выглядит очень просто, но эти две строчки уже многое делают.
Вы также можете создать ссылку на свою карту сайта XML, но это не обязательно. Если хотите, вот что нужно набрать:
Хотите верьте, хотите нет, но это то, что простейшие роботы.txt выглядит как.
А теперь давайте перейдем на новый уровень и превратим этот маленький файл в средство повышения SEO.
Оптимизация robots.txt для SEO
Как вы оптимизируете robots.txt, все зависит от содержания вашего сайта. Есть много способов использовать robots.txt в ваших интересах.
Я рассмотрю некоторые из наиболее распространенных способов его использования.
(Имейте в виду, что вам следует , а не , использовать robots.txt для блокировки страниц из поисковых систем .Это большой запрет.)
Одно из лучших применений файла robots.txt — увеличить бюджеты сканирования поисковых систем, запретив им сканировать те части вашего сайта, которые не отображаются для публики.
Например, если вы посетите файл robots.txt для этого сайта (neilpatel.com), вы увидите, что он запрещает страницу входа (wp-admin).
Поскольку эта страница используется только для входа в серверную часть сайта, роботам поисковых систем не имеет смысла тратить время на ее сканирование.
(Если у вас WordPress, вы можете использовать ту же самую запрещающую строку.)
Вы можете использовать аналогичную директиву (или команду), чтобы запретить ботам сканировать определенные страницы. После запрета введите часть URL-адреса после .com. Поместите это между двумя косыми чертами.
Итак, если вы хотите запретить боту сканировать вашу страницу http://yoursite.com/page/, введите следующее:
Вам может быть интересно, какие типы страниц исключить из индексации.Вот несколько распространенных сценариев, в которых это может произойти:
Умышленное дублирование контента. Хотя дублированный контент — это в большинстве случаев плохо, в некоторых случаях это необходимо и приемлемо.
Например, если у вас есть версия страницы для печати, технически у вас дублированное содержимое. В этом случае вы можете сказать ботам, чтобы они не сканировали одну из этих версий (обычно версию для печати).
Это также удобно, если вы тестируете страницы с одинаковым содержанием, но с разным дизайном.
Страницы с благодарностью. Страница с благодарностью — одна из любимых страниц маркетологов, потому что она означает нового потенциального клиента.
… Верно?
Как оказалось, некоторые страницы благодарности доступны через Google . Это означает, что люди могут получить доступ к этим страницам без прохождения процесса захвата лидов, и это плохие новости.
Блокируя страницы с благодарностью, вы можете быть уверены, что их видят только квалифицированные лиды.
Допустим, ваша страница благодарности находится по адресу https: // yoursite.com / спасибо /. В вашем файле robots.txt блокировка этой страницы будет выглядеть так:
Поскольку не существует универсальных правил для запрещенных страниц, ваш файл robots. txt будет уникальным для вашего сайта. Используйте здесь свое суждение.
Вам следует знать еще две директивы: noindex и nofollow .
Вы знаете эту директиву запрета, которую мы использовали? Фактически это не препятствует индексации страницы.
Итак, теоретически вы можете запретить страницу, но она все равно может оказаться в индексе.
Как правило, вы этого не хотите.
Вот почему вам нужна директива noindex. Он работает с директивой disallow, чтобы роботы не посещали или , индексируя определенные страницы.
Если у вас есть страницы, которые вы не хотите индексировать (например, эти драгоценные страницы с благодарностью), вы можете использовать директиву disallow и noindex:
Теперь эта страница не будет отображаться в поисковой выдаче.
Наконец, есть директива nofollow. Фактически это то же самое, что и ссылка nofollow.Короче говоря, он сообщает веб-роботам, чтобы они не сканировали ссылки на странице.
Но директива nofollow будет реализована немного иначе, потому что на самом деле она не является частью файла robots.txt.
Однако директива nofollow все еще инструктирует веб-роботов, так что это та же концепция. Единственная разница в том, где это происходит.
Найдите исходный код страницы, которую хотите изменить, и убедитесь, что вы находитесь между тегами .
Затем вставьте эту строку:

Так должно получиться так:
Убедитесь, что вы не помещаете эту строку между другими тегами — только тегами.
Это еще один хороший вариант для страниц с благодарностью, поскольку веб-роботы не будут сканировать ссылки на какие-либо лид-магниты или другой эксклюзивный контент.
Если вы хотите добавить директивы noindex и nofollow, используйте эту строку кода:

Это даст веб-роботам сразу обе директивы.
Проверяем все
Наконец, проверьте файл robots.txt, чтобы убедиться, что все в порядке и работает правильно.
Google предоставляет бесплатный тестер robots.txt как часть инструментов для веб-мастеров.
Сначала войдите в свою учетную запись для веб-мастеров, нажав «Войти» в правом верхнем углу.
Выберите свой ресурс (например, веб-сайт) и нажмите «Сканировать» на левой боковой панели.
Вы увидите «robots.txt Tester». Щелкните по нему.
Если в поле уже есть какой-либо код, удалите его и замените новым файлом robots.txt.
Щелкните «Тест» в правой нижней части экрана.
Если текст «Тест» изменится на «Разрешено», это означает, что ваш robots.txt действителен.
Вот еще немного информации об инструменте, чтобы вы могли подробно узнать, что все означает.
Наконец, загрузите файл robots.txt в корневой каталог (или сохраните его там, если он у вас уже есть). Теперь у вас есть мощный файл, и ваша видимость в результатах поиска должна повыситься.
Заключение
Мне всегда нравится делиться малоизвестными «хитростями» SEO, которые могут дать вам реальное преимущество во многих отношениях.
Правильно настроив файл robots.txt, вы не просто улучшите свой собственный SEO. Вы также помогаете своим посетителям.
Если роботы поисковых систем могут разумно расходовать свои бюджеты сканирования, они будут организовывать и отображать ваш контент в поисковой выдаче наилучшим образом, а это означает, что вы будете более заметны.
Также не требуется много усилий для настройки файла robots.txt. В основном это однократная настройка, и при необходимости вы можете вносить небольшие изменения.
Независимо от того, запускаете ли вы свой первый или пятый сайт, с помощью robots.txt может иметь большое значение. Я рекомендую попробовать, если вы не делали этого раньше.
Каков ваш опыт создания файлов robots. txt?
Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт
SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
Paid Media — эффективные платные стратегии с четким ROI.
Заказать звонок
Полное руководство по robots.txt • Yoast
Йост де Валк
Йост де Валк — основатель и директор по продуктам Yoast. Он интернет-предприниматель, который незадолго до основания Yoast инвестировал и консультировал несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.
Файл robots.txt — один из основных способов сообщить поисковой системе, где можно, а где нельзя переходить на ваш веб-сайт. Все основные поисковые системы поддерживают базовую функциональность, которую они предлагают, но некоторые из них реагируют на некоторые дополнительные правила, которые также могут быть полезны. В этом руководстве описаны все способы использования robots.txt на вашем веб-сайте.
Предупреждение!
Любые ошибки, которые вы делаете в файле robots.txt, могут серьезно навредить вашему сайту, поэтому убедитесь, что вы прочитали и поняли всю эту статью, прежде чем углубляться в нее.
Что такое файл robots.txt?
Директивы сканирования
The robots.txt — это одна из нескольких директив сканирования. У нас есть руководства по всем из них, и вы найдете их здесь.
Файл robots.txt — это текстовый файл, который читается поисковой системой (и другими системами). Файл robots.txt, также называемый «протоколом исключения роботов», является результатом консенсуса между разработчиками первых поисковых систем. Это не официальный стандарт, установленный какой-либо организацией по стандартизации; хотя его придерживаются все основные поисковые системы.
Для чего нужен файл robots.txt?
Кэширование
Поисковые системы обычно кэшируют содержимое роботов.txt, чтобы им не приходилось загружать его постоянно, но обычно они обновляют его несколько раз в день. Это означает, что изменения в инструкциях обычно отражаются довольно быстро.
Поисковые системы обнаруживают и индексируют Интернет путем сканирования страниц. По мере того как они ползут, они находят ссылки и переходят по ним. Это переведет их с на сайт A на на сайт B на на сайт C и так далее. Но прежде чем поисковая система посетит любую страницу в домене, с которым она раньше не сталкивалась, она откроет роботов этого домена.txt файл. Это позволяет им узнать, какие URL-адреса на этом сайте им разрешено посещать (а какие — нет).
Куда мне поместить файл robots.txt?
Файл robots.txt всегда должен находиться в корне вашего домена. Итак, если ваш домен www.example. com , он должен находиться по адресу https://www.example.com/robots.txt .
Также очень важно, чтобы ваш файл robots.txt на самом деле назывался robots.txt. Имя чувствительно к регистру, так что сделайте это правильно, иначе оно просто не сработает.
Плюсы и минусы использования robots.txt
Pro: управление бюджетом сканирования
Обычно считается, что поисковый паук попадает на веб-сайт с заранее определенным «допуском» в отношении того, сколько страниц он будет сканировать (или сколько ресурсов / времени он потратит, в зависимости от авторитета / размера / репутации сайта, и насколько эффективно сервер отвечает). Оптимизаторы называют это краулинговым бюджетом .
Если вы считаете, что у вашего веб-сайта проблемы с бюджетом сканирования, то блокировка поисковых систем от «траты энергии» на несущественные части вашего сайта может означать, что они вместо этого сосредотачиваются на разделах, которые имеют значение и .
Иногда может быть полезно заблокировать поисковые системы от сканирования проблемных разделов вашего сайта, особенно на сайтах, где необходимо провести большую очистку SEO. После того, как вы наведете порядок, можете впустить их обратно.
Примечание о блокировке параметров запроса
Одна из ситуаций, когда бюджет сканирования особенно важен, — это когда ваш сайт использует множество параметров строки запроса для , фильтрует или сортирует перечисляет . Допустим, у вас есть 10 различных параметров запроса, каждый с разными значениями, которые можно использовать в любой комбинации (например, футболки с несколькими цветами s и размера s).Это приводит к множеству возможных действительных URL-адресов, и все они могут быть просканированы. Блокирование параметров запроса от сканирования поможет убедиться, что поисковая система будет сканировать только основные URL-адреса вашего сайта и не попадет в огромную ловушку, которую вы в противном случае создали бы.
Con: не удалять страницу из результатов поиска
Несмотря на то, что вы можете использовать файл robots.txt, чтобы сообщить пауку, где он не может перейти на ваш сайт, вы, , не можете. использовать его, чтобы сообщить поисковой системе, какие URL-адреса не показывать в результатах поиска — другими словами , блокировка не помешает его индексации.Если поисковая система найдет достаточно ссылок на этот URL, она включит его, но просто не будет знать, что на этой странице. Итак, ваш результат будет выглядеть так:
Если вы хотите надежно заблокировать отображение страницы в результатах поиска, вам необходимо использовать мета-тег robots noindex . Это означает, что для того, чтобы найти тег noindex , поисковая система должна иметь доступ к этой странице, поэтому не блокирует ее с помощью robots.txt.
Директивы Noindex
Раньше можно было добавлять директивы noindex в файл robots.txt, чтобы удалить URL-адреса из результатов поиска Google и избежать появления этих «фрагментов». Это больше не поддерживается (и технически никогда не поддерживалось).
Con: не распространяется значение ссылки
Если поисковая система не может сканировать страницу, она не может распределять значение ссылки по ссылкам на этой странице. Когда страница заблокирована с помощью robots.txt, это тупиковый путь. Любое значение ссылки, которая могла перейти на эту страницу (и через нее), теряется.
Синтаксис Robots.txt
WordPress robots.txt
У нас есть целая статья о том, как лучше всего настроить robots.txt для WordPress. Не забывайте, что вы можете редактировать файл robots.txt своего сайта в разделе Yoast SEO Tools → Редактор файлов.
Файл robots.txt состоит из одного или нескольких блоков директив, каждый из которых начинается со строки пользовательского агента. «Пользовательский агент» — это имя конкретного паука, к которому он обращается. У вас может быть один блок для всех поисковых систем, используя подстановочный знак для пользовательского агента, или определенные блоки для определенных поисковых систем. Паук поисковой системы всегда выбирает блок, который лучше всего соответствует его названию.
Эти блоки выглядят так (не пугайтесь, объясним ниже):
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:

User-agent: bingbot
Disallow: / not-for-bing /

Директивы
, такие как Allow и Disallow не должны быть чувствительны к регистру, поэтому вам решать, писать ли вы их в нижнем регистре или использовать в верхнем регистре.Значения чувствительны к регистру , однако / photo / не то же самое, что / Photo / . Нам нравится использовать директивы с заглавной буквы, потому что это облегчает чтение файла (для людей).
Директива агента пользователя
Первый бит каждого блока директив — это пользовательский агент, который идентифицирует конкретного паука. Поле user-agent сопоставляется с user-agent этого конкретного паука (обычно более длинного), поэтому, например, у самого распространенного паука от Google есть следующий user-agent:
Mozilla / 5. 0 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html)
Итак, если вы хотите сказать этому пауку, что делать, сравнительно простая строка User-agent: Googlebot сделает свое дело.
У большинства поисковых систем есть несколько пауков. Они будут использовать специальный паук для своего обычного индекса, для своих рекламных программ, для изображений, для видео и т. Д.
Поисковые системы всегда выбирают наиболее конкретный блок директив, который они могут найти. Допустим, у вас есть 3 набора директив: один для * , один для Googlebot и один для Googlebot-News .Если приходит бот, чей пользовательский агент — Googlebot-Video , он будет следовать ограничениям Googlebot . Бот с пользовательским агентом Googlebot-News будет использовать более конкретные директивы Googlebot-News .
Наиболее распространенные пользовательские агенты для пауков поисковых систем
Вот список пользовательских агентов, которые можно использовать в файле robots. txt для поиска наиболее часто используемых поисковых систем:
9055 9055 Baidu 9055 9055 9055 Baidu 9055 изображение 9055 9055 9055 9055 9055 9055 9055 9055 9055 9055 9055 9055 9055 bingbot 9055 Bing68 9055 9055 9055 Bing68 9055 9055 9055 Google News 90558
Поисковая машина Поле Пользовательский агент
Baidu General baiduspider
Baidu мобильный baiduspider-mobile
Baidu Новости baiduspider-news
Baidu видео
Bing Общий msnbot
Bing Изображения и видео msnbot-media
Общие Googlebot
Google Изображения Googlebot-Image
Google Мобильный Googlebot-Mobile Googlebot-Mobile
Google Видео Googlebot-Video
Google AdSense Mediapartners-Google
Google General slurp
Yandex General yandex
Директива disallow
Вторая строка в любом блоке директив - это строка Disallow . У вас может быть одна или несколько таких строк, указывающих, к каким частям сайта указанный паук не может получить доступ. Пустая строка Disallow означает, что вы ничего не запрещаете, поэтому в основном это означает, что паук может получить доступ ко всем разделам вашего сайта.
В приведенном ниже примере блокируются все поисковые системы, которые «слушают» robots.txt, от сканирования вашего сайта.
Агент пользователя: *
Disallow: /
Если всего на один символ меньше, то в приведенном ниже примере позволит всем поисковым системам сканировать весь ваш сайт.
Агент пользователя: *
Disallow:
В приведенном ниже примере Google не сможет сканировать каталог Photo на вашем сайте - и все, что в нем.
User-agent: googlebot
Disallow: / Photo
Это означает, что все подкаталоги каталога / Photo также не будут проверяться. Это не , а заблокирует Google от сканирования каталога / photo , поскольку эти строки чувствительны к регистру.
Это приведет к тому, что также заблокирует Google доступ к URL-адресам, содержащим / Photo , например, / Photography / .
Как использовать подстановочные знаки / регулярные выражения
«Официально» стандарт robots.txt не поддерживает регулярные выражения или подстановочные знаки, однако все основные поисковые системы его понимают. Это означает, что вы можете использовать такие строки для блокировки групп файлов:
Запрещено: /*.php
Запрещено: /copyrighted-images/*.jpg
В приведенном выше примере * заменяется на любое имя файла, которому оно соответствует. Обратите внимание, что остальная часть строки по-прежнему чувствительна к регистру, поэтому вторая строка выше не будет блокировать файл с именем / copyrighted-images / example.JPG от сканирования.
Некоторые поисковые системы, такие как Google, позволяют использовать более сложные регулярные выражения, но имейте в виду, что некоторые поисковые системы могут не понимать эту логику. Самая полезная функция, которую это добавляет, - $ , который указывает конец URL-адреса. В следующем примере вы можете увидеть, что это делает:
Запрещено: /*.php$
Это означает, что /index.php не может быть проиндексирован, но /index.php?p=1 может быть .Конечно, это полезно только в очень определенных обстоятельствах, а также довольно опасно: легко разблокировать то, что вы на самом деле не хотели разблокировать.
Нестандартные директивы сканирования robots.txt
Помимо директив Disallow и User-agent , вы можете использовать еще несколько директив сканирования. Эти директивы поддерживаются не всеми сканерами поисковых систем, поэтому убедитесь, что вы знаете об их ограничениях.
Разрешающая директива
Хотя это и не входило в исходную «спецификацию», очень рано говорилось о директиве allow .Кажется, что большинство поисковых систем понимают это, и он допускает простые и очень удобочитаемые директивы, такие как:
Запретить: / wp-admin /
Разрешить: /wp-admin/admin-ajax. php
Единственным другим способом достижения того же результата без директивы allow было бы специально запретить каждый отдельный файл в папке wp-admin .
Директива хоста
Поддерживаемая Яндексом (а не Google, несмотря на то, что говорится в некоторых сообщениях), эта директива позволяет вам решить, хотите ли вы, чтобы поисковая система показывала пример .com или www.example.com . Просто укажите это так:
хост: example.com
Но поскольку только Яндекс поддерживает директиву host , мы не советуем вам полагаться на нее, тем более что она не позволяет вам определять схему (http или https). Лучшее решение, которое работает для всех поисковых систем, - это 301 перенаправление имен хостов, которые не нужны для в индексе, на версию, которая нужна вам - .В нашем случае мы перенаправляем www.yoast.com на yoast.com.
Директива задержки сканирования
Bing и Яндекс иногда могут быть довольно голодными, но, к счастью, все они реагируют на директиву crawl-delay , которая их замедляет. И хотя эти поисковые системы имеют несколько разные способы чтения директивы, конечный результат в основном тот же.
Строка, подобная приведенной ниже, заставит эти поисковые системы изменить частоту запроса страниц на вашем сайте.
задержка сканирования: 10
Различные интерпретации
Обратите внимание, что Bing интерпретирует это как инструкцию подождать 10 секунд после сканирования, в то время как Яндекс интерпретирует это как указание на доступ к вашему сайту только один раз в каждые 10 секунд. Это семантическая разница, но все же интересно узнать.
Будьте осторожны при использовании директивы crawl-delay . Установив задержку сканирования в 10 секунд, вы разрешите этим поисковым системам доступ только к 8 640 страницам в день.Для небольшого сайта этого может показаться много, но для крупных сайтов не так уж много. С другой стороны, если вы почти не получаете трафика от этих поисковых систем, это хороший способ сэкономить часть полосы пропускания.
Директива карты сайта для XML-файлов Sitemap
Используя директиву sitemap , вы можете указать поисковым системам, в частности Bing, Yandex и Google, где найти вашу карту сайта XML. Вы, конечно, также можете отправить свои XML-карты сайта в каждую поисковую систему, используя соответствующие решения инструментов для веб-мастеров, и мы настоятельно рекомендуем вам это сделать, потому что программы инструментов для веб-мастеров поисковых систем предоставят вам много ценной информации о вашем сайте.Если вы не хотите этого делать, добавление строки sitemap в файл robots.txt - хорошая быстрая альтернатива.
Карта сайта: https://www.example.com/my-sitemap.xml
Проверьте свой robots.txt
Существуют различные инструменты, которые могут помочь вам проверить файл robots.txt, но когда дело доходит до проверки директив сканирования, мы всегда предпочитаем обращаться к источнику. У Google есть инструмент тестирования robots.
No related posts.