Количество проиндексированных страниц сайта: Как узнать количество проиндексированных страниц в Гугле

Этот вопрос очень похож на использование VBA в Excel для поиска Google в IE и возврата гиперссылки первого результата Только вместо первой ссылки-есть ли способ вставить количество…

Есть ли google plus API, чтобы вытащить количество страниц компании +1? например, страница компании: https://plus.google.com/111883881632877146615/ посты Я хочу получить количество + 1(подписчиков…

Я хотел знать, есть ли способ получить количество страниц веб-сайта, проиндексированных в Google. с ASP.net, C# Я проверил этот пост , но не получил его! Я не знаю, как использовать Google API или…

Я работаю над оптимизацией своего сайта для поисковой системы Google, и в последнее время я заметил, что при выполнении запроса site:www.joemajewski.com я получаю результаты для страниц, которые…

Мне нужно найти количество проиндексированных страниц в google для определенного доменного имени, как мы это делаем с помощью скрипта PHP? Так, foreach ($allresponseresults as $responseresult) {…

В качестве метрики SEO я хотел бы программно получить количество проиндексированных Google страниц. (если я ищу site:mydomain.com, я хочу получить количество найденных страниц). Есть ли для этого…

В поисковой консоли Google есть возможность посмотреть, сколько AMP страниц уже проиндексировано и сколько содержит некоторые ошибки. Когда я открываю определенную ошибку, я вижу, какая страница…

У меня есть несколько старых проиндексированных страниц в Google,которые нужно перенаправить на новые места. Пример: Google показывает wwww.domain.com/pages/subpages/page.php , который теперь…

Я хочу рассчитать количество просмотров страниц в каждом из сеансов в интернете с помощью Google Analytics API. Индикатор PageviewsperSession получает среднее количество страниц за сеанс, но не…

Отчет об удобстве использования мобильных устройств для одного из веб-сайтов, которые я поддерживаю, в настоящее время показывает 215 действительных (удобных для мобильных устройств страниц) . В то…

3 способа определить количество страниц на веб-сайте

Как узнать количество страниц на сайте?

1. Использование XML Sitemap веб-страницы.
2. Использование оператора site: в поиске Google.
3. Из Google Search Console (для вашего собственного сайта).

1. XML-карта сайта

XML Sitemap – это точный способ легко и без особых усилий подсчитать количество страниц. Поскольку карта сайта доступна всем пользователям, вы можете использовать этот метод для любого веб-сайта. Получив URL-адрес сайта, откройте файл Sitemap в браузере, используя один из следующих URL-адресов:

http://sitename.com/sitemap.xml – Для сайта с одним файлом Sitemap.

http://sitename.com/sitemap_index.xml – Для сайта, имеющего несколько файлов Sitemap.

Если сайт использует расширенные плагины Sitemap (например, Yoast WordPress SEO), будет показано количество URL-адресов в каждом файле Sitemap.

Если счетчик не отображается в Sitemap, возможно, вам придется подсчитать вручную один за другим или скопировать XML в лист Excel и подсчитать его. Вы также можете использовать онлайн-карту сайта или инструменты для проверки битых ссылок, когда размер сайта меньше.

2. Использование сайта: Оператор

Откройте поиск Google и введите указанный ниже поисковый запрос, заменив имя сайта своим:

site: sitename.com

Вы увидите результаты, как показано ниже, с количеством проиндексированных страниц в Google. Хотя это может быть не фактическое количество веб-страниц на сайте, оно дает представление о количестве проиндексированных страниц в Google.

3. Search Console

Подобно оператору «site:», в консоли поиска Google есть возможность увидеть общее количество проиндексированных страниц в Google. Но вы должны быть подтвержденным владельцем сайта, чтобы использовать Search Console, иначе владелец должен пригласить вас для доступа к данным. В аккаунте Search Console перейдите к «Индекс Google> Статус индекса», Чтобы увидеть общее количество проиндексированных страниц.

Общее количество проиндексированных страниц в поиске Google и Search Console включает разные типы страниц на сайте. Например, один URL-адрес может быть проиндексирован с помощью прямого URL-адреса, категории, тега, архивов и т. Д., Что приведет к многократному появлению в поисковых системах. Вы также можете просмотреть подробную информацию об общем количестве отправленных и проиндексированных страниц из XML Sitemap, отправленного в Google, в разделе «Сканирование> Карта сайта»В аккаунте Search Console.

Как я могу узнать, сколько страниц моего домена проиндексировано Google?

Google предоставляет два простых варианта определения количества проиндексированных страниц вашего домена. Общее количество проиндексированных страниц может сильно отличаться от общего количества страниц, которые у вас действительно есть в домене.

Вариант №1: сайт Google: -запрос

Используя простой поисковый запрос с так называемым оператором «site:» и вашим доменом, вы можете получить приблизительное количество страниц, проиндексированных Google.

В маске поиска Google введите следующее:

  сайт: www.my-domain.com  

Результат поискового запроса должен выглядеть следующим образом: Красные метки указывают количество проиндексированных страниц.

Если в индексе много страниц, результат site: -query может быть отфильтрован с использованием различных параметров:

• site: www.my-domain.com/subdirectory /
  Отображает только проиндексированные страницы в каталоге / подкаталоге /
• сайта: www.my-domain.com Фраза по выбору
  Отображает только те проиндексированные страницы, которые содержат фразу по вашему выбору.
• site: www.my-domain.com inurl: фраза
  Отображает только те проиндексированные страницы, которые содержат слово «фраза» в URL
• site: www.my-domain.com intitel: фраза
  Отображает только те проиндексированные страницы, которые содержат слово «фраза» в заголовке.
• site: www.my-domain.com filetype: pdf
  Отображает только те проиндексированные страницы. файлы с выбранным типом файла (другие возможные типы файлов: doc, pdf, ps, xls, rtf, swf и т. д.)

Вариант № 2: Использование Google Search Console

Вы можете легко получить обзор проиндексированных страниц вашего домена в Google Search Console.

Если вы еще не используете Google Search Console, вы можете бесплатно активировать свой веб-сайт (www.google.com/webmasters/tools/?hl=en) всего за несколько минут. Это позволяет вам также использовать следующую опцию, чтобы получить обзор статуса индексации.

Анализ статуса индексации вашего веб-сайта с помощью Google Search Console:

• Войдите в Google Search Console и выберите желаемый веб-сайт.
• Нажмите «Google Index» в левой навигационной панели.
• Нажмите «Index» Статус »в подменю

Теперь вам отображается график« Статус индекса »для вашего домена, где вы также можете добавлять фильтры, например, также отображать график для страниц, заблокированных роботами.текст.

Поисковая система Bing также предоставляет собственные инструменты для веб-мастеров, которые также позволяют оценить количество проиндексированных страниц в Bing.

Оценка с помощью SISTRIX Toolbox

В модуле SEO SISTRIX Toolbox вы можете проанализировать историю проиндексированных страницы домена более подробно.На графике будет показана история показателей индекса от Google. Мы очень регулярно отслеживаем большинство доменов, но для более регулярного обновления этого показателя вы можете добавить домен в свой список наблюдения.

• История проиндексированных страниц домена:

Проиндексированных и неиндексированных страниц для Google | Отправленные и проиндексированные страницы в Инструментах для веб-мастеров

Любая компания, у которой есть веб-сайт, должна уже рассматривать этот домен в качестве торгового представителя в Интернете — при правильном выполнении кампании контент-маркетинга он может привлечь трафик и потенциальных клиентов.Следующим шагом с этим веб-сайтом должно быть подтверждение того, что Google распознает этот веб-сайт. Король поиска делает это, находя, просматривая и индексируя отдельные веб-страницы.

Google находит веб-страницу (уникальные URL-адреса) с помощью ссылок и XML-файлов Sitemap, отправленных в Инструменты Google для веб-мастеров. Google сканирует веб-страницы, которые он находит, чтобы определить ценность содержания на странице, поскольку оно связано с поисковыми пользователями и их запросами. Затем он индексирует страницу на основе этих определений (представьте себе огромную библиотеку веб-страниц, каталогизированную Google).

Если вы правильно настроили свой веб-сайт в Инструментах Google для веб-мастеров, значит, вы уже отправили карту сайта в формате XML (или за вас это сделала такая замечательная маркетинговая компания, как Blue Corona).

Но что происходит, когда вы отправляете карту сайта и есть проиндексированные и не проиндексированные страницы? К счастью для вас, я здесь ради этого!

Что означает «проиндексированные страницы»?

проиндексированных страниц были обнаружены поисковыми роботами (такими как пауки для Google) и считаются достаточно качественными для релевантных поисковых фраз.Проиндексированные страницы будут отображаться в результатах поиска и могут привлекать на ваш сайт обычный трафик.

В приведенном ниже примере вы можете видеть, что 137 страниц веб-сайта этой компании были проиндексированы Google:

Что означает «неиндексированные страницы»?

Google не гарантирует, что он просканирует (или, таким образом, проиндексирует) каждый URL вашего веб-сайта. Если ваш веб-сайт новый или вы недавно добавили на него много новых страниц, возможно, они еще не проиндексированы. При наличии миллионов доменов Google требуется время, чтобы просканировать и проиндексировать каждый из них, чтобы получить максимальную выгоду для своих поисковых пользователей.Если вы недавно добавляли или обновляли карту сайта, подождите, пока новые страницы не будут проиндексированы.

Если прошло какое-то время, а Google все еще перечисляет многие страницы в вашей карте сайта как «не проиндексированные», возможно, существует более серьезная проблема либо с качеством ваших страниц, либо со структурой вашей карты сайта. Страницы, которые Google часто не индексирует, включают:

• Страницы категорий блога
• Страницы авторов блога
• Страницы, проиндексированные в другом домене (www.example.com, а не example.com)
• Страницы с ошибками 404 или сервера
• Страницы с кодировкой или каноническим тегом, который говорит Google игнорировать его
• Некачественные страницы или дублирующийся / идентичный контент на разных страницах

Как заставить Google индексировать больше страниц?

Вместо того, чтобы зацикливаться на том, сколько страниц «не проиндексировано», сосредоточьтесь на том, чтобы каждая страница вашего сайта имела высококачественный контент, который пользователи сочтут ценным. Но если вы обнаружите, что количество отправленных вами страниц не соответствует количеству проиндексированных Google страниц, вы можете сделать несколько вещей, чтобы гарантировать, что Google ценит каждую страницу вашей карты сайта:

• Включите релевантное содержание на каждую страницу своего веб-сайта
• Повысьте авторитет своего сайта, получив больше ссылок с авторитетных сайтов
• Сделайте страницы вашего веб-сайта удобными для поиска Google
• Отправьте обновленные карты сайта в Инструменты для веб-мастеров Google
• Сосредоточьтесь на создании и распространении замечательного контента

Подробнее об улучшении статуса вашего сайта в индексе »

В основном я говорю вам, что да, иногда у вас будут и проиндексированные, и не проиндексированные страницы в статусе индексирования ваших инструментов Google для веб-мастеров.Сосредоточение внимания на этом несоответствии должно лишь высветить более серьезную проблему — Google не придает значения неиндексированным страницам. Это означает, что они не смогут ранжировать, привлекать посетителей вашего сайта и (главная цель всех них) превращать посетителей в потенциальных клиентов из обычного поискового трафика.

Если вам нужна помощь в управлении веб-сайтом вашей компании, инструментами Google для веб-мастеров или картой сайта, свяжитесь с нами сегодня. Мы будем рады помочь вам и убедиться, что ваше присутствие в Интернете способствует развитию вашего бизнеса.Звоните нам сегодня!

Сколько страниц моего сайта проиндексировал Google? Индексация места измерения

Что такое индексация?

Меня заинтересовал сбор данных, которые могли бы помочь мне понять уровни индексации на веб-сайте.

На самом деле определение значения индексации — это важный первый шаг. Поисковые системы, такие как Google, «обходят», «индексируют» и «занимают позицию». Просканирование не означает, что вы проиндексированы, а индексирование не означает, что вы занимаетесь рейтингом. Но такие вопросы, как количество страниц в индексе, важны, потому что вы можете измерить степень работоспособности сайта.

Допустим, вы проверили файлы журналов своего сервера (руководство по анализу файлов журналов здесь) и обнаружили, что количество URL-адресов, просканированных роботом Googlebot, сильно отличается от количества проиндексированных URL-адресов. Наверное, это нехорошо; на самом деле мы обнаруживаем, что это обычно снижает производительность, поскольку выделенная для вашего сайта полоса пропускания для сканирования используется неэффективно. Мы находим сайты, которые потребляют большую полосу пропускания сканирования, но гораздо меньше ценных страниц, как правило, подвергаются риску штрафов Panda.

Проще говоря, если количество просканированных страниц намного превышает количество проиндексированных страниц, вам следует присмотреться.

В отчете «Статистика сканирования» Search Console будет указано, сколько страниц сканируется ежедневно, но правильный анализ файла журнала даст вам окончательное представление.

Итак, где мы можем найти лучшие номера индексации?

Используйте URLprofiler и ScreamingFrog

Я большой поклонник хорошей работы наших друзей из URLprofiler и ScreamingFrog.С их помощью вы можете создать действительно исчерпывающий набор данных о профилях ссылок, состоянии сайта и так далее. Сегодня мы воспользуемся некоторыми данными сканирования, извлеченными из ScreamingFrog в URLprofiler, чтобы увидеть, какие URL-адреса проиндексированы.

Предполагая, что вы запустили сканирование Screamingfrog и у вас есть список URL-адресов для сканирования, вам нужно открыть URLprofiler и настроить прокси:

После этого импортируйте свой список как обычно и запустите профилировщик.

Это тип данных, которые вы получите:

В экспорте вы увидите следующие полезные данные:

• • Проиндексировано Google: «Да», «Нет» или «Альтернативный URL»

Информация Google: проиндексировано: проверяется только при «Да» в индексировании Google.«Да», «Нет», «Не проверено» или «Альтернативный URL».

• Индекс Google: в каком индексе находится URL. «Базовый», «Глубокий» или «Нет».
• Альтернативный URL, проиндексированный Google: здесь отображается альтернативный URL, если он был найден в любом из результатов.
• Дата кеширования Google: последняя дата кеширования для каждого URL-адреса.

Обычно результат, который вы ожидаете, будет проиндексирован Google: «Да» с URL-адресом, появляющимся в базовом индексе. Иногда вы получаете URL-адреса, которые не проиндексированы в базовом индексе.Затем URLprofiler выполнит запрос Info :, который может указывать на то, что URL находится в глубоком индексе. Насколько может судить сам URLprofiler, URL-адреса в «глубоком» индексе не появляются при обычных обстоятельствах, не входят в базовый индекс и никогда не принесут вам никакого трафика.

Если вы видите много альтернативных URL, у вас может быть проблема с канонизацией в структуре URL. В качестве примера возьмем этот запрос:

Запрос info: выглядит так:

info: https: //www.amazon.com / Skullcandy-S2DUDZ-003-Jib-Earbuds-Black / dp / B004MWL1TQ / ref = sr_1_1? s = aht & ie = UTF8 & qid = 1466155314 & sr = 1-1 & fasteners = p_89% 3ASkullcandy

и альтернативный URL-адрес:

. https://www.amazon.com/Skullcandy-S2DUDZ-003-Jib-Earbuds-Black/dp/B004MWL1TQ

Реальным примером этой ситуации может быть то, что URL-адреса, которые вы обнаружили во внутренних ссылках через ваш сканер Screamingfrog не соответствует проиндексированной канонической версии URL.Или что URL-адреса вашей карты сайта не соответствуют каноническому.

Следующие шаги

С полным видом на. сколько страниц генерирует ваш сайт и b. сколько из них проиндексировано, у вас есть отличный набор данных, на котором можно основывать свои собственные технические изменения. Как правило, такие проблемы, как URL-адреса, появляющиеся в качестве альтернативных, или страницы, исключенные из базового индекса, будут вызваны проблемами во внутренних ссылках, проблемами оптимизации полосы пропускания сканирования, такими как программные страницы 404, непреднамеренные внутренние переадресации 301, ошибки сервера и проблемы с дублированием контента через параметры запроса.

Я бы рекомендовал объединить эти данные с данными аудита вашего файла журнала для максимального использования.

Как более точно измерять проиндексированные страницы

Если возникает необходимость проверить, сколько страниц сайта проиндексировано (т. Е. Тех URL-адресов, которые возвращаются в результатах поиска), первая реакция многих оптимизаторов поисковых систем — вернуться на сайт: query, но на самом деле этот запрос возвращает все URL-адреса, о которых знает Google, включая канонизированные страницы, поэтому, вероятно, он неточен.

Имея это в виду, давайте рассмотрим несколько более точных способов поиска проиндексированных страниц, а затем метод их объединения, чтобы найти более точную окончательную цифру.

Search Console

(Индекс Google> Статус индекса)

Этот высокоуровневый отчет покажет вам количество страниц в индексе, которое можно сравнить с вашим собственным подсчетом, хотя он может включать дубликаты, которые могут быть отфильтрованы из «реальных» результатов поиска.

Счетчик индексации файлов Sitemap (Сканирование> Файлы Sitemap)

Показывает счетчик индексации ваших файлов Sitemap.Если количество отправленных страниц совпадает с количеством проиндексированных страниц, вы знаете, что проиндексированы 100% URL-адресов. Если у вас есть файлы Sitemap с меньшим количеством файлов в каждом, вы с большей вероятностью сможете использовать эту информацию.

Уникальный URL-адрес Число индексаций файла Sitemap

Джон Мюллер из Google рекомендует создать файл Sitemap, содержащий все ваши уникальные URL, а затем отправить его в Search Console. Это даст вам более точную информацию о количестве уникальных проиндексированных URL.

страницы с показами поисковой выдачи (поисковый трафик> поисковая аналитика)

Все, что вызывает поисковый показ, должно быть проиндексировано.

Google Analytics

Каждая страница, которую Google посещал за последнее время, почти наверняка все еще проиндексирована. Хотя он не на 100% надежен, он очень точен, в зависимости от периода, который вы измеряете.

Рейтинговая проверка

Любой URL-адрес, который занимает место в результатах поиска, должен быть проиндексирован: используйте предпочитаемую вами программу проверки рейтинга, чтобы загрузить больше проиндексированных URL-адресов, которые могут быть не обнаружены другими способами.

Информация: запрос

Это более точный способ проверить, проиндексирована ли страница, однако его можно использовать только для проверки одного URL за раз.

Комбинации

1. Загрузите и объедините все URL-адреса из этих источников в Excel, затем удалите дубликаты:

2. Просканируйте URL-адреса в режиме сканирования списка, чтобы получить количество уникальных страниц:

Вы можете вставить до 2000 URL-адресов в виде списка или загрузить файл.

3. Затем вы можете сравнить это количество уникальных URL-адресов с числом, указанным в счетчике проиндексированных страниц в Search Console.

Индексация: дополнительная литература

Автор

Теги

Сканирование и индексирование

Причины, по которым ваш веб-сайт не индексируется Google

Уменьшение количества проиндексированных веб-страниц Google и другими поисковыми системами является серьезной проблемой.Если вы хотите получить какой-либо органический трафик на свой сайт из Google, то его индексирование — одна из важнейших задач SEO. Если такое произойдет, вам необходимо исправить эту проблему как можно раньше, иначе ни один пользователь не сможет найти ваш веб-сайт или контент, поскольку они не будут частью поискового индекса Google. Вам следует начать с определения проблемы индексации. Если ваш веб-сайт новый или имеет проблемы с техническим SEO или контентом, это может быть основной причиной ограниченного количества проиндексированных веб-страниц.

Для достижения рейтинга в поисковой выдаче получение большего количества проиндексированных веб-страниц важно и важно. Веб-страницы, не индексируемые Google, могут быть признаком того, что Google либо не нравится ваша страница, либо не может легко ее просканировать. Мы понимаем вашу озабоченность, поэтому здесь мы обсудим 3 основные причины, по которым Google может не проиндексировать ваш веб-сайт.

• Время загрузки вашей страницы медленное

Ваш веб-сайт должен выдать код ответа сервера 200 (OK), чтобы его проиндексировала любая поисковая система.

• Проблема дублирования внутреннего и внешнего содержимого

Эта проблема может сбить с толку поисковые системы и привести к уменьшению индексации URL-адресов. 301 и канонизация могут быть решениями.

• Изменение структуры URL

Изменение домена, поддомена или папки может произойти из-за модификации CMS, настроек сервера или внутреннего программирования, и это может изменить URL-адрес сайта.

Некоторые другие распространенные причины могут заключаться в том, что ваш веб-сайт подвергся санкциям со стороны Google; Google сочла ваши веб-страницы нерелевантными; Google не может сканировать веб-страницы и т. Д. Давайте кратко обсудим некоторые из этих распространенных причин —

• Ваш веб-сайт новый, не проверенный, и Google его еще не нашел

Если ваш веб-сайт новый, вы должны дать ему некоторое время для индексации, а также убедиться, что ваша карта сайта создана и отправлена.

• Сайт или некоторые страницы заблокированы с помощью robots.txt

Это может произойти, если ваш редактор или разработчик заблокирует ваш сайт с помощью robots.txt. Не волнуйтесь, вы можете легко исправить это, удалив запись из robots.txt и заставив свой веб-сайт снова появиться в индексе.

• Наличие sitemap.xml жизненно необходимо

Sitemap.xml — это список направлений, по которым Google будет индексировать ваш веб-сайт. В случае проблем с индексацией вам следует пересмотреть и повторно отправить карту сайта.xml.

Если Google не может сканировать некоторые страницы вашего веб-сайта, он не будет их индексировать. Вам необходимо выявить эти ошибки сканирования и диагностировать неиндексированные страницы.

Итак, это были некоторые из основных факторов, повлиявших на снижение количества индексируемых веб-сайтов Google, и меры, которые вы можете предпринять, чтобы исправить эти проблемы.

Ваши проиндексированные страницы падают — 5 возможных причин, почему

Важно, чтобы ваши веб-страницы были проиндексированы Google (и другими поисковыми системами).Страницы, которые не проиндексированы, не могут ранжироваться.

Как узнать, сколько страниц вы проиндексировали? Можно

Каждый даст разные числа, но почему они разные — это отдельная история.

А пока давайте просто поговорим об анализе уменьшения количества проиндексированных страниц, о которых сообщает Google.

Если ваши страницы не индексируются, это может быть признаком того, что Google может не понравиться ваша страница или что она не сможет легко ее просканировать. Таким образом, если количество проиндексированных страниц начинает уменьшаться, это может быть связано с одной из следующих причин:

• Вы подверглись штрафу Google.
• Google считает ваши страницы нерелевантными.
• Google не может сканировать ваши страницы.

Реклама

Продолжить чтение ниже

Вот несколько советов о том, как диагностировать и исправить проблему уменьшения количества проиндексированных страниц.

1. Правильно ли загружаются страницы?

Убедитесь, что у них правильный статус HTTP-заголовка 200.

У сервера были частые или длительные простои? Срок действия домена недавно истек и был ли продлен с опозданием?

Действие

Вы можете использовать бесплатный инструмент проверки статуса заголовка HTTP, чтобы определить, есть ли там правильный статус.Для крупных сайтов их можно проверить с помощью типичных инструментов сканирования, таких как Xenu, DeepCrawl, Screaming Frog или Botify.

Правильный статус заголовка — 200. Иногда могут появляться ошибки 3xx (кроме 301), 4xx или 5xx — ни одна из них не является хорошей новостью для URL-адресов, которые вы хотите проиндексировать.

2. Изменились ли ваши URL-адреса в последнее время?

Иногда изменение в CMS, внутреннем программировании или настройках сервера, которое приводит к изменению домена, поддомена или папки, может, следовательно, изменить URL-адреса сайта.

Поисковые системы могут запоминать старые URL-адреса, но, если они не перенаправляют должным образом, многие страницы могут быть деиндексированы.

Реклама

Продолжить чтение ниже

Действие

Надеюсь, копию старого сайта все еще можно будет посетить каким-либо образом или в форме, чтобы записать все старые URL-адреса, чтобы вы могли отобразить 301 редиректы на соответствующие URL-адреса .

3. Исправили ли вы проблемы с дублирующимся контентом?

Исправление дублированного контента часто включает в себя использование канонических тегов, 301 редиректов, метатегов noindex или запретов в robots.текст. Все это может привести к уменьшению проиндексированных URL-адресов.

Это один из примеров, когда уменьшение проиндексированных страниц может быть на хорошо .

Действие

Так как это хорошо для вашего сайта, единственное, что вам нужно сделать, это дважды проверить, действительно ли это является причиной уменьшения проиндексированных страниц, а не чего-либо еще.

4. Время ожидания ваших страниц истекает?

Некоторые серверы имеют ограничения по полосе пропускания из-за связанных затрат, связанных с более высокой пропускной способностью; эти серверы могут нуждаться в обновлении.

Иногда проблема связана с оборудованием и может быть решена путем обновления аппаратной обработки или ограничения памяти.

Некоторые сайты блокируют IP-адреса, когда посетители обращаются к слишком большому количеству страниц с определенной скоростью. Этот параметр является строгим способом избежать попыток взлома DDOS, но он также может оказать негативное влияние на ваш сайт.

Обычно это отслеживается при второй настройке страницы, и если порог слишком низкий, нормальное сканирование ботами поисковой системы может достигнуть порогового значения, и боты не смогут сканировать сайт должным образом.

Элемент действия

Если это ограничение пропускной способности сервера, то, возможно, настало подходящее время для обновления услуг.

Если это проблема обработки / памяти сервера, помимо обновления оборудования, дважды проверьте, есть ли у вас какая-либо технология кэширования сервера, это снизит нагрузку на сервер.

Если установлено программное обеспечение для защиты от DDOS, ослабьте настройки или внесите Googlebot в белый список, чтобы он не блокировался в любое время. Однако будьте осторожны, есть несколько поддельных роботов Google; обязательно правильно определите googlebot.Процедура обнаружения Bingbot аналогична.

Реклама

Продолжайте читать ниже

5. По-разному ли поисковые роботы видят ваш сайт?

Иногда то, что видят пауки поисковых систем, отличается от того, что видим мы.

Некоторые разработчики создают сайты предпочтительным образом, не зная о последствиях для SEO.

Иногда предпочтительная готовая к работе система CMS используется без проверки, является ли она удобной для поисковых систем.

Иногда это могло быть сделано специально оптимизатором поисковых систем, который пытался скрыть контент, пытаясь обмануть поисковые системы.

В других случаях веб-сайт был взломан хакерами, которые заставляли Google показывать другую страницу для продвижения своих скрытых ссылок или маскировки 301 перенаправления на свой собственный сайт.

Хуже того, если страницы заражены каким-либо вредоносным ПО, которое Google автоматически деиндексирует страницу сразу после обнаружения.

Action Item

Использование функции выборки и обработки в Google Search Console — лучший способ узнать, видит ли робот Google то же содержание, что и вы.

Вы также можете попытаться перевести страницу в Google Translate, даже если у вас нет намерения переводить язык или проверять кешированную страницу Google, но есть также способы обойти это, чтобы по-прежнему скрывать контент за ними.

Реклама

Продолжить чтение ниже

Индексные страницы не используются в качестве типичных KPI

Ключевые показатели эффективности (KPI), которые помогают измерить успех кампании SEO, часто связаны с органическим поисковым трафиком и рейтингом.KPI, как правило, сосредоточены на целях бизнеса, которые связаны с доходом.

Увеличение количества проиндексированных страниц может увеличить возможное количество ключевых слов, по которым вы можете ранжироваться, что может привести к более высокой прибыли.

Тем не менее, смысл просмотра проиндексированных страниц в основном состоит в том, чтобы увидеть, могут ли поисковые системы правильно сканировать и индексировать ваши страницы.

Помните, ваши страницы не могут ранжироваться, если поисковые системы не могут их видеть, сканировать или индексировать.

Уменьшение проиндексированных страниц не всегда плохо

В большинстве случаев уменьшение проиндексированных страниц может означать плохие вещи, но исправление дублированного контента, тонкого контента или некачественного контента также может привести к уменьшилось количество проиндексированных страниц, что хорошо.

Узнайте, как оценить свой сайт, изучив эти пять возможных причин, по которым ваши проиндексированные страницы падают.

Реклама

Продолжить чтение ниже

Кредиты изображений

Показанное изображение: Пауло Бобита

Получить (приблизительное) количество проиндексированных страниц на нескольких сайтах с Python

Этот пост является частью Полное руководство по Python для SEO

В этом посте мы узнаем, как с помощью Python и Selenium проверить количество проиндексированных страниц на нескольких веб-сайтах в файл CSV.

Остерегайтесь, делая это, вы идете вразрез с рекомендациями Google по парсингу веб-страниц. Постарайтесь не делать этого в массовом порядке.

И я серьезно! Просто прочтите это.

Как извлечь проиндексированные страницы?

Этот скрипт Python выполняет поиск site: , чтобы проверить количество проиндексированных страниц в Google для нескольких сайтов, использующих Selenium и Python.

Я знаю, что это совсем не так. Но при построении стратегии SEO для вас достаточно иметь представление о размерах индекса вашего конкурента.

Код Python для очистки сайта: результаты поиска

 импортировать панды как pd
время импорта
из selenium import webdriver
из параметров импорта selenium.webdriver.chrome.options

urls = [
    'searchchenginejournal.com',
    'moz.com',
    searchchengineland.com
    ]

индексы = {}
xpath = '// * [@ id = "result-stats"]'

def get_index (url, xpath, headless = True):
    '' '
    Запустите Selenium.
    Получить количество проиндексированных страниц.
    url: полный URL-адрес, который вы хотите извлечь
    headless: определите, хотите ли вы, чтобы браузер открывался или нет.'' '
    print (f'Opening {url} ')
    options = Параметры ()
    options.headless = без головы
    драйвер = webdriver.Chrome (параметры = параметры)
    driver.get (URL)
    index = driver.find_element_by_xpath (xpath) .text
    index = index.split ('О программе') [1] .split ('результаты') [0]
    print (f'Index: {index} ')
    driver.quit ()
    индекс возврата

для URL в URL:
    search_url = f'https: //www.google.com/search? q = site% 3A {url} & oq = site% 3A {url} & aqs = chrome..69i57j69i58.6029j0j1 & sourceid = chrome & ie = UTF-8 '
    index = get_index (search_url, xpath, headless = True)
    индексы [url] = индекс
    время.спать (1)

df = pd.DataFrame.from_dict (индексы, orient = 'index', columns = ['indexed_pages'])
df.to_csv ('indexed_pages.csv')
 

Реакции сообщества

Этот пост, хотя и очень простой, вызвал изрядную реакцию сообщества (см. Сообщение linkedin). Большинство комментариев были очень актуальными, поэтому я решил создать этот раздел с предупреждениями, чтобы ответить на некоторые из комментариев.

Возьмите сайт: Оператор с недоверием.

Один из самых важных комментариев сделал Марк Уильямс-Кук, основатель такжеAsked.com.

Поисковый оператор site: дает лишь приблизительную оценку. Принимать деловые решения ненадежно. Отсюда и решение добавить «(приблизительный)» в заголовок статьи.

Еще один интересный комментарий Мартина МакГарри, консультанта SearchAssistance.co.uk.

И замечательная статья Роджера Монтти на сайте searchnginejournal.com. По словам Джона Мюллера:

Оператор site: search может отключаться от десяти до сотни.

Зачем тогда делать этот скрипт? Потому что часто вы просто хотите иметь представление о том, насколько сайт заинтересован на рынке. Примерно сколько страниц имеет дело с 200 или 200M.

За годы работы я узнал, что многое в SEO неточно , и попытки сделать его более точным иногда делают его столь же размытым, как и грубая оценка. Но Марк прав. Оптимизатор SEO должен знать, что стоит за сайтом: мы с оператором решили встать на его сторону.

Почему не запросы?

Дерек Хокинс из Reprise Digital, от которого я довольно много узнал в прошлом, когда спросил меня, почему бы не использовать запросов ?

Без уважительной причины. Он прав. Модуль запрашивает не использует браузер. Вместо этого он выполняет простые HTTP-запросы, которые выполняются быстрее и требуют меньше вычислительных ресурсов.

Вот код для работы с запросами.

 импортировать панд как pd
запросы на импорт
время импорта

из bs4 импорт BeautifulSoup

urls = [
    searchnginejournal.com ',
    'moz.com',
    searchchengineland.com
    ]

индексы = {}

заголовки = {
    «User-Agent»: «Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit / 537.36 (KHTML, например Gecko) Chrome / 86.0.4240.198 Safari / 537.36»
}

def make_request (URL, заголовки):
    пытаться:
        r = requests.get (URL, заголовки = заголовки)
    кроме request.exceptions.RequestException как e:
        поднять SystemExit (e)
    вернуть г

для URL в URL:
    search_url = f'https: //www.google.com/search? q = site% 3A {url} & oq = site% 3A {url} & aqs = chrome..69i57j69i58.6029j0j1 & sourceid = chrome & ie = UTF-8 '
    r = make_request (search_url, заголовки)
    soup = BeautifulSoup (r.text, "html.parser")
    index = soup.find ('div', {'id': 'result-stats'}). текст
    index = index.split ('О программе') [1] .split ('результаты') [0]
    индексы [url] = индекс
    время сна (1)

df = pd.DataFrame.from_dict (индексы, orient = 'index', columns = ['indexed_pages'])
df.to_csv ('indexed_pages.csv')
 

Избегайте обнаружения ботов

Найл О’Грибин был практичным. Делая это в большом масштабе, вы будете вводить капчу снова и снова.Или забанить свой IP.

Как избежать обнаружения ботами этих «необычных схем трафика»?

Я не профессионал в этих техниках. Но вот несколько хороших руководств, которые помогут избежать обнаружения ботов.