Как найти битые ссылки на сайте – Как проверить сайт на битые ссылки?

1ps.ru

Как найти битые ссылки на сайте и избавиться от них

Некоторые ошибки, связанные с поисковой оптимизацией сайтов, с течением времени теряют свою актуальность. Они либо перестают быть существенными, либо уровень автоматизации процессов внутри сайта почти полностью сводит на нет возможность появления подобного рода проблем.

Увы, проблема битых ссылок к ним не относится: она уже многие годы служит источником головной боли для вебмастеров и специалистов по SEO.

1. Что представляют собой битые ссылки

Для начала определимся с понятием «битые ссылки» (с англ. broken links).

Битые ссылки — это ссылки, которые ведут на недоступную или несуществующую страницу. В первую очередь к ним относятся все ссылки с кодом ответа сервера 4хх.

1.1. Причины и источники появления

Возникновение битых ссылок может быть обусловлено как неправильной настройкой CMS (системы управления сайтом), так и простым человеческим фактором (вебмастер допустил ошибку или своевременно не обновил ссылку).

Битые ссылки появляются в том случае, если:

• адрес страницы был указан некорректно;
• страница была удалена безвозвратно, но ссылки на неё по-прежнему существуют и не перенаправляют на альтернативную страницу;
• после переноса страницы или переезда сайта не были корректно настроены и проверены 301 редиректы;
• из-за системной ошибки рабочая страница отдаёт 404 код ответа вместо 200 OK;
• случился сбой в автоматическом обновлении данных из внешнего источника.

1.2. Последствия для оптимизации сайта

Наличие битых ссылок расценивается как негативный фактор как с точки зрения поисковой оптимизации, так и с точки зрения пользовательского опыта. На то есть ряд причин:

1. Они портят впечатление пользователя от работы с сайтом.
   Очутившись на странице с 404 ошибкой вместо важной для него страницы, пользователь с очень высокой вероятностью может покинуть сайт и больше на него никогда не вернуться. Из этого вытекает повышение показателя отказов, на основании которого поисковая система может сделать весьма губительные для вашего сайта выводы. Они, в свою очередь, напрямую скажутся на ранжировании в органической выдаче.
2. Они затрудняют работу поисковых роботов.
   Если на сайте будет обнаружено слишком много битых ссылок, поисковые системы могут уменьшить краулинговый бюджет сайта (количество ссылок, которое робот поисковой системы обходит за конкретный период времени) и понизить позиции сайта в поисковой выдаче.
3. На них «распыляется» ссылочный вес.
   Битые ссылки нарушают естественное распределение ссылочного веса внутри сайта.

2. Как проверить сайт на битые ссылки

Основная проблема битых ссылок заключается в том, что они возникают постоянно, и вы можете предотвратить их появление лишь частично. Исходя из этого, следует регулярно проверять сайт на наличие битых ссылок вручную. Однако если сайт включает в себя тысячи страниц, этот способ отнимет у вас слишком много времени и сил.

Всего существует несколько способов поиска битых ссылок, которые отличаются друг от друга по степени удобства и скорости:

1. Онлайн-сервисы проверки битых ссылок (Online Broken Link Checker).
2. Специализированный инструмент Google Search Console.
3. Краулер (Netpeak Spider).
4. Специальные плагины для браузера (Check My Links для Chrome, например).

Чтобы лучше понимать, в каких случаях обращаться к тому или иному инструменту, мы разберём особенности каждого из них по отдельности.

2.1. Google Search Console

В старом интерфейсе GSC данные об ошибках, а также о страницах, отдающих 4хх код ответа, будут собраны в разделе «Сканирование» / «Ошибки сканирования».

Если же вы пользуетесь обновлённым интерфейсом панели для вебмастеров Google, зайдите в раздел «Индекс» / «Покрытие» и кликните по фильтру «Ошибки», чтобы увидеть список страниц с какими-либо проблемами, включая 4хх код ответа.

Неудобство заключается в том, что в списке будут значиться все ссылки, ведущие на ваш сайт, в том числе ссылки, которые поисковый робот найдёт на других сайтах. Список обновляется после очередного обхода сайта, из-за чего невозможно отслеживать все возникающие технические проблемы в режиме реального времени.

2.2. Broken Link Checker

Бесплатная версия сервиса Online Broken Link Checker позволяет сканировать сайт на предмет битых ссылок онлайн. Достаточно просто указать адрес сайта, прописать символы капчи в соответствующем поле и запустить поиск.

Огромный плюс сервиса заключается в его доступности, простоте и отсутствии необходимости устанавливать какое-либо ПО на свой компьютер.
Но вместе с тем есть и ряд минусов, среди которых:

• ограничение в 3000 URL на одно сканирование;
• невозможность найти битые ссылки на изображения, видео, документы и какие-либо файлы, кроме HTML;
• относительно невысокая скорость анализа, что особенно ощутимо в случае с сайтами-гигантами.

Сервис подойдёт для беглого анализа небольших сайтов с минимальной вероятностью появления каких-либо битых ссылок, кроме ссылок на HTML-документы.

2.3. Netpeak Spider

Используя Netpeak Spider, вы в любой момент времени можете просканировать неограниченное количество страниц и получить актуальный отчёт обо всех ошибках технической оптимизации сайта, включая битые ссылки, битые картинки и битые редиректы (редиректы, ведущие на несуществующие страницы). Помимо этого, с краулером вы можете самостоятельно ограничить область сканирования. Например, проверить определённую категорию, в которой риск появления битых ссылок по каким-то причинам выше, чем в остальных.

Чтобы найти битые ссылки с помощью Netpeak Spider, вам нужно:

1. Запустить Netpeak Spider.
2. Ввести в строку «Начальный URL» адрес сайта, затем нажать «Старт». При необходимости вы можете ограничить поиск списком URL («Список URL» в главном меню), категорией («Настройки» / «Основные») или перечнем страниц, отвечающих тому или иному правилу («Настройки» / «Правила»).
3. После того, как Netpeak Spider завершит процесс, на боковой панели нужно перейти на вкладку «Отчеты» / «Ошибки» и кликнуть на пункт «Битые ссылки», если таковой отображается в списке найденных ошибок.
4. По клику в основной таблице откроется дополнительная вкладка, на которой будет отображён список ссылок, отдающих серверу код ответа 4хх и выше.
   
   
   
5. Чтобы посмотреть, где расположена найденная битая ссылка, следует кликнуть правой кнопкой мыши на URL страницы и в контекстном меню выбрать «Входящие ссылки».
   
6. Когда откроется таблица со списком страниц, содержащих ту или иную битую ссылку, в левом верхнем углу нужно кликнуть на кнопку «Экспорт». Сохраните полученные данные в удобном вам формате: .xlsx или .csv.
   
7. Также вы можете воспользоваться специальным отчётом «Битые ссылки», который можно будет найти в соответствующем меню.
   

Подобное решение идеально подходит для сайтов с любыми CMS и любым количеством страниц, так как стандартная лицензия не предполагает каких-либо ограничений.

2.4. Специальные плагины для Chrome

Для большинства популярных браузеров, таких как Google Chrome, доступно множество плагинов, позволяющих быстро просканировать страницу на текущей вкладке на наличие битых ссылок. В их числе — Check My Links.

При помощи плагина все рабочие ссылки на странице подсвечиваются зелёным цветом, битые ― красным. Помимо этого, при указании соответствующих настроек программа может акцентировать ваше внимание на ссылках с GET-параметрами, «пустых ссылках», ссылках с атрибутом rel=»nofollow» и прочих ссылках, отличных от нормальных (обычная dofollow-ссылка с анкорным текстом, заключённая в тег <a> с атрибутом href).

Решение подойдёт тем, кто работает с сайтами с небольшим количеством страниц, но очень ревностно относится к чистоте ссылок внутри сайта 🙂

3. Как устранить битые ссылки

В зависимости от масштаба трагедии для устранения битых ссылок можно использовать несколько методик — от самых незамысловатых до сложных в отношении технической реализации. Ниже мы описали несколько сценариев, которым вы можете следовать, чтобы избавиться от битых ссылок на своём сайте.

3.1. Удаление вручную

Если речь идёт об устранении не более чем сотни ссылок, которые накопились за продолжительное время или появились единоразово вследствие технических работ на сайте, их можно удалить вручную. Для этой процедуры мы рекомендуем следующий алгоритм:

1. Проверьте, правильно ли указан адрес, и исправьте его, если есть возможность (и если вы знаете, на что исправить).
2. Если исправить не получилось, а страницы или сайт, на который вы раньше успешно ссылались, больше нет, найдите другой релевантный материал и замените ссылку.
3. Если ни один из пунктов не удаётся выполнить, удалите ссылку.

3.2. Настройка редиректов

Если на вашем сайте битые ссылки возникают постоянно, и происходит это по причине каких-то регулярных обновлений или изменений (например, удаление страниц недоступных товаров), мы рекомендуем воспользоваться переадресацией. Это может быть:

1. 301 редирект на релевантную страницу с похожим наполнением, которая может решить задачу пользователя.
2. 301 редирект на страницу категории или раздел сайта, к которому относилась несуществующая страница (здесь нужно быть осторожным, чтобы не спровоцировать появление ошибки 404 SOFT).
3. Refresh-редирект с кастомной страницы 404 ошибки, которая оповестит об отсутствии искомой страницы и перенаправлении на релевантную категорию или раздел.

3.3. Создание кастомной страницы для 404 ошибки

Построение редиректов кажется вам слишком сложной и трудозатратной методикой устранения битых ссылок? Что ж, есть ещё один способ снизить показатель отказов и подтолкнуть пользователя продолжить сёрфинг вглубь сайта — создание кастомной 404 страницы, которая будет:

• развлекать пользователя;
• демонстрировать ему варианты дальнейших перемещений по сайту;
• предлагать интересные релевантные материалы / страницы.

По сути, вы не устраните таким образом имеющиеся битые ссылки, но сможете улучшить юзабилити и удержать пользователей на сайте.

Коротко о главном

Битые ссылки относятся к числу критических технических ошибок, которые напрямую влияют на оптимизацию сайта и его последующее продвижение в органическом поиске. Контроль над битыми ссылками можно осуществлять при помощи панели для вебмастеров Google, специализированных онлайн-сервисов и плагинов, а также при помощи краулеров типа Netpeak Spider.

Избавиться от найденных битых ссылок можно несколькими способами:

1. Заменить или устранить ссылки вручную.
2. Настроить редиректы.
3. Создать кастомную страницу 404 ошибки, которая поможет удержать пользователя на сайте.

А как вы боретесь с битыми ссылками на своём сайте? Поделитесь своим опытом в комментариях: возможно, вы знаете методики, которые стоило бы добавить в этот материал 😉

okay-cms.com

Что такое битые ссылки, как их найти и исправить?

Битая ссылка – это ссылка, при переходе по которой сервер выдает пользователям 404 ошибку  (сообщение «страница не существует или не найдена»).

Ссылки, изображения или веб-документы, которые пользователи ищут, могут вообще отсутствовать, или “терятся” из-за серверных сбоев или неправильной настройки параметров сайта.

Если вы веб-мастер или владелец сайта, то должны сделать все возможное, чтобы на сайте не было отсутствующих веб-документов, файлов и ссылок на них. То есть, при переходе по любой ссылке посетители площадки должны увидеть там искомое содержание, а не ответ с ошибкой.

Неработающие ссылки вызывают плохое отношение к сайту со стороны целевой аудитории. Ведь пользователь посещает сайт с целью найти необходимую информацию и переходит по тематической ссылке, чтобы найти еще больше информации. И тут он обнаруживает, что по ссылке ничего нет.

Кроме того, стоит помнить о поисковых роботах. Представьте ситуацию, когда поисковый робот на регулярной основе посещает ваш сайт и тут он обнаруживает битые ссылки. К какому заключению прийдет бот в подобной ситуации? Он заключит, что на сайте не обновляется контент, что его владельцы не следят за соответствием информации и ссылаются неизвестно куда. Соответственно, из-за этого рейтинг сайта в поисковой системе может снизиться, особенно если неработающих ссылок будет большое количество.

Самое опасное в битых ссылках то, что их трудно обнаружить, ведь они незаметны. Только единицы среди владельцев сайта располагают полным набором аналитических данных о том, по каких ссылках и на какие страницы переходят посетители ресурса.

С самого начала появления Интернета, он был очень динамической системой. И чем дальше, тем он больше развивается в этом направлении.

Число страниц, проиндексированных поисковиками растет лавинообразно. Постоянно появляются тысячи новых сайтов, и тысячи прекращают свое существование. Действующие сайты периодично меняют контент, генерируют новые страницы, а также избавляются от старых.

Если ваш проект небольшой и битые ссылки обнаружены только на 30 страницах, то это не так сложно держать под контролем. Но на сайтах, где есть 100 000 страниц, их все попросту невозможно проконтролировать. Ситуация усугубляется при размещении исходящих ссылок. Отслеживать работоспособность этих ссылок еще сложнее, чем работоспособность URL-адресов на своем сайте.

Как именно битые ссылки появляются на сайтах?

Когда появляются неработающие ссылки:

• Когда вебмастер удаляет второстепенные файлы или страницы, а на других страницах остаются ссылки на них. Они становятся битыми.
• Когда вы ссылаетесь на другой сайт, а на нем что-то меняется. К примеру, может поменяться структура проекта, его домен, либо просто сайт прекратит свое существование. Также сайт могут перевести на версию с www, но при этом не настроят 301 редирект, и тогда ссылка тоже перестанет работать.
• Если на сайте контент обновляется автоматически или имеются данные с внешних источников – например, служб доставки, интернет-магазинов или складов с данными в Интернете. Сбои в таких структурах станут причиной битых ссылок.
• Если на сайте происходят визуальные или технические изменения (новый дизайн либо движок), часто возникают трудности с внедрением новой структуры. В таких ситуациях много данных, сервисов и алгоритмов не принимаются во внимание. А вследствие нюансов переноса контента начинают появляться битые ссылки.

Самое важное, что необходимо осознать блогерам, веб-мастерам и оптимизаторам – возникновение битых линков это естественный, необратимый процесс. С ростом сайта и увеличением количества обратных ссылок с других ресурсов будет расти и вероятность появления битых ссылок. Этого сложно избежать (особенно на других сайтах). Поэтому, очень важно время от времени сканировать весь сайт, находить все такие ссылки и исправлять их.

Как исправить или удалить неработающие ссылки?

Руками и только руками. Как это делается?

К примеру, Wikipedia удалила несущественную страницу и заменила её объединением двух других. Тогда ей необходимо поменять адрес сломанной ссылки, чтобы она направляла на новый источник.

Когда битая ссылка появилась в результате прекращения существования сайта, то следует сослаться на похожую страницу, имеющуюся в веб-архиве, либо найти ей подходящую замену. Проверка ссылок на сайт очень важный элемент оптимизации.

Иногда также бывает, что ссылка не работает, поскольку к сайту долгое время нет доступа. В таком случае есть большая вероятность, что это связано с техническими неисправностями хостинга или DDos-атаками.

Если вы ссылаетесь на страницу сайта, а там поменялась структура, то нужно будет попросту найти старую страницу с новым урлом и прописать ее в нужном месте.

Если страницу удалили, и не существует никакой возможности найти ей замену или отыскать источник по новому адресу, то ничего не поделаешь. Тогда придется все-таки полностью удалить неработающую ссылку.

Вот таким образом, ссылка за ссылкой, вы сможете избавиться от неработающих ссылок. Конечно, нужно будет при этом потратить немного времени. Но благодаря подобным мерам вы сможете проявить заботу и уважение к своей аудитории.

sitechecker.pro

Как найти битые ссылки на сайте

Работа вебмастера состоит не только в том, чтобы добавлять новые статьи на свой сайт или блог, и даже не в том, чтобы заработать бабла от рекламодателей, но и в постоянной оптимизации сайта. Одна из очень важных задач – найти битые ссылки и удалить их. Давайте посмотрим, как это можно сделать.

Есть разные способы, для проверки сайта на нерабочие ссылки. Я знаю четыре способа.

• Поиск через сервис Яндекс.Вебмастер или Google Search Console;
• Поиск онлайн сервисом;
• Поиск специальной программой;
• Использование плагина WordPress.

Многие не знают, что через сервис Яндекс.Вебмастер или консоль вебмастера в Google, можно так же осуществить поиск нерабочих ссылок. Но по сравнению с использованием стороннего онлайн сервиса, или при помощи программы, сервисы от поисковиков, как бы это сказать повежливей, не совсем быстры и удобны.

Плагин WordPress

Не хотелось бы гнать негатив, но я не сторонник использования плагина для поиска битых ссылок.

Да, я прямо таки обожаю WordPress, но в то же время, я прекрасно понимаю, что чем меньше там всего, то тем лучше. Сайт быстрее работает, меньше ошибок. Ну хорошо, ладно, если вам все-таки охота использовать плагин, то используйте — Broken Link Checker, этот плагин, вы сможете скачать с официального репозитория WordPress. Плагин хорош тем, что периодически присылает уведомления на почту, о найденных «поломавшихся» линках.

Яндекс Вебмастер.

Панель вебмастера в Яндексе, так же как и Google Search Console, это одни из самых главных инструментов для сайтостроителей. И конечно, в них можно проверить битые ссылки. Давайте посмотрим на примере Яндекс Вебмастер. В Google поиск нерабочих ссылок будет схожим.

Зайдите в панель Яндекс Вебмастер, и выберите пункт «Ссылки» а затем, подпункт «Внутренние ссылки».

Справа вы увидите общее количество ссылок с различными статусами ошибок. Промотав вниз, вы увидите сам список.

С левой стороны, адрес страницы, содержащей нерабочую ссылку. Справа показывает URL куда ведет данная ссылка и код самой ошибки.

Проверка ссылок сервисом Broken Link Checker

Не буду вас мучить и приводить десятки онлайн сервисов, для поиска неработающих ссылок. Вполне хватит, всего одного. Данный сервис, бесплатный кстати, поможет вам найти все, что вам нужно — brokenlinkcheck.com.

Введите адрес своего сайта, и нажмите кнопку – Find broken links, после чего, откроется следующее окно, где вам нужно будет ввести капчу.

Теперь онлайн сервис начнет искать «битые» ссылки.

Теперь, когда у вас есть список нерабочих ссылок, остается вопрос – как удалить их. Вот что дает Broken Link Checker.

Bad host и 404, по сути, означают одно и тоже – ссылка нерабочая. Url – ссылка на страницу сайта, на которой была обнаружена нерабочая ссылка. Src – покажет вам конкретный место в коде страницы, где искать эту ссылку.

Таким образом, удалить эту ссылку, вам не составит труда.

Поиск нерабочих ссылок программой Xenu.

Другой вариант поиска потерявших актуальность ссылок – использование специальных программ. Лучшая из которых – Xenu, которую я для вас залил на депозит файлс, и скачать ее, вы можете здесь.

Программа имеет простой интерфейс. Не назвал бы его интуитивно понятным, ну да ладно. Для проверки сайта на наличие битых ссылок, нужно войти в меню «File», и выбрать пункт – «Check URL…»

После чего, вам нужно будет ввести адрес своего сайта. Обязательно оставьте галочку возле поля – «Check external links», что означает – проверить исходящие ссылки.

После чего, программа Xenu, начнет проверку.

Программа работает достаточно быстро, и через несколько минут у вас будет отчет по всем найденным ссылкам. Когда программа Xenu закончит сканирование, она предложит вам отчет. ГОВОРИТЕ – НЕТ. Дело в том, что отчет она создает прямо на вашем хосте. А для этого, она спрашивает доступ к вашему хостингу по FTP. Не знаю, и не хочу разбираться, есть ли у Xenu уязвимости и может ли кто-то перехватить доступы к FTP, но лично я, никому доступ к своему сайту по FTP, по доброй воле не отдам.

Но все же, посмотреть битые ссылки вы сможете в самой программе. Если у вас слишком много ссылок (не обязательно нерабочих, ибо программа показывает абсолютно все ссылки), то сделайте сортировку по графе – Status. Красным цветом будут помечены ссылки требующие вашего внимания.

Найдя нужную ссылку, вызовите контекстное меню (нажмите правую клавишу мыши) и выберите пункт – «URL properties».

После чего, вы сможете увидеть, какие страницы содержат битую ссылку, а значит, и удалить ее.

Так же можете посмотреть это видео по работе с программой Xenu.

Что использовать – программу или онлайн сервис?

На самом деле, если ваш сайт на обычном протоколе передачи данных, то есть, если адрес сайта начинается с http:// то принципиальной разницы нет. Кому как удобнее. Кто-то любит онлайн сервисы, кто-то предпочитает софт. Но есть свои особенности.

На счет плагина для WordPress, я уже говорил выше. Не стоит ставить внутрь сайта то, что можно сделать снаружи. Меньше нагрузка на сайт, меньше возможных глюков, меньше возможных уязвимостей.

Что касается панелей вебмастеров на Яндексе и Гугле. Да, они, рассчитаны в том числе на поиск внутренних ссылок с ошибками. Но по сравнению с использованием программы Xenu они менее удобны.

Свистопляска начинается тогда, когда у вас сайт на безопасном протоколе, то есть, если адрес сайта начинается с https.

Выше вы уже видели, что Яндекс Вебмастер показывает проблемы. На самом деле, это сайт не web-ru. Так вот, на том сайте, я недавно поставил редирект с http на https. И на самом деле, эти страницы, не битые. И любой посетитель сайта, может спокойно пройти на эти страницы.

Да, Вебмастер видит их так. И можно сказать, что это тоже ошибка. Но в данном случае, ошибка не с наличием битой ссылки, а с переездом на безопасный протокол. И если у вас задача, найти именно битые ссылки, то Вебмастер, в данном случае, будет только мешать.

Похожая проблема и у онлайн сервиса проверки битых ссылок — Broken Link Checker. Проще говоря, он просто не принимает на проверку сайты, использующие безопасный протокол.

Таким образом, в этом случае, самый лучший выход — использование программы Xenu. Который вполне лояльно относится к различным типам используемых протоколов. Поэтому, что именно вам использовать, смотрите сами.

Что же касается меня, то у меня теперь другая задача – удалить все битые ссылки со своего сайта, дабы вам не пришлось меня матюкать, пытаясь перейти по битым ссылкам.

Ну а если у вас остались вопросы, задавайте их в комментариях.

web-ru.net

Как найти битые ссылки на сайте — Офтоп на vc.ru

Наличие битых ссылок негативно сказывается на восприятии сайта поисковыми системами, ухудшает поведенческие факторы, портит впечатление от сайта у пользователя, мешает правильному распределению ссылочного веса. Чтобы их обнаружить, необходимо проводить регулярные проверки сайта, используя специальные инструменты.

Яндекс.Вебмастер

Если вы владеете правами на веб-сайт, то проще всего найти неработающие ссылки в инструменте Яндекс.Вебмастера: «Ссылки». Для этого необходимо перейти на вкладку «Внутренние ссылки» и выбрать те, которые запрещены к индексированию или не существуют.

Специальные программы-парсеры

Мы в своей работе используем программу Screaming Frog, которая позволяет сканировать и получать подробную информацию о страницах сайта.

Она имеет платную и бесплатную версию. Бесплатная версия позволяет обойти 500 страниц и подходит для небольших сайтов. Скачать ее можно по ссылке: https://www.screamingfrog.co.uk/seo-spider/.

Для того чтобы найти битые ссылки, используя данную программу, необходимо указать адрес сайта и начать сканирование. После того, как лягушка обошла весь сайт, надо перейти на вкладку «Response Codes», и выбрать код ответа 4**.

Далее выбираем интересующий нас URL и переходим на вкладку Inlinks — входящие ссылки. Перед вами появится список страниц, которые имеют ссылку на несуществующую страницу.

Бесплатный парсер сайта Xenu

Данный софт имеет полнофункциональную бесплатную версию. Принцип работы данной программы аналогичен: указываем необходимый адрес сайта и запускаем его сканирование.

Для поиска битых ссылок в поле «Status» ищем страницы со значением «not found», открываем URL Properties. Список ссылок будет представлен в поле pages linking to this one.

Ждите новые заметки в блоге или ищите на нашем сайте.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

vc.ru