Убрать страницу 404: Как удалить мусор из индекса Google

Как найти пустые страницы с ошибкой 404 на сайте и удалить их: обзор способов

9666

Прочитать позже

ЧЕК-ЛИСТ: КОНТЕНТНАЯ ЧАСТЬ — ИСПРАВЛЕНИЯ

Инструкцию одобрил
SEO Classifieds Specialist в Netpeak

Дмитрий Красовский

Если вы нашли пустые страницы на сайте, которые не приносят никакой пользы, удалите их. Зачем? Чтобы не превращать свой сайт в хранилище бесполезной информации, которая не нужна ни поисковой системе, ни пользователю.

Пустая страница — это страница на которой нет никакого контента. Большое количество пустых страниц на сайте снижает ранжирование в поиске.

Пустая страница может возникнуть по многим причинам. Самая банальная — удалили контент, но не удалили страницу. Более сложные случаи возникают, когда такие страницы автоматически генерируют плагины.

Как найти пустые страницы?

Чтобы найти пустые страницы, просканируйте сайт в разделе «Аудит сайта» в Serpstat. Также можно провести аудит одной страницы.

После сканирования посмотрите эту информацию детальнее в разделе «Страницы, на которых мало текста».


Для того, чтобы удалить пустую страницу, существует несколько методов. Каждый рассмотрим отдельно.


Удаление через административную панель (Ошибка 404)


Большинство панелей CMS позволяют удалить пустые страницы. При нажатии кнопки «Удалить», система настраивает код ответа сервера 404 для определенного URL.


При переходе на такую страницу, например, из закладок, пользователь получает страницу ошибки 404 как на картинке:


Далее, когда поисковый робот захочет просканировать страницу, он не выполнит это, получив 404 код. Через некоторое время, если страница не восстановит работу, ее выбросят из индекса и не будут отображать в выдаче. Такое удаление упрощает процесс тем, что требуется всего несколько кликов. Минус же в том, что требуется время на удаление из индекса.Если вы хотите быстро удалить страницы с ошибкой 404 из поисковой выдачи, воспользуйтесь специальным инструментом от Google. Он позволяет сразу удалить страницы из индекса Google. Подробная инструкция доступна в официальной справке.

301-редирект


Суть в том, чтобы при попадании на удаленную страницу, пользователя автоматически перенаправляло на другую действующую страницу.

Метод сложный, потому что вебмастеру необходимо знать алгоритм настройки на конкретной CMS. Приведем пример для сайта на WordPress, где для настройки 301 редирект нужно перейти в корень сайта и найти файл с названием .htaccess. После чего указать в файле один из вариантов кода, указанных ниже.


Распространенный и удобный в использовании:
Redirect 301 /your-page-1/ http://site.ca/your-page-2/

Более подробная версия:
RewriteCond %{REQUEST_URI} ^/your-page-1/$
RewriteRule ^. *$ http://site.ca/ your-page-2/? [R=301,L]

С помощью 301-редиректа вы сможете направить пользователя на другую страницу. Лучше всего перенаправлять на главную либо на страницу схожей категории.

Плюсом будет то, что переиндексация вступит в силу быстрее, чем в случае с 404 ошибкой. Как только поисковый робот обнаружит подобные изменения они начнут действовать.

При наличии 301-го редиректа, все пользователи, имеющие в закладках эту страницу, будут попадать на указанный конечный URL, вес страницы передается также. Бот поисковой системы будет переходить по редиректу и считать новую страницу соответствующей старой.

Ручное удаление


Страницу можно удалить вручную с помощью инструмента Google Search Console или Яндекс.Вебмастер. Однако данный способ способствует только удалению страницы из поиска, при этом не удаляя ее полностью, так что впоследствии все равно придется воспользоваться одним из указанных выше методов.

Google Search Console




Перейдите в панель инструментов, и выберите раздел Индексирование URL. Далее нажмите на кнопку Удаление URL:

В открывшемся поле укажите адрес страницы, которую хотите удалить.


Данный метод мы упоминали выше как способ быстрого устранения 404 ошибок, которые возникают при удалении страниц через CMS. Однако его можно использовать и первым шагом.

Яндекс.Вебмастер




Яндекс тоже дает возможность исключить из поиска ненужные страницы. Зайдите в панель Вебмастера и в меню «Индексирование» перейдите в раздел Удаления страниц:


Точно так же как и в случае с Google, вставьте адрес страницы и нажмите кнопку «Удалить»:


Важно знать:



• Изменение адреса страницы.
  

Каждая страница веб-ресурса обладает уникальным адресом — URL. Поэтому, если вы измените название страницы — URL вы тоже измените. Но этот метод лучше не использовать. Иначе вы не избавитесь от мусорных страниц на сайте, а только их накопите.

• Много страниц с 404 кодом ответа сервера — плохо.
  

Если у вас накопились пустые страницы, то не удаляйте их методом настройки 404 ошибки. Поисковая система в плане продвижения негативно реагирует на большое количество страниц с кодом 404. Это серьезно повлияет на позиции, которые может быть сложно потом восстановить.

Вывод: лучше всего не избавляться от пустой страницы, а перенаправить через 301-редирект на главную страницу.


Заключение

Страницы, на которых нет контента ухудшают позиции в поиске.

Появляются они могут по причинам:


• удалили контент, но не страницу целиком;
  
• изменение URL;
  
• при ссылке на файл, когда название файла не совпадает;
  
• встроенный плагин автоматически генерирует ссылки и другие.

Как обнаружить пустые страницы?
Проведите Аудит сайта через Serpstat. Информацию вы получите в блоке «Страницы на которых мало текста».
Когда вы получили сведения о пустых страницах, не пожалейте время на их удаление.

Удалить можно следующими способами:


• вручную через административную панель;
  
• настроить 301 редирект;
  
• вручную из поиска Google и Яндекс.
  

Наиболее подходящим для дальнейшего ранжирования будет метод настройки 301-редиректа на главную страницу.

Обратите внимание, что сами по себе консоли не удаляют страницу! Они только временно исключают ее из поиска.

В случае, когда вам надо удалить большое количество пустых страниц, не используйте метод настройки 404 ошибки, потому что это сильно понизит позиции сайта.


» title = «Как удалить пустые страницы на сайте 16261788171931» />

«Список задач» — готовый to-do лист, который поможет вести учет
о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.

Начать работу со «Списком задач»

Serpstat — набор инструментов для поискового маркетинга!

Находите ключевые фразы и площадки для обратных ссылок, анализируйте SEO-стратегии конкурентов, ежедневно отслеживайте позиции в выдаче, исправляйте SEO-ошибки и управляйте SEO-командами.

Набор инструментов для экономии времени на выполнение SEO-задач.

Получить бесплатный доступ на 7 дней

Оцените статью по 5-бальной шкале

3.91 из 5 на основе 11 оценок

Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Рекомендуемые статьи

How-to

Denys Kondak

Как добавить сайт в Веб-мастер Mail.ru

How-to

Denys Kondak

Как проверить тексты на орфографические, стилистические, пунктуационные ошибки

How-to

Denys Kondak

Как и в каких случаях использовать HTML-теги STRONG, B, EM, I

Кейсы, лайфхаки, исследования и полезные статьи

Не успеваешь следить за новостями? Не беда! Наш любимый редактор подберет материалы, которые точно помогут в работе. Только полезные статьи, реальные кейсы и новости Serpstat раз в неделю. Присоединяйся к уютному комьюнити 🙂

Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.

Поделитесь статьей с вашими друзьями

Вы уверены?

Спасибо, мы сохранили ваши новые настройки рассылок.

Сообщить об ошибке

Отменить

Как убрать страницу 404 — Вопрос от Людмила Милькина

• Вопросы
• Горячие
• Пользователи
• Вход/Регистрация

>

Категории вопросов

Задать вопрос +

Основное

• Вопросы новичков (16495)
• Платные услуги (2125)
• Вопросы по uKit (82)

Контент-модули

• Интернет-магазин (1432)
• Редактор страниц (236)
• Новости сайта (498)
• Каталоги (806)
• Блог (дневник) (112)
• Объявления (295)
• Фотоальбомы (433)
• Видео (255)
• Тесты (60)
• Форум (576)

Продвижение сайта

• Монетизация сайта (220)
• Раскрутка сайта (2455)

Управление сайтом

• Работа с аккаунтом (5316)
• Поиск по сайту (426)
• Меню сайта (1765)
• Домен для сайта (1532)
• Дизайн сайта (13466)
• Безопасность сайта (1478)
• Доп. функции (1308)

Доп. модули

• SEO-модуль (225)
• Опросы (63)
• Гостевая книга (99)
• Пользователи (432)
• Почтовые формы (318)
• Статистика сайта (197)
• Соц. постинг (212)
• Мини-чат (91)

Вебмастеру

• JavaScript и пр. (644)
• PHP и API на uCoz (235)
• SMS сервисы (10)
• Вопросы по Narod. ru (427)
• Софт для вебмастера (39)
• Вопросы
• Вопросы новичков
• Как убрать страницу 404
01. 09.2021 | Автор: Людмила Милькина | Категория: Вопросы новичков

голоса: 0

01.09.2021 | Автор: Yuri_Geruk

…

Как сообщить Google об удалении 404 страниц моего сайта? | SEO Форум

Ваш браузер не поддерживает JavaScript. В результате ваши впечатления от просмотра будут уменьшены, и вы будете переведены в режим только для чтения .

Загрузите браузер, поддерживающий JavaScript, или включите его, если он отключен (например, NoScript).

1. Дом
2. SEO-тактика
3. Техническое SEO
4. Как сообщить Google об удалении 404 страниц моего сайта?

Эта тема была удалена. Его могут видеть только пользователи с правами управления вопросами.

• 
  

  Привет,

  Я хочу удалить более 6000 страниц моего веб-сайта из-за неверных ключевых слов, я собираюсь удалить все эти страницы и сделать их «404»

  Я хочу знать, как я могу сообщить Google, что эти страницы не существует, поэтому, пожалуйста, не присылайте мне трафик с этих плохих ключевых слов?

  Также хочу знать, могу ли я использовать инструмент дезавуирования веб-сайта Google, чтобы исключить эти 6000 страниц моего собственного веб-сайта?

• org/Comment»>
  

  Имеют ли они общую структуру?

  У меня была такая же проблема некоторое время назад, но мне повезло, что они находятся в меньшем количестве подкаталогов, так что я мог просто работать над ними, чтобы фактически информировать Google обо всех страницах.

  Мне удалось сделать это с помощью перенаправления 410 (ссылка навсегда исчезла) в моем htaccess:

  Редирект 410 /категория/
  Редирект 410 /категория2/

  и так далее. Так что каждая статья в этих категориях ушла.

  После этого я также запретил эти категории в своем файле robots.txt.

  Надеюсь, это поможет.

• С другой стороны, 6000 страниц могут занять немного больше времени, чем 317 страниц. Должно быть более простое решение.

• 
  

  Что я сделал:

  Перейдите на сайт www.google.com/webmasters/tools и убедитесь, что ваш домен настроен.

  Перейти к индексу Google. Удалите URL-адреса, скопируйте и вставьте URL-адрес и сообщите Google, что сайт был полностью удален. Он отправит информацию и позволит Google одобрить внесенные вами изменения.

  Одна проблема, с которой я столкнулся, заключалась в том, что вы должны делать это вручную, поэтому мне пришлось копировать/вставлять 317 страниц, поэтому, если у кого-то на этом форуме есть лучшее решение, пожалуйста, дайте мне знать!

  Надеюсь, это решит вашу проблему

У вас есть животрепещущий вопрос по SEO?

Подпишитесь на Moz Pro, чтобы получить полный доступ к вопросам и ответам, отвечать на вопросы и задавать свои.

Начать бесплатную пробную версию


Есть вопрос?

Просмотр вопросов

Посмотреть Все вопросыНовые (нет ответов)ОбсуждениеОтветыПоддержка продуктаБез ответа

От Все времяПоследние 30 днейПоследние 7 днейПоследние 24 часа

Сортировка по Последние вопросыНедавняя активностьБольше всего лайковБольшинство ответовМеньше всего ответовСамые старые вопросы

С категорией All CategoriesAffiliate MarketingAlgorithm UpdatesAPIBrandingCommunityCompetitive ResearchContent DevelopmentConversion Rate OptimizationDigital MarketingFeature RequestsGetting StartedImage & Video OptimizationIndustry EventsIndustry NewsIntermediate & Advanced SEOInternational SEOJobs and OpportunitiesKeyword ExplorerKeyword ResearchLink BuildingLink ExplorerLocal ListingsLocal SEOLocal Website OptimizationMoz BarMoz LocalMoz NewsMoz ProMoz ToolsOn-Page OptimizationOther SEO ToolsPaid Search MarketingProduct SupportReporting & AnalyticsResearch & TrendsReviews and RatingsSearch BehaviorSEO ТактикаТренды поисковой выдачиСоциальные сетиТехническое SEOВеб-дизайнБелое/черное SEO

Связанные вопросы

schema.org/ItemList» data-nextstart=»» data-set=»»>

• Более 40+ страниц были удалены из индекса, и эта страница была выбрана Google в качестве предпочтительной канонической.
  

  Более 40+ страниц были удалены из индексации, и эта страница была выбрана Google в качестве предпочтительной канонической. https://studyplaces.com/about-us/ Страницы, затронутые этим, включают:

  50 Best College Party Songs of All Time (and Why We Love Them)

  https://studyplaces.com/15-best-minors-for-business-majors/ Как видите, содержимое этих страниц совершенно не связано с содержанием страницы «О нас». Любые идеи, почему это происходит и как решить.

  Техническое SEO | | пнодди

  0

• org/ListItem»>
  Серьезная проблема SEO, Google неправильно кэширует страницу
  

  Мой веб-сайт http://www.mercimamanboutique.com/ Кэшированная версия французской версии, Кэш: www.mercimamanboutique.com/fr-fr/ показывает неправильно Немецкая версия: Кэш: www.mercimamanboutique.com/de-de/ показывает правильно. Я повторно отправлял ссылки на сайты и много раз просил Google переиндексировать веб-сайт. Немецкая версия всегда кэшируется должным образом, а французская — никогда. Меня это расстраивает, есть идеи, почему? Спасибо.

  Техническое SEO | | сс2016

  0

• Используя инструмент удаления URL-адресов Google для удаления https-страниц
  

  , я нашел способ получить список «некоторых» из моих 180 000+ мусорных URL-адресов, и я выполняю утомительную задачу использования инструмента удаления URL-адресов, чтобы кладите их по одному. Между этим и моим файлом robots.txt и параметрами URL я надеюсь увидеть некоторые изменения каждую неделю. Я заметил, что когда я добавляю URL-адреса, начинающиеся с https://, в инструмент удаления, он добавляет основной URL-адрес http:// впереди. Например, я добавляю в инструмент удаления: — https://www.mydomain.com/blah.html?search_garbage_url_addition На странице подтверждения URL-адрес фактически отображается как: — http://www.mydomain.com/https://www.mydomain.com/blah.html?search_garbage_url_addition Я не хочу случайно удалить свой основной URL или вызвать проблемы. Правильно ли это должно выглядеть? И ЧАСТЬ 2 МОЕГО ВОПРОСА Если вы видите описание поиска в Google для страницы, которую вы хотите удалить, которая говорит следующее в результатах поисковой выдачи, должен ли я по-прежнему создавать запрос на удаление? www.domain.com/url.html?xsearch_… Описание этого результата недоступно из-за файла robots.txt этого сайта. Узнайте больше.

  Техническое SEO | | воробей

  1

• org/ListItem»>
  Страницы для индексации в Google
  

  Привет! У нас есть 70 000 сообщений на нашем сайте, но Google отсканировал 500 000 страниц, и эти дополнительные страницы являются страницами категорий или страницами профилей пользователей. У каждой категории есть страница, и у каждого пользователя есть страница. Когда у нас 90 тысяч пользователей, Google проиндексировал 90К страниц одних только пользователей. Мой вопрос. Должны ли мы оставить все как есть или мы должны заблокировать их от индексации? Так как мы получаем нежелательные лендинги на страницы и огромный показатель отказов. Если нам нужно удалить, что нужно сделать? Блокировка роботов или Noindex/Nofollow С уважением

  Техническое SEO | | Мттомпсоны

  0

• org/ListItem»>
  Google видит 2 домашние страницы, а у меня только 1
  

  Как решить проблему, когда Google видит и domain.com, и domain.com/index.htm, когда у меня есть только один файл? Будет ли работать канонический? Если да, то какой? Или какие-то другие решения для новичка? Из предыдущих блогов я узнал, что это нужно делать через хостинг, но у Yahoo нет решения.

  Техническое SEO | | Куртый

  0

• Google удаляет страницы после очистки SEO
  

  Я использую SEOmoz для удаления ошибок с сайта. Там
  было более 10 000 ошибок для начала. В большинстве случаев это дублированный контент, повторяющиеся заголовки и слишком много ссылок на странице. Большинство повторяющихся ошибок теперь устранено
  . Это было сделано за две недели (сейчас около 3000 ошибок). Но вместо того, чтобы улучшить мой рейтинг, страницы, которые были на второй странице Google, начали вообще выпадать из списков. Страницы, которые выпадают
  не связаны с повторяющимися проблемами и получают оценки A, когда я запускаю отчеты о страницах SEOmoz
  . Можете ли вы убрать слишком много слишком быстро или, вероятно, для этого есть другая причина?

  Техническое SEO | | Энди56

  0

• Блокировка или удаление страниц с помощью robots. txt
  

  Я хочу использовать robots.txt, чтобы запретить роботу googlebot доступ к определенной папке на сервере, Скажите, пожалуйста, правильный ли приведенный ниже синтаксис User-Agent: Googlebot Запретить: /folder/ Я хочу использовать robots.txt, чтобы Google Image не индексировал изображения моего веб-сайта, Скажите, пожалуйста, правильный ли приведенный ниже синтаксис Агент пользователя: Googlebot-Image Запретить: /

  Техническое SEO | | семестр

  0

• Каталог проиндексирован в гугле, что мне не нужно, как удалить?
  

  Привет На одном из моих собственных веб-сайтов возникла небольшая проблема: Google проиндексировал более 500 страниц и файлов из каталога шаблонов с моего веб-сайта электронной коммерции. В инструментах Google для веб-мастеров более 580 ошибок сканирования, в основном приведенные ниже. Я зашел в свой текстовый файл robots и добавил Запретить: /скины*
  Запретить: /skin1* Не заблокирует ли это Google их повторный поиск? и как мне удалить 500 страниц, которые уже проиндексированы? Любая помощь будет отличной | http://www.rfkprintsolutions.co.uk/skin1/modules/Subscriptions/subscription_priceincart.tpl | ошибка 403 | 15 января 2012 г. |
  | http://www.rfkprintsolutions.co.uk/skin1/modules/Subscriptions/subscription_info_inlist.tpl | ошибка 403 | 15 января 2012 г. |
  | http://www.rfkprintsolutions.co.uk/skin1/modules/Subscriptions/subscriptions_admin.tpl | ошибка 403 | 15 января 2012 г. |

  Техническое SEO | | rfksolutionsltd

  0

Как удалить ошибку 404 в Search Console

Известно, что взломанные веб-сайты доставляют множество головных болей веб-мастерам, включая вредоносные перенаправления, неработающие ссылки и нежелательный спам. Но знаете ли вы также, что это также может привести к проблемам для поисковых роботов, таких как Googlebot и Bingbot?

Сегодня мы рассмотрим, как спам на веб-сайте может привести к ошибке 404 в Search Console и что делать, когда это происходит. Если вы используете Google Search Console (а вам следует это сделать), мы предлагаем конкретные инструкции, чтобы убедиться, что вы не пострадаете, если окажетесь в подобной ситуации.

Содержание:

• Общие признаки SEO-спама
• Как SEO-спам попадает на мой сайт?
• Как найти спам-дорвеи
• Как спам может повредить SEO и привести к ошибкам 404
• Почему Search Console показывает страницу 404 после удаления спама?
• Как исправить и удалить ошибку 404 в Search Console после взлома
• 404 для спам-страниц после принудительного HTTPS

Начнем с анализа признаков заражения SEO-спамом, который может привести к проблемам с Googlebot и ошибкам 404 в поисковой консоли.

1 – На вашем сайте появляется много новых веб-страниц

Инфекции SEO-спама, такие как спам с ключевыми словами на японском языке, как известно, создают десятки тысяч спам-файлов на веб-сайте. Обычно это файлы JavaScript и HTML.

Страницы со спамом на японском языке в результатах поиска

2 – Изменились заголовки и описания страниц веб-сайта

Одним из распространенных признаков SEO-спама являются изменения на страницах результатов поиска Google. Скорее всего, вы обнаружите, что они изобилуют спам-ключевыми словами и контентом.

3 — Ошибка записи: предупреждения о превышении дисковой квоты

Поскольку некоторые кампании SEO-спама могут создавать огромное количество файлов, вы можете обнаружить, что ваша учетная запись хостинга использовала максимальное количество дискового пространства, разрешенное вашей квотой.

Однако после того, как вы решите эти проблемы и очистите спам, вы можете столкнуться с совершенно другим набором проблем.

Далее, давайте взглянем на некоторые из распространенных способов, которыми SEO-спам попадает на ваш сайт.

Как SEO-спам попадает на мой сайт?

Первоначальный способ заражения может варьироваться от места к месту.

В некоторых случаях злоумышленник может взломать небезопасную страницу администратора или повторно использовать украденные пароли из-за утечки данных. Или они могут использовать известные уязвимости в популярных плагинах, темах и расширяемых компонентах, чтобы получить несанкционированный доступ к среде вашего сайта.

Независимо от того, как им удастся закрепиться, как только они окажутся внутри, они будут использовать ресурсы вашей системы и рейтинг веб-сайта в своих целях.

В качестве примера давайте обсудим один из распространенных методов, используемых для создания и ранжирования спама на веб-сайте.

1. Злоумышленник получает несанкционированный доступ к веб-сайту.
2. Как только плацдарм установлен, хакер создает дорвеи со спамом на зараженном веб-сайте. К ним относятся спам-ключевые слова, которые помогают им ранжироваться в результатах поиска Google по релевантным запросам.
3. Когда пользователь нажимает на этот результат поиска, дорвей перенаправляет посетителя на сторонний веб-сайт хакера — и они вообще никогда не попадают на зараженные страницы.

Вот где становится интересно. Google ранжирует дорвеи, если на эти страницы поступает много входящих ссылок. Это один из основных способов, которым алгоритм Google определяет «хорошие» результаты поиска.

Злоумышленники знают, что никто не будет ссылаться на их секретные дорвеи. Таким образом, они ссылаются на спам-дорвеи на других взломанных веб-сайтах, создавая в процессе сложную стратегию перелинковки.

Как найти спам-дорвеи

Вот пример использования Unmask Parasites для обнаружения одного из этих дорвеев и его внешних ссылок со взломанных сайтов.

Просто вставьте URL-адрес в инструмент, и он предоставит список внешних ссылок, как показано ниже для этого сайта, зараженного японским SEO-спамом.

Теперь давайте посчитаем.

• Типичная спам-кампания заражает около 3000 сайтов.
• На каждом сайте не менее 25 000 спам-страниц/дорвеев (обычно больше).
• Каждый дорвей имеет не менее 5 ссылок на другие взломанные сайты .
• Это дает нам около 125 000 исходящих ссылок на взломанный сайт.
• Так как они равномерно распределены между всеми взломанными сайтами, то это означает, что на каждый взломанный сайт приходится около 40 ссылок на все остальные взломанные сайты .

Это означает, что все взломанные сайты вместе взятые имеют около 125 000 тысяч ссылок на дорвеи на каждом отдельном взломанном сайте. Даже это, вероятно, занижение, поскольку они обычно создают более одного каталога со спам-файлами, каждый из которых содержит 20 000+ спам-файлов.

Как видите, на ваш сайт огромное количество входящих ссылок — и Google их тоже видит.

Как спам вредит поисковой оптимизации и приводит к ошибкам 404 в Search Console

Давайте посмотрим, как эта проблема входящих спам-ссылок влияет на вашу поисковую оптимизацию и что происходит, когда вы их очищаете.

Как мы подсчитали ранее, если вы скомпрометированы SEO-спамом, в Интернете может быть более 125 000 ссылок, указывающих на спам на вашем веб-сайте. Это означает, что робот Googlebot в конечном итоге просканирует их на других зараженных сайтах и ​​начнет сканировать ваш сайт в поисках этих ссылок.

Если спам не будет удален быстро, это может привести к резкому падению вашего SEO-рейтинга, поскольку он создает огромное количество дорвеев со спамом, которые истощают ваш ссылочный вес и снижают вашу репутацию. Вы также будете оштрафованы и даже, возможно, занесены в черный список органами поиска, если обнаружится, что ваш сайт содержит вредоносный контент или перенаправляет на вредоносные веб-сайты.

И как только вы очистите все эти спам-файлы, Google все равно попытается их просканировать, потому что обратные ссылки, скорее всего, уже были размещены где-то еще. Это может создать огромное количество ошибок 404 на панели Google Search Console (Инструменты для веб-мастеров).

 Примечание:

Как правило, ошибки 404, обнаруженные в Google Search Console после взлома, не повлияют на эффективность поиска вашего сайта, но могут стать помехой для ваших отчетов.

Эти ошибки, скорее всего, со временем исчезнут из ваших отчетов Search Console, но на их устранение могут уйти недели или даже месяцы. Кроме того, существующие отчеты будут загромождены, что затруднит обнаружение или выявление реальных проблем. 

Почему Search Console показывает страницу 404 после удаления SEO-спама?

Давайте подробнее рассмотрим, почему Google может показывать больше 404 страниц после того, как вы удалили спам со своего сайта.

Когда злоумышленники изначально заражают ваш сайт SEO-спамом, они создают множество страниц, но Googlebot еще не всегда находит ссылки на них. И даже если это так, страницы существуют, поэтому они не возвращают ошибку 404.

Более того, Google обычно не сканирует сразу тысячи спам-страниц, хотя их и были сообщениями о том, что Google сканировал слишком много страниц одновременно и приводил к сбою веб-сайтов. Чтобы предотвратить проблемы с производительностью, Googlebot обычно имеет квоту на количество страниц, которые они могут сканировать на каком-либо конкретном веб-сайте в день, особенно если веб-сайт, как известно, не производит тонны контента на регулярной основе. (Вы можете найти среднее количество запросов на сканирование вашего сайта в отчете «Статистика сканирования» в Search Console.)

То же самое произошло и с другими взломанными сайтами, рассылающими ссылки на ваши спам-страницы. Со временем Google постепенно увеличивает количество просканированных спам-страниц, которые он может обрабатывать ежедневно (и новых ссылок на ваш сайт).

Помните те спам-дорвеи, контролируемые злоумышленниками, которые ссылались на спам-страницы на всех взломанных сайтах? Что ж, даже если инфекция на вашем веб-сайте была вылечена и кеш был очищен, могут быть тысячи ссылок на спам-страницы, которые вы удалили, все еще в очереди для сканирования роботом Googlebot. Кроме того, Google попытается просканировать спам-ссылки, которые он уже просканировал ранее, чтобы обновить свой собственный индекс с наилучшими возможными результатами. И все это может вызвать ошибку 404 в вашей консоли поиска.

Итак, если ваш сайт был очищен и больше не заражен, вы все еще можете испытывать долгосрочный побочный эффект взлома, поскольку Google пытается повторно просканировать тысячи несуществующих спам-страниц еще несколько недель. или месяцев.

Если оставить его в покое, Google повторно просканирует уже проиндексированные дорвеи на вашем сайте и в конечном итоге заметит, что все они исчезли. Google попытается просканировать удаленные страницы несколько раз, чтобы убедиться, что они исчезли навсегда, прежде чем удалить их из своего индекса. Это гарантирует, что ошибка 404 не связана с какой-либо временной проблемой обслуживания.

Как удалить ошибку 404 в Search Console


Первый шаг — очистить сайт от SEO-спама. Как только это будет сделано, вам нужно будет обработать огромное количество страниц с ошибкой 404, которые ожидает найти робот Googlebot.

Мы описали три возможных варианта решения и удаления ошибки 404 из Search Console.

Вариант 1: сделай сам с помощью инструмента для удаления URL-адресов в Search Console

Если вы хотите запачкать руки, вы можете использовать инструмент для удаления URL-адресов в Search Console.

Это отличный метод для небольшого количества ссылок, и он должен показать результаты быстро (в течение 24 часов), однако сложно отправить все ссылки одну за другой.

Также стоит отметить, что он не удаляет URL-адреса из индекса Google. Вместо этого он временно удаляет URL-адреса из результатов поиска, поэтому вам нужно убедиться, что вы очистили все части заражения, прежде чем использовать этот подход.

Вариант 2. Возврат HTTP-ответа 410 вместо 404 

Возврат HTTP-статуса 410 (Gone) с сервера сообщает Google, что вы специально и намеренно удалили страницу со своего веб-сайта, и она больше не существует.

В отличие от ошибки 404, в которой говорится, что страница не может быть найдена, ответ 410 поможет уточнить, что страница пропала. Это может помочь ускорить процесс удаления ошибок 404 из Search Console.

Чтобы настроить это на сервере Apache, добавьте следующую строку в ваш .htaccess с помощью директивы перенаправления mod_alias.

 Перенаправление ушло /path/to/resource
 

После того, как вы добавите это для оскорбительных URL-адресов 404, вы фактически сообщите Google, что спам-страницы были удалены без возможности восстановления и не должны возвращаться.

Вариант 3: терпеливо ждать

Еще один проверенный метод — просто подождать.

Время, необходимое Google для повторного сканирования вашего веб-сайта, во многом зависит от двух факторов:

1. Количество страниц вашего сайта.
2. Насколько интенсивно Google ежедневно сканирует ваш веб-сайт.

Среднее время сканирования может варьироваться от нескольких дней до недель. Но в большинстве случаев Google (и другие поисковые органы) в конце концов понимают, что страницы на самом деле исчезли и больше не существуют. На этом этапе они перестанут сообщать о них как об ошибках 404.

Обработка ошибок 404 для спам-страниц после принудительного использования HTTPS

В некоторых случаях мы видим, что веб-мастера принудительно https:// перенаправляет сразу после очистки взломанного веб-сайта, что также может вызвать некоторые проблемы с URL-адресами спама, отображаемыми как 404 в Search Console.

SSL обеспечивает множество преимуществ в плане безопасности, а также повышает рейтинг и производительность Google благодаря использованию HTTP/2. В частности, он защищает данные при передаче. Это имеет решающее значение для передачи конфиденциальной информации о кредитной карте на страницах оформления заказа или обработки данных в формах входа и контакта.

Однако, принудительно перенаправляя сразу после очистки, Google не может сканировать эти http:// версии URL-адресов.

No related posts.