Яндекс сайт индексирует, а Гугл нет. Google всё? Неужели сдулся...

Всё началось с того, что в последнее время всё чаще наблюдаю ситуацию, когда Яндекс сайт индексирует отлично, а Google никак не хочет вообще! Хотя и карта сайта добавлена, и страницы разрешены в robots, и тексты (и даже фотки) уникальные. CMS разные, регионы разные, домены молодые и старые. Да и два месяца индексировать 60 страниц?? Может Google уже выходит из игры?

Разместил сайт клиента в панели вебмастеров гугл и думаю, как обычно, что дело сделано, тем более что все страницы из сайтмапа были успешно добавлены роботом.

Но прошел месяц, а в поиске гугла ровно 0 (ноль) страниц!
А яндекс уже успешно проиндексировал основные разделы.

Раньше ситуация была наоборот: яндекс морозил сайты месяцами. Надо было писать "платону", ставить ссылки со всяких форумов, твиттеров и если повезет, то сайт проиндексируется там.

Сейчас яндекс индексирует почти мгновенно, причем вполне разумно, качественно отделяя важные страницы от неизбежного мусора.

А Google как-будто "испортился", тупит на ровном месте.
Причем это не только поиска касается, а пожалуй, всех их сервисов.

Вот смотрите Яндекс индексирует, а Google нет.

Решение вопроса по индексации

Общий алгоритм примерно такой, на что можно грешить:

Фильтры

Проверяем нет ли фильтров на сайте.
Смотрим меры принятые вручную.

Карта сайта

Проверяем карту сайта.
Проиндексирована ли она в Google? Нет ли в ней ошибок.
Смотрим, чтобы индексация стояла каждый час или каждый день, а то во многих картах по умолчанию месяц стоит.

Robots.txt

Проверяем любую страницу не запрещена ли она в robots.txt
Для этого открываем "Покрытие", затем выбираем страницы со статусом, например, ошибка или исключено и кликаем на сведения внизу, чтобы узнать подробности.

И затем когда откроется список страниц, кликаем на сами страницы и смотрим доступна ли она к индексации или нет.

Должно получиться примерно так (статус "доступен")

Страницы исключены из индекса

По непонятным причинам страницы могут быть исключены из индекса.

Как я уже показывал выше, открываем "Покрытие" и обращаем внимание на последний пункт "Исключено".

Опять же нужно кликать на каждую страницу и проверять URL

Вы увидите, что страница не проиндексирована, но не по причине ошибки, а просто так

Кликайте на "запросить индексирование" и Google вручную обойдет страницу и добавит в индекс. Да, это утомительно, кликать каждую страницу, но другого варианта не нашёл, а такое добавление реально работает, выше приводил скрин, гугл вообще не хотел индексировать сайт, а когда попинал его вручную через этот инструмент кое-как забрал туда эти страницы.

Кстати, если нажать на "подробнее", то станет ясно, что гугл не проиндексировал страницы, потому что робот не стал это делать, якобы из-за чрезмерной загрузки ресурса.

Какого именно ресурса, они не уточняют, но подозреваю что у самого гугла или просто не хватило мощностей нормально проиндексировать сайт и он откладывает их на потом, либо поехала крыша у алгоритма, который определяет качество страниц и он не индексирует нормальные страницы с уникальным текстом и фотками.

Я встречал по этой ошибки темы, в которых люди месяцами не могли ничего сделать!

Я заметил что в основном эта проблема стала подниматься в последние пару лет, где-то с 2020 года.

Из большего никто ничего не знает, но такое чувство, что сам гугл медленно погружается в болото

Вот недавно ещё человек хочет заказать СЕО и пишет в заказе:

И таких примеров - десятки!

Не удалось обработать файл Sitemap

Добавлено 08 сентября 2022

Решил дополнить статью очень частой ошибкой, когда гугл ругается на карту сайта, мол "Не удалось обработать файл Sitemap".

Это просто беда для многих людей, они мучаются днями и неделями, пытаясь пробить эту глухую стену

Пишут на форумах, в блогах, в ютуб, в техподдержку гугла - и почти всё без толку.

Я попробую внести некоторую ясность в этот вопрос, не претендую на вселенскую истину, и не гарантирую что у вас что-то решится, но по крайней мере соберу в одном месте опыт по этой проблеме, может кому-то и пригодится.

Итак, почему Google не хочет обрабатывать карту сайта, мой личный ТОП рейтинг причин:

• Домен не нулевой, а имеет какую-то (может, нехорошую) историю.
  Тут можно сказать только, что когда вы выбираете себе доменное имя - сделайте это правильно.
  Проверить историю можно попробовать тут - https://archive.org/web/ но не по всем сайтам есть инфа.
• Доменная зона стрёмная, вроде .name, .top, .club и т.п.
  Опять же - выбирайте домен правильно!
• Бывает, что sitemap сделан изначально некорректно, проверьте его в валидаторе - https://www.xml-sitemaps.com/validate-xml-sitemap.html
  Попробуйте другой sitemap по возможности.
• Проверьте ответ карты сайта - она вообще загружается?
  Это можно сделать просто добавив ссылку на карту сайта в инструмент "Проверка URL" и посмотреть подробности.
  Статус должен быть 200 ОК, внутри виден просканированный код.
• Посмотрите на адрес карты сайта, может там есть какие-то спецсимволы?
  В идеале чтобы он назывался просто sitemap.xml или sitemap-1.xml, sitemap-2.xml, не надо туда пихать подчеркивания, заглавные буквы и т.п.
• Sitemap запрещён к индексации в robots.txt
  Чаще всего грешит Опенкарт, так как в нем чпу не поддерживается изначально и карты сайта имеют вид вроде index.php?route=extension/feed/fast_google_sitemap
  Решается как в видео - https://youtu.be/18rqVXvBwD4
• В том же robots.txt или в htaccess запрещен доступ для роботов, в том числе Google.
  Проверьте эти файлы на наличие запретов, ищите строчки в которых есть что-то вроде "googlebot" и "HTTP_USER_AGENT".
  Удалите их на несколько дней (или навсегда) и проверьте индексацию через это время, сразу ведь доступ может не восстановиться, так как гугл кэширует многие моменты.

И это еще один камень в огород гугла

Выводы и итоги

Буквально лет 5-10 назад не представлял себе жизни без Google: поиск, почта, картинки, видео, бизнес, реклама, аналитика - там всё крутилось и было на недосягаемом для конкурентов уровне.

А сейчас ловлю себя на мысли, что пользуюсь всё чаще и чаще сервисами Яндекса:

• моя корпоративная почта у них висит и работает лучше гугловской.
• реклама в яндекс раньше проигрывала гугл, но с появлением мастера кампании стала гораздо выгоднее, размещаю в том числе свою рекламу, и вот только на днях разместил очередного клиента, он за 20 бел руб. (около 10$) получил 100 тыс показов, 1300 переходов с отказами меньше 16% (!) и около 30 хороших конверсий - подробнее услуги по настройке рекламы
  Да, гугл тоже хорош и приводит много клиентов, особенно поиск, но во-первых, санкции, во-вторых, там 300$ можно ухнуть за пару дней без особого результата, если неаккуратно настроить кампанию.
• яндекс диск дешевле и удобнее, да и в условиях санкций лучше иметь свои файлы в своей стране.
• яндекс формы - очень достойно, возможностей куча, настраиваются легко, работают не хуже гугловских.
• яндекс браузер тот же хромиум, но я пользуюсь мозиллой, потому что гугл оборзел и стал блокировать дополнения, которые позволяют качать видео с ютуба.
• поиск по картинкам гораздо удобнее и лучше в яндексе, я даже удивился, потому что раньше рулил только гугл, а сейчас для поиска по изображениям почти всегда использую яндекс.
• яндекс-бизнес удобнее, информативнее, больше возможностей внутри.
• яндекс метрика в разы проще, нагляднее, толковее и удобнее, чем перенавороченный комбайн google analytics, где до сих пор, чтобы добавить цель на отслеживание нужно знание regexp на базовом уровне или погружаться в бездну google tag manager.
• яндекс карты гораздо точнее, проще и толковее, на гугловских до сих пор многих номеров домов нет
• техподдержка на яндексе (что поиск, что реклама, что другие сервисы) - это песня, чуть ли не в режиме онлайн можно спросить и получить вменяемый ответ. На гугле ответов на пару вопросов жду уже полгода! Раз в месяц присылают отписку, мол "ваш вопрос морозится нашими специалистами, но когда-нибудь мы вам ответим". В той же рекламе яндекса есть возможность задать вопрос в чат и реально помогут решить баг прямо при тебе онлайн. Google даже и близко до этого уровня техподдержки не дорос, точнее застрял в развитии...

Так что в моём "арсенале" пока уверенно держится только Гуглопоиск.
Да и то чисто за счет привычного дизайна, а не какой-то супер-пупер толковой выдачи.

Впрочем Яндекс уже тоже выкатил новый дизайн поиска - почти такой как на Google, так что думаю, тут скоро произойдет незаметная смена в предпочтениях.
Особенно если его начнут ставить по умолчанию на все местные девайсы и браузеры.

Ну и Ютуб, конечно, ещё рулит.
Впрочем, тоже всё меньше и меньше.

Я обратил внимание, что уже реже захожу туда, чаще включаю банальный Телеграм, VK, OK, а своё видео с Youtube планирую перевести на Яндекс.Дзен от греха и санкций подальше.

Так что думаю, что проблема с индексациями страниц сайта в Google может носить более глобальный характер и свидетельствовать о том, что не всё так гладко и ровно у этого гиганта, как оно может показаться.

Причем такого мнения не я один придерживаюсь, вот аналогичные проблемы у разных людей:

google не индексирует сайт

Впрочем, при должном усердии, уверен, что можно решить и эту проблему.

Успехов в бизнесе!