Яндекс сайт индексирует, а Гугл нет. Google всё? Неужели сдулся...

Всё началось с того, что в последнее время всё чаще наблюдаю ситуацию, когда Яндекс сайт индексирует отлично, а Google никак не хочет вообще! Хотя и карта сайта добавлена, и страницы разрешены в robots, и тексты (и даже фотки) уникальные. CMS разные, регионы разные, домены молодые и старые. Да и два месяца индексировать 60 страниц?? Может Google уже выходит из игры?

Разместил сайт клиента в панели вебмастеров гугл и думаю, как обычно, что дело сделано, тем более что все страницы из сайтмапа были успешно добавлены роботом.

Но прошел месяц, а в поиске гугла ровно 0 (ноль) страниц!
А яндекс уже успешно проиндексировал основные разделы.

Раньше ситуация была наоборот: яндекс морозил сайты месяцами. Надо было писать "платону", ставить ссылки со всяких форумов, твиттеров и если повезет, то сайт проиндексируется там.

Сейчас яндекс индексирует почти мгновенно, причем вполне разумно, качественно отделяя важные страницы от неизбежного мусора.

А Google как-будто "испортился", тупит на ровном месте.
Причем это не только поиска касается, а пожалуй, всех их сервисов.

Вот смотрите Яндекс индексирует, а Google нет.

Решение вопроса по индексации

Общий алгоритм примерно такой, на что можно грешить:

Фильтры

Проверяем нет ли фильтров на сайте.
Смотрим меры принятые вручную.

Карта сайта

Проверяем карту сайта.
Проиндексирована ли она в Google? Нет ли в ней ошибок.
Смотрим, чтобы индексация стояла каждый час или каждый день, а то во многих картах по умолчанию месяц стоит.

Robots.txt

Проверяем любую страницу не запрещена ли она в robots.txt
Для этого открываем "Покрытие", затем выбираем страницы со статусом, например, ошибка или исключено и кликаем на сведения внизу, чтобы узнать подробности.

И затем когда откроется список страниц, кликаем на сами страницы и смотрим доступна ли она к индексации или нет.

Должно получиться примерно так (статус "доступен")

Важно!
Если вдруг что-то не включили или наоборот, надо исключить в Robots.txt - то помните, что Google его кэширует и время кэширования может достигать большого значения, например 2-3 недели. Чтобы не ждать это время впустую, внесите изменения в роботсе и запросите повторное сканирование на странице https://search.google.com/search-console/settings/robots-txt

Выглядит это так:

Как видите, на странице последний обход от 1 марта, а я пишу это 13 марта, то есть две недели Google там не был

Страница просканирована, но пока не проиндексирована

Самая неприятная ошибка индексации.

Это значит, что робот удачно загрузил страницы в google, но ему они по каким-то причинам не понравились. Узнать причину НЕ получится. На форумах пишут, что мол, обычно это из-за слабого или однотипного контента.

И заставить гугл проиндексировать их крайне сложно.

Периодически (раз в месяц примерно) стоит пинать google и отправлять такие страницы на перепроверку.

И не факт, что это сразу даст эффект, длиться такой статус может месяцами!

Я заметил что в основном эта проблема стала подниматься в последние пару лет, где-то с 2020 года. Из большего никто ничего не знает, но такое чувство, что сам гугл медленно погружается в болото

Вот недавно ещё человек хочет заказать СЕО и пишет в заказе:

Но если периодически google пинать, то постепенно страницы станут уходить из этого статуса, и постепенно google все их проиндексирует.

На скрине магазин, в котором больше года идет борьба с не проиндексированными страницами и в целом идет успешно В общем, мои услуги по СЕО здесь, если что.

Обнаружена, не проиндексирована

Эта ошибка попроще.

В данном случае робот был по каким-то причинам занят и толком не смог заняться индексированием страницы. Просто увидел что она есть, а что там - не смотрел.

Подробнее есть в хелпе гугла - https://support.google.com/webmasters/answer/7440203?hl=ru

Тут имеет смысл принудительно переотправлять страницу на индексацию.

Как это сделать?

Можно выбрать из списка нужную страницу, навести на нее и кликнуть на значок лупы. Откроется диалог URL нет в индексе Google. И там уже кликать на "Запросить индексирование".

Вы увидите, что страница не проиндексирована, но не по причине ошибки, а просто так

Кликайте на "запросить индексирование" и Google вручную обойдет страницу и добавит в индекс.

Да, это утомительно, кликать каждую страницу, но другого варианта не нашёл, а такое добавление реально работает, выше приводил скрин, гугл вообще не хотел индексировать сайт, а когда попинал его вручную через этот инструмент то забрал туда эти страницы.

Кстати, по ручной индексации действует лимит - всего 10 страниц в день

Но можно воспользоваться плагинами для популярных CMS через Google API Indexing и отправлять на переобход сразу сотни страниц.

Или пишите скрипт сами - https://habr.com/ru/articles/931340/

Можно просто скопировать URL и вставить его верхнее поле. Вы также перейдете к диалогу URL нет в индексе Google

Смысл в общем один: добраться любыми путями до кнопки "Запросить индексирование" и отправить страницу принудительно роботу на повторное сканирование.

В итоге должно получиться вот такое сообщение.

Такие страницы в 90% случаев индексируются "на ура".

Ведь изначально к ним не было каких-то претензий от google, просто он в прошлый раз до них не добрался, был занят, а сейчас освободился, проверил и убедился, что им самое место в индексе.

Не удалось обработать файл Sitemap

Добавлено 08 сентября 2022

Решил дополнить статью очень частой ошибкой, когда гугл ругается на карту сайта, мол "Не удалось обработать файл Sitemap".

Это просто беда для многих людей, они мучаются днями и неделями, пытаясь пробить эту глухую стену

Пишут на форумах, в блогах, в ютуб, в техподдержку гугла - и почти всё без толку.

Я попробую внести некоторую ясность в этот вопрос, не претендую на вселенскую истину, и не гарантирую что у вас что-то решится, но по крайней мере соберу в одном месте опыт по этой проблеме, может кому-то и пригодится.

Итак, почему Google не хочет обрабатывать карту сайта, мой личный ТОП рейтинг причин:

• Домен не нулевой, а имеет какую-то (может, нехорошую) историю.
  Тут можно сказать только, что когда вы выбираете себе доменное имя - сделайте это правильно.
  Проверить историю можно попробовать тут - https://archive.org/web/ но не по всем сайтам есть инфа.
• Доменная зона стрёмная, вроде .name, .top, .club и т.п.
  Опять же - выбирайте домен правильно, чтобы потом не мучаться!
  ru, com, by - это то, что надо.
• Бывает, что sitemap сделан изначально некорректно, проверьте его в валидаторе - https://www.xml-sitemaps.com/validate-xml-sitemap.html
  Попробуйте другой sitemap по возможности.
• Проверьте ответ карты сайта - она вообще загружается?
  Это можно сделать просто добавив ссылку на карту сайта в инструмент "Проверка URL" и посмотреть подробности.
  Статус должен быть 200 ОК, внутри виден просканированный код.
• Посмотрите на адрес карты сайта, может там есть какие-то спецсимволы?
  В идеале чтобы он назывался просто sitemap.xml или sitemap-1.xml, sitemap-2.xml, не надо туда пихать подчеркивания, заглавные буквы и т.п.
  Типа https://site.ru/sitemap__20999 моя-карта%-1.xml - не стоит так делать.
• Sitemap запрещён к индексации в robots.txt
  Чаще всего грешит Опенкарт, так как в нем карты сайта обычно имеют вид вроде index.php?route=extension/feed/fast_google_sitemap
  Решается как в видео - https://youtu.be/18rqVXvBwD4
• В том же robots.txt или в htaccess запрещен доступ для роботов, в том числе Google.
  Проверьте эти файлы на наличие запретов, ищите строчки в которых есть что-то вроде "googlebot" и "HTTP_USER_AGENT".
  Удалите их на несколько дней (или навсегда) и проверьте индексацию через это время, сразу ведь доступ может не восстановиться, так как гугл кэширует многие моменты.

И это еще один камень в огород гугла

Выводы и итоги

Буквально лет 10 назад не представлял себе жизни без Google: поиск, почта, картинки, видео, бизнес, реклама, аналитика - там всё крутилось и было на недосягаемом для конкурентов уровне.

А сейчас ловлю себя на мысли, что пользуюсь всё чаще и чаще другими сервисами (яндекс, mail.ru и т.п.):

• моя корпоративная почта на mail.ru и яндексе и работает лучше гугловской.
• реклама в яндекс раньше проигрывала гугл, но с появлением оплаты за конверсии, размещаю в том числе свою рекламу, и вот только на днях разместил очередного клиента, он за 20 бел руб. (около 10$) получил 100 тыс показов, 1300 переходов с отказами меньше 16% (!) и около 30 хороших конверсий - подробнее услуги по настройке рекламы
  Да, гугл очень хорош и приводит много клиентов, особенно поиск, но во-первых, санкции, во-вторых, более сложный в настройке, там 300$ можно ухнуть за пару дней без особого результата, если неаккуратно настроить кампанию.
• яндекс диск дешевле и удобнее, да и в условиях санкций лучше иметь свои файлы в своей стране.
• яндекс формы - очень достойно, возможностей куча, настраиваются легко, работают не хуже гугловских.
• яндекс браузер тот же хромиум, но я пользуюсь мозиллой, потому что гугл оборзел и стал блокировать дополнения, которые позволяют качать видео с ютуба.
• поиск по картинкам гораздо удобнее и лучше в яндексе, я даже удивился, потому что раньше рулил только гугл, а сейчас для поиска по изображениям почти всегда использую яндекс.
• яндекс-бизнес удобнее, информативнее, больше возможностей внутри.
• яндекс метрика в разы проще, нагляднее, толковее и удобнее, чем перенавороченный комбайн google analytics
• яндекс карты гораздо точнее, проще и толковее, на гугловских до сих пор многих местных номеров домов нет
• техподдержка на яндексе (что поиск, что реклама, что другие сервисы) - это песня, чуть ли не в режиме онлайн можно спросить и получить вменяемый ответ. На гугле ответов на пару вопросов жду уже полгода! Раз в месяц присылают отписку, мол "ваш вопрос морозится нашими специалистами, но когда-нибудь мы вам ответим". В той же рекламе яндекса есть возможность задать вопрос в чат и реально помогут решить баг прямо при тебе онлайн. Google даже и близко до этого уровня техподдержки не дорос, точнее застрял в развитии...

Так что в моём "арсенале" пока уверенно держится только Гуглопоиск.
Да и то чисто за счет привычного дизайна, а не какой-то супер-пупер толковой выдачи.

Впрочем Яндекс уже тоже выкатил новый дизайн поиска - почти такой как на Google, так что думаю, тут скоро произойдет незаметная смена в предпочтениях.
Особенно если его начнут ставить по умолчанию на все местные девайсы и браузеры.

Ну и Ютуб, конечно, ещё рулит.
Впрочем, тоже всё меньше и меньше.

Я обратил внимание, что уже реже захожу туда, чаще включаю банальный Телеграм, VK, OK, а свои видео с Youtube планирую перевести на ВК и Яндекс.Дзен от греха и санкций подальше.

Так что думаю, что проблема с индексациями страниц сайта в Google может носить более глобальный характер и свидетельствовать о том, что не всё так гладко и ровно у этого гиганта, как оно может показаться.

Причем такого мнения не я один придерживаюсь, вот аналогичные проблемы у разных людей:

Впрочем, при должном усердии, уверен, что можно решить и проблему с индексацией страниц в Google.

Успехов в бизнесе!