Блог по продвижению сайтов Блог по SEO

Яндекс сайт индексирует, а Гугл нет. Google всё? Неужели сдулся...

Просмотров: 1155

Всё началось с того, что в последнее время всё чаще наблюдаю ситуацию, когда Яндекс сайт индексирует отлично, а Google никак не хочет вообще! Хотя и карта сайта добавлена, и страницы разрешены в robots, и тексты (и даже фотки) уникальные. CMS разные, регионы разные, домены молодые и старые. Да и два месяца индексировать 60 страниц?? Может Google уже выходит из игры?

Разместил сайт клиента в панели вебмастеров гугл плохо индексирует сайтгугл и думаю, как обычно, что дело сделано, тем более что все страницы из сайтмапа были успешно добавлены роботом.

Но прошел месяц, а в поиске гугла ровно 0 (ноль) страниц!
А яндекс уже успешно проиндексировал основные разделы.

Раньше ситуация была наоборот: яндекс морозил сайты месяцами. Надо было писать "платону", ставить ссылки со всяких форумов, твиттеров и если повезет, то сайт проиндексируется там.

Сейчас яндекс индексирует почти мгновенно, причем вполне разумно, качественно отделяя важные страницы от неизбежного мусора.

А Google как-будто "испортился", тупит на ровном месте.
Причем это не только поиска касается, а пожалуй, всех их сервисов.

гугл не индексирует страницы совсем

Вот смотрите Яндекс индексирует, а Google нет.

Гугл вообще не индексирует сайт!

google не индексирует сайт

а в яндексе есть…

яндекс индексирует сайт а гугл нет

Этот сайт гугл не индексировал месяц, и стал очень неохотно индексировать только с пинка (речь ниже пойдет как это сделать), а яндекс подхватил сразу.

гугл не индексирует сайт

А яндекс сразу подхватил…

яндекс сразу подхватил сайт а google не индексирует

Решение вопроса по индексации

Общий алгоритм примерно такой, на что можно грешить:

Фильтры

Проверяем нет ли фильтров на сайте.
Смотрим меры принятые вручную.

яндекс индексирует а гугл нет меры вручную

Карта сайта

Проверяем карту сайта.
Проиндексирована ли она в Google? Нет ли в ней ошибок.
Смотрим, чтобы индексация стояла каждый час или каждый день, а то во многих картах по умолчанию месяц стоит.

яндекс индексирует а гугл нет

Robots.txt

Проверяем любую страницу не запрещена ли она в robots.txt
Для этого открываем "Покрытие", затем выбираем страницы со статусом, например, ошибка или исключено и кликаем на сведения внизу, чтобы узнать подробности.

яндекс индексирует а гугл нет покрытие в роботсе
И затем когда откроется список страниц, кликаем на сами страницы и смотрим доступна ли она к индексации или нет.

гугл не индексирует страницы

Должно получиться примерно так (статус "доступен")

проверка в гугл на обход роботом

Страницы исключены из индекса

По непонятным причинам страницы могут быть исключены из индекса.

Как я уже показывал выше, открываем "Покрытие" и обращаем внимание на последний пункт "Исключено".

Читайте также:  Сжимаем картинки JPG и PNG онлайн без потери качества

гугл исключил страницы из индекса

Опять же нужно кликать на каждую страницу и проверять URL

проверка url в гугл индексирование

Вы увидите, что страница не проиндексирована, но не по причине ошибки, а просто так :devil:

Кликайте на "запросить индексирование" и Google вручную обойдет страницу и добавит в индекс. Да, это утомительно, кликать каждую страницу, но другого варианта не нашёл, а такое добавление реально работает, выше приводил скрин, гугл вообще не хотел индексировать сайт, а когда попинал его вручную через этот инструмент кое-как забрал туда эти страницы.

гугл не индексирует сайт

Кстати, если нажать на "подробнее", то станет ясно, что гугл не проиндексировал страницы, потому что робот не стал это делать, якобы из-за чрезмерной загрузки ресурса.

Какого именно ресурса, они не уточняют, но подозреваю что у самого гугла или просто не хватило мощностей нормально проиндексировать сайт и он откладывает их на потом, либо поехала крыша у алгоритма, который определяет качество страниц и он не индексирует нормальные страницы с уникальным текстом и фотками.

 

гугл плохо индексирует страницы

Я встречал по этой ошибки темы, в которых люди месяцами не могли ничего сделать!

Я заметил что в основном эта проблема стала подниматься в последние пару лет, где-то с 2020 года.

Из большего никто ничего не знает, но такое чувство, что сам гугл медленно погружается в болото :whew:

Вот недавно ещё человек хочет заказать СЕО и пишет в заказе:

гугл плохо индексирует сайт

И таких примеров - десятки!

Не удалось обработать файл Sitemap

Добавлено 08 сентября 2022

Решил дополнить статью очень частой ошибкой, когда гугл ругается на карту сайта, мол "Не удалось обработать файл Sitemap".

Не удалось обработать файл Sitemap в гугл консоли

Это просто беда для многих людей, они мучаются днями и неделями, пытаясь пробить эту глухую стену :wall:

Пишут на форумах, в блогах, в ютуб, в техподдержку гугла - и почти всё без толку.

Я попробую внести некоторую ясность в этот вопрос, не претендую на вселенскую истину, и не гарантирую что у вас что-то решится, но по крайней мере соберу в одном месте опыт по этой проблеме, может кому-то и пригодится.

Итак, почему Google не хочет обрабатывать карту сайта, мой личный ТОП рейтинг причин:

  • Домен не нулевой, а имеет какую-то (может, нехорошую) историю.
    Тут можно сказать только, что когда вы выбираете себе доменное имя - сделайте это правильно.
    Проверить историю можно попробовать тут - https://archive.org/web/ но не по всем сайтам есть инфа.
  • Доменная зона стрёмная, вроде .name, .top, .club и т.п.
    Опять же - выбирайте домен правильно!
  • Бывает, что sitemap сделан изначально некорректно, проверьте его в валидаторе - https://www.xml-sitemaps.com/validate-xml-sitemap.html
    Попробуйте другой sitemap по возможности.
  • Проверьте ответ карты сайта - она вообще загружается?
    Это можно сделать просто добавив ссылку на карту сайта в инструмент "Проверка URL" и посмотреть подробности.
    Статус должен быть 200 ОК, внутри виден просканированный код.
  • Посмотрите на адрес карты сайта, может там есть какие-то спецсимволы?
    В идеале чтобы он назывался просто sitemap.xml или sitemap-1.xml, sitemap-2.xml, не надо туда пихать подчеркивания, заглавные буквы и т.п.
  • Sitemap запрещён к индексации в robots.txt
    Чаще всего грешит Опенкарт, так как в нем чпу не поддерживается изначально и карты сайта имеют вид вроде index.php?route=extension/feed/fast_google_sitemap
    Решается как в видео - https://youtu.be/18rqVXvBwD4
  • В том же robots.txt или в htaccess запрещен доступ для роботов, в том числе Google.
    Проверьте эти файлы на наличие запретов, ищите строчки в которых есть что-то вроде "googlebot" и "HTTP_USER_AGENT".
    Удалите их на несколько дней (или навсегда) и проверьте индексацию через это время, сразу ведь доступ может не восстановиться, так как гугл кэширует многие моменты.
Читайте также:  СЕО тексты как вписать ключевые поисковые запросы, чтобы выйти в ТОП

И это еще один камень в огород гугла :no:

Выводы и итоги

Буквально лет 5-10 назад не представлял себе жизни без Google: поиск, почта, картинки, видео, бизнес, реклама, аналитика - там всё крутилось и было на недосягаемом для конкурентов уровне.

А сейчас ловлю себя на мысли, что пользуюсь всё чаще и чаще сервисами Яндекса:

  • моя корпоративная почта у них висит и работает лучше гугловской.
  • реклама в яндекс раньше проигрывала гугл, но с появлением мастера кампании стала гораздо выгоднее, размещаю в том числе свою рекламу, и вот только на днях разместил очередного клиента, он за 20 бел руб. (около 10$) получил 100 тыс показов, 1300 переходов с отказами меньше 16% (!) и около 30 хороших конверсий - подробнее услуги по настройке рекламы
    Да, гугл тоже хорош и приводит много клиентов, особенно поиск, но во-первых, санкции, во-вторых, там 300$ можно ухнуть за пару дней без особого результата, если неаккуратно настроить кампанию.
  • яндекс диск дешевле и удобнее, да и в условиях санкций лучше иметь свои файлы в своей стране.
  • яндекс формы - очень достойно, возможностей куча, настраиваются легко, работают не хуже гугловских.
  • яндекс браузер тот же хромиум, но я пользуюсь мозиллой, потому что гугл оборзел и стал блокировать дополнения, которые позволяют качать видео с ютуба.
  • поиск по картинкам гораздо удобнее и лучше в яндексе, я даже удивился, потому что раньше рулил только гугл, а сейчас для поиска по изображениям почти всегда использую яндекс.
  • яндекс-бизнес удобнее, информативнее, больше возможностей внутри.
  • яндекс метрика в разы проще, нагляднее, толковее и удобнее, чем перенавороченный комбайн google analytics, где до сих пор, чтобы добавить цель на отслеживание нужно знание regexp на базовом уровне или погружаться в бездну google tag manager.
  • яндекс карты гораздо точнее, проще и толковее, на гугловских до сих пор многих номеров домов нет :facepalm:
  • техподдержка на яндексе (что поиск, что реклама, что другие сервисы) - это песня, чуть ли не в режиме онлайн можно спросить и получить вменяемый ответ. На гугле ответов на пару вопросов жду уже полгода! Раз в месяц присылают отписку, мол "ваш вопрос морозится нашими специалистами, но когда-нибудь мы вам ответим". В той же рекламе яндекса есть возможность задать вопрос в чат и реально помогут решить баг прямо при тебе онлайн. Google даже и близко до этого уровня техподдержки не дорос, точнее застрял в развитии...
Читайте также:  Сервис для парсинга поисковых систем Яндекс и Google

Так что в моём "арсенале" пока уверенно держится только Гуглопоиск.
Да и то чисто за счет привычного дизайна, а не какой-то супер-пупер толковой выдачи.

Впрочем Яндекс уже тоже выкатил новый дизайн поиска - почти такой как на Google, так что думаю, тут скоро произойдет незаметная смена в предпочтениях.
Особенно если его начнут ставить по умолчанию на все местные девайсы и браузеры.

Ну и Ютуб, конечно, ещё рулит.
Впрочем, тоже всё меньше и меньше.

Я обратил внимание, что уже реже захожу туда, чаще включаю банальный Телеграм, VK, OK, а своё видео с Youtube планирую перевести на Яндекс.Дзен от греха и санкций подальше.

Так что думаю, что проблема с индексациями страниц сайта в Google может носить более глобальный характер и свидетельствовать о том, что не всё так гладко и ровно у этого гиганта, как оно может показаться.

Причем такого мнения не я один придерживаюсь, вот аналогичные проблемы у разных людей:

Впрочем, при должном усердии, уверен, что можно решить и эту проблему.

Успехов в бизнесе!

Полезные цитаты: Сегодня я богат именно благодаря тому, что я сделал в свободное время (Р.Кийосаки)

Блог — Сергея Арсентьева 📈
image
Сергей Арсентьев
Всего материалов на сайте: 240
Активных комментариев: 3 506
Работает онлайн: 10.8 лет
Читателей за это время: 2 519 043
Я в соцсетях —
Фото
Бесплатный видеокурс для начинающих. Что такое фриланс, можно ли на нем зарабатывать и сколько?
Бесплатно Подробнее
Фото
Бесплатная мини книга для тех, кто хочет заказать сайт, но растерялся во множестве CMS и вариантов выбора.
Бесплатно Подробнее
Фото
Пошаговый видеокурс "Как работать в Опенкарт" с уроками по добавлению товаров и статей.
Комментариев 23
  • Андрей
    Андрей

    ну 3 месяца боремся ни одной страницы не проиндексировал гугл. Хотя Яндекс и Бинг нормально идет ((( Обидненько https://frontremont.com/

    Комментировать
  • Антон

    Хорошая статья, спасибо Сергей! У меня была проблема с Sitemap месяца 3 назад, ошибок не было, но Гугл категорически показывал ошибку. О проблеме писали в SЕО тг-каналах, спустя неделю проблема сама ушла. Страниц на сайте https://ecoline-nhk.ru у меня не много, ещё 24, Яндекс нет проблем, Гугл проиндексировал всего 7 страниц. И вот сегодня увидел в сохраненной версии сайта Гугла, что похоже бот не видит шапку сайта с меню и соответственно ссылки на внутренние страницы.

    Комментировать
  • Андрей

    Мой новый сайт по ремонту квартир в Испании https://obramagos.com/ru/ тоже Google не хочет индексировать. Возможно это потому, что домен зарегистрирован в России?

    Комментировать
  • Андрей

    У меня тоже проблема с индексацией в Google на сайте https://susloff.com/ . При этом часть страниц проиндексировано, а последние статьи в блоге уже полгода висят, а Google как будто их не видит.

    Комментировать
  • Сказки для детей

    Они специально, целенаправленно выкидывают Россию из поиска. Это не какая ни ошибка. Месяцами висят новые публикации без индексации в гугле. А в Яндекс все идет своим ходом, как положено. Из тысяч публикаций https://skazki-stihi.com индексирована пятая часть, гуглом. И это учитывая, что есть ссылки на публикации, а у многих даже ютуб видео вмонтировано.

    Комментировать
    • Сергей Арсентьев

      Возможно, они просто урезали мощности серверов для России и поэтому вяло индексируют русскоязычный сегмент, ведь они с него перестали зарабатывать после закрытия контекстной рекламы Google Ads, им банально невыгодно им заниматься, а приоритетно мощности выделяют под другие проекты, которые приносят доход. Ну и поэтому приходится искать всякие пути, чтобы заставить сайт проиндексироваться быстрее.

      Комментировать
  • Максим
    Максим

    Сергей, попробуйте ускорить индексацию через сервис https://speedyindex.com Бесплатно можно отправить на индексацию 100 ссылок, реально помогает с индексацией. А так все, что выше написано работает, но в трудных случаях я пользуюсь этим индексатором.

    Комментировать
  • Борис

    Мой ссайт http://spezz-remonta.ru так же не заходит в гугл

    Комментировать
    • Сергей Арсентьев

      ssl как минимум включите чтобы было https://spezz-remonta.ru/
      ну и карта сайта с ошибкой http://spezz-remonta.ru/sitemap.xml - выдает "Ошибка синтаксического анализа XML: объявление XML или текста не в начале сущности" погуглите как исправить, скорее всего строки пустые где-то забрались.
      и в частоте обхода monthly я обычно ставлю daily - то есть daily чтобы не гадать: это гугловский робот сайт не любит или просто послушно заходит раз в месяц :smile:

      Комментировать
  • Натали
    Натали

    Заметила, что у сайта https://num.rukoved.ru/ исчезло из индекса более 600 страниц за раз, при этом в яндекс наоборот добавилось. Сделала полный апгрейд по скорости, но пришлось убрать счетчик от гугла, сильно тормозит из-за него скорость. В итоге за полгода только 60 страниц увидел и то после того, как сама начала их закидывать в ручную

    Комментировать
  • Николай
    Николай

    Хорошая, информативная статья. Но есть, что добавить к ней:

    1. После общения со знакомым человеком из саппорта Гугла, пришел к выводу, что принуждение Гугла к индексации страниц (любым способом загнать страницы в индекс) - это борьба с последствиями, а логичнее все-таки разобраться с причинами. Принудительная индексация - мало что даст в практическом плане (кроме обманчивого успокоения нервов, при просмотре индексации в Гугл Консоль). Даже если и получится проиндексировать таким способом сайт, то сайт будет в индексе на сотой-пятисотой странице выдачи, где его никто не найдет. Пользы от этого ноль.

    2. Из моей практики: причины неиндексации могут быть разные: начиная от плохого ссылочного профиля, атаки конкурентов, нарушений рекомендаций Гугла (к оптимизации сайтов) и заканчивая самой распространенной ошибкой - отсутствие ценности сайта (с точки зрения Гугла). Практически любой сайт, который появляется в последние годы,он будет условно говоря "сто тысяч первый" сайт. Т.е. подобных сайтов (по некой тематике) уже есть сто тысяч. И Гугл не торопится индексировать, т.к. не видит в "сто тысяч первом" сайте какой-то ценности и пользы для посетителей. А попутно, как обычно, "сто тысяч первый" сайт нарушает что-то из рекомендаций Гугла - и вот получаем, то, что получаем... Т.е. Гугл старается индексировать меньше бесполезных сайтов (с его точки зрения). Можно и по другому сказать: Гугл занимается модерированием информации, выдаваемой посетителям по поисковым запросам.

    3. Что делать? Самый правильный путь: подружиться с Гуглом, заставить его полюбить ваш сайт и самостоятельно его проиндексировать. Тогда сайт и продвигаться хорошо будет. Или иначе сказать: нужно довести до Гугла ценность вашего сайта. При этом разумеется, помимо качественных текстов, еще нужно пофиксить на сайте все ошибки, согласно требований Гугла.

    4. Если кому-то нужны консультации или анализ сайта под Гугл (по пунктам описанным выше), то обращайтесь: https://kwork.ru/audit/12405773/audit-indeksatsii-sayta-v-gugl-i-yandeks-poiskovoy-vydachi?ref=2903

    Комментировать
  • Дмитрий
    Дмитрий

    таже проблема, не хочет индексировать страницы, уникальность текста 100%.
    попробовал добавить в ручную, что-то добавляет, что-то нет.
    в то время как в яндекс страницы залетают почти мнгновенно

    Комментировать
  • Alexey Volkov

    https://sj2.ru тоже чего только не делал..... Видимо придется сидеть с ручек кормить гугл бота :facepalm:

    Комментировать
  • Андрей

    Этот сайт https://blankidkp.ru/ тоже не индексируется в google, что делать не знаю. :cool:

    Комментировать
  • Роман

    у меня наоборот. Яндекс морозит сайт пол года, в гугле топ. Писал неоднократно в поддержку - гонят бредятину шаблонную, типа сайт говно и поэтому нет в поиске.

    Комментировать
  • Денис
    Денис

    Гугл прекрасно всё индексирует, просто надо уметь его заставить.

    https://kwork.ru/script-programming/22611741/prodvizhenie-sayta-v-gugl-avtomaticheskiy-indeksator-sayta-v-google?ref=2903

    Комментировать
  • Андрей
    Андрей

    У меня на сайте карта сайта https://rkn.iksweb.ru/ в гугле уже месяц весит и он её не хочет смотреть из за большого количества страниц в карте. Больше 400к

    Комментировать
    • Сергей Арсентьев

      да, замечено, что чем больше страниц, тем меньше вероятность, что гугл вообще прочитает карту.

      Комментировать
  • XCem
    XCem

    Из 6 тысяч страниц индексировал только тысячу за год. Что с гуглом не так? Причин не выдает, просто не хочет индексировать... :facepalm:

    Комментировать
  • Максим

    Да проблема с индексацией в Google https://trudowiki.com :whew:

    Комментировать
  • Андрей

    Возможно это связано с событиями в мире? И дело вовсе не в google, а в географии сервера с хостингом. У меня проблема другая. В зоне top GSC не "есть" sitemap. Вот это действительно беда. А что делать? Не знаю :wall:

    Комментировать
    • Сергей Арсентьев

      это правда, https://qiwikupi.top/ тоже уже неделю не ест сайтмап. Пишет "не получено", хотя сам сайтмап норм. Видимо именно в доменной зоне дело.
      у него страниц немного, посоветовал загнать вручную - все проиндексировались за пару дней - скрин https://disk.yandex.com/i/8gyvQuFRTYdHOg

      Комментировать
  • Костя

    Почти два месяца прошло, гугл автоматически ничего не хочет индексировать. Только если добавить страницу в индекс вручную. Раньше тоже кайфовал от гугла, а теперь не понимаю. что происходит

    Комментировать
Смотреть еще комментарии
Добавить свой комментарий