Здравствуйте, уважаемые читатели блога Start-Luck. Рано или поздно каждый веб-мастер начинает интересоваться все ли страницы его сайта видят поисковые системы. В этом нет ничего удивительного. Ты стараешься, хочешь чтобы каждая твоя статья была полезна, то есть понятна поисковику. Иначе, зачем стараться и продолжать?
Проверка индексации сайта в поисковых системах довольно простой процесс, но есть множество способов ее осуществить. Не так давно я уделил свое внимание Яндексу и именно там, а сегодня решил поговорить и о Гугле. Эта статья будет обобщающей. Обо всем методах проверки блога на видимость в поисковиках.
Давайте начнем.
Ручной метод
Один из лучших методов узнать сколько страниц вашего сайта находится в поисковике – спросить у него самого. Это бесплатно, быстро, просто и без какой бы то ни было регистрации. Самый простой и довольно-таки точный метод.
Какой же запрос нужно ввести, чтобы Яндекс показал все странички, что у него по вам есть? Нет ничего проще. Выглядеть он будет так: URL:домен-вашего-сайта*
Теперь смотрим сколько страниц нашлось. Эта информация высвечивается в правом верхнем углу под словом найти.
Для Google код будет немного отличаться. Пишем site:домен . Как вы видите, страниц чуть меньше. В принципе, это нормально. Гугл менее дружен к отечественным ресурсам. Эта компания не занимается вплотную российским сегментом. Огорчены? Я скажу вам: «Слава Богу».
Запросы Google к «своим» вебмастерам настолько суровы, что они на стену лезть готовы. Попасть на первое место может далеко не каждая статья. Те русские разработчики, что работают на английском, в голос утверждают, что работать на российский Гугл значительно легче и удобнее.
Точный метод
В принципе, конечно, ни Google, ни Yandex – не являются злыми монстрами, которые скрывают информацию от создателей сайта. Они всячески способствуют тому, чтобы проекты были качественными, а потому с радостью предоставляют доступ к различной статистике. В том числе и статистике индексации.
Эти два метода являются наиболее точными. Помимо индексации эти приложения подскажут о множестве других полезных настроек, так что рекомендую их установить и пользоваться в обязательном порядке.
Индекс поисковых систем - специальная база данных, в которую заносится информация, собираемая поисковыми роботами со страниц сайтов. При этом учитывается текстовое наполнение, внутренние и внешние ссылки, графические и некоторые другие объекты. Когда пользователь задает запрос поисковой системе, происходит обращение к базе данных. После этого выполняется ранжирование по релевантности - формирование списка сайтов по мере убывания их значимости.
Что такое индексация
Процесс добавления роботами собранной информации в базу называется индексацией. Затем данные определенным образом обрабатываются и создается индекс - выжимка из документов. Процесс заполнения индекса осуществляется одним из двух способов: вручную или автоматически. В первом случае владелец ресурса должен самостоятельно добавить URL веб-ресурса в специальную форму, которая есть у «Яндекса», Google и других поисковых систем. Во втором робот сам находит сайт, планомерно переходя по внешним ссылкам с других площадок или сканируя файл-карту sitemap.xml.
Первые попытки индексировать веб-ресурсы были сделаны еще в середине 90-х годов прошлого столетия. Тогда база данных была похожа на обычный предметный указатель, в котором содержались ключевые слова, найденные роботами на посещенных ими сайтах. Почти за 30 лет этот алгоритм был значительно усовершенствован и усложнен. Например, сегодня информация перед попаданием в индекс обрабатывается по сложнейшим вычислительным алгоритмам с привлечением искусственного интеллекта.
Зачем индекс поисковым системам
Индексация страниц сайта - неотъемлемая часть работы поисковых систем (не только Google и «Яндекса», но и всех остальных). База, полученная в процессе сканирования веб-ресурсов, используется для формирования релевантной выдачи. Основные роботы поисковых систем:
- основной - сканирует весь контент на сайте и его отдельных страницах;
- быстрый - индексирует только новую информацию, которая была добавлена после очередного обновления.
Также существуют роботы для индексации rss-ленты, картинок и др.
При первом посещении в базу попадают все новые сайты, если они подходят под требования поисковой системы. Во время повторного визита информация лишь дополняется деталями.
Скорость индексации страниц
Чем быстрее происходит добавление страницы в индекс, тем лучше для веб-ресурса. Однако поисковые роботы не могут выполнять такой большой объем работы так же часто, как обновляется наполнение сайтов. Индексация в «Яндекс» в среднем занимает одну-две недели, а в Google - несколько дней. С целью ускорения индексации ресурсов, для которых очень важно быстрое попадание информации в базу (новостные порталы и т. д.), применяется специальный робот, посещающий такие сайты от одного до нескольких раз в день.
Как проверить индексацию в «Яндексе» и Google
Воспользоваться информацией из панели веб-мастеров . В списке сервисов Google откройте Search Console, а затем перейдите в раздел «Индекс Google». Нужная информация будет находиться в блоке «Статус индексирования». В «Яндекс.Вебмастер» необходимо перейти по следующей цепочке: «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске».
Задать поиск по сайту с использованием специальных операторов . Для этого используйте запрос с конструкцией «site:», указав далее адрес вашего ресурса в полном формате. Так вы узнаете количество проиндексированных страниц. Серьезные расхождения в значениях (до 80 %), полученных в разных поисковых системах, говорят о наличии проблем (например, веб-ресурс может находиться под фильтром).
Установить специальные плагины и букмарклеты . Это небольшие дополнения для браузера, которые позволяют выполнить проверку индексации страниц сайта. Одним из самых популярных среди них является RDS Bar.
Как ускорить индексацию
На скорость индексации сайта прямо влияют несколько факторов:
- отсутствие ошибок, замедляющих процесс сбора информации поисковым роботом;
- авторитетность ресурса;
- частота обновления контента на сайте;
- частота добавления нового контента на сайт;
- уровень вложенности страниц;
- корректно заполненный файл sitemap.xml;
- ограничения в robots.txt.
Чтобы ускорить индексацию сайта, выполните ряд правил:
- выберите быстрый и надежный хостинг;
- настройте robots.txt, установив правила индексации и сняв ненужные запреты;
- избавьтесь от дублей и ошибок в коде страниц;
- создайте карту сайта sitemap.xml и сохраните файл в корневой папке;
- по возможности организуйте навигацию таким образом, чтобы все страницы были в 3 кликах от главной;
- добавьте ресурс в панели веб-мастеров «Яндекса» и Google;
- сделайте внутреннюю перелинковку страниц;
- зарегистрируйте сайт в авторитетных рейтингах;
- регулярно обновляйте контент.
Дополнительно рекомендуем оценить объем flash-элементов с точки зрения их влияния на продвижение. Наличие визуальных объектов этого типа значительно снижает долю поискового трафика, так как не дает роботам выполнить индексацию в полной мере. Также не желательно размещения ключевой информации в PDF-файлах, сохраненных определенным образом (сканироваться может только текстовое содержимое документа).
Доброго времени суток, уважаемые читатели моего блога. Каждому разработчику (начинающему и не очень) важно, чтобы его сайт как можно скорее был проиндексирован в поисковиках. Ведь, если странички нет в Яндексе или Гугле, то найти ее практически невозможно. Недавно я рассказывал о том, .
Без этого можно с таким же успехом писать статьи и оставлять их в папке на рабочем столе. Но как узнать что ваш блог действительно проверили и когда этот вопрос становится менее актуальным для разработчиков?
Сегодня я подробно расскажу вам о том, как узнать проиндексирован ли сайт в Яндекс. Вы научитесь мгновенно понимать видят ли ваши страницы другие пользователи, что может этому препятствовать и как эффективно устранить проблемы.
Я научу вас быстро отслеживать информацию о «неподходящих» публикациях, чтобы не тратить время и деньги понапрасну.
Приступим? Но для начала.
Когда и зачем следить за информацией о индексации
Всех новичков заботит проверка собственного электронного ресурса. Поисковик может долгое время не посещать портал, а запретный плод сладок и желанен. Хочется как можно скорее увидеть свое детище на первом месте хоть по какому-нибудь запросу. Со временем эта мечта воплощается, а интерес к индексации угасает. Очень зря.
После первой проверки поисковик периодически заглядывает по уже знакомому URL, чтобы узнать новости и произвести переоценку. Существуют разные факторы ранжирования, к примеру, . Относительно них страницам присваивается определенное место в поисковой выдаче, но есть и факторы, которые мешают новым публикациям появляться в поисковиках.
Если странички нет в выдаче, то это означает, что вы потратили время и деньги (если вы заказывали статью у копирайтера) зря. В чем может быть проблема? Фильтр АГС, дублирование контента, или уникальность текста, технические сбои на хостинге или иной глюк в исходном коде. Причин может быть миллион.
Если вы знаете сколько всего статей на вашем портале и видите, что не все они находятся в выдаче, то нужно производить полную проверку, чтобы выявить какая именно неприятность приключилась на сайте. А они, как правило, есть практически у всех, вне зависимости от того, насколько вы подкованы в веб-строительстве.
Как узнать сколько всего страниц на портале
Итак, произвести анализ можно несколькими способами.
- WordPress
Если ваш портал на ВордПресс, то узнать точное количество страниц можно элементарно. Для этого достаточно зайти в панель управления. Сразу же, вам покажут число записей.
- Карта сайта.
Очень просто можно узнать сколько страниц у вас в блоге, если на нем есть Sitemap. Я уже писал статью о том, она вообще нужна. Если говорить в двух словах, то это очень удобное содержание. Которое хорошо сказывается и на поведении пользователей, и на ранжировании портала.
- Анализ сайта и проверка на ошибки.
Еще один удобный способ, который поможет не только понять какие проблемы есть на вашем блоге, но и поможет разобраться со всеми этими недочетами, сервис Seoto.me .
Он поможет избавиться от битых ссылок, картинок, осуществлять комплексную проверку уникальности, тайтлов, описания и так далее. Заинтересовались? Можете прочитать статью о том, или посмотрите этот ролик.
Сколько страниц проиндексировано
Отлично, если вы знаете сколько страниц есть на вашем сайте, то без труда можете понять сколько из них находится в поисковой выдаче. В идеале, их должно быть ровно столько, сколько и публикаций (плюс главная и страницы рубрик).
Если количество меньше, значит на сайте есть проблемы, которые нужно будет выявить и решить. Для начала я расскажу о простом способе проверки. Он не очень точный, удобный и красивый, но зато быстрый. Идеально подходит для первого раза.
Ручной метод
Откройте Яндекс и введите в поисковую строчку URL:доменное-имя-сайта*.
Естественно вместо «адрес-вашего-сайта» нужно ввести ваш url. Например, вот так. Мой тестовый портал совсем небольшой, но в выдаче нашлось аж 9 результатов. Это замечательно.
Вебмастер
Еще одна очень удобная штука – Яндекс.Вебмастер. Благодаря этому сервису вы можете узнать много полезного, уточнить кое-какую информацию, чтобы повысить свои шансы на первое место в поисковике, заставить Яндекс скорее индексировать свой сайт и, конечно же, проверить страницы.
Мой тестовый сайт еще не подключен к этому сервису. И статьи на тему подключения в моем блоге еще нет. Однако, я думаю, что совсем скоро эта ситуация изменится. Подписывайтесь на рассылку и узнавайте первыми о всем, что происходит с моим тестовым сайтом и с легкостью выполняйте важные задачи.
Как проверить конкретную страницу вручную
Если вам хочется узнать детальную информацию о конкретной странице со своего или чужого сайта, где вы, к примеру, купили ссылку, можно воспользоваться самим Яндексом. Это быстро и просто.
Копируете url и вводите в поисковую строчку Яндекса без каких-либо изменений.
На первом месте должен оказаться тот же URL, который вы вводили в поисковую строчку. Если этого не происходит, значит она не проиндексирована.
Теперь вы знаете как проверить проиндексирован ли сайт и без лишних телодвижений проверить портал на ошибки, а также устранить их.
В идеале у вас должен быть подключен Яндекс.Вебмастер, чтобы не морочиться с проверкой заново. Заходите и периодически проверяете не увеличилось ли количество исключенных страниц. Как только видите, что появились проблемы, заходите на www.seoto.me и он подсказывает чем вызвана проблема. Решаете ее и наслаждаетесь жизнью в интернете.
Время чтения: 11 минут(ы)
Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.
Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.
Рассмотрим каждый вариант подробнее.
1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
Бесплатный и достоверный способ с использованием сервисов для вебмастеров.
Яндекс.Вебмастер
После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.
Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».
Для анализа список страниц можно скачать из сервиса файлом в форматах.xls и.csv.
Google Search Console
Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис https://search.google.com/search-console/about?hl=ru , вводим url сайта и нажимаем кнопку «Добавить ресурс».
После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».
Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.
Примеры проверки индексации сайта
2. Проверка количества проиндексированных страниц в ПС при помощи операторов
Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru ».
3. Анализ индексации сайта при помощи плагинов и расширений
Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.
4. Отслеживание проиндексированных страниц с помощью online сервисов
Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».
Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.
5. Программы для контроля индексации сайта
Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.
Проверка индексации страницы
Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:
1. В панели для вебмастеров:
2. Оператор «url»
В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».
3. Оператор «info»
В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»
Почему сайт может не индексироваться
В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.
Ошибки в файле robots.txt
Файл robots.txt – это текстовый документ в формате.txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.
Отсутствие файла sitemap.xml
Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.
Новый сайт
Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.
Приватные настройки
В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.
Тег «noindex»
Страницы могут быть закрыты от индекса в коде с помощью мета тега name="robots" content="noindex, nofollow" />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».
Мусорные страницы
Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.
Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле.htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.
Выводы SEO-специалиста Веб-центра
Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.
Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.
Добрый день, уважаемый читатель . Продолжим изучать мою книгу о поисковом трафике для блоггера и поговорим сегодня об индексировании ресурса. В этой статье Вы узнаете, как можно быстро и легко проверить индексацию страниц Вашего сайта в Яндексе и в Google с помощью обычных операторов поиска и различных сервисов. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога. Конечно, этот пост имеет практическое значение, но он является первым мануалом для изучения, чтобы в дальнейшем заниматься поисковым продвижением своего веб-ресурса.
Проверяем наличие сайта в индексе поисковых систем
Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить важность самой базы данных. Дело в том, что любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных. Эта база называется индексом, а сам процесс сбора всех данных со страниц любого сайта в сети — индексацией. Этот процесс достаточно сложный, но увлекательный и познавательный. И правильное понимание работы этого процесса — это одно из главных условий успешного и в Яндексе и Гугле. Поэтому, перед дальнейшим изучением материала этой статьи, рекомендую всем вспомнить .
Проверка индексирования страниц сайта в Яндексе и Гугле
Яндекс . Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов. Оператор site находит все страницы Вашего сайта в базе данных Яндекса, а host дает информацию по индексированным документам с доменов и поддоменов сайта. Вот результаты работы оператора site:
А вот итоговый результат после использования оператора host:
Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего блога не по главному зеркалу (без www). Результат конечно будет предсказуемым:
Если же проделать ту же схему но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 206. Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же). Если же Вм нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего блога в примере ставите нужный адрес домена):
Google . Самая популярная поисковая система обладает одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:
К сожалению, этот оператор показывает все страницы, которые находятся в индексе Гугла. Но как Вы знаете, этот поисковик разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы Вашего блога, которые Гугл использует для своих результатов выдачи. Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»). Поэтому, для точного определения рабочих проиндексированных страниц своего блога, которые участвуют при ранжировании, используется специальная команда &:
Как видите, результаты сильно отличаются в моем случае — число проиндексированных страниц в основном индексе намного меньше, чем общее число. Это говорит о том, что в свое время при первых пробежках поисковым роботом по моему блогу, Гугл успел занести в свою базу кучу мусора и дублей. И перед тем, как я успел это обнаружить, их масса намного превышает реальные страницы моего сайта. Что конечно сказалось на поисковом трафике из Google. Поэтому так важно, перед самым первым запуском своего нового веб-ресурса полностью закрыть в файле robots.txt все ненужные разделы Вашего сайта. Но об этом мы поговорим в другой раз.
Проверка индексации страниц с помощью сервисов
RDS bar . Самый быстрый вариант проверки — использовать (пост о том, как его настроить и как им пользоваться). Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы. Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта. В общем, рекомендую, это очень удобно:
Сервис XSEO . Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google. Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего блога:
Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».
Сервис PR-CY . Известный аналитический сервис Pr-Cy.ru , имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта. Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц. Вот, к примеру, такова история попадания документов моего блога в базу данных Яндекса:
Как видно из этого графика, сервис четко показывает число проиндексированных страниц в русском поисковике в течение года. Таким образом можно оценить индексацию любого сайта, особенно, если Вы выбираете хорошего донора для закупки внешних ссылок. Например, в , Кстати, на графике хорошо виден скачок числа проиндексированных документов в мае а потом возвращение на предыдущее количество. Это все потому, что в апреле я поменял дизайн своего сайта и у меня поменялась полностью структура страниц. Яндекс достаточно быстро прореагировал, но в свое время поставленный редирект все вернул на место.
С Гуглом история немного другая у меня получилась. Вот график индексации страниц моего блога, начало которого было положено ровно год назад:
Как видите, рост шел потихоньку, но потом я стал больше писать статей и начал экспериментировать с метками. В итоге пока я их поудалял, Google честно отсканировал все дубли и отправил в свою базу данных. В итоге позиции моего блога упали и до начала июня этого года видимость моего сайта в этом поисковике не достигала и 2-х%. То есть, гугловского трафика на моем блоге просто не существовало. Но как видите, уже на текущий момент число страниц в дополнительном индексе конкретно уменьшилось. И эта тенденция продолжается на текущий момент — все дело в одном моем эксперименте по удалению дублирующих страниц с базы. На данный момент видимость моего блога в Google поднялась до 21%, а материал по эксперименту увеличивается — на будущее заготовил свой пост о работе с дублями и исключению их из индекса Гугла.
Проверка индексации сайта в Яндекс вебмастере и Google Tools
На десерт оставил самые интересные сервисы, которые могут дать полную информацию об индексировании Вашего веб-ресурса. Конечно, я имею в виду панели инструментов для веб-мастеров от Яндекса и Гугла. Только они обладают всеми точными данными о наличии страниц Вашего сайта в их базах данных. Так скажем, обратимся к первоисточнику!
Сервис от Яндекса . Как я уже сказал, это лучший пакет инструментов, который покажет Вам всю информацию об индексировании страниц Вашего сайта (и не только). Им я пользуюсь с самого начала, как только отправил свой блог на съедение русскому поисковику — . За все время эксплуатации не раз пользовался классными отчетами, которые предоставляет этот сервис.
В этой статье я не буду пояснять все детали отчетов по индексации — они детально расписаны в . Смотрите раздел «Индексация сайта». Если что-то будет не понятно, в сервисе есть замечательный хелп. На крайний случай, если не разберетесь сами с аналитическими данными отчетов, пишите свои вопросы в комментарии этой статьи.
Сервис от Google . Как и у Яндекса, . И все данные в нем дают самую достоверную информацию, так скажем из первых рук. Поэтому, для получения самых точных данных об индексации страниц сайта в этом поисковике, рекомендую использовать подраздел «Статус индексирования» в этом сервисе.
При первом заходе в этот отчет Вы увидите единственный график, где его элементами (отдельные точки на нем) являются общие числа проиндексированных всего страниц сайта в индексе Google. Это количество всех документов, которые находятся в двух индексах — основном и дополнительном.
Но конечно это не вся информация об индексации — для этого нужно нажать кнопку «Расширенные данные» и включить все пустые чек-боксы (поставить галочки). В итоге к первому графику добавляется еще три (картинка кликабельна):
Итак, что же показывают эти графики и какую пользу мы можем получить от их показателей:
проиндексировано за все время — это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов. Это говорит о том, что кроме периодически появляющихся новых страниц, Google слопал за время скана все бесполезные страницы на Вашем блоге, а также возможно и дубли. Как в моем случае.
заблокировано в файле robots.txt — число запрещенных страниц для индексации, для которых прописаны запрещающие директивы в файле robots.txt. По идее здесь указывается число, которое Гугл не занес в свой индекс из-за запрета. Но на самом деле оно не точное, потому что этот поисковик отлично видит все страницы любого сайта, не отдающие ошибку 404. И даже если по ним прописана директива на запрет сканирования.
удалено — число страниц, удаленных по запросу из результатов поиска.
Как видно из рисунка, каждая точка на любом графике дает всю информацию по четырем показателям за определенный промежуток времени (день — воскресенье, когда обновляются недельные данные в отчетах вебмастера Гугла). Такая информация показана в отдельной табличке с цифрами по каждому графику.
Что можно увидеть в отчете «Статус индексирования»
Во-первых, глядя на полученные данные по графику «заблокировано в файле robots.txt», Вы можете оценить правильно ли работают Ваши запретные директивы. Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.
Во-вторых, при правильно настроенной индексации, число проиндексированных страниц должно все время увеличиваться. Если этого не наблюдается, значит Гугл не правильно собирает с Вашего сайта информацию. Возможно есть ошибки в том же файле robots.txt, появился дублирующийся контент, Гугл стал собирать ненужный мусор из-за несовершенства CMS и т.д. Но вот в моем случае синий график сначала шел рывками, а потом набрав максимум стал в конце июля этого года стремительно снижаться. Это говорит о том, что из индекса стали исчезать дубли (об этом я писал выше).
В-третьих, если в графике проиндексированных страниц есть скачки, которые показывают сильное уменьшение документов в индексе, то значит у Вас проблемы с доступом к веб-ресурсу. Возможно есть перегрузки в работе из-за увеличения , или появилось больше страниц с ошибкой 404 (например, при резком изменении структуры) и т.д. В таком случае нужно срочно принимать меры, иначе можно получить массовое падение проиндексированных страниц в Гугле. А это влечет обвалом поискового трафика.
В-четвертых, большое количество дублирующих страниц (огромная разница данных красного и синего графика, если все остальные варианты ошибок исключены) говорит о том, что на Вашем сайте неправильно настроены канонические версии страниц или есть дублирующий контент. Если не принять вовремя необходимые меры, Гугл насобирает огромное число дублей в свой индекс, которые потом очень сложно вытащить назад. Плюс к тому же дублирующие страницы никак не способствуют поднятию видимости сайта, а скорее наоборот — позиции по многим запросам могут просесть.
На этом мой ликбез о том, как самому быстро оценить индексацию страниц своего сайта, считаю завершенным. Как я и говорил, если у Вас есть небольшие вопросы, задавайте их в комментарии. Если для ответа нужен график «Статус индексирования», оставляйте ссылку на скриншот с ним. Если же Ваш вопрос требует пристальное внимание seo-специалиста, то всегда на помощь придут мои консультации.
С уважением, Ваш Максим Довженко
