В Интернете более десятка поисковых систем. Но основных поисковиков всего два: Гугл и Яндекс. Это самые популярные поисковые системы, поэтому под них и приходится подстраиваться, всячески ублажать и пытаться завоевать благосклонность, высокие позиции и конечно индексацию.
Что такое индексация сайта
У каждой поисковой системы есть база данных, в которой хранится вся информация о известных ей сайтах. Поисковый робот периодически обходит эти сайты и вносит изменения в базу, добавляет новые сайты и удаляет старые. Эта база данных называется индекс поисковой системы. Процесс сканирования и добавления сайта в базу поисковика и называется индексацией сайта.
Зачем нужна индексация
Большинство посетителей попадают на сайт по какому-то запросу из поисковой системы. Так уже сложилось, что люди доверяют умным алгоритмам. И чем больше страниц сайта проиндексировано – тем выше вероятность того, что пользователи будут чаще заходить на данный сайт. Фактически, задача владельца любого сайта и заключается в том, чтобы привлечь на свой ресурс максимальное количество посетителей. Но посещаемость зависит не только от индексации, а и от позиции в поисковиках. Даже если все страницы проиндексированы, то это еще не гарантирует хорошую посещаемость. По статистике, большинство пользователей интернета не переходят в поисковике дальше первой страницы выдачи. Позиция запроса в поисковике имеет ключевое значение. Чем она выше – тем больше шансов получать посетителей и клиентов. Но индексация сайта это вопрос первичный.
С какой периодичностью изменяется выдача поисковиков?
В Google выдача сайтов может меняться часто, это связано с тем что позиции сайтов обновляются не по апдэйтам, а после каждой переиндексации каждого сайта. Переиндексировался ваш сайт — получите позицию по заслугам в зависимости от качества вашего контента. В Яндекс же изменение поиска происходит по апдэйтам, и когда будет апдэйт, не знает никто. Обычно Яндекс апает выдачу раз в 3-10 дней.
Быстробот
У Яндекса и у Google есть так называемый быстробот, который часто посещает «любимчиков», то есть сайты, которые он считает качественными, как правило это сайты которые очень часто обновляются, например сайты новостей. Быстробот может проиндексировать страницу даже через 5 минут после размещения на ней нового материала.
Почему страницы выпадают из индекса?
Страницы попадают в поиск не навечно. Иногда они через какое-то время выпадают из индекса. Например, если поисковик нашел такой же контент как у вас но на более рейтинговом сайте ваша страница может выпасть из индекса. Если страница из индекса, то она может вновь попасть в базу после очередной переиндексации, в следующий апдейт, а может больше не проиндексироваться никогда.
Часто бывают такие случаи когда страница была проиндексирована и находится в индексе, тем не менее поисковики заходят на страницу крайне редко и это называется медленная индексация сайта.
Индексация сайта в Яндекс
Поисковая система обходит все сайты автоматически и индексирует их. Чтобы Яндекс быстрее начал индексировать сайт, его нужно зарегистрировать в Яндекс.Вебмастере http://webmaster.yandex.ru/, и подтвердить права. Можно также просто добавить сайт в аддурилку http://webmaster.yandex.ru/addurl.xml. Но гарантии что сайт будет проиндексирован нет. Может будет а может и нет, исключительно на усмотрение Яндекса.
Индексация сайта в Google
Гугл индексирует сайты лучше и быстрее Яндекса. Для ускорения процесса можно добавить сайт в Гугл.Вебмастер https://www.google.com/webmasters/. И ускорить индексацию в Google вручную. При ручном добавлении страницы сайта на индексацию это практически гарантирует что страница будет очень быстро проиндексирована. Можно также без регистрации и подтверждения прав добавить любую страницу в аддурилку https://www.google.com/webmasters/tools/submit-url?pli=1. Но в этом случае гарантий индексации нет.
Проверка индексации сайта
Проверять индексацию страниц своего сайта (на который вы подтвердили права) удобнее всего в Яндекс.Вебмастер на странице https://webmaster.yandex.ua/sites/ и аналогично в Гугле https://www.google.com/webmasters/.
Также для проверки можно использовать плагин – дополнение к браузерам RDS (есть версия для Firefox и Chrome).
В Яндексе можно сделать запрос на показ всех проиндексированных страниц любого сайта:
url:site.com*
В Гугле можно использовать запрос:
site:site.com
Чтобы посмотреть индексацию конкретной страницы в Google можно так же использовать запрос:
info:site.com/page.html
Если страница проиндексирована то вы увидите сразу всю информацию об этой странице.
Как ускорить индексацию сайта
Для ускорения и улучшения индексации можно добавить карту сайта sitemap.xml. Для этого используются либо программы либо скрипты либо еще что-то или кто-то, кто умеет генерировать файл sitemap.xml
Многие вебмастера используют для ускорения индексации соцсети. Чтобы было удобнее добавлять страницы в соцсети, можно поставить на сайте плагин социальных сетей (SocButtons, Easy Social Share или любой другой) или скрипт (Share42 или Pluso) – на всех страницах появятся кнопки соцсетей.
Существует теория о том что соц. сети сканируются поисковиками по особым алгоритмам, значительно быстрее, так как контент в соц сетях обновляется тоже очень быстро, соответственно если распространять информацию о сайте в соц сетях то и поисковые системы эту информацию оперативно подхватят и проиндексируют сайт, чтобы быть в тренде. Но есть определенные нюансы.
Также можно настроить кросспостинг, чтобы страницы добавлялись в соцсети автоматически. Сразу как только страница появляется на сайте она сразу же отправляется и в соц сети.
Можно вручную добавлять страницы в аддурилку Яндекса http://webmaster.yandex.ru/addurl.xml. Раньше это действительно помогало, но сейчас, к сожалению, особой реакции не наблюдается.
Еще один, действительно работающий способ ускорить индексацию сайта — это публиковать свои ссылки там где живет быстробот, например на сайтах новостей. В результате чего быстробот перейдет по вашей ссылке и проиндексирует контент.
Как ускорить индексацию сайта в Google описано еще и в этой статье.
Переиндексация сайта
Переиндексация нужна, например, если вы изменили контент. Однако все попытки заставить поисковик заглянуть на чай и принудительно переиндексировать ваш сайт больше похожи на шаманские танцы с бубном. Единственный способ – добавить страницы, например, в соцсети. И если речь идет о Google то отправить на индексацию нужные страницы вручную через инструменты для Вебмастеров.. Все остальное никакого толку не дает.
Как запретить индексацию сайта
Иногда нужно запретить индексацию всего сайта, отдельных папок или страниц. Удобнее всего сделать это в файле robots.txt. Для запрета индексации используется команда Disallow.
Например:
Disallow: /wp-admin
это запрет индексации папки wp-admin.
В robots.txt можно запретить информацию для всех поисковиков сразу. Данный robots.txt запрещает индексацию всего сайта для всех поисковых систем:
User-agent: * Disallow: /
Или персонально для каждого. Например запрет индексации сайта только для Яндекса будет выглядеть так (при этом Google проиндексирует сайт):
User-agent: Yandex Disallow: /
Если у вас еще остались вопросы по индексации сайта, задавайте их в комментарии.