Многие пользователи, особенно новички, задают одни и те же вопросы, на различных форумах, сайтах – почему не индексируются страницы поисковыми системами Яндекс и Google , либо же – почему плохо индексируется сайт или совсем перестал индексироваться сайт . В связи с этим разворачиваются огромные споры, так как причин, по этому поводу может быть масса и так сразу дать ответ не получиться, придется анализировать свой ресурс и выявлять конкретную причину.

Поэтому, давайте рассмотрим самый распространенные причины, по которым Ваш сайт может не индексироваться, либо же вылететь совсем из индекса.

Почему сайт не индексируется поисковыми системами?

Ускорение индексации. Не забывайте о том, чтобы Ваш сайт быстрее индексировался, необходимо добавлять , закладки и другие сервисы.

Можно еще добавить ссылку на аддурилку в поисковой системы, но некоторые говорят, что в этом случае, поисковая система поставит Ваш сайт в конец очереди для индексации. Хотя, если на Ваш сайт давно не заходил поисковой робот, то стоит это сделать.

Файл robots. txt. Возможно, у Вас не правильно составлен файл robots.txt, поэтому необходимо его просмотреть (возможно, закрыта в нем страница для индексации или вообще весь сайт).

Мета-теги. Возможно, у Вас страница закрыта от индексации с помощью мета-тегов, таких как: none, noindex, nofollow и так далее. Необходимо проверить и исправить ситуацию.

Вирус на сайте. Может быть такое, что на Вашем сайте поселился вирус, соответственно и выпал из выдачи, либо совсем не индексируется, поэтому Вам стоит .

Структура. У вас совсем не правильная структура на сайте. Возможно, нарушено правило трех кликов. То есть, чтобы добраться до конкретной статьи на сайте (страницы), необходимо произвести больше трех кликов.

Хостинг. Может быть такое, что Ваш проводит какие-то работы, в связи с этим поисковая система не может получить доступ к сайту (поисковой робот не может получить доступ к сайту) и возникают ошибки такого рода. Если поисковой робот Яндекс не может получить доступ к сайту, то прочитайте .

Домен. Может быть и такое, что Вы купили свой домен, на который были наложены санкции со стороны поисковых систем. Вам необходимо проверять доменное имя перед его покупкой.

Контент сайта. Самая распространенная причина, почему Ваш сайт не индексируется – на нем присутствует не уникальный контент. Вам стоит писать качественный и уникальный контент для сайта, а не копировать с других.

Как проверить страницу в индексе поисковых систем?

Существует масса вариантов, масса сервисов, но самый простой – это скопировать часть статьи (ее название или URL) и вставить в строку поиска и найти ее. Если Ваша страница появиться на первых страницах поиска, значит она проиндексирована, если нет – то увы.

Всем привет! Сегодня хотелось бы поговорить о быстрой индексации сайта поисковыми системами. В последнее время яндекс нас не слишком радует частыми апдейтами, а хочется как можно быстрее загнать страницы в индекс. А тем, кто только создал сайт хочется быстрее чтоб яндекс проиндексировал их сайт.

У вас есть сайт, и вы постепенно его наполняете, но ПС как-то не охотно хочет индексировать новые страницы сайта. С google дела обстоят попроще, он быстро добавляет новые страницы в выдачу, а вот с яндексом приходится попотеть. В этой статье я опишу платные и бесплатные методы загона страницы в индекс яндекса.

Давайте для начало разберем причины того, почему же ваш сайт не индексируется поисковыми системами. Причины могут быть банальными или же достаточно сложными, которые потребует вмешательства. Итак, вот основные причины:

1. ПС пока не нашли ваш сайт
2. Страницы сайта закрыты в robots.txt
3. Если ваш сайт на WordPress, то возможно у вас включены приватные настройки
4. Страницы сайта закрыты от индексации мета тегами noindex
5. Происходит блокировка сайта в .htaccess
6. Не стабильная работа вашего хостинга
7. Отсутствие на сайте файла sitemap.xml «Карта сайта»
8. На сайте присутствует не уникальный контент «Копипаст»
9. Ваш сайт попал под санкции Яндекса или Гугла

Вот я думаю это основные причины того что ваш сайт не индексируется яндексом и google. О том, как исправить эти причины читайте в следующей статье о том, .

Ну а ниже вы узнаете, как быстро загнать сайт в яндекс, при условии того что у вас отсутствуют выше перечисленные проблемы.

Способы для быстрой индексации сайта

Платный способ загона ссылки в индекс

Рассмотрим первый вариант загона ссылок в индекс с помощь специальных сервисов, которые обещают быструю индексацию сайта яндексом. Все сервисы платные и зачастую нет 100% гарантии что ваши ссылки проиндексирует быстробот яндекса. Вот два сервиса которые я использую для быстрого загона ссылок.

• GetBot
• Indexgator

Ping Google -

После не будет лишним добавить ссылку в адурилку яндекса -

Также в новой версии появилась возможность отправить на переобход страниц ботом, раз в сутки можно добавлять не более 10 страниц сайта.

На WordPress

Если вы используете WordPress, то в настройках движка есть инструмент автоматического пингования. В админ панели выберите «Настройки» - «Написание» , Сервисы обновления.

И добавляем следующие сервисы:

http://rpc.pingomatic.com/
http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.com/ping/RPC2
http://blogsearch.google.ru/ping/RPC2
http://ping.feedburner.com

Шаг 2. Не будет лишним добавить вашу ссылку в социальные сети с помощью соц.кнопок, если же у вас они не стоят, то сделайте это вручную. Многие говорят, что это не работает, но не будем слушать других и все-таки добавим нашу ссылку.

Как делаю это я, произвожу все выше перечисленные действия по пингованию, добавляю ссылку в соц.сети, так же в придачу к этому я использую сервис , у них есть такой инструмент как «Добавление страниц сайта в индекс» , цена там очень маленькая 0.17 руб.
Вот и все, ради эксперимента здесь выложу попадания данной статьи в индекс яндекса.

Ну вот и результат....

Всем спасибо за внимание!

С уважением, Дмитрий Арсеньев!

15.2 Что делать, если сайт не индексируется.

Сайт не индексируется. Что делать?
Я много писал, что хороший сайт не столкнется с проблемами индексации, и тем не менее именно мой Крым-Блог , которым я иллюстрирую все примеры в этом учебнике, очень долго не хотел индексироваться Гуглом. Так что вопрос из заголовка я плотно изучил на практике.

Крым-Блог создан на CMS Joomla, под управлением которой работают миллионы ресурсов. Никаких наворотов, уникальные тексты, хорошие ссылки – все условия для идеальной индексации. И несмотря на это Гугл первые два месяца добавлял к себе по одной страничке в три дня.

При этом парадоксально: позиции и трафик с гугла уже имелись, а в индексе сидело всего 3-5 страниц. Логика разбивается на мелкие кусочки, но факт – так оно и было.

Итак, что нужно предпринять, если сайт не индексируется? Первым делом не паниковать. Изучая форумы с подобными вопросами, я увидел что проблема более чем решаема. Чем хороши форумы – читаешь крик о помощи годичной давности «сайт не индексируется уже 3 месяца!». Заходишь в поиск и проверяешь индексацию указанного ресурса. И видишь – все уже в порядке, значит вебмастер решил проблемы. И так было практически во всех случаях, что несомненно внушает оптимизм.

1. Публикация ссылки на очень посещаемом сайте . Работает безотказно, опубликованная страница влетает в индекс через пару часов после публикации. Недостаток – очень дорого, а гарантированно индексируется только та самая ссылка, которую мы разместили.

Индексацию остальных страниц это может подтолкнуть, а может и нет.

Недостатки те же – если аккаунты хорошие, то публикация в них стоит денег. Но все же это обойдется ощутимо дешевле первого способа.

3. Прогон по соц. закладкам . Сам не пробовал, но говорят, что для ускорения индексации это тоже работает хорошо.

Преимущества – дешево. Недостатки – соц. закладки заспамлены просто безумно, не очень мне нравится публиковать свой ресрус в таком окружении. Хотя вреда от этого быть не должно.

4. Посмотреть как ГуглБот . Отличный способ для гугла. Идем в панель вебмастеров, раздел Сканирование ->Посмотреть как Google bot. И там можно отправить запрос на принудительную индексацию выбранной страницы. Не пройдет и суток, как страница практически гарантированно появится в индексе.

Тут правда есть ограничение – за раз отправить боле 10 страниц не получится. Правда это число «возобновляемое». Т.е. использовали вы весь лимит на отправку в индекс, а через недельку эта возможность снова становится доступной.

При нажатии на кнопку «отправить в индекс» есть выбор между «отправить данную страницу» и «отправить данную страницу и все с ней связанные». Во втором случае мы просим гугл проиндексировать не только заданный УРЛ, но и пройти по ссылкам с него на другие разделы сайта.

По моему опыту, индексация отправленной страницы происходит всегда, а вот по ссылкам на ней Гугл может и не пойти.

5. Xml карта сайта . Карты сайта изначально появились в далеком прошлом. Их цель была упростить навигацию на сайте. Карта обычно содержала структурированную информацию о разделах ресурса и позволяла быстро на них перейти.

Для поисковиков карта сайта тоже благо, т.к. ссылки на все страницы собраны в одном месте.

По моим соображениям, эта возможность является мега-полезной для сайтов с десятками тысяч страниц. Если же у вас их всего пара сотен, то xml картой сайта можно не заморачиваться.

Но судя по отзывам, добавление карты сайта позволяет ускорить индексацию. Мой личный опыт этого не подтверждает, но хуже от добавления xml карты точно не станет.

Ну и заключительный совет повторю еще раз – не спешите, рано или поздно поисковые системы обязательно проиндексируют ваш ресурс.

Моя книга издана в бумажном варианте. Если этот учебник оказался для вас полезным - то вы можете отблагодарить меня не только морально, но и вполне осязаемо.
Для этого нужно перейти на

От автора: вы пишете полезный и интересный контент. А может быть неполезный и неинтересный – это ваше дело. Но почему сайт не индексируется в яндексе на протяжении долгого времени? Давайте рассмотрим все основные причина.

Посмотрите на эту картинку. Да наверняка вы ее уже не раз видели. Действительно в яндексе может найтись все. Но то, что не проиндексировано, никогда не найдется, потому что поисковик просто не знает о нем. А раз так, то вопрос индексации является очень важным для любого веб-мастера, владельца сайта и оптимизатора. Сегодня я напишу как минимум о нескольких причинах, почему у вас могут быть проблемы с индексацией.

Первая и наиболее вероятная причина – возраст сайта

Дело в том, что большинство веб-мастеров, которых заботит вопрос быстрой индексации – владельцы молодых сайтов. Я уверен в этом потому, что сам развивал два сайта с нуля с первых же дней их существования. Нужно понимать, что Яндекс относится к только что вылупившимся на свет сайтам с недоверием, и в этом его нельзя упрекнуть – уж больно много появилось ГС.

Итак, чем моложе ваш сайт, тем меньше шанс быстрой индексации страниц сайта. Как правило, более менее быстро можно загнать в индекс главную страницу, так как у нее наивысший приоритет, а вот остальные в любом случае не так быстро попадут в индекс.

Если вы хотите проиндексировать хотя бы главную страницу, добавьте сайт в Яндекс.Вебмастер, если вы еще не сделали этого. Также добавьте url проекта в addurl (Сообщить о новом сайте). После подтверждения прав на сайт я также рекомендую сразу сделать следующее:

Загрузить в вебмастер xml-карту сайта (это непосредственно может улучшить индексацию, так как поисковый робот будут лучше осведомлен о всех имеющихся страницах).

Загрузить и проверить файл robots.txt. Его можно проверить на ошибки.

Настроить главное зеркало сайта, чтобы не возникло дублей с www и без него

Это то, что прямым или косвенным образом повлияет на скорость индексации. Если вы сделали все это, вам остается только ждать индексации, добавляя все новые url-адреса проекта с помощью того же addurl.

Хорошо, возможно, вы все это сделали и все равно не можете дождаться индексации. Неужели никак нельзя ускорить процесс? Тут нужно понимать, что многое от вас самих не зависит. Яндекс по умолчанию индексирует намного медленнее, чем Google. Тем более молодые сайты. Обычно в течение 1-3 недель новые страницы молодых сайтов появляются в индексе. Считайте этот временной отрезок вполне нормальным.

Я лишь хочу донести до вас, что если причина медленной индексации в возрасте сайта, то не стоит особо беспокоиться. Со временем ваш проект вырастет и из младенца превратится в рядовой интернет-ресурс, хорошо известный поисковикам. Тогда и настанет время, когда новые материалы будут влетать в индекс быстро, в течении нескольких дней.

Такую ситуацию я заметил на двух молодых сайтах, которые продвигал. Когда возраст сайта перевалил за 6 месяцев, скорость входа новой статьи в индекс увеличилась. По заявлениям самого яндекса, максимально долгий срок индексации – 2 недели. Если они прошли и в индексе ничего нет, значит, могут быть другие проблемы или ошибки. Конечно, 2 недели не стоит ждать, а лучше все проверить как только сможете. Далее я рассмотрю наиболее частые ошибки и факторы, из-за которых сайт или отдельные его страницы могут не попасть в индекс.

Запрет на индексирование в robots.txt

Это важный и полезный файл, но в нем могут быть ошибки, если вы прописывали инструкции сами, либо взяли на первом попавшемся сайте. Самое главное, чтобы не было такой команды: Disallow: /

Также проверьте, какие конкретные команды даются для бота Яндекса (user-agent: Yandex). Едва ли проблема именно в этом файле, но глупо будет его не проверить.

Использование мета-тега robots

К слову, в самом robots.txt вы можете не найти никаких опасных команд, которые закрывали бы обход к сайту и его конкретной странице. Но ведь помимо этого есть еще мета-тег robots, с помощью которого можно закрыть конкретную страницу от индексации, а также ссылки на ней.

< meta name = ”robots ”content = ”noindex , nofollow ”>

Например, такой кусок кода явно свидетельствует о том, что страница будет закрыта. Проверьте, нет ли его у вас где-нибудь в шапке. Если вы хотите закрыть все ссылки, но открыть текст (тогда страница будет проиндексирована), используйте параметры index, nofollow, а если нужно открыть все – index, follow.

Запрет на индексирование в настройках движка

Насколько я помню, перед установкой wordpress можно отметить галочкой опцию, чтобы не индексировать сайт в поисковых системах. Это может быть полезно первое время на молодых сайтах, которые находятся в разработке, чтобы всякие тестовые страницы не попадали в индекс. Возможно, вы установили эту галочку случайно во время установки или позже из настроек. В таком случае просто снимите ее.

Неправильное использование тега noindex

Тег noindex – полезный, но опасный тег при его неправильном использовании. Он позволяет закрыть текст от индексации. То есть текст, помещенный в него, восприниматься поисковиком не будет. Соответственно, если вы случайно обернете всю статью в noindex, она не проиндексируется, так как нечего индексировать (все закрыто).

Едва ли вы можете допустить такую ошибку, но тег закрасться в сами файлы шаблона. Возможно, он у вас где-нибудь в header.php открывается, а потом нигде не закрывается. Получается забавная ситуация, что все закрыто. Иными словами, проверьте код своего сайта. На самом деле необязательно быть программистом и верстальщиком для этого.

Вы можете использовать программу вроде Архивариус для быстрого поиска по многим файлам (введите noindex), либо воспользоваться стандартным поиском по файлу. Также может помочь отладчик (F12 в Google Chrome), но это уже больше для разработчиков. Дополнительно вы можете проверить каждую конкретную страницу. Не случилось ли такого, что с помощью noindex вы хотели закрыть какой-то неуникальный фрагмент текста, но не закрыли тег в нужном месте?

Фильтры от поисковых систем

В данном случае нас интересуют фильтры от Яндекса. Хотя вы должны понимать, что они есть и у Google и они же могут быть причиной того, что ваш сайт и в этом поисковике не попадает в индекс.

В частности, у всех молодых сайтов есть фильтр песочница (sand-box). Это не проблема, это нормально. Как маленькие детки играют в песочнице, так молодые и зеленые интернет-проекты тоже туда попадают. Нет, обходить весь город в поисках своего сайта не нужно, просто знайте, что скорость индексации у молодых сайтов ниже. Об этом я уже говорил выше.

Но песочница – это временная мера поисковика. И вообще это не страшный фильтр, потому что он накладывается на всех. Другое дело, это санкции за использование недобросовестных приемов при продвижении сайта. Чаще всего это скрытый или явный спам ключевыми словами в тексте, а также в мета тегах. Иными словами, играйте по правилам поисковых систем, и подобных проблем у вас не возникнет.

Плохая история домена

Этот пункт актуален для тех, кто купил домен и начал на нем развитие своего нового проекта, либо для тех, кто зарегистрировал покинутый прежним владельцем домен.

Конечно, перед покупкой любого домена я рекомендую вам проанализировать его. Частично это можно сделать с помощью таких сервисов, как ВебАрхив (снимки сайта) и linkpad.ru (анализ ссылочной массы). По снимкам вы можете определить, какой тематики был сайт и что за контент на нем был. По ссылочной массе можно также примерно понять тематику. Проверяйте также домен на наличие у него фильтров поисковых систем.

В общем, такой небольшой анализ убережет вас от покупки домена с плохой историей. Если вы все же приобрели такой, возможно, с помощью запросов в тех. поддержку со временем репутацию удастся восстановить. Но лучше уже начинать с нуля, чем так.

Язык сайта

Вы должны понимать, что в первую очередь Яндекс ориентирован на страны СНГ. Если вы хотите, чтобы индексировались страницы английских, немецких и другие иностранных сайтов, то это вполне возможно, но только при условии качественного контента. Для иностранных сайтов есть Google и много других поисковиков, так что в первую очередь вам туда.

Процент уникальности ваших текстов

Есть еще одна веская причина, почему ваш сайт может не индексироваться Яндексом. Эта причина – неуникальный контент. Например, скопировали вы текст с другого источника и вставили себе, никак не изменив. Практика показывает, что Яндекс может вообще не проиндексировать полностью неуникальный контент и может долго не обращать внимание на страницы, уникальность которых менее 50%. Лучше иметь уникальность от 90%.

Чтобы лучше понимать, почему у неуникального контента гораздо меньше шансов на успешную индексацию, вы должны примерно понимать алгоритм, по которому новые страницы попадают в индекс. В частности, перед попаданием роботом проводится некий анализ контента и если он оказывается низкого качества, страница просто может не попасть в индекс. Чтобы она все-таки попала, необходимо улучшить качество текста.

Ошибки сервера

Это последняя причина, которую мы рассмотрим. Она чисто технического характера. В частности, одним из показателей качества и надежности вашего ресурса является то, что он постоянно доступен в сети 24 часа в сутки, каждый день. Конечно, мелкие сбои могут быть и это нормально. Но когда ваш сайт выключается на несколько часов (или, еще хуже, дней), то поисковый робот, придя на новые страницы, просто не сможет их открыть и вынужден будет уйти.

Таким образом, могут даже выпасть из индекса те страницы, которые уже там были. Как не допустить всего этого? Прежде всего, выбирать хорошего хостера и более менее нормальный тариф. Экономить на своем сайте не стоит. Лучше платите 300-500 рублей в месяц, чем 50.

Также если вы покупаете тарифы VPS/VDS, то вам, скорее всего, придется самостоятельно настраивать сервер. В частности, выбирать OC виртуальной машины, ставить какие-нибудь утилиты и т.д. Если вы вообще полный ноль в серверной настройке, лучше пока не покупать VDS или выбирать тариф, где вам гарантируется тех. поддержка от провайдера.

В частности, к серверным ошибкам относятся все с кодом 4**, 5** (трехзначные с четверкой и пятеркой в начале). Например, из-за отсутствия оптимизации работы баз данных может возникать ошибка. Особенно, если по сайту гуляют десятки и сотни людей, а ресурсов у вас немного.

Итог

Что ж, мы рассмотрели все основные причины. Теперь вы знаете что делать, когда сайт не индексируется в Яндексе. Если вами проверено абсолютно все и не найдено никаких ошибок и проблем, значит, нужно просто ждать. Как я уже говорил, Яндекс индексирует не так быстро, как Google. Скорость захода в индекс колеблется от 1 дня до 3 недель.

Ну а другие фишки не только по индексации, но и в общем по продвижению и раскрутке блога, вы можете найти в . Поверьте, этих фишек достаточно много, так что уже завтра (если вдруг начнете изучать курс) вы будете в шоке от того, как много вещей вы не знали!

Но знание спасает нас от неприятностей при продвижении сайта. А раз так, читайтe Webformyself, подписывайтесь на нас там, где вам удобно, и до скорых встреч!

Н ачинающие веб-мастера, едва,создав новый сайт начинают недоумевать, почему он не индексируется Яндексом. Чаще всего причиной оказывается слишком малый срок жизни сайта. На добавление новых площадок в базу данных Яндекса, обычно, уходит от 2-х недель до месяца.

В случае, когда по истечении длительного срока ничего не изменяется, лучше приступить к активным действиям, чтобы сообщить поисковой системе о новом веб-ресурсе.

1. Яндекс не индексирует целый сайт: причины

1.1. Медленно индексируются молодые сайты
Для этого необходимо:

1. Добавить сайт в систему Яндекс.Вебмастер.
2. Добавить сайт в Яндекс с помощью специальной формы в разделе Яндекс.Вебмастер.
3. Установить на сайт счетчики Яндекс.Метрики.
4. Провести внешнюю оптимизацию, увеличив число внешних ссылок из социальных сетей и блогов, где ежедневно бывают поисковые роботы.

В крайнем случае, всегда можно обратиться в службу технической поддержки поисковой системы, чтобы сообщить о молодого сайта. Возможно, существуют некие объективные причины того, что сайт не индексируется, но веб-мастеру о них неизвестно.

Если Вы начинающий веб мастер, то обязательно ознакомьтесь с разделом «помощь вебмастеру» , что находиться на сервисе Яндекса. Там Вы найдете раздел «Индексирование сайта» из которого узнаете от первоисточника, что нужно для нормальной индексации.

К примеру, домен может находиться в «черном списке» Яндекса.

1.2. Бывают проблемы с индексацией страниц на старых сайтах

Проблемы характеризуются:

• быстрым выпадением из индекса поисковой системы большей части страниц и разделов сайта;
• откровенным несоответствием количества страниц в поиске и на сайте.

Чаще всего так происходит, если на блог накладываются те или иные фильтры поисковой системы. К примеру, Яндекс обнаруживает, что контент ресурса утрачивает свое качество или перестает быть интересным для пользователей.

Кроме того, плохая индексация может быть связана с:

• неверным составлением файла robots.txt;
• заражением сайта вирусами;
• прочими техническими проблемами и перебоями в работе проекта.

2.Не индексируются отдельные страницы

Неприятная, но более типичная ситуация, когда отдельные страницы никак не проходят в основную базу данных системы Яндекс.

Среди причин плохой индексации страниц можно выделить:

1. Запутанную структуру ресурса и высокую вложенность, при которой поисковый робот просто не может добраться к новым материалам. Проблема легко разрешается путем упрощения структуры, создания «Карты сайта».
2. Низкое качество контента. Повысить шансы на быструю индексацию можно, если переработать материал, опубликованный на странице.
3. Превышение лимита на индексацию. Проблема устраняется путем закрытия ненужных, дублирующихся и служебных страниц, которые не представляют особого интереса для пользователей. Кроме того, повысить лимит, определенный Яндексом для конкретного сайта, можно, если переключить внимание на развитие и расширение проекта.
4. Отсутствие каких-либо на страницу. При этом поисковый робот оказывается неспособным совершить переход на отдельную страницу для ее индексации. В этом случае проблему можно решить, если обеспечить связь общей структуры проекта, грамотно проставив внутренние ссылки(перелинковка).

1. Запрет в файле . Соответственно, достаточно пересмотреть данный файл для снятия запрета.
2. Запрет с помощью специальных тегов (например, noindex). Устранить проблему можно, проверив и исправив программный код страницы.
3. Использование техник, которые мешают нормальной индексации. К примеру, страница и (или) ее контент может целиком состоять из анимации или flash-элементов.

Необходимые изменения устраняют проблему, а обновленная страница беспрепятственно пройдет индексацию.