Почему Яндекс «не видит» мой сайт?
127
В понятие «не видит» может быть вложено разное поведение поисковика. В статье разберём, что делать, когда состояние сайта не оправдывает вложенные в него силы и средства.
Есть несколько ситуаций, которые люди описывают как «не видит».
Сайт совсем не индексируется поисковой системой. Проблема актуальна для новых сайтов и старых. Например, вы вносите изменения на страницы, но по прошествии нескольких текстовых апов Яндекса ситуация с позициями не меняется, а текстовая копия страницы в Яндексе остаётся прежней. Здесь нужно в первую очередь смотреть на технические ошибки. Далее в статье рассмотрим, на чём нужно сфокусировать внимание, чтобы исключить влияние технических факторов.
Более сложное решение и более сильные аналитические навыки нужны в ситуации, когда страницы нормально и регулярно индексируются, но позиции не улучшаются.
С таким могут сталкиваться и новые, и старые сайты. Проблема сохраняется, даже если на сайт постоянно вносятся изменения, проводится регулярная работа над контентом, дорабатывается и улучшается функционал, но Яндекс игнорирует ваши старания. Здесь нет точного рецепта, кроме комплексного анализа.
Отсутствует движение в позициях на протяжении нескольких месяцев. Для молодых сайтов это может быть большой проблемой, так как чаще всего только после 3–6-месячного периода активных работ НЧ запросы начнут занимать хотя бы ТОП-50.
Исключаем технические причины
В процессе поиска причин, почему Яндекс не ранжирует ваш сайт, нужно в первую очередь исключить проблему с индексированием.
Как убедиться в наличии/отсутствии страницы/сайта в индексе:
- нет результатов при проверке страницы/сайта через операторы поисковой системы «site:», «host:»;
- страница находится в списке исключённых документов в Яндекс.Вебмастере, в разделе «Страницы в поиске»;
- страницы нет в выдаче при поиске по куску текста.
Лучше использовать все методы в комплексе, чтобы убедиться, что страница действительно не в индексе.
Как бороться с проблемой:
Нужно исключить все технические препятствия для нормальной индексации.
Проверьте robots.txt
В файле может быть закрыт весь сайт/раздел/страница.
Примеры запрещающих директив:
Disallow: / # закрыт сайт
Disallow: /products/ # закрыт раздел
Disallow: /diabet_plast.html # закрыта страница
Проверять файл на наличие правил, запрещающих индексирование, лучше через инструмент в Яндекс.Вебмастере «Анализ robots.txt».
На скриншоте ниже показан результат проверки страницы на предмет доступности роботам в файле robots.txt.
Дубли
Если проблема не с целым сайтом, а всего лишь с одним или несколькими его важными документами, то причина может крыться в наличии дублей. Часто у страницы может просто быть дубль – страница с таким же содержанием, которая либо автоматически создана несовершенствами админки, либо умышленно (но редко встречается).
Некорректный ответ сервера
Здесь речь даже не о стандартных случаях, когда у сайта проблемы с доступностью, то есть вы видите реальную 404-тую страницу, вместо главной, или частые уведомления о 5**-тых ошибках. А о том, что визуально сайт работает, но на самом деле сервер отдаёт 404-тый код поисковому роботу. Такие неочевидные ошибки можно выявить через инструмент «Проверка ответа сервера» в панели Яндекс.Вебмастера.
Запрещающие метатеги
Метатеги носят строгий характер для поисковых роботов, поэтому вам стоит тщательно проверить код неиндексируемых страниц на наличие таких конструкций:
Проверять наличие запрета можно через плагин, например, SEO Meta in 1 Click
HTTP-заголовоки X-Robots-Tag
В http-ответах сервера могут передаваться запрещающие заголовки.
Существует масса инструментов для проверки ответа сервера и передаваемых в нём заголовков. Один из таких сервисов bertal.ru или тот же «Проверка ответа сервера» в панели для вебмастеров от Яндекса.
Блокировка Yandex бота в .htaccess
Здесь нужно проверять log-файлы сайта и анализировать, какие роботы посещают страницу. Как удобно анализировать log-файлы при помощи Power BI читайте в нашей статье.
Несовершенства внутренней оптимизации
Фильтр
Сайт зафильтрован: чаще всего он в индексе, но не получает ожидаемого трафика. Здесь нужно проверять предупреждения в разделе «Диагностика» – «Безопасность и нарушения».
Если фильтр автоматический, то уведомлений в Вебмастере не будет. Выявить его можно только примерно. Определить, наложен ли фильтр, может помочь наш цикл статей.
Наличие дублей
Одинаково вероятная причина плохого ранжирования как для новых, так и для старых сайтов. Наличие дублей в целом негативно влияет на оценку сайта поисковиком, путает робота, который вынужден выбирать среди нескольких документов наиболее релевантный.
Проверить наличие технических дублей можно при помощи парсинга.
Выбирайте удобный для себя парсер при помощи нашей обзорной статьи «Обзор ТОП-6 парсеров сайтов».
Увидеть проблему с дублями можно в разделе «Страницы в поиске» – «Исключённые страницы» – фильтр «Дубли».
Неуникальный контент
Проблема с позициями может возникать, если ваш сайт повторяет контент других сайтов. Когда информационный ресурс не содержит добавочной ценности и намерен просто занимать место на серверах поисковиков, то у Яндекса нет оснований предоставлять ему место в ТОПах. Подробнее о ценности уникального контента для поисковых систем в статье.
Недостаточно полная внутренняя оптимизация страницы
Внутренняя оптимизация включает в себя в первую очередь работу с количеством и характером запросов на странице.
Здесь работа должна вестись без отрыва от анализа конкурентов по выдаче.
Как выбрать конкурентов узнайте из нашей статьи – «Как найти новые точки роста поискового трафика».
После вычисления конкурентов проведите сравнительный анализ полноты внутренней оптимизации своего сайта с конкурентами.
Внимание обращайте на такие основные элементы, задающие релевантность документа: Title, H1, анкоры внутренних ссылок, Alt-текст. Сравните, насколько полно оптимизированы ваши страницы, нет ли переспама.
Особое внимание стоит уделить seo-текстам на категориях интернет-магазинов:
- Во-первых, есть ли в них необходимость – здесь ответит анализ конкурентов из ТОПа.
- Во-вторых, насколько полезным является текст для пользователя. Здесь нужно прочитать текст и оценить, потеряет ли страница смысл, если текст удалить?
- В-третьих, естественно ли внедрены ключи в текст.
Пример спамного текста, который приводит к Бадену:
Помните, что в случае с Яндексом – от seo-текста лучше отказаться. В случае в Google – лучше согласиться на него (если он есть у конкурентов).
Некорректные данные в сохранённой копии
Проблемное ранжирование сайта может быть обусловлено тем, что поисковик не видит какой-то контент, который виден пользователю. Либо, наоборот, может содержать избыточный, дублирующийся контент.
Поэтому проверяйте сохранённую копию страницы, особенно её текстовый вариант.
На примере ниже страница, текст которой открывается через кнопку «Подробнее».
А вот как эта же страница выглядит в текстовой сохранёнке Яндекса.
То есть полный вариант текста показывается роботу дважды.
Новые сайты «не любит» Яндекс
Среди сеошного сообщества последние полгода ходит слух об аналоге «Песочницы» для новых сайтов. Суть в том, что новые сайты не ранжируются Яндексом. Что такое «не ранжируются» – не находятся даже в ТОП-500 тематики со слабой конкуренцией.
Для примера. Сайт был оптимизирован по технической части, внутренней и велись работы по внешней. Всё это не давало результата на протяжении 3 месяцев. Яндекс упорно не ранжировал сайт более чем по 200 целевым ключам.
Первые результаты появились только в середине сентября при том, что для индексации сайт был открыт ещё в июле.
То есть путь нашего целевого сайта к первым ТОПовым позициям составлял всего лишь три месяца. Но есть случаи, когда Яндекс пускает в первую десятку новые сайты только после шести месяцев. Здесь остаётся только запастись терпением и работать над комплексом факторов – внутренние, внешние, коммерческие и поведенческие. Последние особенно важны, если Яндекс использует свой алгоритм Многорукий бандит для вашего сайта.
Такая история возможна и для информационных ресурсов, и для коммерческих. В нашем примере был сайт услуг.
Выводы
Что делать, если Яндекс упорно игнорирует ваши работы над сайтом? Выжимка рекомендаций для владельцев сайтов:
Почему сайта не видно в поиске
Знакомая ситуация: сделали качественный профессиональный веб-сайт, а его нельзя найти в поиске? Какой бы запрос не вводился, веб-ресурс в естественной выдаче(не связанной с ведением рекламных кампаний) не отображается. Первая мысль, которая может возникнуть в голове у человека с подобной проблемой, — сайт не работает, дальнейшее продвижение в поисковых системах возможно только с помощью рекламы.
Вне зависимости от того, сколько стоила вам разработка сайта, будь-то пятьсот рублей или два миллиона, стоит заранее ознакомиться с основными причинами возникновения подобных неприятных ситуаций и способах устранения возникающих проблем, негативно сказывающихся на индексации и последующем ранжировании веб-ресурса в поиске.
Основные причины того, что сайт не отображается в поисковой выдаче
Первое, на что хотелось бы обратить внимание, – это время запуска веб-сайта и открытие доступа на него. Устоявшийся среди огромного количества владельцев сайтов стереотип, что интернет-ресурс должен появиться в выдаче «Яндекса» и «Google» сразу же после его размещения на хостинге или выделенном сервере. На самом деле, ситуация складывается другим образом, а именно:
при создании нового веб-сайта и его размещении на новом домене потребуется в среднем от 1 до 3 недель для того, чтобы он был обнаружен поисковыми роботами «Yandex» и «Google» и начался процесс его индексации, позволяющей производить ранжирование в органической выдаче;
при размещении нового сайта на старом домене может произойти замедление процесса индексации, связанное с присутствием негативного возможного «наследства» восприятия ресурса поисковыми системами.
Оба варианта характерны при запуске нового интернет-ресурса. В некоторых ситуациях возможно и увеличение временных затрат на индексацию из-за технических нюансов и/или особенностейпостроения данного сайта. К примеру, если ресурс имеет сложную иерархию и структуру, многоуровневую навигацию, динамический (генерируемый из базы данных) контент, может потребоваться и более месяца на то, чтобы он стал доступен в естественной выдаче.
Чтобы узнать о том, состоялась ли индексация интернет-ресурса, стоит воспользоваться специальными инструментами «Яндекс Вебмастер» и «Google Search Console». В ситуации, когда интернет-сайт не отображается в поиске дольше указанного срока, стоит рассмотреть вероятность возникновения различных проблем, которые могут быть следующими:
Невидимость для поисковых машин – довольно частое явление и характеризуется тем, что ресурс частично или полностью скрыт от поисковиков. Это может быть связано с отключением индексации в файле «robots.txt» или наличиямета-тега «NOINDEX» на какой-либо странице.
Блокировка интернет-ресурса в файле «.htaccess» может послужить ещё одной причиной, из-за которой поисковые роботы часто не замечают сайт. В случае использования систем администрирования (CMS), в панели управления есть специальный пункт в настройках, скрывающий веб-ресурс от роботов поисковых систем. Даная опция позволяет исключить нежелательную индексацию источника ещё в процессе разработки ресурса. Многие разработчики в спешке после окончания работ забывают отключить атрибут, что и является причиной отсутствия сайта в естественной выдаче.
Технические неполадки, связанные с затруднением или полной невозможностью произведения процесс индексирования роботами поисковых систем. Как правило, возникают при использовании самодельных систем управления, которые любят навязывать некоторые разработчики с целью дальнейшей привязке к себе на постоянное обслуживание. Программисты не любят работать с незнакомым «чужим» кодом и потому, стоимость обслуживания веб-ресурса на самодельной CMS будет значительно дороже популярных и широко распространенных. Этим и пользуются любители «самопальных» систем, практически не оставляя альтернативного варианты.
Проблемы с навигацией на сайте. Ещё одна разновидность, оказывающая негативное влияние на индексацию и ранжирование веб-ресурсов в органической выдаче. В большинстве случаев, возникает из-за использования динамически создаваемого контента, сложной иерархии и вложенности страниц. Чтобы исключить влияние негативного фактора, рекомендуется создать карту сайта, регулярно её обновлять и пополнять, что позволит поисковым роботам «ближе» познакомиться со структурой и содержимым ресурса.
Попадание под фильтр поисковых систем. Если вы до сих пор используете закупку внешних ссылок в качестве способа продвижения веб-сайта или занимаетесь искусственной накруткой поведенческого фактора, высока вероятность попадания под действие фильтра со стороны поисковых роботов «Яндекса» и «Google», что грозит резкими изменениями в ранжировании, вплоть до полного исключения из выдачи и занесения в черный список.
Блокировка веб-ресурса государственными органами из-за наличия на нём какой-либо запрещенной информации, контрафакта, содержимого пиратского характера (например, распространение нелицензионного программного обеспечения с обходом лицензий и генераторами ключей – «Crack»). Сайт вправе заблокировать: «Роскомнадзор», «Прокуратура», «Министерство Внутренних Дел (МВД)», «Федеральная Налоговая Служба (ФНС)», «Генеральная Прокуратура», «Роспотребнадзор». Причиной для блокировки может служить, как осуществление противозаконной деятельности (азартные игры на деньги, продажа оружия, наркотических средств, контрафактного алкоголя, подделка официальных документов, проституция, распространение санкционных товаров и т.п.), так и размещение информации с сомнительным содержимым (призывы к суицидам и экстремизму, аборты, инструкции по изготовлению запрещенных препаратов, сведения об организации запрещенных митингов и т.д.). Блокировка ресурса осуществляется по IP адресу хостера. Узнать о наложении блокировки можно по специальной заглушке, которая появляется в данном случае при заходе на сайт.
Сайт виден и доступен, но находится слишком далеко в поисковой выдаче. Довольно распространенная ситуация, при которой веб-ресурс виден в поисковике, но его позиции выходят далеко заТОП-50, 100, 200, 300. Процесс происходит при влиянии следующих негативных факторов:
низкая уникальность содержимого на сайте, наличие плагиата и «чужого» текста;
дублирование информации, присутствие страниц-дубликатов;
кто-то использует ваш контент, заявляя о его уникальности в панелях веб-мастеров;
«переомтимизация» — высокаязаспамленность ключами веб-источника, неудобство тексто-графического содержимого для восприятияпосетителями (должно быть не более 4% ключевых запросов на 1000 знаков);
ошибки разметки и оформления;
шаблонность при оформлении заголовков и разделов;
малый объем текста на ресурсе (менее 500 знаков без пробелов) и низкая посещаемость;
навигация построена на flash и ajax;
высокий уровень конкурентности (в поиске имеется более 30 «крутых» сайтов, которые плотно обосновались при ранжировании ресурсов в органической выдаче);
наличие на вашем интернет-ресурсе «черных» ссылок, ведущих на веб-сайты, попавшие под санкции «Яндекса» и «Google»;
размещение «битых» ссылок и пустых файлов;
перенасыщенность внутренними и внешними ссылками (одна страница веб-ресурса должно содержать не более 100 веб-ссылок);
отсутствие мобильной версии (адаптивности), ведущее к «просадке» трафика, идущего со смартфонов и планшетов;
долгая скорость загрузки страниц;
несоответствие содержимого, интересам посетителем, «не раскрытие» темы до конца (в случае с информационными источниками);
наличие вредоносного кода, вируса, скрытых ссылок, осуществляющих перенаправление;
сервер (хостинг), на котором размещается интернет-ресурс, не справляется с нагрузкой.
Могут встречаться и другие причины низких поисковых позиций веб-сайта, выявить точную проблему лучше всего обратившись к специализированному профильному специалисту по поисковому продвижению.
Итак, разобравшись с основными причинами отсутствия сайта в естественной выдачи поисковых систем, рассмотрим способы диагностирования (выявления проблем), а также варианты исправления сложившейся ситуации.
Инструменты для выявления причин, из-за которых сайт не видно в поиске.
Двумя основными инструментами являются: «Яндекс Вебмастер» и «Google Search Console», позволяющие не только своевременно обнаружить возникающие с веб-ресурсом проблемы, но и ознакомиться с прохождением самого процесса индексации более наглядно.
Чтобы использовать представленные сервисы, достаточно иметь аккаунты в «Yandex» и «Google» и пройти процесс подтверждения прав на веб-ресурс. Практически сразу же после этого, отобразятся возможные проблемы с сайтом.
Здесь же можно произвести и дополнительное диагностирование интернет-сайта. Доступны инструменты проверки прохождения процесса индексирования, файлов robots.txt и sitemap.xml, а также удобство просмотров на мобильных устройствах.
Практически обо всех проблемах, связанных с индексацией информации на сайте и его видимости для поисковых машин, можно узнать, используя всего лишь данные инструменты.
Дополнительно следует упомянуть о таком сервисе, как «Page Speed Insights», который позволяет измерить скорость загрузки страниц веб-ресурса при заходе с ПК или мобильного телефона.
Практически сразу же после окончания анализа, отобразятся рекомендации, следуя которым можно улучшить быстродействие интернет-ресурса для различных типов устройств. Данный инструмент может помочь улучшить позиции в органике.
Если вы хотите произвести быструю оценку индексирования сайта в поисковиках без использования панелей веб-мастера,можно использовать специальный онлайн-сервис, доступный по ссылке: http://www.raskruty.ru/tools/index/
Инструмент бесплатный, для использования достаточно всего лишь ввести url интересующей страницы.
После нажатия кнопки «Проверить индексирование», отобразится таблица с информацией о том, сколько страниц проиндексировано в поисковых системах «Яндекс» и «Google».
Следующим шагом после обнаружения причин, из-за которых сайт не отображается в результатах поисковой выдачи, будет их непосредственное устранение.
Как исправить возможные причины отсутствия сайта в поиске
Для удобства восприятия информации, систематизируем данные в виде таблицы.
Причина возникновения проблемы
Сайт недавно создан или комплексно обновлен/видоизменен и ещё не успел проиндексироваться поисковыми роботами
Ждать от 2 до 4 недель до прохождения полной индексации. В случае, если по истечении данного периода времени процесс не был произведен, смотреть на другие проблемы.
«Яндекс Вебмастер» и «Google Search Console»
Невидимость для поисковых машин
Проверить файлы robots.txt, .htaccess, sitemap.xml, наличие на страницах мета-тега «NOINDEX» в разметке, а так же проверить настройки индексации в панели управления
«Яндекс Вебмастер», «Google Search Console», «просмотрщик» кода в любом веб-браузере (F12)
Если вы не обладаете навыками веб-программирования, поисковой оптимизации сайта, рекомендуется обратиться к профильным специалистами, так как попыткаразобраться и устранить неполадки самостоятельноможет привести к неблагоприятным последствиям, вплоть до полной потери веб-сайта
Попадание под фильтр поисковых систем
Выяснить под какой именно фильтр вы попали, и что именно являлось причиной попадания под него.
Провести работу по нормализации своего веб-ресурса (устранить переоптимизацию, повысить качество сайта в целом, убрать шаблонность в заголовках и сниппетах, отказаться от агрессивной рекламы, отказ от закупки ссылочной массы и накрутки поведенческого фактора и др.) и его возвращению на прежние позиции. После окончания манипуляций, потребуется определенное время, чтобы поисковики отменили санкции по отношению к интернет-ресурсу
«Яндекс Вебмастер», «Google Search Console»
Блокировка веб-ресурса государственными органами из-за наличия на нём какой-либо запрещенной информации, содержимого пиратского, террористического или другого характера
Выяснить точную причину блокировки, устранить проблему и согласовать данный факт с органом, по решению которого и было вынесено решение заблокировать ваш веб-сайт. В случае «вечной блокировки»- отказаться от противозаконной деятельности, так как есть риск столкнуться и с более серьезными последствиями, такими как уголовная ответственность согласно действующему законодательству
«Яндекс Вебмастер», «Google Search Console»
Сайт виден и доступен, но находится слишком далеко в поисковой выдаче
Комплексная работа над поисковой оптимизацией сайта и его продвижению в органике. После анализа его текущего положения, произвести переработку контента, удалению дублей, грамотному структурированию содержимого, устранению технических неполадок и т.д. При возникновении затруднений, рекомендуется обратиться к профильному специалисту или в веб-агентство.
«Яндекс Вебмастер», «Google Search Console», «Page Speed Insights», инструменты для сбора позиций (ознакомиться можно по ссылке)
Почему сайт не индексируется?
Чтобы страницы сайта отображались в выдаче, поисковики должны их проиндексировать. Если спустя некоторое время вы замечаете, что ваш сайт все еще не индексируется, нужно проверить его техническое состояние и найти ошибки.
Сколько нужно ждать индексации в Яндексе и Google?
Яндекс добавляет в поисковую выдачу новые страницы несколько раз в месяц. Однако материалы с авторитетных сайтов индексируются быстрее и попадают в поиск практически сразу после публикации.
Скорость индексации Google тоже зависит от степени авторитетности сайта и регулярности обновления контента. Например, популярные ресурсы, на которых постоянно выходят новые материалы, поисковые роботы посещают очень часто. Так что в выдаче можно найти даже статьи, опубликованные несколько часов назад. В среднем же на индексацию уходит от 2 до 4 дней. Однако новые сайты могут появиться в выдаче только через несколько недель.
Если все допустимые сроки прошли, необходимо вплотную заняться проблемой индексации. Ниже — наиболее распространенные причины, из-за которых страницы сайта могут оставаться незаметными для поисковых роботов.
Поисковики ничего не знают о вашем сайте
Если веб-проект только запустился, то на вопрос, почему Яндекс не индексирует сайт, будет очень простой ответ — потому что он его не видит. То же самое относится к Google. Поисковики быстрее начинают отслеживать те сайты, о которых им сообщают владельцы. Поэтому совет простой: запустили сайт — добавьте его в Яндекс.Вебмастер и Google Search Console.
- Откройте главную панель.
- Нажмите на плюс, чтобы добавить сайт.
- Укажите адрес сайта и любым доступным способом подтвердите права на него. Можно добавить метатег в раздел <head> на главной странице, разместить в корне сайта HTML-файл, добавить TXT-запись в DNS домена.
В Google Search Console:
- Нажмите «Добавить ресурс».
- Укажите адрес сайта.
- Подтвердите права собственности.
Не нужно добавлять каждую страницу сайта — достаточно только главной. Так поисковые роботы узнают о существовании нового веб-проекта и будут периодически его проверять.
Вместе с сайтом рекомендуется добавлять карту сайта. Ее отсутствие также может стать причиной того, что Google или Яндекс не индексирует сайт.
Все или отдельные страницы закрыты от индексации
Почему сайт не индексируется, если вы сообщили о нем поисковым системам? Возможно, дело в том, что в настройках сайта запрещена индексация.
Например, многие вебмастера при наполнении страниц контентом делают их недоступными для поисковых роботов, чтобы те не забрали недоделанные материалы. Чаще всего для этого используют файл robots.txt, в котором и задаются параметры индексации.
Откройте файл robots.txt. Посмотрите, есть ли в нем такая запись:
Если нашли ее, то удалите — это запрет на индексацию всего сайта. Могут быть и другие ограничения. Чтобы разобраться с настройками индексации, изучите статью о том, что такое robots.txt и как его настроить .
Если в robots.txt все в порядке, проверьте файл .htaccess. Ищите в нем подобный фрагмент:
Это полный запрет на индексацию сайта. Удалите эти строки, если Яндекс или Гугл не индексирует страницы.
Запрет на индексацию также может быть прописан в метатегах. Изучите раздел <head> на главной странице. Ищите такую запись:
Если такая строчка есть, удалите ее.
Отдельные настройки приватности есть у CMS и конструкторов сайтов. Например, сайт на WordPress закрывается от поисковых роботов с помощью опции «Видимость для поисковых систем». Если поставить галочку «Попросить поисковые системы не индексировать сайт», то, скорее всего, он не появится в выдаче. Однако нет гарантии, что этот запрос будет учитываться, в отличие от прямого запрета на индексацию в robots.txt или метатегах.
Есть проблемы с работой самого сайта или хостинга
Возможно, сайт не в индексе, потому что работает плохо. Например, его страницы очень медленно загружаются. Проверить это можно с помощью специальных сервисов — например, PageSpeed Insights.
Также следует обратить внимание на состояние HTML-разметки. Поисковые системы все еще лояльно относятся к ошибкам, но могут понижать приоритет сайта из-за кривой разметки. Например, нарушение вложенности тегов приводит к тому, что роботам тяжело разобрать содержимое страницы. Типичный пример:
Проблемы также могут быть с индексацией JavaScript. Если контент создается динамически, то поисковым роботам сложно его просканировать. Поэтому предпочтительнее оставлять на странице статичный код, который хранится в HTML-файле на сервере.
Возможные причины отсутствия индексации сайта также следует искать на стороне сервера. Если из-за проблем с хостингом страницы часто недоступны, то поисковые роботы приходят все реже, а затем и вовсе начинают их игнорировать.
Внутри сайта дублируется контент
Неиндексируемые сайты часто содержат дубли контента. За это они получают санкции от поисковых систем, которые поддерживают уникальность. К дублям может относиться одна и та же статья, доступная по разным адресам, метатеги. Важно также «склеивать» домены с WWW и без WWW, а также HTTP и HTTPS, чтобы поисковые системы понимали, по какому адресу расположена основная страница.
На домен наложен бан
Почему сайт не в индексе, если с технической стороны у него все в порядке? Возможно, дело в домене. Перед покупкой нужно обязательно проверять его историю. В противном случае вы рискуете нарваться на домен с плохой репутацией, забаненный в поисковых системах по причине злоупотребления «черными» методами продвижения или из-за других нарушений.
Узнать историю домена можно с помощью бесплатного сервиса whois.domaintools.com. С помощью него можно увидеть, сколько раз менялись владельцы домена, сколько имеется сайтов на том же IP, к которому прикреплен домен.
Не забывайте также об архиве интернета . Здесь можно ввести URL и посмотреть, как выглядел сайт несколько лет назад. Например, это главная страница Яндекса 10 марта 2012 года:
Что делать, если сайт вылетел из индекса по причине бана? Можно связаться с техподдержкой поисковой системы через инструменты вебмастера. Возможно, с домена снимут бан, если увидят, что на нем больше не происходит ничего противоправного.
Вывод
Причины отсутствия индексации сайта могут быть самыми разными — от случайного запрета проверки поисковыми роботами до бана домена. В большинстве случаев проблему можно решить самостоятельно, правильно настроив работу веб-проекта. Однако иногда поиск ответа на вопрос, почему не индексируется сайт в Яндексе или Google, занимает много времени даже у опытных вебмастеров.