Блог Мексиканца

Основные ошибки препятствующие хорошему ранжированию сайта в поисковых системах

Не для кого не секрет, что поисковая оптимизация сайта является хорошим методом привлечения целевых посетителей и улучшения позиций в выдаче в наиболее распространенных поисковых системах по низкочастотным запросам даже без покупки ссылок. Довольно часто встречается, что сайты с хорошим дизайном и уникальным контентом бывают попросту недоступны для поисковых роботов это происходит потому, что их создатели в свое время не позаботились о том насколько ресурсы могут быть корректно проиндексироваться и отранжироваться в поисковых системах. В этом посте я опишу наиболее распространенные ошибки и недочеты которые препятствуют корректному индексированию сайта поисковыми системами.

1. Скрипты Java-script, Vbscript.

Поисковая система при обходе сайта не исполняет скрипты, которые исполняются на стороне клиента. Короче говоря роботы не могут проиндексировать текст и ссылки выполненные на языке  Java-script или Vbscript.

2. Наличие скрытого текста на странице.

Наличие скрытого текста на странице – этот текст не виден обычным пользователям т.к скрывается с общим фоном сайта. Зато прекрасно виден поисковыми системами. Сейчас поисковики прекрасно научились различать скрытый текст на странице. Такой трюк может привести к санкциям со стороны поисковых систем и наложением фильтра на сайт.

3. Динамические адреса страниц сайта.

Поисковая система не в курсе каким образом формируется конечный код страницы. Все системы накладывают ограничение на индексацию динамических страниц, а также учет ссылок с таких страниц.  Есть два варианта – статический или динамический. Единственным критерием статичности страницы считается расширение *.htm или *.html. Адреса страниц у которых есть  ? знак или  *.php, *.jsp, *.pl, *.asp – являются динамическими. Замену динамических адресов страниц на статические можно осуществить при помощи специального модуля apache –  mod_rewrite. Подробнее об этом модуле можно посмотреть на странице: http://httpd.apache.org/docs/mod/mod_rewrite.html

4. Тэг <noindex>

Принято считать, что все внешние ссылки необходимо закрывать этим тегом, тем самым манипулируя показателем авторитетности сайта (ТИЦ). Правда этот тег действует не для всех поисковиков, а только для Яндекс и Рамблер – другие его просто не учитывают. Ссылки или текст находящиеся между двумя этими тегами просто не индексируется поисковыми системами, поэтому стоит избегать этого тега в тех местах где может быть вывод основного меню сайта.

5. Клиентские и серверные редиректы.

Клиентский редирект – я думаю вы понимаете о чем я говорю, это обычные дорвеи. Пользователя при обращении на такую страницу, просто «перекидывает» на другой сайт. Клиентский редирект самый опасный, за его использование сайт просто попадает в бан поисковых систем. Серверный редирект не так опасен, но ничего хорошего от него в принципе быть не может. Этот редирект обозначается как Moved Permanent (ресурс перемещен навсегда) и обрабатывается роботом поисковой системы таким образом – страница с которой установлен редирект не индексируется, а страница на которую он перенаправляет посетителя индексируется и «заменяет» собой первичную страницу.

6. Большое количество дубликатов страниц.

Дубликаты это копии страниц, одинаковые по своему содержанию либо очень похожи. Бывает что это одна и та ж страница, только доступная по разным адресам. Дублирующиеся страницы возникают по разным причинам: приведу примеры некоторых из них:

• Неправильное конфигурирование сервера, когда вместо кода 404 (страница не найдена), сервер начинает отдавать код 200 и стандартную страницу ошибки.
• Неправильное исползование механизмов перезаписи адресов, в частности обработка ошибки 404, Mod_rewrite – модуль, используемый веб-серверами для преобразования URL’ов.
• Использование сессий. Часто встречаются CMS которые для маркировки пользователя добавляют к URL дополнительный параметр – «идентификатор сессии». Робот получает одну и ту же страницу с разными идентификаторами сессий, для поисковой системы это разные страницы. Такие дубли встречаются довольно часто и их нужно избегать либо сразу на уровне движка сайта или с помощью 301 редиректа с адресов, содержащих сессии на адреса нормального вида.
• Бывает такое, что домен который стоит у вас по умолчанию и есть главная страница, но нажимая по ссылкам которые по идее должны были бы привести на главную – мы попадаем на неё но уже с другим адресом (URL). Т.е на выходе у нас получается главная страница причем с дублированным контентом.
• Каннибализация – это когда несколько страниц оптимизированы под определенный набор ключевых слов. Как правило такого рода страницы имеют онлайн магазины. Когда из соображений улучшения удобства сайта – фильтрация товара, сортировка товара и т.д генерируются дубликаты страниц, частично или полностью похожие на оригинальную страницу. Такие страницы нужно сразу закрывать от индексации с помощью robots.txt или мета тега <META CONTENT=»NOINDEX, NOFOLLOW» />.

7. Битые ссылки

Битые ссылки очень плохо влияют на индексацию сайта в целом, поэтому после того как сайт сделан, необходимо проверить его на наличие ссылок с помощью программы Xenu. Это паук, который обходит весь сайт, с помощью него очень удобно искать битые ссылки и всякие редиректы, а также строить дерево сайта.

8. Поддомены на сайте.

Роботы поисковых систем имеют ограничение на количество индексируемых страниц на сайте за один заход. Очень сильно влияют такие параметры как посещаемый форум или доска объявлений. Поэтому рекомендуется для быстрорастущих сайтов выносить их на отдельные поддомены. Для них у поисковых систем будут свои квоты и они не будут замедлять индексацию сайта.

9. Ошибки в .htaccess

Этот файл является основным для конфигурации сайта, в частности он отвечает за то, как ресурс  будет открываться в браузере. С www перед доменным именем или без него. Довольно часто встречается следующая ситуация, что сайт после переноса на новую CMS должен открываться без www при этом все адреса с www возвращают заголовок ответа сервера 301, а главным зеркалом сайта в поисковой системе Яндекса являются адреса с www. В таком случае все проиндексированные документы будут удалены из индекса, а новые не будут проиндексированы т.к принадлежат основному зеркалу.

10. Дублирование главной страницы сайта

Очень часто встречается, что во многих CMS к главной странице можно обратится по нескольким адресам типа index.html или index.php. В этом случае возможно определение адреса этой страницы в качестве главной страницы сайта. Для избежания этого необходимо будет их закрыть в файле robots.txt.

В конце поста хочу сказать, что грамотное решение всех рассмотренных проблем является важной и неотъемлемой частью работы по продвижению сайта в поисковых системах, так как пренебрежительное отношение к этим вопросам способно значительно уменьшить или даже свести на нет эффект от мероприятий по продвижению сайта в Интернете.

Поисковая оптимизация сайтов процесс довольно кропотливый и требует от исполнителя хороших знаний в области ранжирования в поисковых системах, так и в продвижении.