Дубли страниц, и как с ними бороться

Дубли страниц, и как с ними бороться

Для того чтобы ваш сайт хорошо индексировался, на вашем сайте должно быть как можно меньше страниц известных поисковой машине. Здесь идёт речь не о полезных страницах, а о страницах – дублях, которые нужно убирать из индекса поисковых систем.

Что такое дубли страниц

Дубли страниц – это страницы с одинаковым контентом по разным адресам. Это не есть хорошо.

Откуда могут взяться дубли страниц

Во первых, вы можете сами создавать дубли страниц, создавая контент одной темы с подобным содержанием – поисковой машине будет трудно выбрать более релевантную.

Большинство современных сайтов построены на CMS, большинство из которых могут генерировать ЧПУ – URL легко читаемых человеком: www. exempl.com/soft/foobar2000. Но вместе с этим, данная страница доступна по техническому адресу www.exempl.com/index.php?document=25855. Это страница уже продублирована, и вызовет плохую индексацию и плохое отношение поисковых систем.

В некоторых CMS, есть отдельная страница для каждой публикации, которая содержит комментарии к данной публикации. И что получается, если комментариев вовсе нет, или их мало – получается страница с таким же или почти таким же содержимым, но по другому адресу.

Более того, у некоторых CMS есть своеобразная система фильтрации входящих данных, например: есть страница www.exempl.com/index.php?document=25855, вы можете добавлять всё что угодно в конец ссылки, то есть после цифр 25855, CMS не выдаст 404 ошибки, он просто обрежет длину символов переданной переменной. И получится следующее – вы можете показать поисковику сотни и тысячи разных ссылок, которые буду вести на одну и ту же страницу, но для поисковика это всё дубли, и он непременно накажет ваш сайт.

Ещё одной ошибкой есть создание сложных систем доступа к вашим страницам, есть различные технические страницы, которые ведут на одни и те же страницы – это не дубли страниц, но это дубли доступа к страницам (облака тегов, лишние списки, и т.д.). Эти страницы замедляют и отяжеляют индексацию сайта, их нужно закрывать от индексирования.

Как бороться с дублями страниц

Ну, в первом случае, я думаю всё предельно просто – не писать страниц со схожим контентом.

В остальных случаях страницы – дубли нужно закрывать от индексации.

1. Способы закрыть страницы от индексации
2. Через файл robots.txt;
3. Через мета теги;
4. Код ошибки документа 404;
5. Код ошибки доступа 403;
6. Редирект на основную страницу 301;