Clean–param. Помогаем Яндексу избавиться от мусора. 30 Январь 2009
В противовес разочарованиям по статистике, Яндекса представил интересную новинку для вебмастеров. Clean–param, новая директива для избавления от динамического мусора и дубликатов, генерируемых современными CMS. С использованием нового параметра для robots.txt должна возрасти скорость индексации сайтов.
Пример использования директивы Clean–param:
На сайте есть страницы:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Параметр ‘ref=’ используется только для того, чтобы отследить с какого ресурса был сделан запрос, и никоим образом не меняет содержимое страницы. По всем трем адресам будет показана одна и та же страница с книгой ‘book_id=123′. Тогда, если в robots.txt указать:
Clean-param: ref /some_dir/get_book.pl
следующим образом:
User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl
тогда робот Яндекса сведет все адреса страницы к одному
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
и будет чаще обходить другие страницы вашего сайта, так как пропадет необходимость обновления следующих страниц:
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123
Более подробную информацию по директиве и другим параметрам использования в robots.txt для Яндекса можно прочесть здесь .
- Рубрики : SEO, Новости, Поисковые системы
- Автор : admin
Комментарии»
комментариев нет - будете первым?