- Альтернативная комбинация к robots.txt
- Означает ли это, что вы должны прекратить использовать robots.txt?
Если вы не хотите, чтобы некоторые из ваших страниц появлялись в поисковых индексах, файл robots.txt является универсальным инструментом.
Позволяет указать, какие файлы и каталоги вы хотите исключить из отслеживания.
Кроме того, он имеет очень полезную команду, чтобы указать, где размещена карта сайта.
Но у файла robots.txt есть важный недостаток, заключающийся в том, что он не позволяет PageRank перемещаться между заблокированными страницами.
К счастью, тег meta robots позволяет избежать этой проблемы.
Мета-роботы - это HTML-тег, который используется для инструкций для поисковых систем. Как и файл robots.txt, его можно использовать для предотвращения отслеживания и индексация веб-страницы Однако есть разница.
В то время как файл robots.txt просит поисковые системы не сканировать страницу (и, следовательно, не индексировать), мета-метка дает разрешение сканировать страницу, но не сохранять ее в своем индексе. Это имеет важное преимущество на уровне SEO, но для понимания я приведу пример:
Предположим, у нас есть 2 страницы, которые мы не хотим отображать в индексе Google. Один из них заблокирован файлом robots.txt, а другой - метатегем robots.
Вот что произойдет:
- Страница, заблокированная файлом robots.txt, отслеживаться не будет и, в принципе, также не будет проиндексирована. Содержимое страницы будет невидимым для поисковика, включая ссылки, по которым нельзя переходить.
- Страница, заблокированная мета-роботами, не будет проиндексирована, но она будет отслеживаться поисковой системой, следуя по ссылкам на другие страницы и передавая ценность указанных ссылок.
Учитывая, что поисковые системы используют ссылки для обнаружения страниц веб-сайта, мета-робот имеет очевидное преимущество, заключающееся в том, что он предотвращает индексацию определенных страниц, не становясь препятствием для поисковой системы в ее задаче поиска новых. страницы на сайте.
Это очень хорошо относится к страницам, которые по своей природе поддаются дублированный контент как:
- Внутренние результаты поиска
- Файлы категорий
- Файлы меток
- Авторские файлы
- Дата файлы
Чтобы тег meta robots был полезен, он должен присутствовать в HTML-коде вашей страницы и, более конкретно, в разделе, разделенном тегами <head> и </ head> .
Код тега выглядит следующим образом:
<meta name = "robots" content = " VALUES ">
Где ЦЕННОСТИ могут включать:
- Index / NoIndex - указывает, должна ли ваша страница быть включена в индексы поисковой системы, или нет
- Follow / NoFollow - указывает, должны ли ссылки на вашей странице отслеживаться и передавать значение ссылки, или нет
Кроме того, вы можете включить другие значения, такие как NoODP , NoYDIR и NoArchive , но не беспокойтесь об этом в данный момент. В настоящее время важны комбинации, которые могут быть созданы с двумя типами значений, которые я упомянул в первую очередь, и которые связаны с индексированием и отслеживанием:
- Index, Follow - позволяет индексацию и отслеживание страницы поисковыми системами. Это комбинация по умолчанию и та, которая предполагается, когда у вас нет этого ярлыка на ваших страницах.
- NoIndex, Follow - избегать индексации, но разрешать отслеживание. Это идеальная комбинация, когда вы хотите, чтобы страница не появлялась в индексе поисковой системы.
- Index, NoFollow - разрешает индексирование, но предотвращает отслеживание. Это комбинация, которую вы должны использовать, когда страница содержит ссылки, которые вы не обязательно подтверждаете (это тот случай, когда страницы генерируются пользователем).
- NoIndex, NoFollow - избегайте индексирования и отслеживания. На самом деле причин для использования этой комбинации не так много.
Альтернативная комбинация к robots.txt
Согласно тому, что мы видели, что формируется парой NoIndex и Follow . Это комбинация, которая предотвращает индексацию веб-страницы в индексе поисковой системы, в то же время позволяя отслеживать и поток ссылок.
Ваш HTML-код:
<meta name = "robots" content = " noindex, follow ">
И чтобы это работало, помните, что оно должно появляться внутри раздела, разделенного <head> и </ head> в коде вашей страницы.
Поскольку вы, вероятно, используете CMS, вам понадобится плагин для его настройки. В случае с WordPress вам очень помогут:
В качестве альтернативы плагинам, Genesis Framework Это позволяет вам контролировать роботов на уровне страницы без установки какого-либо плагина SEO.
Означает ли это, что вы должны прекратить использовать robots.txt?
Ни за что. Файл robots.txt по-прежнему мощный инструмент для блокировки полные каталоги и все типы файлов, размещенных на вашем сервере.
Кроме того, robots.txt имеет преимущество перед мета-тэгом robots, и ему не требуется, чтобы поисковая система обращалась к странице, чтобы узнать, можно ли ее отслеживать. Это ускоряет чтение, что увеличивает количество страниц, которые можно отслеживать при каждом посещении.
Лично я использую файл роботов, чтобы заблокировать все, что не могу, с мета-меткой роботов, а мета-роботы - для всего остального.
Планируете ли вы использовать мета-роботов до robots.txt?
Flickr Creative Commons изображение через solarbotics
Txt?Txt?
Txt?
