Время от времени мы получаем запросы от пользователей, которые удивляются, когда их последняя страница, комментарий в блоге или контент не отображаются в Majestic Fresh Index. Хотя мы очень польщены тем, что наши данные считаются настолько полными, что люди удивляются, когда находят что-то, чего там нет, мы посчитали целесообразным объяснить некоторые технические причины, по которым некоторые обратные ссылки не отображаются в Majestic Site Explorer.
1 - Majestic SEO сообщает в Интернете.
Majestic SEO - это мощный инструмент интернет-картографирования с доступом к огромным объемам данных. Создание «Карты» является ключом к предложению Majestics - Majestic-12 Ltd, компания, стоящая за Majestic SEO, сканирует Интернет с помощью сканирующего программного обеспечения и составляет карту. Именно тогда эта карта проверяется, когда кто-то вводит запрос в Majestic Site Explorer. Вы можете сказать: «Majestic SEO сообщает в Интернете, но Majestic SEO - это не Интернет». Точно так же, как карта крупного города не обязательно показывает, что каждый продавец газеты является действительной картой, так и карта Интернета также должна отфильтровывать некоторые данные, чтобы быть эффективными.
Как только данные собраны, начинается процесс построения карты, и создание карт может занять некоторое время. После многих лет исследований Majestic может стремиться обновлять свежий индекс ежедневно. Наш исторический индекс содержит так много данных, что процесс обновления занимает гораздо больше времени. Этот производственный этап - пакетный процесс, который увеличивает время между просматриваемой страницей и опубликованной готовой картой, добавляет неизбежную задержку в сообщении обратных ссылок.
Если вы хотите узнать больше о том, как данные для сканирования преобразуются в наш индекс, наши последние Инфографика «Как работает Majestic SEO» хорошая отправная точка.
2 - Величественный SEO является массовым.
Здесь, в Majestic, наши инженеры постоянно пытаются найти способы создания больших и больших карт Интернета в кратчайшие сроки. Это позволило нам создавать потрясающе огромные карты в наших индексах Fresh и Historic.
В то время как Majestic-12 имеет огромное количество хранилищ и значительные возможности обработки, что облегчает создание этих индексов, они не бесконечны. Хотя это кажется очевидным, оно имеет эффект стука, который имеет решающее значение для любого сканирования в Интернете. Подумайте на минуту о количестве ссылок, которые могут существовать на одной веб-странице. Затем подумайте о том, сколько веб-страниц можно разместить на одном веб-сайте, а затем подумайте, сколько веб-страниц можно разместить на одном веб-сервере - просто невероятные объемы данных! При рассмотрении эффекта динамических страниц, некоторые из которых могут генерироваться ошибочными веб-серверами, создающими почти бесконечное количество страниц, становится ясно, что в Интернете будет больше ссылок, чем их стоит хранить, даже если бы это было возможно.
Следовательно, для любой поисковой системы должно быть определенное ограничение по количеству страниц, которые можно посетить, и, следовательно, по количеству ссылок, собранных с любого веб-сайта.
3 - Majestic старается быть хорошим пользователем сети
На момент написания статьи наш исторический индекс содержал ссылки на 3,7 триллиона URL-адресов. Это в 35 раз больше, чем у нашего Fresh Index. Несмотря на то, что Majestic имеет доступ к чрезвычайно мощной распределенной сети сканирования, мы обязаны ответственно использовать эту мощность и продолжать инвестировать в попытки обеспечить тонкий баланс сканирования веб-сайтов для создания свежих отчетов, при этом не создавая чрезмерную нагрузку на отдельные веб-серверы. , Это означает, что в соответствии с этикетом, независимо от логистики, мы не можем пересматривать каждую страницу в нашем историческом индексе каждый месяц - вместо этого мы расставляем приоритеты нашего сканирования, посещая некоторые сайты ежедневно, а другие реже.
Как ответственный пользователь сети, Majestic также должен убедиться, что его сканеры подчиняются robots.txt. Мы рекомендуем веб-мастерам использовать параметр «задержка сканирования», если они обеспокоены нагрузкой на экономичного или бесплатного хостинг-провайдера, которая может быть более чувствительной к пропускной способности и запросам страниц, чем более надежное коммерческое предложение.
Хотя некоторые веб-мастера (и, возможно, некоторые системные администраторы, действующие без ведома владельцев веб-сайтов) предпочитают блокировать роботов, взаимосвязанная природа Интернета обычно приводит к тому, что статьи с дружественным для реального контента контентом получают из разных источников - это может быть полезно чтобы рассматривать ссылки как текучие по своей природе, нечетные ссылки или аналогии, «нечетные отбрасывания» не имеют большого значения по сравнению с потоком трафика, позволяющим обратные ссылки, которые облегчает хороший контент.
4 - все гусеницы разные
Некоторое время назад мы попытались ответить на вопрос « Почему поисковые системы и провайдеры обратных ссылок показывают разные ссылки на один и тот же сайт «. Краткий ответ заключается в том, что большинство провайдеров разведки обратных ссылок создают свою интернет-карту, используя различные методы. На самых популярных веб-сайтах часто есть степень соответствия понимания, но, поскольку сайты становятся менее связанными - возможно, из-за того, что они обслуживают нишевую аудиторию или являются очень новыми, относительный приоритет, связанный с сайтом, будет варьироваться между сканерами - потенциально снижение частоты посещений и повышение вероятности включения в данные поисковой системы.
В заключение
Мы видели, что для любого индекса Интернета - будь то полнотекстовая поисковая система или специализированная поисковая система, такая как Majestic SEO, неизбежно, что разным веб-сайтам нужно будет назначать разные приоритеты сканирования - то есть частота посещений будет варьируются между веб-сайтами, и для того, чтобы веб-страница или ссылка были обнаружены и встроены в индекс, должны быть выполнены определенные требования. Эти требования различаются в зависимости от веб-сканеров, что приводит к различиям в том, какие страницы и ссылки присутствуют в разных индексах ссылок.
Если вы заметили ссылку на свой сайт на стороннем сайте, но не увидели ссылку, отраженную в нашем индексе Fresh Index, первая проблема, которая должна быть изучена, - это «источник ссылки на веб-сайт, имеющий хорошую ссылку» (вы можете проверить это используя Majestic Site Explorer ). Если исходная страница имеет хорошие ссылки, есть вероятность, что Majestic установит более высокий приоритет сканирования, в результате чего ссылки с этой страницы будут сообщаться быстрее.
Если ваша ссылка с популярной страницы и она не отображается в Majestic Site Explorer, проверьте robots.txt - посмотрите, позволяет ли исходный сайт сканировать роботов. Также стоит спросить, сколько страниц размещено на одном сайте и сколько ссылок на страницу. Если ссылка со страницы, содержащей огромное количество конкурирующих ссылок, не удивляйтесь, если ее пропустят в поисковой системе. Каталоги ссылок могут легко подсчитывать обратные ссылки, но с точки зрения логистики, Majestic и другие поисковые системы могут хранить только ограниченное количество данных о любой странице или веб-сайте, и, если ссылок слишком много, некоторые из них будут исключены из индексации.
Сканирование интернета лежит в основе того, что делает Majestic, и хотя мы гордимся тем, что являемся мировым лидером по обратным ссылкам на разведывательные данные, мы не будем останавливаться на достигнутом. Мы продолжаем вкладывать значительные средства в расширение нашего веб-сканирования, и на этот год запланировано несколько интересных проектов.
Я закончу некоторыми хорошими новостями - хотя всегда будут крайние случаи, когда случайная ссылка отсутствует в какой-либо поисковой системе, с частыми обновлениями и десятками миллиардов URL-адресов, сканируемых в месяц, как только появляется сообщение о вашей новой странице или сайте Мы уверены, что вы сможете следить за его ростом, используя индексы Majestics Fresh и Historic.
Стив Питчфорд
Директор по развитию, Majestic.
Я главный пастух в нашей команде разработчиков. Я курирую разработку программного обеспечения, которое разработано нашей талантливой командой разработчиков и дизайнеров программного обеспечения.
Последние сообщения от Стива Питчфорда ( увидеть все )
назад
