Зачем нужно каждому владельцу сайта знать принципы работы поисковых систем? Ведь большинство пользователей Интернета не имеют представления о том, как работает поисковая машина. И это вполне естественно, не нужно же, например, изучать основы электротехники, чтобы включить лампочку.
Но, если вы хотите знать — как эффективно вкладывать средства в продвижение сайта и получить от этого максимальную отдачу, за что вообще надо платить, каким образом использовать возможности поисковых систем в свою пользу, необходимо понимать принципы их работы.
Найти то, что нужно в Интернете без поисковых систем невозможно, это главный структурный элемент современного Интернета и
по статистике до 80% заказов с сайтов, совершают посетители, пришедшие из поисковых систем.
Поэтому понимание принципов работы поисковых систем поможет Вам сориентироваться при принятии решений и избежать ошибок и разочарований, возникающих в результате недостаточного уровня информированности.
Пользоваться поисковой системой очень просто — достаточно выбрать любимый поисковик, ввести интересующий запрос и получаешь огромное количество ссылок на различные ресурсы. Но как же поисковик, практически моментально, обошел все огромное пространство Интернета (состоящее из миллиардов сайтов, которые находятся на компьютерах, расположенных на огромных расстояниях друг от друга, причем связь между ними может быть медленной или вообще отсутствовать по техническим причинам), да еще умудрился выбрать сайты, соответствующие запросу, и выстроить таблицу вывода информации в порядке убывания соответствия этому запросу?
Конечно, пока не существует в мире таких вычислительных мощностей, которые позволили бы обрабатывать практически любые запросы в режиме реального времени. Поисковая система ищет не по всему Интернету, она ищет необходимую информацию по своей индексной базе. Поэтому можно сказать, что одна из основных функций поисковой системы — это формирование своей индексной базы или процесс индексации сайтов. Отсюда
1 практический вывод: если Ваш сайт по каким-то причинам не попадает в индексную базу поисковой ситемы, то его никто не найдет.
Для формирования индексной базы поисковой системы используются различные программы, каждая из которых выполняет свою функцию.
Как же поисковая система узнает адреса сайтов? Для этого есть программа, которая занимается сбором Интернет адресов страниц. Сначала разработчики поисковой системы загружают в эту программу начальный список адресов сайтов (из какого-нибудь каталога), она обходит заданные страницы и собирает с них все гипертекстовые ссылки, переходит по ним и снова собирает, таким образом, расширяя свой первоначальный набор адресов. Отсюда
2 практический вывод: если Ваш сайт только что создан и на него еще нет ссылок — у него нет шансов автоматически попасть в индекс поисковой машины.
В этом случае может помочь регистрация сайта в поисковой системе, т.е. принудительная постановка его в очередь на индексацию, но он будет «обследован» поисковой системой далеко не сразу. Это означает, что пройдет какое-то время, прежде чем он будет проиндексирован (если с момента регистрации проходит более 2 месяцев, а сайт все еще не проиндексирован, значит что-то пошло не так — нужно найти и устранить существующую проблему).
3 практический вывод: поисковик индексирует на сайте только то, на что есть гипертекстовая ссылка.
Содержимое используемой на сайте базы данных с единственным способом доступа к нему с помощью окна поиска, для поисковой системы недоступно. Поисковик не человек, он не способен перебирать поисковые запросы, чтобы добраться до содержимого базы данных. Поскольку таких баз данных в Интернете много и говорят о «невидимом Интернете», который больше его видимой части в сотни раз.
Для того чтобы проанализировать содержимое сайта, поисковик должен получить текст каждой его страницы. Выкачивает текст каждой страницы специальная программа, которая называется поисковым «пауком» (crawler) или поисковым роботом (ботом). Поисковый бот обходит полученный от первой программы набор собранных адресов, выкачивает огромный объем информации, сохраняет его на дисках своих компьютеров и передает на обработку индексному роботу. Отсюда
4 практический вывод: если по какой-то причине поисковому боту не удается выкачать содержимое страниц, то индексации такого сайта не происходит и посетителей у него не будет.
Причин таких может быть много: организация меню сайта с использованием технологий, которые не обрабатываются поисковиком, некачественный хостинг, использование баз данных без структуры ссылок, доступных для обработки поисковому боту, большое количество ошибок и т.д.
На следующем этапе содержимое индексируемой страницы очищается от всяких нетекстовых элементов — графики, специальной разметки, программного кода и проч. Причем, поскольку поисковая система предназначается для обработки огромного объема информации, интерпретация выкачанных данных происходит по формальным правилам заложенным в алгоритмы анализа на основе существующих стандартов и спецификаций, поэтому
5 практический вывод: если Ваш сайт не соответствует cуществующим стандартам и спецификациям, то индексация может пойти непредсказуемым образом.
Это означает, что сайт либо вообще не будет анализироваться поисковой системой, либо в индексную базу попадет совсем не та информация, которая должна была бы туда попасть, т.е. в зону видимости поисковой выдачи по интересующим Вас целевым запросам сайт не попадет и целевых посетителей не будет.
Далее индексный робот поисковой машины выбирает все, что он считает словами и собирает их в отдельный список в алфавитном порядке, снабжая номерами страниц и различными служебными метками, и уже из этой информации формируется индексная база поисковой системы, по которой ведется поиск при вводе пользовательского запроса.
При этом, надо учитывать, что поисковая система индексирует только текст, графики она «не видит», поэтому
6 практический вывод: если на Вашем сайте недостаточно текстовой информации, допущен перекос в сторону графики, то сайт может не попасть в индекс поисковой системы, как малоценный для пользователя.
(Отказ индексации сайта может быть вызван также использованием заимствованных из Интернета текстов — не уникальный контент).
Существует такой тип информации, которая быстро обновляется (цены, курсы валют, новости и т.д.). И, конечно, каждая поисковая система заинтересована в том, чтобы такая информация сразу же появлялась в ее индексной базе, но сайтов очень много. Чтобы справиться с этой проблемой у каждого поисковика есть свой «быстрый робот», специальная программа, которая запоминает быстро меняющиеся сайты и может обходить их по нескольку раз за день. Отсюда
7 практический вывод: необходимо регулярно обновлять содержимое сайта, поскольку поисковые системы заинтересованы в том, чтобы предоставлять пользователям актуальную информацию.
(Если информация на Вашем сайте регулярно обновляется, то поисковая система «считает» ее актуальной для пользователя и это положительно сказывается на позициях сайта в поисковой выдаче.)
Кроме «быстророботов» существуют специальные программы — «простукивалки», их задача сводится к тому, что с заданной периодичностью они обходят Интернет и проверяют доступность сайта. Если от сайта нет отклика в течение заданного промежутка времени, то данные о нем удаляются из индексной базы.
Но сайт может оказаться недоступным для поисковой системы потому что вовремя не была произведена оплата за услуги хостинга и поддержку доменного имени, и владелец хостинга отключил сайт, или оборудование хостера слишком часто сбоит. Отсюда
8 практический вывод: необходимо своевременно вносить оплату за услуги хостинга и поддержку доменного имени и проверять качество хостинга, иначе все усилия и затраты на продвижение сайта будут напрасны.
Любая поисковая система это сложнейший программно-аппаратный комплекс. Существует большое количество различных других программ, которые анализируют качество сайта, осуществляют поиск по индексной базе, ранжируют сайты по уровню соответствия найденной информации поисковому запросу и т.д. В основе их используются сложнейшие алгоритмы, которые являются «know how» их разработчиков. Поэтому в работе каждой поисковой системы есть свои особенности.
Важно то, что на сегодняшний день любая поисковая система способна оценивать качество сайта по очень большому количеству параметров и эта оценка влияет на его позиции в поисковой выдаче. Отсюда
9 практический вывод: тот, кто постоянно заботится о качестве сайта обеспечивает себе конкурентное преимущество.
И это нужно не только для поисковых систем, качественный сайт быстрее грузится, правильно отображается браузерами, удобен пользователям и т.д.
Поисковые системы заинтересованы в том, чтобы предоставлять своим пользователям качественную информацию.
(Поисковая система — это бизнес, нет качественной выдачи — нет пользователей, нет пользователей — нет рекламы, нет рекламы — нет денег, нет денег — нет поисковой системы.)
И для того, чтобы повысить качество обработки сайтов они разрабатывают стандарты и спецификации, в соответствии с которыми ведется эта обработка, и предоставляют определенную справочную информацию и специальные сервисы веб-мастерам для оценки качества сайта и устранения проблем индексации. Отсюда
10 практический вывод: для того чтобы сайт попал в индексную базу поисковой системы, был корректно обработан ею, стал доступен для поиска и получил первые позиции в поисковой выдаче по целевым запросам, необходима оптимизация сайта под поисковые системы.
