План

1. Пошукові системи, каталоги та принцип їх роботи

2. Як додати свій сайт до пошукової системи чи у каталог?

Використана література

1. Пошукові системи, каталоги та принцип їх роботи

Пошукові системи використовують для індексування сайтів так званих "пошукових роботів", спайдеров (від англійського слова "spider", що значить "павук"). Робот - це невелика програма, що ходить по посиланнях на сайті й індексує (збирає і запам'ятовує) інформацію, що зустрів на шляху.

Принцип роботи пошукових роботів приблизно наступний: ви надаєте пошуковій системі точну адресу сторінки, яку потрібно зареєструвати. Пошукова система перевіряє, чи існує по цій адресі сторінка, і якщо так, то сторінка вноситься в "графік відвідування". Між часом, коли ви зареєстрували сторінку в пошуковій системі та часом, коли вашу сторінку відвідає пошуковий робот може пройти від декількох хвилин до декількох тижнів.

Коли приходить "година Х", на вашу сторінку посилається пошуковий робот. Як правило, схема роботи робота наступна:

1) робот шукає файл robots.txt,

2) робот читає сторінку, для індексування якої він був посланий (глибина індексування, тобто читання сторінки міняється від робота до робота. Деякі зупиняються тільки на читанні заголовка сторінки і вмісту мета-тегів, інші можуть прочитати, скажемо перші 6000 символів на сторінці, а деякі індексують весь зміст веб-сторінки),

3) потім робот може або видалитися або продовжити індексування сайта,

4) через якийсь час робот знову може відвідати цю сторінку, якщо існує тег "revisit" чи відповідно до політики, яка проводиться пошуковою системою.

Відмінність каталогів від пошукових систем полягає в тому, що каталоги не посилають ніяких роботів, щоб індексувати вашу чи сторінку веб-сайту. Найбільш відомим каталогом є Yahoo.com.

Для реєстрації в каталозі вам необхідно знайти розділ, у який ви хочете помістити свою сторінку, надіслати короткий опис сайта і список ключових слів для пошуку вашої сторінки в каталозі. Потім ця інформація проглядається й оцінюється людьми, що вирішують, чи варто включати вашу інформацію в каталог чи ні.

Варто знати, що вам можуть відмовити в реєстрації, ваш сайт можуть помістити в інший розділ, можуть бути змінені опис сайта і/чи список його ключових слів. Усе залежить від модераторів.

Якщо реєстрація виробляється людиною, а не програмою, то пошук по каталогах дає більш релевантні результати, ніж пошук по пошукових системах. Корінною відмінністю каталогів від розвідувачів також є те, що пошук у них відбувається не по текстовій складовій усіх сторінок сайта, а тільки по короткому опису сервера й обраним при реєстрації ключовим словам.

Пошукові системи одержують різні результати, ґрунтуючись на тих самих вихідних даних. Усе залежить від алгоритмів обробки цих даних, закладених творцями пошукових систем.

Одні системи приділяють більшу увагу "індексу цитування", інші наявності всіх мета-тегів, треті взагалі не приділяють уваги мета-тегам. Rambler, наприклад, цілком ігнорує зміст мета-тегов (крім мета-тега robots). Якщо ви подивитеся на рейтинг вашого сайта в різних пошукових системах, він скрізь виявиться різним.

Тому й існують так називані вхідні сторінки, оптимізовані під роботу окремих пошукових систем.

Як правило, пошукові системи тримають у секреті точні рецепти, своїх алгоритмів ранжирування, відповідно до яких формуються їхні рейтинги. ............