Търсачката Yandex ru. Как работи търсачката Yandex Какво представлява търсачката Yandex

Добър ден, скъпи читатели на моя SEO блог. . Тази статия е за как работи търсачката Yandex какви технологии и алгоритми използва за класиране на сайтове и какво прави, за да подготви отговор на потребителите. Много хора знаят, че този флагман на руското търсене задава тона в Runet, притежава най-голямата база данни в Евразия, обработва съдържанието на повече от един милиард страници и знае отговора на всеки въпрос. По данни на Liveinternet за август 2012 г. делът на Yandex в Русия е 60,5%. Месечната аудитория на портала е 48,9 милиона души. Но най-важното за нас блогърите е как търсачката получава нашите заявки, как ги обработва и какъв е резултатът като резултат. От една страна, познаването и разбирането на тази информация ни улеснява да използваме всички ресурси на Yandex; от друга страна, е по-лесно да популяризираме нашите блогове. Затова предлагам да разгледаме с мен най-важните технологии на най-добрата търсачка Runet.

Когато интернет потребител за първи път иска да се обърне към търсачка за информация, той може да има един въпрос: „Как работи търсенето?“ Но когато го получи, този въпрос често се променя с друг: „Защо толкова бързо?“ И наистина, защо търсенето на файл на компютър отнема 20 секунди, а резултатът от заявка от цяла мрежа от компютри по света се появява за секунда? Най-интересното е, че на първите два въпроса (как се извършва търсенето и защо 1 секунда) може да се отговори с един отговор - търсачката се е подготвила предварително за заявката на потребителя.

За да разберем принципа на работа на Yandex, подобно на други търсачки, нека направим аналогия с телефонния указател. За да намерите всеки телефонен номер, трябва да знаете фамилното име на абоната и всяко търсене в този случай отнема максимум минута, тъй като всички страници на указателя са непрекъснат азбучен индекс. Но представете си, ако търсенето беше извършено с помощта на различна опция, където телефонните номера бяха подредени по самите номера. След такива търсения, които ще се проточат за по-дълго време, числата ще останат пред очите на търсещия много дълго време. 🙂

По същия начин търсачката показва цялата информация от интернет в удобна за нея форма. И най-важното е, че всички тези данни се поставят в нейния указател предварително, преди посетителят да пристигне със своите заявки. Тоест, когато зададем въпрос на Yandex, той вече знае нашия отговор. И ни го дава след секунда. Но тази втора включва редица важни процеси, които сега ще разгледаме подробно.

Интернет индексиране

Yandex ru събира цялата информация, до която може да се докопа в интернет. С помощта на специално оборудване се преглежда цялото съдържание, включително изображения въз основа на визуални параметри. Търсачката се занимава с такова събиране, а процесът на събиране и подготовка на данни се нарича индексиране. Основата на такава машина е компютърна система, която иначе се нарича робот за търсене. Той редовно обхожда индексираните сайтове, проверява ги за ново съдържание и също така сканира интернет за изтрити страници. Ако открие, че такава страница вече не съществува или е затворена за индексиране, тя я премахва от търсенето.

Как роботът за търсене намира нови сайтове? Първо, благодарение на връзки от други сайтове. Защото, ако се постави връзка към нов уеб ресурс от вече индексиран сайт, тогава следващия път, когато посетите втория, роботът ще посети първия. Второ, има чудесна услуга, популярно наречена „addurlka“ (от фразата на английски -addurl - добавете адрес). В него можете да въведете адреса на вашия нов сайт, който след известно време ще бъде посетен от робот за търсене. Трето, с помощта на специална програма "Yandex.Bar" се проследяват посещенията на потребителите, които я използват. Съответно, ако човек попадне на нов уеб ресурс, там скоро ще се появи робот.

Всички страници ли са включени в търсенето? Всеки ден се индексират милиони страници. Сред тях има страници с различно качество, които могат да съдържат различна информация - от уникално съдържание до пълен боклук. Освен това, както казва статистиката, в интернет има много повече боклук. Роботът за търсене анализира всеки документ с помощта на специални алгоритми. Той определя дали има полезна информация и дали може да отговори на заявка на потребителя. Ако не, тогава такива страници не се приемат като „космонавти“, но ако е така, тогава те се включват в търсенето.

След като робот посети страница и определи нейната полезност, тя се появява в хранилището на търсачката. Тук анализираме всеки документ до основите, както казват майсторите на автоцентъра - до зъбчетата. Страницата се изчиства от html маркировка, изчистеният текст се подлага на пълна инвентаризация - изчислява се местоположението на всяка дума. В тази разглобена форма страницата се превръща в таблица с цифри и букви, която иначе се нарича индекс. Сега, без значение какво се случва с уеб ресурса, който съдържа тази страница, най-новото му копие винаги е достъпно при търсенето. Дори ако сайтът вече не съществува, копия на неговите документи се съхраняват в Интернет за известно време.

Всеки индекс, заедно с данни за типове документи, кодиране, език, заедно с копия, представляват база данни за търсене . Той се актуализира периодично, така че се намира на специални сървъри, с помощта на които се обработват заявки от потребители на търсачката.

Колко често се извършва процесът на индексиране? На първо място зависи от видовете сайтове. Първият тип уеб ресурс променя съдържанието на своите страници много често. Тоест, когато робот за търсене идва на тези страници всеки път, те съдържат различно съдържание всеки път. Следващия път няма да можете да намерите нищо с тях, така че такива сайтове не са включени в индекса. Вторият тип сайт е хранилище на данни, на чиито страници периодично се добавят връзки към документи за изтегляне. Съдържанието на такъв сайт обикновено не се променя, така че роботът го посещава изключително рядко. Други сайтове зависят от честотата на актуализиране на материала. Това означава следното: колкото по-бързо се появява ново съдържание на сайта, толкова по-често идва роботът за търсене. И първо се дава приоритет на най-важните уеб ресурси (един новинарски сайт е с порядък по-важен от всеки блог, например).

Индексирането ви позволява да изпълнявате първата функция на търсачката - събиране на информация за нови страници в Интернет. Но Yandex има и втора функция - търсене на отговор на заявка на потребител във вече подготвена база данни за търсене.

Yandex подготвя отговор

Процесът на обработка на заявката и издаване на съответните отговори се управлява от компютърна система "Метатърсене" . За своята работа той първо събира цялата входна информация: от кой регион е направена заявката, към кой клас принадлежи, дали има грешки в заявката и т.н. След такава обработка metasearch проверява дали в базата данни има абсолютно същите заявки със същите параметри. Ако отговорът е да, тогава системата показва на потребителя предварително запазените резултати. Ако такъв въпрос не съществува в базата данни, метатърсенето адресира базата данни за търсене, която съдържа индексните данни.

И тук се случват удивителни неща. Представете си, че има един супермощен компютър, който съхранява целия интернет, обработен от роботи за търсене. Потребителят задава заявка и започва търсене в клетките на паметта за всички документи, включени в заявката. Отговорът е намерен и всички са доволни. Но нека вземем друг случай, когато има много заявки, съдържащи едни и същи думи в тялото си. Системата трябва да преминава през едни и същи клетки с памет всеки път, което може значително да увеличи времето, необходимо за обработка на данни. Съответно времето се увеличава, което може да доведе до загуба на потребителя - той ще се обърне за помощ към друга търсачка.

За да се избегнат подобни забавяния, всички копия в индекса на сайта се разпределят между различни компютри. След предаване на заявката metasearch инструктира такива сървъри да търсят тяхното парче текст. След което всички данни от тези машини се връщат в централния компютър, той комбинира всички получени резултати и дава на потребителя първите десет най-добри отговора. С тази технология се убиват две птици наведнъж: времето за търсене се намалява няколко пъти (отговорът се получава за част от секундата) и благодарение на увеличаването на платформите информацията се дублира (данните не се губят поради внезапни повреди) . Самите компютри с дублирана информация съставляват център за данни - това е стая със сървъри.

Когато потребител на търсачка зададе заявка, 20 пъти от 100, целите във въпроса са двусмислени. Например, ако той напише думата „Наполеон“ в лентата за търсене, тогава все още не е известно какъв отговор очаква - рецепта за торта или биография на великия командир. Или фразата „Братя Грим“ - приказки, филми, музикална група. За да стесни такъв възможен диапазон от цели до конкретни отговори, Yandex разполага със специална технология Обхват. Той взема предвид нуждите на потребителите, като използва статистически данни за заявките за търсене. От всички въпроси, зададени в Yandex от посетители, Spectrum идентифицира различни обекти в тях (имена на хора, заглавия на книги, модели автомобили и т.н.). Тези обекти са разпределени в определени категории. В момента има повече от 60 такива категории. С тяхна помощ търсачката има в своята база данни различни значения на думите в потребителските заявки. Интересното е, че тези категории се проверяват периодично (анализът се извършва няколко пъти седмично), което позволява на Yandex да дава по-точни отговори на поставените въпроси.

Въз основа на технологията Spectrum, Yandex организира диалогови подкани. Те се появяват под лентата за търсене, в която потребителят въвежда своята двусмислена заявка. Този ред отразява категориите, към които може да принадлежи предметът на въпроса. Допълнителните резултати от търсенето зависят от избора на потребителя за тази категория.

От 15 до 30% от всички потребители на търсачката Yandex искат да получават само местна информация (данни от региона, в който живеят). Например за новите филми в кината във вашия град. Следователно отговорът на такова искане трябва да бъде различен за всеки регион. В това отношение Yandex използва своята технология търсене по региони . Например, това са отговорите, които могат да получат жителите, които търсят репертоар от филми в своето кино „Октябрь“:

Но това е резултатът, който жителите на град Ставропол ще получат за същото искане:

Регионът на потребителя се определя основно от неговия IP адрес. Понякога тези данни не са точни, тъй като редица доставчици могат да работят в няколко региона едновременно и следователно да променят IP адресите на своите потребители. По принцип, ако това ви се случи, лесно можете да смените региона си в настройките в търсачката. Той е посочен в горния десен ъгъл на страницата с резултати. Можете да го промените.

Търсачката Yandex ru - резултати от отговорите

Когато Metasearch подготви отговор, търсачката Yandex трябва да го покаже на страницата с резултати. Това е списък с връзки към намерени документи с малко информация за всеки. Задачата на технологията за издаване на резултати е да предостави на потребителя най-подходящите отговори по най-информативен начин. Шаблонът за една такава връзка изглежда така:

Нека разгледаме тази форма на резултат по-подробно. За заглавие на резултата от търсенето Yandex често използва името на заглавието на страницата (какво оптимизаторите пишат в етикета за заглавие). Ако не е там, тогава тук се появяват думите от заглавието на статията или публикацията. Ако текстът на заглавието е голям, търсачката поставя в това поле фрагмента, който е най-подходящ за дадената заявка.

Много рядко, но се случва заглавието да не отговаря на съдържанието на заявката. В този случай Yandex формира заглавието на резултатите от търсенето, като използва текста в статията или публикацията. Определено ще има думи за заявка.

За фрагменттърсачката използва целия текст на страницата. Той избира всички фрагменти, където присъства отговорът на заявката, след което избира най-подходящия и вмъква връзки към документа в полето на формуляра. Благодарение на този подход компетентен оптимизатор може да го преработи, след като види фрагмент, като по този начин подобри привлекателността на връзката.

За по-добро възприемане на резултата от заявката на потребителя, заглавията са форматирани като връзки в текста (маркирани в синьо с подчертаване). За да направи уеб ресурса привлекателен и разпознаваем, се добавя favicon - малка корпоративна икона на сайта. Показва се отляво на текста на първия ред преди заглавието. Всички думи, включени в заявката в отговора, също са подчертани с удебелен шрифт за по-лесно възприемане.

Наскоро търсачката Yandex добавя различна информация към фрагмента, която ще помогне на потребителя да намери своя отговор още по-бързо и по-точно. Например, ако потребител напише името на организация в своята заявка, тогава Yandex ще добави нейния адрес, номера за контакт и връзка към местоположението в географски карти във фрагмента. Ако търсачката е запозната със структурата на сайта, който съдържа документ с отговор за потребителя, тя определено ще го покаже. Плюс това, Yandex може незабавно да добави най-посещаваните страници на такъв уеб ресурс към фрагмента, така че, ако желае, посетителят да може незабавно да отиде до секцията, от която се нуждае, спестявайки времето си.

Има фрагменти, които съдържат цена на продукт за онлайн магазин, рейтинг на хотел или ресторант под формата на звезди и друга интересна информация с различни числа за обекти в документите за търсене. Целта на тази информация е да предостави пълен списък с данни за онези елементи или обекти, които представляват интерес за потребителя.

Като цяло, с различни примери, страницата с отговори ще изглежда така:

Класиране и оценители

Задачата на Yandex включва не само търсене на всички възможни варианти за отговор, но и избор на най-добрите (подходящи). В крайна сметка потребителят няма да рови във всички връзки, които Yandex ще му предостави като резултат от търсенето. Процесът на организиране на резултатите от търсенето се нарича класиране . Тоест класирането е това, което определя качеството на предложените отговори.

Има правила, по които Yandex определя съответните страници:

• Сайтове, които влошават качеството на търсене, ще бъдат понижени на позиции на страницата с резултати. Обикновено това са уеб ресурси, чиито собственици се опитват да заблудят търсачката. Например, това са сайтове със страници, съдържащи безсмислен или невидим текст. Разбира се, той е видим и разбираем за робот за търсене, но не и за посетител, който чете този документ. Или сайтове, които при щракване върху връзка в областта с резултати от търсенето незабавно прехвърлят потребителя към напълно различен сайт.
• Сайтовете, съдържащи еротично съдържание, не са включени в резултатите или са със силно понижено класиране. Това се дължи на факта, че такива уеб ресурси често използват агресивни методи за промоция.
• Сайтовете, заразени с вируси, не се спускат в резултатите от търсенето и не се изключват от резултатите - в този случай потребителят се информира за опасността с помощта на специална икона. Това се дължи на факта, че Yandex предполага, че такива уеб ресурси могат да съдържат важни документи по искане на посетител на търсачката.

Например, ето как Yandex ще класира сайтовете за заявката „ябълка“:

В допълнение към факторите за класиране, Yandex използва специални проби със заявки и отговори, които потребителите на търсачките смятат за най-подходящи. Никоя машина в момента не може да направи такива проби - това е прерогатив на човека. В Yandex такива специалисти се наричат оценители. Тяхната задача е да анализират напълно всички документи за търсене и да оценят отговорите на определени заявки. Те избират най-добрите отговори и създават специален комплект за обучение. В него търсачката вижда връзката между съответните страници и техните свойства. Разполагайки с такава информация, Yandex може да избере оптималната формула за класиране за всяка заявка. Методът за конструиране на такава формула се нарича Matrixnet. Предимството на тази система е, че е устойчива на пренастройване, което ви позволява да вземете предвид голям брой фактори за класиране, без да увеличавате броя на ненужните оценки и модели.

В края на публикацията си искам да ви покажа интересна статистика, събрана от търсачката Yandex в процеса на нейната работа.

1. Популярност на личните имена в Русия и руските градове (данните са взети от акаунти на блогъри и потребители на социални мрежи през март 2012 г.).

През 1863 г. великият писател Жул Верн създава следващата си книга „Париж през 20-ти век“. В него той описва подробно метрото, колата, електрическия стол, компютъра и дори интернет. Издателят обаче отказва да отпечата книгата и тя лежи там повече от 120 години, докато не е намерена от правнука на Жул Верн през 1989 г. Книгата е издадена през 1994 г.

В тази статия ще говоря за това какво представлява търсачката Yandex, как работи тази търсачка и ще дам примери за сайтове, които търсачката Yandex ограничава в класирането.

Търсачката Yandex по своята популярност се нарежда на 20-то място в света и на 1-во място в Русия. Официално компанията Yandex е одобрена през 1997 г. на 23 септември, нейното развитие започва в рамките на компанията Comp Tek International, а още през 2000 г. Yandex започва да съществува като отделна компания.

Основатели на компанията са Волож Аркадий Юриевич, който е генерален директор, и Сегалович Иля Валентинович (1964-2013), основател на Yandex и директор по технологиите и развитието. Научихме малко за историята на Yandex, сега нека поговорим за неговата търсачка.

И така, основната посока на компанията Yandex е търсачка, чиято отличителна черта е фината настройка на заявката за търсене. Търсачката Yandex ви позволява да търсите избраната от вас заявка на руски, украински, беларуски, татарски, казахски, английски, турски, немски и френски, като се вземе предвид техният морфологичен правопис.

Yandex също така разработи задълбочен алгоритъм за оценка на уместността и принципа на проверка на документите с изключение на техните копия в различни кодировки. За разлика от Google, по-точно от неговия алгоритъм за PR класиране – PageRank, друг важен момент за търсачката Yandex е въвеждането на тематичен индекс на цитиране – TIC.

Работа на търсачката Yandex

http://www.yandex.ru
Търсачката Yandex има роботи, които са специфична програма за проверка на сайтове за тяхната уместност. Роботите за търсене отиват на сайта чрез директни връзки, индексират нови страници и ги записват в своята база данни. За да може една индексирана страница на сайт да стигне до ТОП, което е много важно, е необходимо да се вземат предвид такива проблеми при индексирането като честотата на ключовите думи на страницата, броя на външните връзки, водещи към вашия сайт, и общото тегло на сайта, което се измерва с такъв показател като Yandex TIC.

Пример за сайтове, които системата Yandex ограничава в класирането

Сайтове с неуникално съдържание, което е копирано или пренаписано от други сайтове.

Сайтове, които интензивно се свързват един с друг в групи.

Сайтове с безсмислено съдържание.

Сайтове, които използват измамна технология.

Форуми и табла за съобщения, които съдържат много спам с връзки.

Сайтове, които се опитват да спечелят уместност, като поставят външни връзки, които не са покана от автора да посети неговия ресурс.

Те отдавна са се превърнали в неразделна част от руския интернет. Търсачките вече са огромни и сложни механизми, които представляват не само инструмент за търсене на информация, но и изкушаващи области за бизнес.

Повечето потребители на търсачки никога не са се замисляли (или са се замисляли, но не са намерили отговор) за принципа на работа на търсачките, схемата за обработка на потребителските заявки, от какво се състоят тези системи и как функционират...

Този майсторски клас е предназначен да отговори на въпроса как работят търсачките. Тук обаче няма да намерите фактори, които влияят върху класирането на документите. Освен това не трябва да разчитате на подробно обяснение на алгоритъма на Yandex. Той, според Иля Сегалович, директор по технологиите и развитието на търсачката Yandex, може да бъде разпознат само „под мъчения“ от самия Иля Сегалович...

2. Понятие и функции на търсачката

Системата за търсене е софтуерен и хардуерен комплекс, предназначен да търси в Интернет и да отговаря на потребителска заявка, посочена под формата на текстова фраза (заявка за търсене), чрез създаване на списък с връзки към източници на информация, по ред на уместност ( в съответствие с искането). Най-големите международни търсачки: "гугъл", Yahoo , MSN . В руския интернет това са Yandex, Rambler, Aport.

Нека разгледаме по-подробно концепцията за заявка за търсене, като използваме търсачката Yandex като пример. Заявката за търсене трябва да бъде формулирана от потребителя в съответствие с това, което той иска да намери, възможно най-кратко и просто. Да приемем, че искаме да намерим информация в Yandex как да изберем кола. За да направите това, отворете главната страница на Yandex и въведете текста на заявката за търсене „как да изберем кола“. След това нашата задача се свежда до отваряне на предоставените по наша заявка връзки към източници на информация в Интернет. Напълно възможно е обаче да не намерим нужната ни информация. Ако това се случи, тогава или трябва да преформулирате заявката си, или базата данни на търсачката наистина няма подходяща информация за нашата заявка (това може да се случи, когато задавате много „тесни“ заявки, като например „как да избера кола в Архангелск”)

Основната цел на всяка търсачка е да достави на хората точно тази информация, която търсят. И научете потребителите да правят „правилни“ заявки към системата, т.е. заявки, които отговарят на принципите на работа на търсачките, са невъзможни. Ето защо разработчиците създават алгоритми и принципи на работа за търсачките, които биха позволили на потребителите да намерят информацията, която търсят.

Това означава, че търсачката трябва да „мисли“ по същия начин, по който мисли потребителят, когато търси информация. Когато потребител направи заявка към търсачка, той иска да намери това, от което се нуждае възможно най-бързо и лесно. Получавайки резултата, той оценява производителността на системата, като се ръководи от няколко основни параметъра. Намери ли това, което търсеше? Ако не го намери, колко пъти е трябвало да преформулира заявката, за да намери това, което търси? Колко подходяща информация би могъл да намери? Колко бързо търсачката обработи заявката? Колко удобни бяха представените резултати от търсенето? Първият ли беше резултатът, който търсехте, или стотният? Колко ненужен боклук беше открит заедно с полезна информация? Ще бъде ли намерена необходимата информация при достъп до търсачка, да речем, след седмица или след месец?

За да отговорят на всички тези въпроси, разработчиците на търсачки непрекъснато подобряват алгоритмите и принципите на търсене, добавят нови функции и възможности и се опитват по всякакъв начин да ускорят работата на системата.

3. Основни характеристики на търсачката

Нека опишем основните характеристики на търсачките:

• Пълнота

  Пълнотата е една от основните характеристики на системата за търсене, която е съотношението на броя на документите, намерени чрез заявка, към общия брой документи в Интернет, които удовлетворяват дадената заявка. Например, ако в интернет има 100 страници, съдържащи фразата „как да изберем кола“ и само 60 от тях са намерени за съответната заявка, тогава пълнотата на търсенето ще бъде 0,6. Очевидно е, че колкото по-пълно е търсенето, толкова по-малка е вероятността потребителят да не намери документа, от който се нуждае, при условие че той изобщо съществува в Интернет.

• точност

  Точността е друга основна характеристика на търсачката, която се определя от степента, в която намерените документи съответстват на заявката на потребителя. Например, ако заявката „как да избера кола“ съдържа 100 документа, 50 от тях съдържат фразата „как да изберем кола“, а останалите просто съдържат тези думи („как да избера правилното радио и да го инсталирам в кола”), тогава точността на търсенето се счита за равна на 50/100 (=0,5). Колкото по-точно е търсенето, толкова по-бързо потребителят ще намери нужните документи, толкова по-малко различни видове „боклук“ ще бъдат намерени сред тях, толкова по-рядко намерените документи няма да отговарят на заявката.

• Уместност

  Уместността е също толкова важен компонент на търсенето, който се характеризира с времето, което минава от момента на публикуване на документите в Интернет до въвеждането им в индексната база данни на търсачката. Например, в деня след появата на интересни новини, голям брой потребители се обърнаха към търсачките с подходящи заявки. Обективно не е минало и един ден от публикуването на новинарска информация по тази тема, но основните документи вече са индексирани и достъпни за търсене, благодарение на съществуването на т. нар. „бърза база данни“ на големите търсачки, която се актуализира няколко пъти на ден.

• Скорост на търсене

  Скоростта на търсене е тясно свързана с неговата устойчивост на натоварване. Например, според Rambler Internet Holding LLC, днес, в работно време, търсачката Rambler получава около 60 заявки в секунда. Такова натоварване изисква намаляване на времето за обработка на отделна заявка. Тук интересите на потребителя и търсачката съвпадат: посетителят иска да получи резултати възможно най-бързо, а търсачката трябва да обработи заявката възможно най-бързо, за да не забави изчисляването на следващите заявки.

• Видимост

4. Кратка история на развитието на търсачките

В началния период на развитие на Интернет броят на неговите потребители беше малък, а количеството налична информация беше сравнително малко. В по-голямата си част само научният персонал имаше достъп до интернет. По това време задачата за търсене на информация в Интернет не беше толкова спешна, колкото сега.

Един от първите начини за организиране на достъпа до мрежови информационни ресурси беше създаването на отворени директории на сайтове, връзките към ресурсите, в които бяха групирани по теми. Първият такъв проект беше уебсайтът Yahoo.com, който отвори врати през пролетта на 1994 г. След като броят на сайтовете в каталога се увеличи значително, беше добавена възможност за търсене на необходимата информация в каталога. В пълния смисъл това все още не беше търсачка, тъй като областта за търсене беше ограничена само до ресурсите, присъстващи в каталога, а не до всички интернет ресурси.

Директориите с връзки са били широко използвани в миналото, но почти напълно са загубили своята популярност в момента. Тъй като дори съвременните каталози, огромни по обем, съдържат информация само за незначителна част от Интернет. Най-голямата директория на мрежата DMOZ (наричана още Open Directory Project) съдържа информация за 5 милиона ресурса, докато базата данни на търсачката Google се състои от повече от 8 милиарда документа.

През 1995 г. се появяват търсачките Lycos и AltaVista. Последният е лидер в областта на търсенето на информация в интернет от много години.

През 1997 г. Сергей Брин и Лари Пейдж създават търсачката Google като част от изследователски проект в Станфордския университет. В момента Google е най-популярната търсачка в света!

През септември 1997 г. беше официално обявена търсачката Yandex, която е най-популярната в рускоезичния интернет.

В момента има три основни търсачки (международни) - Google, Yahoo и, които имат свои собствени бази данни и алгоритми за търсене. Повечето други търсачки (които са голям брой) използват под една или друга форма резултатите от трите изброени. Например търсенето на AOL (search.aol.com) използва базата данни на Google, докато AltaVista, Lycos и AllTheWeb използват базата данни на Yahoo.

5. Състав и принципи на работа на търсещата система

В Русия основната търсачка е Yandex, следвана от Rambler.ru, Google.ru, Aport.ru, Mail.ru. Освен това в момента Mail.ru използва търсачката и базата данни Yandex.

Почти всички големи търсачки имат своя собствена структура, различна от другите. Въпреки това е възможно да се идентифицират основните компоненти, общи за всички търсачки. Разликите в структурата могат да бъдат само във формата на изпълнение на механизмите на взаимодействие на тези компоненти.

Модул за индексиране

Модулът за индексиране се състои от три помощни програми (роботи):

Spider е програма, предназначена за изтегляне на уеб страници. Паякът изтегля страницата и извлича всички вътрешни връзки от тази страница. Изтегля се html кодът на всяка страница. Роботите използват HTTP протоколи за изтегляне на страници. Паякът работи по следния начин. Роботът изпраща заявката „get/path/document“ и някои други HTTP команди за заявка към сървъра. В отговор роботът получава текстов поток, съдържащ служебна информация и самия документ.

• URL адрес на страницата
• датата на изтегляне на страницата
• http заглавка на отговора на сървъра
• тяло на страницата (html код)

Crawler („пътуващ“ паяк) е програма, която автоматично следва всички връзки, намерени на страницата. Избира всички налични връзки на страницата. Неговата задача е да определи къде следва да отиде паякът въз основа на връзки или въз основа на предварително определен списък с адреси. Crawler, следвайки намерените връзки, търси нови документи, които все още не са известни на търсачката.

Indexer (робот индексатор) е програма, която анализира уеб страници, изтеглени от паяци. Индексаторът анализира страницата на нейните съставни части и ги анализира, използвайки свои собствени лексикални и морфологични алгоритми. Анализират се различни елементи на страницата, като текст, заглавия, връзки, структурни и стилови характеристики, специални сервизни HTML тагове и др.

По този начин модулът за индексиране ви позволява да обхождате даден набор от ресурси с помощта на връзки, да изтегляте открити страници, да извличате връзки към нови страници от получените документи и да извършвате пълен анализ на тези документи.

База данни

Базата данни или индексът на търсачката е система за съхранение на данни, информационен масив, в който се съхраняват специално конвертирани параметри на всички документи, изтеглени и обработени от модула за индексиране.

Сървър за търсене

Сървърът за търсене е най-важният елемент от цялата система, тъй като качеството и скоростта на търсенето пряко зависят от алгоритмите, които са в основата на неговото функциониране.

Сървърът за търсене работи по следния начин:

• Получената от потребителя заявка се подлага на морфологичен анализ. Генерира се информационната среда на всеки документ, съдържащ се в базата данни (която впоследствие ще бъде показана във формуляра, т.е. текстова информация, съответстваща на заявката на страницата с резултати от търсенето).
• Получените данни се подават като входни параметри към специален модул за класиране. Данните се обработват за всички документи, в резултат на което всеки документ има своя собствена оценка, която характеризира уместността на въведената от потребителя заявка и различните компоненти на този документ, съхранявани в индекса на търсачката.
• В зависимост от избора на потребителя, тази оценка може да бъде коригирана чрез допълнителни условия (например така нареченото „разширено търсене“).
• След това се генерира фрагмент, тоест за всеки намерен документ, заглавието, кратко резюме, което най-добре съответства на заявката, и връзка към самия документ се извличат от таблицата с документи и намерените думи се маркират.
• Получените резултати от търсенето се предават на потребителя под формата на SERP (Search Engine Result Page) – страница с резултати от търсенето.

Както можете да видите, всички тези компоненти са тясно свързани помежду си и работят във взаимодействие, образувайки ясен, доста сложен механизъм за работа на системата за търсене, което изисква огромни количества ресурси.

6. Заключение

Сега нека обобщим всичко по-горе.

• Основната цел на всяка търсачка е да достави на хората точно тази информация, която търсят.
• Основни характеристики на търсачките:
  1. Пълнота
  2. точност
  3. Уместност
  4. Скорост на търсене
  5. Видимост
• Първата пълноценна търсачка беше проектът WebCrawler, публикуван през 1994 г.
• Системата за търсене включва следните компоненти:
  1. Модул за индексиране
  2. База данни
  3. Сървър за търсене

Надяваме се, че нашият майсторски клас ще ви позволи да се запознаете по-добре с концепцията за търсачка и да разберете по-добре основните функции, характеристики и принципи на работа на търсачките.

Днес тръгваме на още едно дълго пътешествие по богато украсените пътища на развитието на търсачките ( Яндекс, Яндекс). Мисля, че вътрешният гигант на онлайн търсенето отдавна е нараснал до такова ниво, че не е твърде мързеливо да копаете във всичките му кътчета, помнете как се разви търсачката Yandex и какво беше интересно през всичките години на нейното съществуване.

Освен това получава много посетители от търсачката Yandex. Много от тях напускат чрез контекстна реклама, наскоро поех блога, така че смятам, че тази компания е повече от достойна да се пише голяма публикация за нея.

Ако вземем предвид руския интернет, тогава Yandex е безспорен лидер. В Русия това е първата най-важна търсачка. Има регионални търсачки, нещо като клонове в Беларус, Украйна и Казахстан. Yandex е много популярен сред жителите на тези страни. Това мога да съдя поне по статистика, тъй като много посетители идват от други региони.

В момента Yandex е не само търсачка, но и множество услуги, до които имат достъп абсолютно всички потребители на тази търсачка. Тук можете да намерите информацията, от която се нуждаете, и да навигирате в избора си на дейности за свободното време, да намерите снимки, продукти, да сравните цените, да проверите времето, да общувате в социална мрежа, да гледате телевизия и разписания на транспорта. Има много корпоративни решения. Можете дори да отидете на Narod.ru. Yandex разполага с удобна система, която предоставя функционалност за работа с вашите уебсайтове. Сред последните налични иновации на услугата е, която остана платена доста дълго време, но през декември 2011 г. тази услуга стана достъпна за абсолютно всички.

Мога да разказвам за прекрасните технологии и полезни услуги на Yandex много, много дълго. Ето защо, за по-лесно възприемане на информацията, ще разделя нашето пътуване на компоненти. Ще опиша целия път на търсачката в хронологичен ред по години - от създаването до наши дни.

История на развитието на Yandex

1980-те - 1990-те години

История на развитието на Yandexводи своите корени в вече далечните 80-те години, по времето на СССР. Тогава за първи път в Arcadia започна разработването на софтуер за търсене. Работата е извършена под ръководството на Аркадий Борковски и Аркадий Волож. Това е първото технология за търсенеполучи името "Yandex". А самият сайт Yandex, този, който виждаме днес, се появи през 1996 г. Извършените по това време разработки бяха признати за обещаващи, в резултат на което ръководството на CompTek (продажба на компютри и компоненти) и разработчиците на системи решиха целесъобразността от по-нататъшно развитие на технологията и въвеждането й в масите . В тази връзка беше изготвена концепция за развитие на проекта, насочена към широка аудитория.

Yandex беше официално обявен едва на 23 септември 1997 г. И всъщност в началото това беше едно от подразделенията на CompTek International. Тоест там нямаше никаква независимост. И едва през 2000 г. Yandex стана компанията, която може да се види днес. В смисъл, че компанията вече е станала напълно независима. Независим Yandex.

Между другото, много преди обявяването на търсачката Yandex, компанията излезе с име. Yandex – означава „Езиков индекс“. Ако се преведе от английски, се оказва „Още един индексатор“. Вярно е, че с развитието на търсачката започнаха да се появяват и други интерпретации. Например, ако в английския индекс преведете първата буква (I – Z) от английски на руски, ще получите „Yandex“.

Името "Yandex" е измислено от Иля Сегалович (настоящ директор по технологиите) и Аркадий Волож

Година преди официалното пускане на компанията, на 18 октомври 1996 г., се проведе изложението Netcom'96, на което CompTek представи първите продукти на развиващата се търсачка. Това бяха Yandex.Site и Yandex.Dict. След това, шест месеца по-късно, се появи Yandex.CD - търсене на документи на CD ROM и тогава стартира проектът Yandex.Lib. Това беше библиотека от пакети Yandex, която беше предназначена за вграждане във всякакви приложения и бази данни.

По времето, когато Yandex.ru беше официално представен на обществеността, следното може да се подчертае като интересно:

Оценяване на уместността на документите. По това време Yandex беше доста добър в намирането на копия и изключването им. В същото време бяха търсени документи в различни кодировки

Търсете по точна дума. Яшка знаеше как да търси, като вземе предвид морфологията

Търсене въз основа на разстояние. Yandex може да търси в абзац, като използва точни фрази

Ядрото за оценка на релевантността на страниците функционираше. За всяко искане бяха избрани документи, като се отчита съответствието (уместността) на искането. Освен това при избора на документи за резултатите от търсенето е взета предвид честотата (плътността) на ключовата дума на страницата. Между другото, именно поради несъвършенството (по това време) на този алгоритъм, страници, гъсто натъпкани с ключови думи, практически безсмислени, се появиха в топ резултатите от търсенето.

Също така по време на търсенето са взети предвид разстоянието между думите и това как са разположени думите в документа

Яндекс дизайн на уебсайт

Първият дизайн на уебсайта на Yandex беше доста примитивен и несъвършен. Разработен е от известния Артемий Лебедев. Той изглеждаше така

Между другото, форумът на Yandex отвори врати през същата година. Предназначен за комуникация между потребители на системата и разработчици. Идеята беше добра и форумът заработи нормално. Вярно е, че съществува до 2008 г. След това имаше леко разместване на приоритетите. Доколкото мога да преценя, предпочитание беше социализацията. Yandex също започна активно да развива собствена социална мрежа, въз основа на която се появи настоящият блог, където се публикуват всички съобщения на Yandex и където всъщност потребителите комуникират с разработчиците. Можете сами да видите стария URL адрес на форума ( http://forum.yandex.ru/yandex/) днес пренасочване е известно на всички http://webmaster.ya.ru/.

1998 г

Проектът, който беше стартиран, показа добър потенциал и те продължиха да работят по него. През 1998 г. търсачката беше подобрена и бяха въведени много други функционалности за потребителите. По-специално, стана възможно търсенето на намереното, търсене на подобни документи и много други. Работи се и по дизайна на началната страница на Yandex. Сега тя се е променила малко

Както можете да видите, външно нищо не се е променило много. По-голямата част от техническата работа беше извършена

1999 г

През годината аудиторията на руския дял в Интернет нарасна значително. Заедно с това качеството и технологията на Yandex нараснаха и разработчиците въведоха много подобрения. Търсачката Yandex представи нов бот за търсене, който значително увеличи скоростта на обхождане на документи в мрежата.

Нововъведенията, които засегнаха потребителските части на функционалността, бяха следните:

Вече има възможност за по-конкретно търсене - по анотации, надписи, снимки, заглавия

Въведохме ограничение за търсене на група сайтове

Документите на руски език бяха подчертани отделно

Между другото, през 1999 г. за първи път беше въведено сега добре познатото понятие (тематичен индекс на цитиране). Вярно, тогава беше изчислено доста примитивно. Авторитетът на сайта (известен още като TIC) зависи до голяма степен от броя на сайтовете, които се свързват с интересуващия ни домейн.

Дизайнът на главната страница, между другото, също се промени. Сега стана нещо по-подобно на сегашното

През 1999 г. имаше още едно важно събитие. Тогава се появи безплатен конструктор на уебсайтове, по-известен на всички нас като Narod.ru (безплатен хостинг и услуга за споделяне на файлове). Между другото, този проект все още съществува. Мотото на този проект беше: за 60 секунди.

2000 година

Може би въвеждането на нови услуги позволи на Yandex да достигне фундаментално ново ниво на развитие. С течение на времето търсачката утвърди статута си, което направи възможно значително Всъщност това беше нов проект, а не този, който стартира под егидата на CompTek.

През 1999 г. Аркадий Волож, осъзнавайки перспективите за развитие на проекта, започва да се фокусира само върху популяризирането на Yandex. Но трудността беше, че беше необходимо да се намерят опитни партньори с умения за корпоративно строителство. Единствената трудност беше, че беше необходимо да се намерят партньори, които да инвестират в развитието на проекта, но няма да изискват пълно прехвърляне на управлението под тяхно ръководство.

И такъв партньор се намери. Беше компания ru-Net Holdings. През пролетта на 2000 г. с това дружество е сключен инвестиционен договор. Тук обаче имаше и жертви. Все пак трябваше да се откажа от определен дял от търсачката. Според споразумението компанията получава 1/3 от търсачката. Тоест от този момент нататък Yandex престава да бъде структурно подразделение на CompTek, а се превръща в независима компания, която има свои офиси, собствен мениджмънт, собствен бюджет и т.н. Аркадий Волож стана генерален директор на компанията.

Мисля, че Yandex имаше голям късмет с първия си лидер, защото Волож се оказа не само специалист в намирането на потенциални партньори, но и добър новатор. След началото на независимото „плуване“ в компанията започнаха огромни промени. Персоналът е значително попълнен, а самият ресурс е получил нов ритник от своите лидери.

Общо ru-Net Holdings инвестира около $5 млн. Какво да кажа, сделката се оказа много печеливша, особено като се има предвид факта, че днес търсачката номер едно в RuNet ще струва поне няколкостотин милиона долара. Това е най-консервативната оценка.

2000 г. също беше значима поради това, че през тази година мултипорталността на Yandex започна да се появява по-ясно, тъй като започнаха да се появяват много услуги, които не бяха пряко свързани с търсенето. Такива услуги бяха Yandex.News, Yandex.Mail, Postcards и лентата за търсене в ya.ru. Освен това имаше много услуги, които впоследствие се сляха, превръщайки се в това, което днес познаваме като Yandex.Market. В допълнение, друга значима иновация беше въвеждането на специализиран софтуер за интеграция в браузърите на потребителите - Yandex Bar.

2001 година

Тази година беше повратна точка, тъй като през 2001 г. Yandex стана лидер на Runet по отношение на трафика. Освен това количеството информация, съхранявана на сървърите на компанията, също се е увеличило. Размерът му беше 1 терабайт. Между другото, Yandex.Images също се появи тази година. Освен това се появи системата за електронни плащания Yandex.Money

В допълнение, дизайнът на началната страница на Yandex е значително подобрен. Ето връзки към нови услуги и новини. Можем да кажем, че като цяло очертанията на днешния Yandex вече се появиха

2002 г

Тази година разработчиците работят активно за подобряване на комуникационната услуга - Yandex.Mail. Много се работи за филтриране на кореспонденцията. 2002 г. беше годината на сливането на три услуги - Продукти, Гуру и Избор в едно - Yandex.Market. Между другото, сами виждате, че тази услуга е много актуална и днес. Може би за първи път през всички години на инвестиране през 2002 г. се появи цел - постигане на самодостатъчност. Беше необходимо да се разработи стратегическа система за монетизиране на проекта. При това такава, която да носи стабилни и големи печалби в бъдеще. Той се превърна в такъв модел и именно приходите, които компанията започна да получава от този рекламен модел, направиха възможно постигането на самодостатъчност много по-рано от очакваното. Следователно можем да кажем, че 2002 г. беше повратна точка по отношение на навлизането в бизнес-ориентиран модел, който освен това вече даде своите резултати.

2003 г

Тази година продължи активната работа по услугата Yandex.Mail. Тук бяха въведени следващите мащабни промени, засягащи всички потребители на системата. Разбира се, Ya.Mail стана по-функционален и удобен. Гледайки напред, искам да кажа, че в бъдеще услугата също се развива много активно и нейните потребители са виждали много нови интересни функции повече от веднъж. По-специално, потребителите получиха неограничен размер на пощенската кутия и нов спам филтър „Защита от спам“. През 2003 г. дизайнът на Yandex беше актуализиран отново.

Между другото, всеки дизайн съответства на определена версия. Версията на дизайна от 2003 г. беше осмата поред и изглеждаше така

Всяко издание на нова версия на дизайна първоначално преминава през период на бета тестване. И ако преди това бета тестовете се провеждаха в затворен режим, то този път, по време на двуседмично пробно тестване на новия интерфейс, всеки можеше да получи достъп до новия интерфейс. Вярно, година по-късно основната отново беше модернизирана, но по-успешно. И в този вид съществува до 2007 г.

Дори по това време Yandex вече беше доста реномирана компания, тъй като още през 2003 г. търсачката Yandex беше успешно внедрена в президентския уебсайт. През есента на 2003 г. разработчиците пуснаха следващите продуктови актуализации: Yandex.Publisher, Yandex.Server (Yandex.Server), които станаха наследството на Yandex.Site.

2004 г

Бизнес моделът, зает от търсачката номер едно в RuNet, работи много добре, в резултат на което печалбата, получена от компанията през 2004 г., вече възлиза на десетки милиони долари. Това даде тласък на развитието на нови услуги, например услуга за търсене на карта, блогове и форуми. 2004 г. е забележителна и с факта, че тогава на руския пазар се появи сериозен конкурент в лицето на Google. Имаше спешна нужда да влезе в борбата за лидерство, в резултат на което ръководството на Yandex реши да увеличи персонала си десетократно. Първоначално бяха 200, след актуализиране на персонала имаше 2000 служители. Но най-важното е, че след обновяването на персонала нищо не се промени към по-лошо. Традициите останаха, технологиите също бяха актуални. И като цяло можем да кажем, че Яша не се е превърнал в суха корпорация.

Битката на технологиите: Yandex срещу Google

2005 година

Тази година премина под мотото за географско разширяване на представителството на компанията. Защото се появи украинското представителство на Yandex - Yandex.Ukraine. Между другото, директорът на това представителство е Сергей Петренко, основателят на известното търсене и автор на интересния блог BloGnot

2005 година също беше знаменателна, защото отвори любимата ми. Това е услуга, базирана на принципа „kolotibablo webmaster“, а на руски това е услуга, която позволява на уеб администраторите да поставят реклами на своите сайтове.

През същата година се появяват Yandex.Dictionaries. Промени настъпиха и в услугата Yandex.Money. Сега всички потребители имат възможност да управляват своя акаунт чрез онлайн портфейл.

2006 г

Тази година ще бъде запомнена с появата на вече добре познатата услуга blogs.yandex.ru. Това е един вид маркетингов инструмент. Позволява ми да изучавам общественото мнение, рецензии в блогове и форуми. Yandex.Maps представи инструмент за показване на задръстванията.

От 2006 до 2010 г. Yandex се намираше в стар офис на улица Самокатная в Москва

Както можете да видите, преди това те бяха малко тесни. Това не е сега, огромна сграда за 2000 служители.

През 2006 г. имаше още едно интересно събитие - първият отдалечен офис за разработка беше открит в Санкт Петербург. Тогава, разбира се, мащабът все още не беше същият. Това не е като днес Yandex има 11 офиса в Русия, Украйна, Турция и дори Калифорния. Офисите варират според вида на дейността. Има офиси, които се занимават с разработка, офиси за продажби, офиси, които работят в областта на локализацията на продукта

2007 г

Тази година имаше събития, които са по-фокусирани върху уебмастърите. По-специално се появи услугата Yandex.Photos. Но за мен, като уеб администратор, по-интересно събитие е появата на услугата Yandex.Metrica. Вярно е, че по това време това беше напълно груба услуга и не беше насочена към уебмастъри, а към рекламодателите на Yandex.Direct. През същата година беше открито украинско представителство - Yandex.ua. Днес, според LiveInternet, почти 14% от рускоезичния трафик идва от yandex.ua

Също през 2007 г. стартира проект, познат на всички уебмастъри, който вероятно само мързеливи хора не използват сега

2008 г

Можем да кажем, че тази година сферата на влияние на Yandex се увеличи толкова много, че беше решено да се отвори клон на търсачката в САЩ, Калифорния. В същото време бяха направени значителни допълнения към алгоритмите. По-специално започнаха да се поддържат международни стандарти Sitemap, MediaRSS и др.Тоест, както можете да видите, областите на интерес надхвърлиха RuNet. Търсачката номер едно в RuNet вече се превърна в англоезични сайтове. Преди това проблемът беше, че местната търсачка не поддържаше международни стандарти и следователно имаше проблем с индексирането на сайтове от burzhunet, но след надстройката през 2008 г. този проблем беше решен. И след това логото на Yandex започна да се изписва изцяло на руски език.

2009 година

Тази година беше знаменателна, защото преди това нямаше разделение на търсенето по региони. Тоест, преди въвеждането на този алгоритъм, той е изграден на принципите на еднообразието. Например, въвеждате заявката „“ в лентата за търсене в Москва и Новосибирск и получавате същите резултати. Сега всичко се промени. И резултатите, базирани на принципа на геозависимостта, се смесват в резултатите от търсенето. Казано по-просто, ако търсите с Yandex в Москва и Новосибирск, резултатите ще бъдат различни.

През 2009 г. работата продължи в предварително избраното западно направление. По-специално беше тествана услуга, която се използва за превод на чужди сайтове. След това тази услуга се разви и през 2011 г. стана известна като Yandex.Translation.

Също толкова важно събитие беше въвеждането на нов метод за машинно обучение - Matrixnet. Тази технология използва различни модели като оценка и взема предвид различни фактори за класиране. Но основното е, че технологията се самообучава. При оценката на оценителите се оценяват само реални модели и откриването на несъществуващи е напълно изключено.

Революционният характер на тази технология се крие във факта, че Matrixnet използва невероятно сложна формула за класиране, която взема предвид огромен брой фактори. Това, от една страна, ви позволява да постигнете по-добри резултати от търсенето, но от друга страна, няма да позволи на уеб администраторите да разберат този модел и следователно да го повлияят в свой собствен интерес.

Повече подробности за matrixnet технологията:

2010 г

Старият офис на улица Самокатная е нещо от миналото и цялата компания се премести в нови имения. Всъщност това се превърна в основното събитие на 2010 г