f3fUeUJH

1Обучение
2
3Чтобы получить доступ к реальным заданиям, необходимо пройти обучение и сдать экзамен. Этот процесс разделён на четыре этапа.
4
5    Уроки. Они дают общее представление о правилах оценки релевантности документов поисковым запросам.
6    Тренировка. Перед экзаменом вы сможете попрактиковаться в оценке ответов. В случае неверных ответов на этом этапе показываются подсказки. Тренировка состоит из 13 наборов заданий.
7    Экзамен. Продемонстрируйте приобретённый навык, выполнив 5 наборов заданий. На экзамене подсказок уже не будет. В случае успешного прохождения этого этапа вы получите доступ к выполнению реальных заданий.
8    Если вы хотите выполнять задания по оценке результатов поиска на мобильных, нужно будет пройти дополнительные тренировку и экзамен, которые доступны в приложении Яндекс.Толока. Объём учебных и проверочных заданий будет уже меньше, чем на втором и третьем этапах. Для доступа к обычным заданиям эту часть обучения проходить необязательно.
9
10 
11
12Пропускать этапы нельзя. В уроках разобраны основные принципы оценки. После каждого урока нужно ответить на несколько вопросов. Для успешного завершения этапа необходимо выполнить все предложенные задания, после чего вы получите навык «Вводный курс по оценке релевантности веб-страниц». Чтобы перейти к следующему этапу, ваш навык должен быть не меньше 62. Навык не будет выдан, если при выполнении будет пропущена часть заданий или если они будут выполнены некачественно.
13
14Обратите внимание: задания, которые вы выполняете на этапе уроков, не оплачиваются.
15
16 
17
18РУКОВОДСТВО ПО ОЦЕНКЕ
19
20Помимо текста запроса и результатов поиска, в каждом задании вы увидите информацию о городе и стране, из которых он был задан. Последнее может быть очень важно. Например, если человек ищет магазин в своём городе, а в ответ ему предлагают сайт магазина с таким же названием, но в другом городе, это плохой, нерелевантный ответ. В заданиях с запросами, заданными с мобильных устройств, также указывается операционная система устройства.
21
22 
23
24Описание градации оценок
25
26 
27
28ВИТАЛЬНЫЙ
29
30Первоисточник или официальный источник искомой информации. Например, при поиске организации витальным ответом будет её официальный сайт. При поиске закона — страница с текстом закона на государственном портале. Если объект поиска — знаменитая личность, витальным ответом могут быть не только официальный сайт, но и официальные страницы в соцсетях.
31
32Если в запросе указан конкретный раздел сайта, на который хочет попасть пользователь, витальным ответом будет внутренний раздел искомого сайта. 
33
34Для многих запросов — [лучшие комедии], [как правильно отжиматься], [что почитать в отпуске] — витальных ответов в принципе не существует.
35
36Примеры:
37
38[фейсбук] - https://ru-ru.facebook.com/  — поиск конкретного сайта.
39
40[fishki net] - http://fishki.net/  — поиск конкретного сайта.
41
42[почта россии] - http://www.russianpost.ru — поиск организации, найден ее официальный сайт
43
44[гисметео погода] (Москва) - https://www.gismeteo.ru/city/daily/4368/  — поиск ответа на конкретном сайте.
45
46[эльдорадо мультиварки] - http://www.eldorado.ru/cat/2300694/ — поиск ответа на конкретном сайте.
47
48[htc m9] - http://www.htc.com/ru/smartphones/htc-one-m9/ — страница телефона на официальном сайте производителя.
49
50[действующие налоги] (Москва) - http://www.nalog.ru/rn77/taxation/taxes/  — официальный ответ на запрос.
51
52[лента ру] - https://www.facebook.com/lentaru — официальная страница издания в Фейсбуке.
53
54[лунтик] -  https://www.youtube.com/user/luntik — собственный канал мультфильма на узнаваемом, авторитетном ресурсе. Можно посмотреть все вышедшие серии. Очень хороший ответ на запрос.
55
56[молодежная карта сбербанка] - http://www.sberbank.ru/ru/person/sberbank-youth/youth_debet_card?utm_source=yandex&utm_medium=cpc&utm_campaign=debet_frk_youth_sep_oct_2017_context_search_brand_2_msk_desk&utm_term=карта%20сбербанк&utm_id=ic|30559218|2974851094|4870905068|11218463405||search|premium&yclid=5787363200596708425 – Вит. Искомая страница на официальном ресурсе.
57
58
59Но:
60
61[погода] (Москва) - https://pogoda.yandex.ru/moscow — невитальный ответ (можно оценить полезным за качество), т.к. по запросу погоды не существует официального ответа.
62
63[фото футбольный клуб цска] - http://pfc-cska.com/media/photo/  — невитальный ответ (можно оценить полезным за качество), т.к. у фотографий команды не может быть единого официального источника.
64
65[htc m9] - http://www.htc.com/ru/  — невитальный ответ, т.к. нужный ответ содержится в отдельном разделе сайта.
66
67[почта россии] - http://www.russianpost.ru/rp/servise/ru/home/postuslug  — невитальный ответ, т.к. нужна главная страница сайта организации.
68
69Особенности оценки «Витальный»:
70
711) Витальных ответов может быть несколько, как в рамках одного сайта, так и на разных ресурсах:
72
73[Рено Меган] (Нижний Новгород)
74Общей странички со всеми моделями Renault Megane нет, поэтому витальны несколько страниц, каждая про свою модель:
75https://www.renault.ru/vehicles/range/megane-hatchback.html — Витальна
76https://www.renault.ru/vehicles/range/megane-rs.html — Витальна
77
78[танки игра] (Санкт-Петербург)
79http://tankionline.com/ru/ — Витальный
80http://worldoftanks.ru  — Витальный
81Обе игры очень популярны и мы не можем выделить какую-то одну. Оцениваем обе как витальные. В то же время любые другие игры про танки получат оценку Релевантный+ (они не столь популярны)
82
832) если у сайта существует несколько региональных версий, оценки «Витальный» заслуживают только версия для региона пользователя и глобальный сайт:
84
85[google] (Пермь)
86https://www.google.ru — Витален (сайт для России)
87https://google.com — Витален (общемировой сайт)
88https://google.am — НЕ витален (сайт для Армении)
89
903) Витальной может быть внутренняя страница сайта, если именно она больше всего подходит под запрос:
91
92[авито недвижимость] (Москва)
93https://www.avito.ru/moskva/nedvizhimost — Витален
94https://www.avito.ru — НЕ витален
95
964) Витальный сайт может быть не очень удобен в использовании или содержать не очень много информации, однако он все равно получит оценку «Витальный» за официальность:
97
98[горайская школа] (Остров)
99http://goraischool.narod.ru/ — сайт давно не обновлялся, имеет подпись «в разработке», но не перестаёт быть официальным источником информации.
100
101 
102
103 
104
105ПОЛЕЗНЫЙ
106
107Очень хороший ответ, который вы хотели бы выделить среди остальных подходящих ответов. Такая страница выгодно отличается качеством раскрытия темы запроса, авторитетностью или достоверностью источника информации, значительным удобством сравнительно с другими ответами. Такую страницу хочется увидеть выше ответов, которым вы поставили бы оценку «Релевантный +».
108
109Примеры:
110
111[Blank Space Taylor Swift] - https://www.youtube.com/watch?v=e-ORhEE9VVg — клип на песню на узнаваемом, авторитетном ресурсе. Очень хороший ответ на запрос.
112
113[погода] (Рязань) - https://www.gismeteo.ru/city/daily/4394/ — исчерпывающий для региона пользователя прогноз погоды на авторитетном ресурсе. Очень хороший ответ.
114
115[юпитер] - https://ru.wikipedia.org/wiki/%DE%EF%E8%F2%E5%F0 — развернутый энциклопедический ответ на авторитетном ресурсе. Для такого запроса справочная информация востребована. Очень хороший ответ.
116
117[безумный макс 2015] - http://www.kinopoisk.ru/film/453406/  — запрос не уточняет цель пользователя, но, вероятнее всего, пользователь хотел либо посмотреть/скачать, либо ознакомиться с материалами про фильм. Страница очень хорошо отвечает на последнюю.
118
119[переводчик] - https://translate.google.ru/  — подходящий сервис. Сервис очень популярен и удобен. Очень хороший ответ.
120
121[дом 2] - http://dom2.ru/videos — подборка всех видео шоу на официальном сайте. Наполненность ответа и авторитетность сайта позволяет поставить оценку Полезный.
122
123Оценку «Полезный» не нужно ставить:
124
125– отдельным магазинам (может быть поставлена только удобному и хорошему агрегатору);
126– сайтам, на которых очень много рекламы (даже если сайт популярный);
127– только за размер документа: большое количество контента не всегда означает его высокое качество.
128
129Примеры:
130
131[Blank Space Taylor Swift] - http://muzofon.tv/search/taylor+swift+blank+space — НЕ полезный. Здесь есть искомая песня, однако на сайте много рекламы, и он не очень удобен для быстрого поиска по странице.
132
133[купить телефон samsung] - http://www.svyaznoy.ru/catalog/phone/224/samsung — НЕ полезный. Страничка удобна, однако это сайт отдельного магазина и на ней нет возможности узнать о предложениях других магазинов, которые могут быть выгоднее.
134
135[пушкин био] - http://www.aspushkin.ru/pbiography — НЕ Полезный. Статья соответствует запросу, однако она не очень обширная и ничем не выделяется на фоне других релевантных ответов.
136
137 
138
139 
140
141РЕЛЕВАНТНЫЙ+
142
143Нормальный, удовлетворительный ответ. Весьма вероятно, что пользователь посчитает его достаточным и не станет продолжать поиск по запросу. Если у запроса несколько одинаково важных целей поиска, то такой документ дает достаточный ответ как минимум на одну из них.
144
145Примеры:
146
147[троксевазин] - http://www.polismed.ru/drug-troxevazin-post001.html  — запрос не уточняет цель пользователя, но, вероятнее всего, пользователь ищет возможность купить медицинский препарат, интересуется его описанием, хочет найти инструкцию или отзывы. На странице есть подробная инструкция, это хороший ответ на одну из основных потребностей пользователя.
148
149[убить билла] - http://www.tvcok.ru/film/ubit-billa.html  — одна из частей нужного фильма.
150
151[sony xperia z3] - http://www.petromap.ru/market/ModelOpinions/91491/11028534 — запрос не уточняет цель пользователя, поэтому отзывы об искомом товаре достаточно хороший ответ.
152
153[аптеки] (Рязань) - http://www.spray-ryazan.ru/  — одна из аптек в городе пользователя, в которую он может обратиться. Собственный сайт аптеки достаточно хороший ответ на запрос.
154
155[нюша только не беги] - http://www.pesni.net/text/Nyusha/Tolko-ne-begi-tolko-ne-molchi  — одна из возможных потребностей пользователя по такому запросу.
156
157[титаник] - http://filmix.net/dramy/2979-titanik.html  — фильм «Титаник» также востребован наряду с документальными материалами об историческом событии.
158
159[лук] - http://domfaktov.ru/poznavatelno/armija-i-flot/strelkovoe-oruzhie/istorija-proishozhdenija-luka.html  — у запроса есть несколько востребованных значений. Лук как вид оружия — одно из них. Ответ достаточный подробный.
160
161[расписание поездов] (Рязань) - http://www.062.ru/?spravki — расписание для города пользователя. Хороший ответ.
162
163[INDESIT BIA 20] (Москва) - http://www.eldorado.ru/cat/detail/71079353/?category=1545024 — предложение модели холодильника. В городе пользователя есть магазины сети, где можно его приобрести. Хороший ответ.
164
165[PocketBook 624] (Коломна) - http://www.laptopscope.ru/gadgets/PocketBook-624-PB624DRU.htm — предложение нужного устройства. Товар доставляется в город пользователя, а значит предложением можно воспользоваться.
166
167[рассольник с перловкой] - http://womanadvice.ru/kak-gotovit-rassolnik-s-perlovkoy  — достаточно подробный рецепт блюда. Хороший ответ.
168
169[никола тесла] - http://refoteka.ru/r-165771.html — достаточно подробный реферат об ученом. Хороший справочный ответ.  
170
171[весна обои на рабочий стол] -  http://million-wallpapers.ru/cat/345/page/1/best/  — сайт предлагает достаточно большую подборку тематических обоев. Хороший ответ.
172
173[глубина тихого океана] (Москва) - http://knowledge.allbest.ru/geography/2c0b65625b3bd68a4d43b89521206c27_0.html — в документе можно найти достаточное количество данных о глубине океана.
174
175НО:
176
177[фейсбук] - https://ru.wikipedia.org/wiki/Facebook  — подробная справочная информация об искомой соцсети. Достаточно развернутый ответ, но потребность пользователя в такого рода информации не очень большая, поэтому он НЕ полезный.
178
179 
180
181 
182
183РЕЛЕВАНТНЫЙ-
184
185Недостаточно хороший ответ на запрос, содержащий при этом небесполезную информацию. После ознакомления с таким документом пользователь, вероятнее всего, продолжит поиск других ответов на запрос. Оценку «Релевантный-» стоит поставить, если:
186
1871) документ содержит частичный или неполный ответ. Сюда относятся:
188
189– неполный ответ ([ооо ромашка] – краткая визитка, только адрес и телефон);
190
191– расширение запроса (например, если в ответ на запрос [игры имхонет] предлагается главная страница сайта imhonet.ru, на котором есть не только игры);
192
193– сужение запроса (например, только один рецепт в ответ на запрос [рецепты на каждый день]) 
194
1952) документ отвечает на маловероятную трактовку запроса, маловероятную потребность:
196
197– по запросу [контакт] страница про фильм «Контакт»;
198
199– по запросу о покупке страница на сайте магазина из другого региона, с платной доставкой.
200
201Примеры:
202
203[реферат экономика] (Москва) - http://www.bestreferat.ru/referat-217.html  — реферат посвящен частному вопросу, в то время как есть множество других материалов по теме запроса. Это неполный ответ.
204
205[том круз] (Ярославль) - http://www.kino-teatr.ru/kino/movie/hollywood/103198/annot/ — описание фильма с актером в главной роли. Неполный ответ по запросу актера, но дает некоторое представление о его фильмографии.
206
207[Adobe Photoshop CS 6] (Рязань) - http://portrait-photography.ru/photoshop-lesson-1-cs6/ — только один вводный урок, которого явно недостаточно для хорошего наполненного ответа. Нужна либо подборка различных уроков, либо сама программа.
208
209[какие деревья имеют сережки] (Москва) - http://biofile.ru/bio/16680.html — есть упоминание нужного дерева, но это неполный ответ, т.к. есть множество других видов деревьев с сережками.
210
211[касперский антивирус скачать торрент] (Калуга) - http://www.kaspersky.ua/anti-virus — торрент скачать нельзя, но есть альтернативный способ скачивания. Косвенный ответ.
212
213[паб James Cook] (Санкт-Петербург) - http://spb.spravker.ru/restorany-kafe-bary/james-cook-pub3.htm — визитка содержит только контактные данные и метку на карте. Недостаточно полный ответ.
214
215[контакт] (Москва) - http://www.kinopoisk.ru/film/1950/ — второстепенное значение запроса. В первую очередь, по запросу ищут социальную сеть, однако небольшая часть пользователей могла искать этот фильм.
216
217[steam] (Москва) - http://3000slov.ru/%E0%ED%E3%EB%E8%E9%F1%EA%E8%E5%20%F1%EB%EE%E2%E0/steam%20-%20%EF%E5%F0%E5%E2%E5%F1%F2%E8,%20%EF%F0%EE%F1%EB%F3%F8%E0%F2%FC,%20%F1%E8%ED%EE%ED%E8%EC%FB,%20%E7%ED%E0%F7%E5%ED%E8%FF — второстепенное значение запроса. В первую очередь, по запросу необходим сервис игровой дистрибуции steampowered.com, однако небольшая часть пользователей могла искать перевод английского слова.
218
219[сбербанк ру] (Москва) -  http://www.sberbank.ru/ru/person/paymentsandremittances/remittance/out#beznal_int  — нерелевантный раздел нужного сайта.
220
221[Генрих Герц] (Владимир) -  http://www.epochtimes.com.ua/ru/science/persons/nauchn-e-otkr-tyja-19-veka-93382.html?ZrxemnPCKZh=FSXIcT2hJeruG0OgFCRl5qC5GteyvGCk — в документе есть упоминания о деятельности ученого, но не достаточные для полного ответа.
222
223 
224
225 
226
227НЕРЕЛЕВАНТНЫЙ
228
229Документ не отвечает на запрос. Этой оценки заслуживают документы, полностью бесполезные для пользователя:
230
231– страница на совершенно постороннюю тему;
232
233– страница отчасти по теме запроса, но ничем не помогающая решить задачу пользователя;
234
235– страница из «неправильного» региона (если запрос локализуемый или локально-специфический);
236
237– полностью устаревшая страница;
238
239– страница содержит только ссылку на нужный материал и ничего более;
240
241– страница поддельная (при этом претендующая на официальную) или мошенническая;
242
243– страница на непонятном для пользователя языке.
244
245Примеры:
246
247[погода] (Москва) - https://pogoda.mail.ru/prognoz/moskva/may-2015/  — прогноз полностью устарел, месяц завершен.
248
249[фейсбук] (Москва) - http://shopforbux.ru/2419-facebook-anonsiroval-servis-aroli-k-prilojeniyam.html  — новость безнадежно устарела и уже бесполезна.
250
251[ИЛИ sql] (Москва) - http://forums.kuban.ru/f1040/perehod_na_sql_ili_chto-toeshe-2222409.html?hHhDaC4GQpe=FZ%2B53T9FFIhhOs%2FLwbqFfAsEuhYadAPs — неверное толкование запроса, на самом деле пользователю нужны материалы о логическом операторе ИЛИ в языке SQL.
252
253[создание сайта цена] (Омск) - http://omsk.realty.dmir.ru/prices/ceny-na-kvartiry-v-omske/ — совсем мимо.
254
255[рок-н-рол] (Санкт-Петербург) - http://nik-rock-n-roll.livejournal.com/ — скорее всего, пользователь хотел найти что-то про музыкальный жанр, а не страницу конкретного человека.
256
257[мтс] (Омск) - http://www.nsk.mts.ru/ — сайт оператора для другого региона. Пользователю из Омска такой ответ бесполезен, так как он может содержать важные различия в предлагаемых условиях (например, в тарифах). Хорошим ответом будет версия сайта для Омска.
258
259[скачать rome 2] (Рязань) - http://stopgame.ru/review/total_war_rome_2/review.html — страница посвящена игре, но ничем не помогает пользователю, который ищет возможность скачать ее.
260
261[приколы видео] (Пермь) - http://24kadra.net/?p=192 — сайт прекратил свое существование, теперь вместо него показывается объявление о продаже домена.
262
263[отели барселона] (Москва) - http://www.wimdu.es/barcelona — сайт на испанском языке, пользователю будет сложно изучить его.
264
265 
266
267 
268
269НЕ ОТОБРАЖАЕТСЯ
270
271Страницу по какой-либо причине невозможно открыть. Например, сайт временно недоступен, страница сайта удалена, содержание документа доступно только авторизованным пользователям и т.п.
272
273Важно учесть, что если по скриншоту оценить страницу невозможно, и одновременно оригинал страницы также не функционирует, верная оценка «Не отображается».
274
275Примеры:
276
277[APC SUA1000RMI1U] (Москва) - http://astrade.by/product/ibp-apc-sua1000rmi1u-smart-ups-38/ — сайт недоступен.
278
279[время саратов] (Москва) - http://часовой-пояс.рф/time-saratov.htm  — страница с нужным контентом на сайте недоступна.
280
281 
282
283 
284
285Что ещё может влиять на оценку
286
287 
288
289РЕГИОН
290
291Пользовательские запросы делятся на три категории:
292
293– нелокализуемые;
294– локализуемые;
295– локально-специфические (это когда регион указан в запросе).
296
297Нелокализуемые запросы — это те, релевантность ответов на которые не зависит от региона пользователя. Среди таких запросов:
298
299- поиск сайтов ([yandex.ru], [фейсбук]);
300
301- информационные запросы, ответ на которые от региона не зависит ([скорость звука это сколько], [кто и когда основал Петербург]);
302
303- поиск уникального или наиболее известного из одноименных объектов из любого региона ([русский музей], [эйфелева башня]).
304
305Локализуемые запросы — это те, при оценке которых необходимо учитывать, откуда они были заданы. Ответы из другого региона могут не подойти пользователю. Примеры:
306
307- поиск товаров, услуг, а также информации о них ([купить айфон], [сделать модную стрижку], [цены на новый туарег]);
308
309- запросы про законодательство, органы власти, государственные учреждения без указания страны/города ([налоговая], [размер штрафа за неправильную парковку]);
310
311- поиск организаций ([полиграфический колледж], [музеи]);
312
313- информационные запросы, ответ на которые очевидно регионозависим ([курсы валют], [погода], [новости]).
314
315Локально-специфические запросы — те запросы, где интересующий регион указан непосредственно в самом запросе. Это значит, что пользователю нужны ответы именно для этого региона, пусть даже запрос задан из другого. Например:
316
317[погода в Минске] (Москва) — нужны только страницы про погоду в Минске;
318
319[птичий рынок в Нижнем] (Владимир) — нужна только информация про птичьи рынки в Нижнем Новгороде;
320
321[налоговый кодекс Франции] (Пермь) — нужна только информация по налоговому кодексу Франции.
322
323Уровень локализуемости
324
325В зависимости от запроса может требоваться разная степень локализации ответа:
326
327– локализация по стране: запросы про законодательство, уникальные объекты масштаба страны ([президент], [столица]);
328
329– локализация по городу: запросы про товары, услуги, местное законодательство и прочие подобные сущности ([магазины мвидео]);
330
331– более мелкая локализация: только в локально-специфических запросах ([ветеринар в измайлово] (Москва)).
332
333Примеры:
334
335[такси] (Рязань) - http://www.taxi-maxim.ru/ — служба такси в Москве едва ли подойдет пользователю в Рязани. Бесполезный, нерелевантный ответ.
336
337[метро Санкт-Петербург] (Москва)  - http://www.metromap.ru/spb/  — пользователь уточнил, в каком городе ищет материалы о метро, и получил нужный ответ. Очевидно, ответы о метро в других городах были бы бесполезны. За общее качество ответа можно оценить его как полезный. 
338
339 
340
341
342ЯЗЫК ЗАПРОСА
343
344Мы предполагаем, что пользователи из всех стран знают свой национальный язык и английский. Кроме этого пользователи из Казахстана, Украины и Беларуси также знают русский язык.
345
346Для запросов на национальном языке будут релевантны ответы на национальном и русском языке, а также на английском (с понижением оценки).
347
348Для запросов на английском языке будут релевантны ответы на английском, национальном и русском языках.
349
350При этом "смешанные" запросы (со словами и национального, и английского языка) тоже считаются запросами на национальном языке. Ответы на других языках нерелевантны.
351
352Если в запросе явно указано, страницы на каком языке хочет видеть пользователь, страницы именно на этом языке релевантны, на остальных – нет.
353
354Примеры:
355
356[русский] регион Россия – русский Релевантный+, английский Релевантный-, украинский Нерелевантный
357
358[русский] регион Украина – русский Релевантный+, украинский Релевантный+, английский Релевантный-, немецкий Нерелевантный
359
360[украинский] регион Украина – украинский Релевантный+, русский Релевантный+, английский Релевантный-, турецкий Нерелевантный
361
362[украинский] регион Россия – украинский Релевантный+, русский Релевантный+, английский Релевантный-, турецкий Нерелевантный
363
364[английский+украинский] регион Украина – украинский Релевантный+, русский Релевантный+, английский Релевантный-, французский Нерелевантный
365
366[английский] из любого региона (Россия, Украина, Казахстан, Беларусь) – английский Релевантный+, национальный Релевантный+, итальянский Нерелевантный.
367
368Если страница на английском или любом другом языке содержит контент, воспользоваться которым можно не зная этого языка, считаем такую страницу не бесполезной для пользователя.
369Обратите внимание, страница может получить положительную оценку только в случае, если ее наполнение соответствует запросу пользователя.
370
371 
372
373АКТУАЛЬНОСТЬ ИНФОРМАЦИИ
374
375В ответ на некоторые запросы важно показывать свежий контент. Устаревшие ответы могут оказаться менее полезными или даже ввести в заблуждение. Например, актуальность важна для следующих категорий запросов:
376– новостные запросы: [новости] (полезны только свежие новости), [погода] (нужны самые актуальные данные), [киноафиша] (как правило, пользователи ищут информацию на самые ближайшие дни)
377– запросы про повторяющиеся мероприятия: [фестиваль нашествие] (более востребована будет информация о последнем на данный момент, либо грядущем мероприятии)
378– запросы о программах без указания версии: [скачать openoffice] (более востребована будет самая свежая версия программы)
379– запросы о законодательных нормах: [размер МРОТ] (в первую очередь нужны последние документы о соответствующих нормативах)
380
381Примеры:
382
383[лига чемпионов] (Москва) - http://www.europabet.ru/index.php?cmd=news&id=1047&page=56 — новость представляла небольшой интерес в преддверии матча в 2012 году, но сейчас она уже полностью бесполезна, следовательно ответ нерелевантен.
384
385[гугл] (Москва) - http://blog.i-oblako.ru/2012/07/google-google-apps-google-drive.html — новость представляла определенный интерес в момент публикации, но сейчас сведения уже полностью устарели — ответ нерелевантен.
386
387Значимость новостей
388
389Даже полностью актуальные документы могут получить разную оценку по релевантности. Как и всегда, она будет зависеть от фактической полезности страницы. Вот, например, результаты поиска по запросу [новости политики]:
390
391http://www.rbc.ru/politics/11/01/2017/58761fb29a7947e30ab3ee14 — новость о значимом и громком событии — ставим оценку Релевантный+
392
393http://www.rbc.ru/rbcfreenews/5877a7829a794773fc8baa7a — новость о введении нового пакета санкций скоро устареет, в долгосрочной перспективе интересен, скорее, их полный перечень. Релевантный-.
394
395http://www.rbc.ru/politics/ — такая страница, вне зависимости от того, насколько значимые на ней новости сегодня, получит оценку Полезный, т.к. ежедневно обновляется и предлагает самый свежий контент по теме, при этом ресурс известен и авторитетен.
396
397Особенности устаревания
398
3991) Адреса страницы могут быть привязаны к дате — в таком они устаревают почти мгновенно, поэтому их следует оценивать низко.
400
401[погода сегодня] (Москва) - https://pogoda.mail.ru/prognoz/moskva/12-january/ – нерелевантный ответ. Данные устареют уже завтра, хотя сегодня и выглядят как хороший ответ.
402
4032) И наоборот, бывают страницы с динамическим контентом, то есть такие, которые регулярно обновляются — они заслуживают высокой оценки.
404
405[погода сегодня] (Москва) - http://msk.nuipogoda.ru/ — содержимое обновляется каждый день, адрес страницы не привязан к дате. За дополнительное удобство сайт может получить оценку Полезный.
406
4073)  Новость про какое-то событие может быть частично полезна, даже когда содержащаяся в ней информация перестаёт быть, собственно, новостью. В таком случае она получит оценку Релевантный-:
408
409[как зовут продюсера верки сердючки], http://www.livestory.com.ua/culture/2009/04/22/141923.html — хотя эта новость сама по себе уже не представляет большого интереса, ответ за вопрос в ее тексте содержится.
410
4114) Даже если запрос в основном подразумевает актуальную информацию, по нему все равно может существовать неустаревающий контент, который получит положительную оценку:
412
413[фестиваль нашествие], https://ru.wikipedia.org/wiki/%D0%9D%D0%B0%D1%88%D0%B5%D1%81%D1%82%D0%B2%D0%B8%D0%B5 — страница с историей фестиваля может быть оценена как Полезная, так как эта информация не теряет актуальности для пользователя.
414
415 
416
417 
418
419ПОЛНОТА
420
421Некоторые запросы подразумевают поиск целой группы объектов.
422
423Примеры:
424
425[породы собак фото] (Смоленск) - http://dogsecrets.ru/nemeczkaya-ovcharka/107-nemeczkaya-ovcharka-foto.html — эта страница заслуживает оценки Релевантный-. Для хорошего ответа следовало бы показать подборку фотографий различных пород, но документ предлагает только одну породу. Это неполный ответ.
426
427[печенье рецепт] (Москва) - http://alimero.ru/blog/recepti/pechene-s-koritsey.9859.html  — хотя запрос сформулирован в единственном числе, пользователь наверняка хочет получить несколько рецептов, чтобы было из чего выбрать. Хорошим ответом была бы страница с подборкой рецептов. Документ предлагает только один рецепт — это неполный ответ, Релевантный-.
428
429 
430
431 
432
433СПЕЦИФИКА ПОИСКА С МОБИЛЬНЫХ УСТРОЙСТВ
434
435В целом оценка релевантности ответов на запросы, заданные с мобильных устройств, подчиняется тем же правилам. Однако существует ряд тонкостей, связанных с отображением или доступностью контента на мобильных.
436
437Важным фактором является адаптированность страниц под мобильные устройства:
438
439- оценку Полезный смогут получить страницы, не только содержащие исчерпывающий релевантный ответ, но и целиком адаптированные под просмотр на мобильном устройстве;
440
441- Релевантными+ будут страницы, которыми можно пользоваться в мобильной версии,  хотя ничего особенного для удобства пользователя на них не сделано;
442
443- Релевантными- будут страницы, часть контента или функций на которых недоступна при просмотре с мобильного. Например, текст прочитать можно, а видео не проигрывается;
444
445- оценки Нерелевантный заслуживают страницы, пользоваться которыми на мобильных невозможно: полностью «съезжает» вёрстка, недоступен весь контент, и так далее.
446
447Операционная система устройства, с которого задан запрос, также влияет на оценку. Информацию об ОС можно увидеть в шапке задания наряду с запросом и регионом. Если на странице можно скачать приложение, которое ищет человек, но не для той ОС, следует оценить ее как Нерелевантную.
448
449При оценке стоит учитывать и тот факт, что на смартфоне может быть неудобно скачивать файлы. Например, скачивание видео через торрент, скорее всего, будет долгим и неудобным, поэтому такие ответы по общим запросам получат низкую оценку.
450
451Примеры:
452
453
454[вк] (Москва, Android)
455https://m.vk.com/ — Витальный ответ, мобильная версия сайта адаптирована для телефонов. https://vk.com/ — тоже витальный ответ, так как с этой страницы пользователя автоматически перенаправят на мобильную версию.
456
457[дневники вампира] (Санкт-Петербург, Android)
458http://seria-z.net/serial/dnevniki-vampira1.html — Релевантный+: страница может использоваться на мобильном и содержит релевантный контент.
459
460[антивирус] (Москва, iOS)
461http://download.drweb.ru/android – Нерелевантный ответ: предлагается антивирус для другой операционной системы.
462
463[яндекс карты] (Москва, iOS)
464https://mobile.yandex.ru/apps/iphone/maps — Витальный ответ. Это официальная страница приложения Яндекс.Карты для ОС пользователя.
465
466[майнкрафт] (Санкт-Петербург, Android)
467https://borealis.su/start — Нерелевантный ответ. На странице нет возможность скачать версию для мобильного.
468
469 
470
471 
472
473Оригинал страницы
474
475Обычно релевантность документа можно оценить по скриншоту. Но в некоторых случаях необходимо изучить оригинал страницы:
476
477- если нужно уточнить контактную информацию, проверить есть ли возможность доставки или изучить другие страницы сайта;
478
479- если речь идёт о регулярно обновляемой странице (прогнозы погоды, разделы новостных сайтов, афиши кинотеатров и т.п.). Скриншот такой страницы может содержать устаревшие данные.
480
481- если скриншот почему-то не открывается, тоже следует оценивать ответ по оригиналу страницы.
482
483 
484
485 
486
487Что делать, если запрос непонятен
488
489Нередко сложно понять, что искал пользователь, а это, конечно, необходимо для того, чтобы верно оценить ответ.
490
4911. Воспользуйтесь ссылками на поисковые системы в интерфейсе задания и посмотрите на результаты их поиска. В большинстве случаев этого достаточно для прояснения цели пользователя.
492
4932. Посмотрите на ответы в двух поисковиках, это поможет более полно понять запрос.
494
4953. Если выдача поисковиков неочевидная, попробуйте переформулировать запрос или изменить раскладку клавиатуры. Возможно, в запросе опечатка и стоит посмотреть выдачу по исправленному запросу.
496
497Примеры:
498
499[грейселл] (Москва) — выдача поисковиков (Яндекс, Google) подсказывает, что необходим сайт с кроссвордами и головоломками http://www.graycell.ru/, он получит оценку Витальный. В выдаче можно найти и явно бесполезные пользователю ответы, как например, локальная компания из Индии или предложения покупки кресел. Выяснив цель поиска, вы легко поймете, что такие документы заслуживают оценки Нерелевантный.
500
501[стобалерин слушать] — поисковики (Яндекс, Google) подсказывают, что пользователь мог искать музыкальную композицию Chris Norman - Stumblin' In либо пародию на нее "100 балерин". Ответ с любой из этих композиций заслуживает положительной оценки.
502
503[бери бери сухая] — если посмотреть выдачу (Яндекс, Google ), становится ясно, что речь про вид заболевания. Соответственно для положительной оценки необходимы документы с энциклопедическими материалами, способами лечения и т.п.
504
505[ай сил чи пегу] — Выдача обоих поисковиков (Яндекс, Google ) подсказывает, что речь о музыкальной композиции Michel Telo - Ai Se Eu Te Pego, соответственно положительную оценку заслуживают документы с возможностью послушать или скачать песню, посмотреть клип или прочитать её текст.
506
507 
508
509 
510
511Ответы на часто задаваемые вопросы
512
513 
514
515В: Найден официальный сайт. Какие именно страницы этого сайта нужно оценить как Витальные?
516
517О: Оценку Витальный заслуживает страница, которая наиболее точно отвечает на запрос. Другие страницы сайта оцениваются согласно их релевантности запросу.
518
519[сбербанк] (Москва):
520
521http://www.sberbank.ru  — главная страница — лучший ответ на общий запрос об организации. Оценка Витальный.
522
523http://www.sberbank.ru/ru/person/bank_cards  — внутренняя страница официального сайта — не самый подходящий подходящий ответ по такому запросу. Однако страница содержит ответ про популярную услугу банка и заслуживает место в верхней части поисковой выдачи. Можно оценить положительно — Релевантный+ или Полезный.
524
525http://www.sberbank.ru/ru/credit_org/investments/investby/rdf  — страница содержит ответ про услугу банка для относительно узкого круга пользователей, поэтому не имеет смысла показывать ее в верхней части выдачи. Релевантный-.
526
527 
528
529В: В запросе — название конкретного сайта. Как оценивать другие сайты, которые предлагают похожий контент?
530
531О: Оценка зависит от уникальности ресурса, который ищет пользователь. К уникальным ресурсам относятся социальные сети, почтовые сервисы, онлайн-банкинги и т.д. Неуникальные - сайты, контент которых легко можно найти на других страницах (новостные ресурсы, интернет-магазины, доски объявлений, онлайн кинотеатры).
532
533[mail почта] https://www.google.com/intl/ru/gmail/about/ - Нерел. Уникальный ресурс. Если у пользователя есть ящик на Mail.Почте, куда он стремится попасть, то другой почтовый сервис ему никак не поможет.
534
535[дни ру] http://7days.ru/ – Рел-. В обоих случаях речь идет о новостных порталах с уклоном в светскую хронику, контент на искомом сайте не уникален, поэтому считаем сайты аналогичными.
536
537 
538
539В: В запросе — название конкретного сайта. Как оценивать его представительства в соцсетях и другие сведения об искомом ресурсе?
540
541О: Официальные представительства в соцсетях получают оценку Витальный. Сведения об искомом сайте оцениваются согласно качеству и полноте наполнения — от Полезного до Нерелевантного.
542
543[лента ру]
544
545https://ru.wikipedia.org/wiki/Lenta.ru  — содержательная статья с информацией об искомом ресурсе, можно оценить как Релевантный+.
546
547 
548
549В: Пользователь ищет определенный контент на определенном ресурсе. Как оценивать подходящие ответы на других ресурсах?
550
551О: Считаем, что пользователь может заинтересоваться ответами на других ресурсах, но в первую очередь, его интересует ответ на указанном им сайте. Ответы на других сайтах можно оценить Рел-.
552
553[скачать mika love today с зайцев нет]
554
555http://zaycev.net/pages/10725/1072504.shtml  — искомая композиция на указанном ресурсе. Витальный ответ.
556
557http://prostopleer.com/tracks/5989NgpX — та же композиция на другом ресурсе. Можно скачать, т.е. задача пользователя выполняется. Таким ответом можно воспользоваться, но это не первоочередная потребность пользователя — Релевантный-.
558
559[sammy icon вконтакте]
560
561https://vk.com/sammyiconru — искомая страница в соцсети, Витальный ответ.
562
563https://www.facebook.com/sammyiconru — аналогичная страница в другой соцсети. Некоторых пользователь может заинтересовать такой ответ, но это не первоочередная потребность пользователя — Релевантный-.
564
565 
566
567В: Ищут организацию. Как оценивать страницу с картой или контактами?
568
569О: Если только пользователь не указал в запросе, что ему нужны именно контакты, краткий ответ-визитка (карта, телефон и т.п.), такие ответы заслуживает оценки Релевантный-. В то же время, полноценный ответ на крупном картографическом сервисе или наполненная дополнительным контентом визитка могут получить более высокие оценки вплоть до Полезного. Последнее зависит от наполненности такого ответа.
570
571[пряности и радости ресторан на московском]
572
573Ссылка — полноценный ответ на крупном картографическом сервисе. Кроме контактов и панорам, со страницы можно перейти на описание организации, отзывы о ней, рейтинг и т.п. Можно считать такой ответ Полезным.
574
575http://ginza.ru/spb/restaurant/pryanosti_i_radosti_moskivsky — полноценная визитка организации: помимо описания содержит возможность брони, сведения о меню и проч. Можно считать такой ответ Полезным.
576
577http://www.008.ru/company/26678/ — на странице есть только контакты и минимум информации. Есть встроенная карта Google, но она не придает странице ценности сравнительно с множеством других аналогичных визиток. Краткий ответ — Релевантный-.
578
579 [ОАО Онега-Энергия архангельская обл.]
580
581http://www.mnr.gov.ru/ecocontrol/detail.php?ID=104348 - краткий ответ, есть только контакты и минимум информации. Релевантный-.
582
583 
584
585В: Как оценить мобильную версию страницу, найденную в ответ на запрос с компьютера? 
586
587О: Если в запросе явно не указано, что пользователь ищет мобильную версию сайта, по запросу с десктопа она получит оценку не выше Релевантный-. 
588
589[вконтакте]
590
591https://m.vk.com/ — Релевантный-. Главная страница нужного сайта — безусловно хороший ответ по такому запросу, однако из-за "промаха" с платформой оценка должна быть снижена.
592
593 
594
595В: Что делать, если страница не открывается, потому что она заблокирована?
596
597О: Если сайт "жив", но по какой-то причине недоступен вам (например, вы временно работаете из-за границы и для вас заблокирована часть контента), для его оценки нужно воспользоваться анонимайзером или прокси-сервером.