27 листопада - 28 листопада 2014 року, в Москві пройшла найбільша галузева конференція для ринків інтернет-маркетингу та веб-розробки « Інтернет і Бізнес. Росія ». Об'єднуючи в собі такі багаторічні і відомі проекти, як «Сайт» і Optimization, Конференція «IBC Russia» стала відповіддю на зацікавленість бізнесу в єдиній експертної майданчику. Захід організовано компанією «Ашманов і партнери» спільно з Російською асоціацією електронних комунікацій
В рамках секції «Пошукові машини» виступили представники компанії Яндекс, які розповіли про нові і добре забутих старих точках взаємодії Яндекса і вебмайстрів.
Вітав учасників Олександр Садовський, керівник пошукових сервісів Яндекса, який традціонно бере участь щороку в конференції, і щороку незмінно вражає слухачів якимись інноваціями і запусками Яндекса. Однак, нічого подібного в цьому році не сталося, Олександр просто представляв доповідачів.
Катерина Гладких, аналітик Яндекса, яка відповідає за капч на Яндексі, повідомила про те, що 25% запитів, що надходять на Янекс задаються роботами. Приблизно така ж кількість запитів задається в XML. З них 13% - це розумні роботи, а 12% - нерозумні роботи. Цього року Яндекс навчився детектувати роботів. Алгоритм обробляє десятки тисяч запитів в секунду, аналізуючи понад 3 000 факторів для кожного запиту і видає вердикт в реальному часі.
Янекс.Маркет першим перейшов на машинну технологію визначення роботів, і частка детектованих роботів в потоці Маркета зросла з 4% до 40% в порівнянні з магічними антіроботом.
Також в Яндекс стало приходити набагато менше скарг на капчу від «живих» користувачів Маркета, які бували помилково прийняті за роботів - з сотень в тиждень скоротилося до десятка в місяць.
Катерина також нагадала, що рік тому Яндекс перейшов на кириличну капчу. Була проведена велика робота, словники редагувалися аналітиками, прибиралися лайливі і образливі для користувачів слова і т.д. Робота виправдала себе - кирилична капча довела свою ефективність. Цього року Яндекс запускає нову сторінку капчи - з аудіосупроводу, острівним дизайном і віртуальною клавіатурою.
Такі зміни сторінки капчи дозволять зробити парсинг видачі більш дорогим, а також будуть досить складною перешкодою для роботів.
Далі виступив Майк Томшінскій (Mike Tomshinsky), менеджер по продуктах Яндекса, з розповіддю про Менеджері Яндекс-Картинок і алгоритм Сибір.
За словами доповідача, Яндексу щодня задаються 13 млн запитів, відповіді на які повинні містити зображення. Щоденна аудиторія Яндекс.Зображень - 7 млн. Розмір бази - 20 млрд. Урлов.
Майк нагадав про запущений в минулому році алгоритмі «Сибір», пошуку по картинці, за допомогою якого можна знайти конкретну картинку, можна завантажити фотографію і дізнатися про неї; пошук товарів; світські події і т.п. По суті, алгоритм пошуку по картинках схожий на алгоритм пошуку текстів по кожній картинці виділяються «візуальні слова», вони розподіляються по словниках, а потім зіставляються з візуальними словами з інших картинок.
У перспективі алгоритм буде шукати не тільки дублікати картинок, але і фейковий акаунти, фейковий оголошення. Ведеться робота над пошуком товару по картинці - пошук скаже користувачеві, як називається цей товар, і в якому магазині можна його придбати.
У пошуку схожих зображень, на жаль, до сих пір трапляються фейлов:
У перспективі Яндекс хоче використовувати цей сервіс для рекомендацій. Яндекс шукає партнерів , Які б хотіли використовувати алгоритм Сибір в своєму бізнесі.
Про те, як пошук шукає якісне відео, розповіла Ніна Сапунова, менеджер сервісу Яндекс-Відео. За її словами, пошуком проводиться ретельний аналіз текстового оточення - оцінюється текстова релевантність. Проводиться аналіз користувача поведінки - кількість успішних переглядів. Проводиться постійний аналіз відео-потоку.
Як це відбувається? Робот парсит більше 1 млн. Відео на добу: викачує невеликий фрагмент відео-файлу, аналізує властивості відео, кладе отримані ознаки в індекс, але сам файл при цьому не зберігає.
Пошук почав парсити відео-контейнер. Основна мета - зробити повністю релевантну видачу, аж до відповідності якості відео. У планах - повна автоматизація підключення нових сайтів до багатого індексування відео-контенту.
Наступний представник Яндекса - Олексій Сікорський, представив новий сервіс - Яндекс.Толока .
Яндекс.Толока - це бета-версія краудсорсінговой платформи для збору користувальницьких оцінок. Більшість сервісів Яндекса побудовано на машинному навчанні алгоритмів. Але щоб алгоритми навчалися, їм періодично потрібні масиви людських оцінок. Іноді оцінки реальних користувачів важливі і для прийняття тих чи інших рішень з розвитку продуктів Яндекса. Щоб отримувати такі дані, у Яндекса є асесори - спеціальні люди, які допомагають робити вибірку для пошукових алгоритмів.
Останнім часом кількість запитів від сервісів Яндекса до асесора зростає, і тому Яндекс вирішив випробувати краудсорсінговую модель - коли за грошову винагороду завдання різного формату та змісту виконують всі бажаючі. Так був створений і запущений сервіс Толока, де користувачі займаються оцінкою ресурсів і контенту.
Мінуси краудсорсингу - люди, які вміють програмувати, можуть написати скрипти, але Яндекс буде боротися з цим.
За два тижні існування сервісу, без маркетингу прийшло 500 чоловік, які вже оцінили три тисячі урлов.
Питання із залу: Люди, які працюють в Толоці, часто користуються невеликими моніторами, а сайт може побут неадаптованих. Що будете робити?
Олексій Сікорський: Ми просимо оцінити релевантність контенту, а не відображення сайту. Якщо він не поміщається на екран, попросимо відкрити в окремій вкладці.
Питання із залу: Як будуть ці оцінки впливати на ранжирування?
Олексій Сікорський: Оцінки безпосередньо не будуть використовуватися при ранжируванні, також як і раніше не використовувалися асессорскіе оцінки в результатах видачі.
Станіслав Ставський: Чи буде найближчим часом черговий виток боротьби з поведінковими?
Олександр Садовський: Бани будуть - розслаблятися не можна.
Ігор Бакалов: Нещодавно було дослідження, за яким Яндекс.Метрика вийшла на перше місце за популярністю. Чи використовуєте ви в ранжируванні дані, які отримуєте з Я.Метрікі?
Олександр Садовський: Ми використовуємо всі. Але сирі дані ніколи не працюють. Метрики в чистому вигляді ми не використовуємо, але ми спираємося на них. Щоб прогнозувати відвідуваність - ми дивимося не тільки на показники Яндекс.Метрики.
Питання із залу: Робимо редизайн, і архітектура сайту принципово змінюється, чи достатньо 301-го редіректу або ще щось треба?
Олександр Садовський: Якщо багато дзеркал, то краще звернутися в службу підтримки і отримати від них більш докладні інструкції.
Питання із залу: Якщо потрібно подивитися відео про котів - забиваєш в пошуку, виходить 20 відео. Натискаєш на перегляд відео, там відео про Камаз, а словами розмічено, що відео про котів. Текстовий опис може бути різний - прикольне відео і т.д. Можливо, словесний опис не завжди допоможе?
Ніна Сапунова: Ми аналізуємо багато типів факторів. У різних факторів різну вагу. Всі проекти в Яндексі пов'язані між собою, ми вчимося відрізняти - скоро буде тегування зображень, це теж дозволить розрізняти.
Сергій Людкевич: Коли порадуєте повідомленням, що відключили поведінкові чинники?
Олександр Садовський: Чим більше факторів стає, тим менший вплив має цей чинник. Не треба орієнтуватися на конкретну групу факторів.
Дмитро Севальнєв: Чи став після скасування посилального сигнал менш зашумлений?
Олександр Садовський: Безумовно, ми стежимо за цим процесом - це питання зміни свідомості. Раніше найпопулярнішим питанням на конференціях було, як ви враховуєте мета-теги keywords. Це буде ясно через кілька років.
Що будете робити?
Метрікі?
Можливо, словесний опис не завжди допоможе?
