Перший - універсальний пошук за непрямими ознаками. Він взагалі-то не надто різниться від пошуку веб-сторінок, оскільки. аналізуються різні елементи: імена файлів, теги HTML-розмітки, посилання, підписи і тексти, що знаходяться поруч з картинкою на веб-сторінці. Такий спосіб дозволяє використовувати накопичені індексні бази і забезпечує широке охоплення ресурсів. Пошуковий запит складається з вводяться користувачем ключових слів. Порівняно обмежені додаткові можливості дозволяють фільтрувати зображення за розміром, кольоровості і іншим подібним ознаками. У той же час при такому пошуку неминучий значний відсоток помилок та інформаційного шуму.
Втім, результати пошуку зображень можна поліпшити, підключивши людини до процесу індексування. Саме такий підхід застосовується на численних фотохостингах і фотосервіс, коли завдання опису вмісту зображень покладаються безпосередньо на користувачів, наприклад, за допомогою докладних «анкет» зображень, які передбачають досить якісне і детальний опис. Однак набагато ширше поширений фолксономіческій підхід з вільним індексуванням за допомогою тегів. У такого способу також є свої переваги і недоліки. З одного боку, дійсно, мало хто може розповісти про фотознімку краще автора. З іншого - якість індексування сильно залежить від його терпіння, адже далеко не у кожного вистачить бажання і вільного часу докладно проіндексувати сотню-іншу завантажуються знімків.
Третя основна технологія індексування і пошуку зображень пов'язана зі спробами автоматичного розпізнавання картинок. Загальна її найменування - контентний пошук зображень (Content Based Image Retrieval, CBIR). В ході індексування графіки CBIR-система працює не з непрямими текстовими ознаками, про які згадувалося вище, а безпосередньо з характеристиками зображення. Індексуються колірна гамма картинки і текстури, розпізнаються і записуються обриси предметів і їх розташування в кадрі. Отримані дані використовуються для формування запиту або ж для порівняння картинок, щоб виявити візуально схожі зображення.
Перевага CBIR-пошукачів полягає в тому, що автоматизований процес індексування зачіпає візуальні характеристики зображення. Крім того, дана технологія пропонує користувачам оригінальні засоби складання пошукових запитів. У той же час CBIR - не панацея, вона має свої обмеження. Як наслідок, кращі CBIR-пошуковики зазвичай пропонують комбіновані інструменти, що поєднують можливості декількох технологій індексування.
Зауважимо, що візуальні тематичні алгоритми вже давно працюють в системах інтернет-пошуку в складі «сімейних фільтрів», проте останнім часом з'явилося кілька пошукових систем, які зробили CBIR-технології основним засобом індексування і складання запитів. Це призвело до цікавих результатів. Більш того, стиль роботи з подібними сервісами істотно відрізняється від звичного пошуку картинок за ключовими словами. Саме такі пошуковики, згруповані за способами складання запиту, і стали героями нашого огляду.
Tiltomo
Фінський пошуковик Tiltomo - незалежний експериментальний проект, який використовує в своїй роботі базу Flickr, точніше дві тестові вибірки з цієї бази, мають загальний обсяг в кілька сотень тисяч фотографій. Перша являє собою вибірку знімків, завантажених на Flickr за останню добу, друга - фото з групи Catchy Colors. Саме в цій базі найкраще працюють інструменти аналізу зображень. Перемикатися між базами можна перед початком пошуку.
Перегляд починається або з пропонованого випадкового набору знімків, або c пошуку за ключовим словом-тегу. Далі до поля введення запиту можна не звертатися - Tiltomo працює як каталог, виробляючи на вимогу користувача додаткову фільтрацію виведених фото. Всі тематичні інструменти фільтрації і сортування зібрані на сторінці видачі. На ній виводяться три десятка знімків, відповідних первинним запитом. Подальше уточнення запиту відбувається не звичним додаванням додаткових ключових слів до нього, а за допомогою візуальних інструментів. Поряд з кожною мініатюрою з'являються два посилання: Find Similar by Theme ( «Знайти схожі по тематиці») і Find Similar by Color / Texture ( «Знайти схожі за кольором і текстурою»).
Перша з них проводить пошук за ключовими словами, якими позначено вибране зображення. Цей спосіб хороший для швидкої обробки синонімів, оскільки дозволяє залишити у видачі тільки тематичні зображення. Друге посилання запускає власне контентний аналіз картинки. В результаті будуть отримані візуально схожі на неї зображення. Цикл можна повторювати, вибираючи у видачі сподобалися картинки. На жаль, ці два режими працюють незалежно один від одного. Так що не вдасться, наприклад, спочатку обмежити видачу певною темою і потім підібрати в ній зображення зі схожим зовнішнім виглядом - перемикання до контентному аналізу збиває тематичний фільтр, що не дуже зручно.
Третій спосіб сортування знайденого - фільтр Show ONLY images from the reference photographer. Він перемикає Tiltomo в режим пошуку знімків конкретного автора. Тут будь-яких інновацій немає, все працює в звичному по іншим пошуковикам стилі.
ALIPR
Розробники ALIPR мають багатий досвід роботи з системами розпізнавання зображень. Саме вони свого часу були авторами проекту WIRE, що застосовувався для побудови перших «сімейних» веб-фільтрів, і пошукача картинок SIMPLIcity. Система ALIPR, запущена в 2006 році, є некомерційним проектом. Поки доступний тільки звичайний інтерактивний користувальницький інтерфейс, проте розробники обіцяють випустити готовий API для автоматичного взаємодії, як тільки це дозволить зробити технічна база проекту.
Ідея ALIPR помітно відрізняється від закладених в інших подібних проектах. Справа в тому, що запити тут складаються звичайним чином, за допомогою ключових слів. Однак індексна база цих ключових слів формується із застосуванням технології автоматичного тегування. Отримавши на вході фотознімок, система проводить розпізнавання зображених на ньому предметів. Потім на основі проведеного аналізу зображення автоматично позначається тематичними тегами, відповідними об'єктами на знімку.
В якості початкового запиту використовуються тільки зображення. Картинку можна завантажити зі свого комп'ютера. Якщо ж вона знаходиться на веб-сайті, досить вказати її URL. На сторінці видачі для кожної мініатюри пропонуються кнопки Related і Similar, що працюють в якості фільтрів. Їх дія аналогічно розглянутим вище інструментам Tiltomo. Крім того, здійснюється пошук по автоматично присвоєним тегами.
Цікаво, що доступні фільтри, які стосуються емоційних оцінок, що містяться в тегах. Відповідні теги можна самостійно привласнити сподобалася фотографії. За вдалі зображення пропонується проголосувати, і потім ці відомості будуть враховані в роботі системи. Як тільки ви віддасте свій голос за ту чи іншу зображення, система виведе загальний список присвоєних йому тегів, що дозволяє швидше і точніше знайти схожі знімки. Завдяки роботі всіх названих інструментів якість підбору схожих зображень у ALIPR вище, ніж у Tiltomo.
До речі, запропоновані технології застосовуються не тільки на самому сайті ALIPR, але і на кількох великих веб-проектах. Їх, зокрема, використовують фотопортали Airliners.net і Terragaleria.com
Picitup
Ізраїльська компанія Picitup пропонує відразу кілька онлайнових продуктів, як комерційних, так і загальнодоступних. Серед останніх в контексті нашого огляду найбільший інтерес представляють ресурси Picitup Visual Image Search і Picitup Celebrity Matchup, які ми і розглянемо.
Візуальний пошук працює з базами зовнішніх сервісів - Yahoo !, Flickr і Picasa. На жаль, вести метапошук відразу по всіх названих сервісів за допомогою Picitup не можна - можна тільки перемикатися між результатами, отриманими з різних джерел. Відповідна опція-перемикач доступна в інтерфейсі пошукача. Кількість результатів, які видаються Picitup за один пошук, обмежена п'ятьма сотнями.
Пошук починається звичайним способом - введенням ключових слів. Візуальні фільтри, скомпоновані на невеликий бічний панелі, стають доступні вже на сторінці видачі результатів. Перша група перемикачів дозволяє працювати з сюжетами знімків. На основі аналізу контенту система може показати тільки портрети, загальні плани або пейзажі. Наступний інструмент - вибір основної колірної гами зображення за допомогою пропонованої палітри. Окремий фільтр відповідає за формат (звичайний або для широких екранів) і орієнтацію зображення (книжкова або альбомна). Крім того, пропонується палітра найпростіших геометричних фігур, що дають можливість певною мірою описати композиційні особливості потрібних зображень. Названі інструменти дозволяють задавати відносно точні параметри картинки, проте є і більш простий засіб - кнопка Similar Images, що виводить поруч з кожною мініатюрою. В цьому випадку система спробує самостійно визначити необхідні параметри і підібрати схожі картинки.
Сервіс Celebrity Matchup носить скоріше розважальний характер. Працює він за принципом порівняння зображень. Користувачеві пропонується завантажити на сервер своє фото, після чого система виробляє розпізнавання особи і шукає в своїй базі фотознімки схожих знаменитостей. Треба сказати, що працює пошукова система досить непогано. Також пропонується оцінити за п'ятибальною шкалою ступінь відповідності фотографій, що допомагає розробникам у вдосконаленні алгоритмів.
Xcavator
Власні технології пошуку схожих зображень демонструє сервіс Xcavator. Цей пошуковик орієнтований на професійне застосування, оскільки шукає не по загальнодоступним джерелами, а по кільком великим фотобанкам, в тому числі по Fotolia і iStockphoto.
Прийоми роботи з Xcavator багато в чому подібні до стилю роботи з уже розглянутими вище машинами. Пошук починається введенням ключового слова. Подальше уточнення запиту можна вести за допомогою CBIR-інструментів. Перший спосіб - простий клацання на найбільш вподобаному знімку. Після нього сторінка видачі перебудовується, і на неї потрапляють тільки ті зображення, що візуально схожі на відібране. Другий візуальний інструмент під назвою Traces діє в вікні активної мініатюри. Прямо на ній за допомогою миші можна зробити начерк потрібної картинки. Правда, дана система працює лише з точками і простими лініями. Зате в ній присутній розширений пошук, що дозволяє точно задати колірну гамму зображення. В якості допоміжного інструменту виступає детальний текстовий перелік тегів, якими позначена активна картинка. Він приводиться під текстовим рядком пошуку. Знайдені зображення можна відібрати в міні-галерею. Робота з Xcavator закінчується перенаправленням на сайти агентств, яким належать права на вибрані знімки.
Retrievr
Австрійський проект Retrievr працює в двох режимах. Перший - вже знайомий вам пошук на порівняння (Search by Image). Користувачеві пропонується завантажити фото або вказати його адресу в Інтернеті, після чого Retrievr веде пошук за власною вибірці з бази фотохостингу Flickr.
Другий режим, званий Search by Sketch, набагато цікавіше. Він дозволяє користувачеві самостійно зробити ескіз потрібного йому зображення. Для цього пропонується простий графічний редактор, виконаний на базі технології Flash. У ньому є палітра вибору кольору, а також набір круглих кистей різного діаметру. З їх допомогою можна намалювати свій запит, працюючи одночасно і з кольором, і з формою. Найкраще поки розбираються запити з чистими квітами, зроблені великими мазками, - з дрібними деталями Retrievr справляється не дуже впевнено. Результати пошуку негайно завантажуються на сторінку видачі. Зауважимо, що, попрацювавши деякий час з пошуком і пристосувавшись до його особливостям, вдається отримувати досить якісні результати.
Anaktisi
Пошуковик Anaktisi працює з чвертю мільйона знімків, взятих з десятка зовнішніх фотохостингів. Основний інструмент - кнопка Search Similar Images, розташована поруч зі слайдами на сторінці видачі. В якості додаткового фільтра виступає вибір дескрипторів - варіантів розрахунку подібності зображень. Використовуються системи CEDD, FTCH і JCD, є різновидами так званих Compact Composite Descriptors (CCD) - засобів компактного опису характеристик зображень. Система CEDD, яка грунтується на використанні фільтрів MPEG-7, формує на базі їх даних опису текстурних областей картинок. А ось FTCH, в свою чергу, при вирішенні аналогічної задачі покладається на вейвлет-перетворення Хаара. Таким чином, Anaktisi стає цікавим полігоном для тестування якості та особливостей роботи цих алгоритмів для різного типу зображень.
З точки зору користувача, пошук виконаний вельми зручно. Починається він вибором однієї з дюжини доступних баз зображень. Далі пропонується визначитися з типом дескриптора і, нарешті, скласти сам запит. Для виконання цього завдання доступні практично всі сучасні CBIR-засоби. Можна просто починати перегляд знімків, клацати на вподобаних і тим самим уточнювати свій запит. Допустима завантаження на сервіс в якості графічних запитів власних зображень. Подібно Retrievr, дана система дозволяє зробити запит-нарис, правда, в якості пошуку вона трохи програє австрійському конкуренту. Крім того, можна скористатися класичним пошуком за ключовими словами. Всі ці режими доступні у вигляді закладок інтерфейсу пошуковика.
півфіналісти
В рамках даного огляду варто навести ще кілька CBIR-проектів, що знаходяться на стадії бета-версій і демонстраторів технологій. Групу пошукових систем зі зворотним зв'язком поповнять «британець» Picollator Lab і шведський проект ImBrowse (media-vibrance.itn.liu.se/vinnova/cse.php). Відмітна риса першого проекту - наявність російського інтерфейсу. CBIR-можливості у нього скромні: виконується тільки автоматичний пошук схожих картинок без будь-яких додаткових фільтрів. Якість пошуку посереднє. ImBrowse виглядає цікавіше, проте це не більше ніж демоверсія, яка працює лише зі слайдами - прямого доступу до повноформатним картинок тут немає. Для знаходження схожих знімків пропонується використовувати один з шести фільтрів, що працюють з квітами, текстурами і абрисами об'єктів. Спроби пристосувати CBIR-технології для пошуку товарів демонструють системи Like.com і пошук по магазинам Picitup Shop. Цей напрямок досить перспективно, проте дані його реалізації мало чим корисні в наших широтах, оскільки орієнтовані в основному на північноамериканських користувачів.
Окремо слід згадати цікавий приклад контентного пошуку зображень, діючий на сайті Державного Ермітажу. Працює він лише по цифрових колекцій самого музею. В даному проекті використані розробки корпорації IBM (алгоритм Query By Image Content, QBIC). Пропонується два оригінальні режими пошуку: за колірною гамою і по композиції зображення, а для складання запитів використовуються графічні редактори, що працюють на платформі Java.
Tiltomo
Оцінка: 3/5
Мова інтерфейсу: англійська
Розробник: The Tiltomo Team
Сайт: tiltomo.com
ALIPR
Оцінка: 4/5
Мова інтерфейсу: англійська
Розробник: Alipr
сайт: www.alipr.com
Picitup
Оцінка: 4/5
Мова інтерфейсу: англійська
Розробник: Picitup
сайт: www.picitup.com
Xcavator
Оцінка: 4/5
Мова інтерфейсу: англійська
Розробник: CogniSign Inc.
Сайт: xcavator.net
Retrievr
Оцінка: 3/5
Мова інтерфейсу: англійська
Розробник: System One Labs
Сайт: labs.systemone.at/retrievr
Anaktisi
Оцінка: 4/5
Мова інтерфейсу: англійська
Розробник: Democritus University of Thrace
Сайт: orpheus.ee.duth.gr/anaktisi
