Зйомка сферичних 360-відеокліпів (360 відео)

1. Висока якість
2. низький дозвіл

20 Sep 2011

20.09.2011

Дана стаття написана не як сухе керівництво користувача по зйомці сферичних відеокліпів, а як історія наших експериментів з цього питання з усіма досконалими помилками, часом курйозними, і ліричними відступами.

360 відео. Історія появи

Ще близько десяти років тому, коли перші цифрові камери стали доступні широкому колу користувачів, ідея сферичного зображення була такою ж віртуальної, як і сама віртуальна реальність. Прорив стався в останні 5-6 років. За цей час сферичні панорами встигли визначитися як жанр: глядач може разом з панорамними фотографами злетіти в небеса, зануритися в пучину океанів, побувати в найдальших куточках нашої планети і навіть підсмажитися разом з яєчнею в духовій шафі. Відчуття присутності в точці зйомки, які дає сферична панорама, на порядок перевершують найдорожчу і професійну традиційну фото- і відеозйомку. З точки зору візуалізації навколишнього простору традиційні жанри залишилися далеко позаду.

З розвитком технологій найсміливіші панорамні фотографи стали задавати питання: а чи можна знімати не тільки статичні сфери, коли глядач знаходиться лише в нерухому точку зйомки? Чи можна знімати сфери в русі, даючи можливість глядачеві пересуватися в просторі і при цьому дивитися на всі боки? Тоді це здавалося фантастичним.

Проте, прогрес невблаганно рухався вперед, і фантастика стала реальністю.

Однією з перших сферичні відеоролики представила компанія Immersive Media www.immersivemedia.com

Кілька років тому ми випадково побачили на сайті CNN інтерактивний відеорепортаж, зроблений Immersive Media після землетрусу, який практично повністю зруйнував столицю Гаїті:

http://www.cnn.com/interactive/2010/01/world/haiti.360/index.html (Тут є 5 роликів)

Відео нас дуже вразило: незважаючи на низький дозвіл відеоряду, глядачі можуть віртуально побувати на місці трагедії.

Навесні 2011 року ми зацікавилися зйомкою 360 відео і звернулися в Immersive Media із запитом цін на обладнання. але пропозиція Immersive Media вибило нас із колії: 63 тисячі доларів за камеру і супутнє обладнання, термін поставки - кілька місяців. Ми задумалися ....

Крім високої вартості обладнання, нас бентежили низькі показники знімається відео, слабкі за мірками нинішнього часу. Аналіз відео з Гаїті показав, що розмір кадру в ролику становить 1792х896 пікселів, бітрейт - 1600 Кбіт / сек при частоті кадрів 15 к / сек.

Треба сказати, що ми вже мали великий досвід зйомки сферичних панорам і вміли робити те, що робить мало хто в світі: зйомка сфер в повітрі з вертольотів, літаків, керованих по радіо моделей, повітряних куль, під водою сфер. На сайті AirPano.ru зараз виставлені віртуальні тури, зняті в повітрі приблизно в 350 цікавих місцях Землі . Деякі наші роботи є унікальними з технічної точки зору. Так, ми зняли сферичну панораму на швидкості 250 кілометрів на годину в колоні вертольотів, зробили гігапіксельних панораму в повітрі на висоті 1 км і навчилися знімати сферичні панорами в небі вночі. Крім зйомок панорам, у нас був досвід монтажу відеокліпів на рівні приблизно «вище середнього».

Загалом, ми поки почекали з покупкою в Immersive Media і вирішили спробувати самостійно створити сферичний відеокліп, використовуючи наявну в наявності фототехніку.

Початок. перші труднощі

Як відеокамери вирішено було взяти камеру Canon 5D Mark II, що дозволяє знімати в форматі Full HD 1080p. За допомогою Canon ми планували отримати ширший динамічний діапазон, ніж в ролику з Гаїті, знятому з використанням матриць, застосовуваних в недорогих мильницях. В якості об'єктива ми вибрали Sigma 10мм fisheye, у якого обрізана бленда. Ми часто використовуємо такі об'єктиви в звичайних зйомках. Сама процедура обрізання, коли Андрій Зубець на кухні ножівкою спилює бленду з об'єктива, виглядає ось так:

Звичайно, об'єктив після цього не виглядає як новий :), але зате можна зняти сферичну панораму, зробивши всього три кадри.

Наш план виготовлення «360 відео» був таким: зняти звичайне відео одночасно з трьох камер, потім розбити відео на окремі кадри, з цих кадрів склеїти сферичні панорами, а потім з панорам знову зібрати відео, але вже 360 градусів. Як бачите, нічого складного :)

Але при практичному здійсненні цього простого плану ми виявили велику кількість перешкод, часом просто непереборних. Тиждень тривав мозковий штурм, і ще тиждень ми експериментували зі зйомкою і складанням матеріалу. Через два тижні на сайті з'явився наш перший тестовий ролик, який через 10 хвилин завалив сервер :) Далі ми розповімо, як ми боролися з труднощами, і що з цього вийшло.

Перше, з чим ми зіткнулися, це формат видеокадра. Пропорції традиційного фотокадру - 4: 3, а видеокадр має пропорції 16: 9.

Для наочної ілюстрації наведено приклад: показаний фотокадр, знятий в режимі відео. Червона зона - це площа фотокадру, яка не використовується в відеозйомці і обрізається камерою.

Таким чином, виявилося, що зібрати сферу з 3 відеокадрів, як ми хотіли, неможливо - не вистачає перекриття. Це була найпростіша наша проблема. Довелося використовувати не три, а чотири камери. Ну і відповідно 4 об'єктива. На щастя, AirPano має достатню кількість обладнання;)

Для кріплення камер було виготовлено ось такий пристрій.

Для мінімізації параллакса ми розташували камери якомога ближче один до одного. Крім того, ми застосували невеликий нахил камер вгору щодо жердини на 15 градусів - це забезпечувало краще перекриття в зеніті. Надіром (нижньою частиною панорами) довелося пожертвувати, тому що внизу все одно знаходилися камери. Через великих розмірів самих дзеркальних камер і об'єктивів повністю уникнути паралакса неможливо, і це видно в нижній частині відео по спотворень на автомобілі, з якого вироблялася зйомка. Проблема параллакса вирішується, якщо знімати відео без близького переднього плану, наприклад, з вертольота, або якщо використовувати замість великих дзеркальних камер невеликі мильниці.

Уже на цьому етапі ми всерйоз задумалися над тим, щоб для зниження параллакса відмовитися від використання професійних камер (Canon 5D Mark2). Замість них можна брати цифрові мильниці невеликого розміру. З наявних на ринку мильниць найбільше підходить камера GoPro , Так як вона в стандартному постачанні обладнана Фіша з кутом огляду 170 градусів. Ми купили GoPro і провели з нею експерименти. З 4-5 таких мильниць цілком можна зібрати компактну конструкцію для зйомки 360 відео, до того ж значно дешевшу (близько 5 * 450 $ = 2250 $). Якщо ж купувати камери за кордоном, то вартість ще знизиться: 5 * 259 $ = 1300 $.

Потрібно згадати ще одна з переваг використання мильниць - компактність і малу вагу всієї конструкції.

Однак при цьому не буде вирішена головна проблема: синхронна зйомка всіх камер (про це буде сказано трохи пізніше).

Крім того, крім помітного погіршення якості зображення, в мильниці немає можливості встановлювати однакову експозицію і баланс білого для всіх камер, тому частково вирішивши проблему параллакса, ми отримаємо проблему різної яскравості у окремих ділянок нашого відео (і на цьому ми докладно зупинимося далі).

Однак для аматорської зйомки якість матеріалу, що виходить з мильниць, буде цілком достатнім. Не випадково всі відомі виробники готових пристроїв для зйомки 360 відео використовують матриці мильниць для своїх конструкцій, апаратно вбудовувавши синхронізацію і одночасне керування експозицією на всіх матрицях.

Проте, зваживши всі плюси і мінуси, а також враховуючи, що дзеркалки з об'єктивами у нас вже були, а мильниці ще треба було купувати, ми вирішили поки відмовитися від їх використання і зняти наше тестове відео за допомогою дзеркальних камер. Всі технічні прийоми і алгоритми збірки, описані в нашій статті для дзеркальних камер, цілком прийнятні і для мильниць. І якщо хтось захоче зробити на коліні установку для зйомки 360-відео, ми б рекомендували почати саме з мильниць саме виходячи з міркувань вартості, ваги і розмірів.

Наступна проблема, з якою довелося зіткнутися - це синхронізація камер. Всі 4 камери повинні знімати синхронно, одночасно роблячи кожен кадр. До великому у жаль, Canon 5D Mark II не дозволяє включити запис відео на всіх камерах синхронно. Запис включається тільки вручну кнопкою SET. Для того, щоб вивести сигнал включення запису на зовнішній пристрій і таким чином зробити одночасний старт запису на всіх 4 камерах, потрібно розібрати камери і припаяти дроти до цієї кнопки. За зрозумілим причин ми не відразу зважилися на цей крок і спочатку стали шукати альтернативні шляхи.

Серед аксесуарів Canon був виявлений Wireless File Transmitter WFT-E4 II A, в описі якого зазначено, що з його допомогою можна одночасно робити знімки з 10 камер. Але чи можна включати таким же чином запис відео, було незрозуміло.

Ми спробували поставити запитання в Canon USA, але тут нас чекала невдача - питання на сайті Canon USA приймалися тільки від громадян США. Так ми вперше особисто зіткнулися з американською політикою подвійних стандартів :) Виручив знайомий фотограф, який проживає в Далласі, він відправив у Canon наше запитання і на наступний день переслав назад відповідь: «Шановний споживач, одночасний запис відео таким чином не включається. Дякуємо за інтерес до нашої продукції »

Потім були пошуки альтернативних хакерських прошивок для Canon, в яких могло бути щось корисне для нас, але теж безуспішно.

Через знайомих звернулися за консультацією в московське представництво Canon, і там швидко зрозуміли суть питання. З'ясувалося, що Canon випускає професійні відеокамери з системами GenLock і V-lock ( http://en.wikipedia.org/wiki/Frame_synchronizer ). У камері 5D Mark2 всього цього немає.

Там же нам знову запропонували припаяти дроти до кнопки SET і вивести їх назовні. Ми вже майже розкрили першу камеру, але все ж в останній момент відмовилися з таких міркувань. Навіть якщо ми припаяти до кнопок SET всіх 4 камер, Canon не нормує параметр «час старту запису» від моменту натискання кнопки «запис відео». Не факт, що час старту запису стабільно, або хоча б у кожної камери однаково. Цілком ймовірно, що це величина випадкова, і розбирання камер буде зроблена даремно, і як результат будуть зіпсовані 4 камери.

Проблему вирішили простим методом. Коли ми скаржилися на важку долю нашого колеги, Стасу Сєдову, той навіть здивувався простоті питання і запитав: а як в кіно камери синхронізують? Хлопавкою - синхронізація по звуку.

Це все змінювало.

Спочатку ми купили відлякувач для собак гучністю 130db. Він пищав так голосно, що боляче закладало вуха, але зате його добре було чутно в шумному вертольоті. Однак виявилося, що потрібен швидкий імпульс з різким фронтом, і відлякувач зовсім не годиться, але зате нам чудово підходить бавовна в долоні.

Отже, всі камери включаються на запис, потім робиться гучний хлопок в долоні, аналог кіношної «хлопавки» - і одночасний початок відеоряду позначено! Витончене рішення, але, на жаль, як виявилося, лише часткове. Хлопавка не вирішувала іншу важливу проблему - фазування початку кадру в камерах. Камери по звуку можна фазованого дискретно, тобто тільки з точністю до одного кадру. При частоті зйомки 15 к / сек. похибка буде 1/15 сек. При частоті кадрів 30 к / сек, відповідно, 1/30 сек. Для кращого розуміння можна поглянути на наступний ескіз.

Розглянемо роботу двох камер (в реальній ситуації їх було чотири). Припустимо, зйомка ведеться з частотою 30 кадрів / сек. У верхньому ряду зелені сектори позначають час експозиції першої камери, червоні - другий камери. Оскільки камери запускаються вручну, то час експозиції у всіх камер зрушено за часом на випадкову величину. При підгонці кадрів ми можемо вибрати точку розрізу тільки дискретно - по частоті кадрів. Тобто для того, щоб підігнати камеру з червоними секторами до зеленого сектору, доведеться вибрати червоний кадр A або В, але обидва вони не збігаються в с зеленим кадром. Таким чином в будь-якому випадку є різниця в часі між зйомкою кожної камери. Величина ця чисто випадкова, і лежить в проміжку часу, рівному тривалості кадру.

Для статичних зображень, якщо камера стоїть на місці, цей параметр не має значення. Якщо бути точним, майже не має - до тих пір, поки об'єкт, що рухається не проходить кордон зони перетину сусідніх кадрів. В цьому випадку при швидкому русі об'єкта він буде «розрізаний», і на об'єкті з'явиться «сходинка».

У разі сферичної відеозйомки в русі проблема значно ускладнюється. При переміщених і навіть при нахилах пристрою за 1/15 сек кут огляду камер, що знімають сусідні кадри, змінюється наскільки, що межа переходу між кадрами стає дуже помітною. Єдиним вирішенням проблеми є жорстка синхронізація фази зйомки. У професійній техніці існує зовнішня синхронізація (англ. External Synchronazation) - V-Lock (кадрової розгортки) або Gen-Lock (кадрова і черезрядковий). Через спеціальний роз'єм підключається зовнішній генератор (роль якого може виконувати одна з камер, призначена провідною), і всі камери знімають «кадр в кадр, рядок в рядок». На призначеному для користувача рівні проблема практично нерозв'язна. Тому з нею довелося просто змиритися.

зйомка

Перед зйомкою ми обклеїли байонети всіх 4 камер паперовим будівельним скотчем для того, щоб під час руху в матриці через байонет НЕ надуло дорожнього пилу. Ми планували знімати відео з вертольота і хотіли перевірити працездатність системи на швидкості 100-120км / ч. Для зйомки на низьких швидкостях цього робити не потрібно. Загорнуті скотчем 4 камери, висунуті на жердині з люка автомобіля, виглядали дуже забавно.

Для того, щоб після склейки відео зі всіх 4 камер виглядало одноманітно, необхідно відключити всі автоматичні функції камери: експозицію, баланс білого і знімати в ручному режимі. І тут нас чатувала ще одна неприємність, вже з розряду курйозних, коріння якої криються в неінтуітівнимі зробленому меню у камер Canon, а також відсутності належно написаної документації. Ми провели кілька тестових зйомок, і кожен раз бачили, що часом яскравість кадрів на нашому відео відрізняється. Спочатку ми грішили на те, що на одній з камер може випадково провернутися коліщатко налаштувань, коли ми витягуємо конструкцію в люк автомобіля, потім стали думати, що самі камери трохи різні, з різних партій. Але на третій день (а кожна зйомка разом з обробкою займала цілий день) ми прийшли до висновку, що у нас банально не працює ручний режим Manual, незважаючи на те, що ми його явно встановили. І якщо в об'єктив будь-якої з камер потрапляло сонце, камера автоматично трохи прітемнять кадр, а коли машина повертала в сторону, яскравість знову відновлювалася.

Коли ми це зрозуміли, розгадка була знайдена швидко.

При фотозйомці для того, щоб зафіксувати параметри експозиції, треба перевести камеру в режим Manual (M), повернувши на корпусі диск встановлення режимів в положення M. І виявилося, що в режимі роботи камери камера ігнорує режим Manual, поки його спеціально не включив глибоко в надрах інтуїтивно незрозумілих і нелогічно названих пунктів меню. Це відбувається в протиріччі з офіційним керівництвом користувача і виглядає явним недоліком в прошивці Canon.

Робота відео в режимі Manual включається не поворотом керуючого диска на корпусі камери, а так:

Меню - Налаштування РК-видошукача -> Уст. РК-відоіс. - Фото та відео ->
-> Режим відображення на моніторі - Відео

Для англійської версії меню:

Menu - Live View / Movie func. set. -> LV func. setting - Stills + movie -> Screen settings - Movie display

На фінальній зйомці в одній з камер по випадку не був виставлений режим Manual. Але оскільки ми вже провели 4 дні на тестуванні, ми вирішили не перезнімати наш перший тестовий ролик «навколо Кремля», і уважний глядач може помітити, як іноді змінюється яскравість деяких частин відео.

З метою полегшити подальшу сортування матеріалу на камери були наклеєні стікери A, B, C, D. Таким же чином були помічені і флеш-карти кожної камери. Зйомка починалася в такій послідовності:

1. Встановлюємо експозіцію в ручному режімі, однаково для всіх камер (однакові ISO, діафрагма, Витримка, баланс білого). Кроме того, встановлюємо однакові пресети (Стиль зображення) для внутрішньокамерного JPG - смороду теж вплівають на відеозйомку. Фокусуємося на нескінченність через live view (автофокус на Фіша працює нестабільно), блокуємо фокус, заклеює кільце фокусування скотчем, щоб випадково не зрушити.

2. Переводимо всі камери в режим Live View.

3. Вибираємо в меню камери ручний режим зйомки відео, як було описано вище.

4. По черзі включаємо запис на камерах А, В, C і D. Зйомка почалася.

5. Робимо гучний хлопок в долоні. Цей звук і є наша кіношна «хлопавка». З цієї мітці буде здійснено вирівнювання кліпів від всіх камер.

6. Висуваємо камери в люк автомобіля і починаємо рух.

Стежимо за таймером, так як максимальний час запису складає 12 хвилин. Це визначається файлової системою флеш-карти камери, в якій розмір файлу не може бути більше 4Gb.

Отже, з використанням даної методики в квітні 2011 року було знято кілька тестових відеокліпів в русі з автомобіля, а також з вертольота над МКАД.

- Відео про зйомки з автомобіля

- Відео про зйомки з вертольота

Обробка матеріалу

Для комфортної роботи з матеріалом по 360 відео потрібні досить потужні комп'ютери.

На етапі розробки методики ми використовували для обробки комп'ютер середньої потужності: колись знаменитий Intel Core 2 Duo 3.3 GHz, 8 GB RAM, RAID0 2xRaptor HDD.

На такому комп'ютері панорами для відеокліпу збиралися 2-3 години, що, звичайно, сильно уповільнювало роботу. Стали згадуватися студентські часи, коли в інституті на кафедрі ми йшли пити чай під час завантаження Windows 3.1

Тому ми взяли комп'ютер серйозніше: потужний ПК з процесором Intel Core i7 Extreme Edition 3.3 GHz, 24 GB RAM, SSD накопичувач PCI-E 480Gb OCZ RevoDrive X2 Series SSD, і це дозволило в кілька разів скоротити час обробки. Тепер процес складання займав не більше 20 хвилин! Особливо хочеться відзначити роботу SSD HDD при роботі з масивами невеликих файлів. Швидкість доступу в даному випадку є вирішальним фактором. З таким потужним комп'ютером половину гуртки чаю вже доводилося залишати на столі :)

Розбирання відео на окремі кадри

Отже, в нашому розпорядженні виявилися одночасно зняті кліпи з 4 різних камер зі звуковими мітками початку зйомки.

Як з цього матеріалу отримати сферичне відео? Ми почали з розбирання всіх кліпів на окремі кадри. У відео-редакторі Sony Vegas все чотири кліпи були відкриті одночасно.

Як бачимо на скріншоті, всі кліпи вирівнюються по сплеску (бавовна в долоні) на звуковій доріжці. Виробляємо розріз за місцем, визначеним бавовною. Таким чином отримуємо квазісинхронного відеодоріжки. Синхронізація за часом зроблена з точністю до одного кадру.

Виділяємо початок кожного кліпу і безжально відрізаємо. Зрушуємо всі кліпи до початку і відрізаємо відразу всі кінці кліпів. Таким чином, отримуємо чотири кліпи рівної довжини, синхронізовані за часом зйомки з точністю до одного кадру.

Далі кожен кліп експортується в окремі папки A, B, C, D як окремі зображення формату JPEG.

На даному скріншоті показані установки експорту.

В результаті експорту ми отримали в папках послідовності jpg-кадрів від кожної камери.

Легко здогадатися, що назви папок і індекс кліпу відповідають матюками на камерах A, B, C, D.

Для зниження результуючого потоку при демонстрації сферичного відео в інтернеті під час експорту частота кадрів була знижена вдвічі до 12 кад / сек, тому що зйомка велася при швидкості 24 кад / сек.

Сортування кадрів

Далі за допомогою саморобної програми-сортувальника, написаної на Бейсике, кожні чотири кадри з однаковими номерами поміщалися в окрему папку. У підсумку отримуємо набір папок з індексом P на початку імені папки (P- panorama).

Вміст папок розподілено так, як показано на скріншоті нижче:

Отже, в папках, число яких дорівнює числу кадрів, ми отримали послідовності квазісинхронного кадрів, з яких потрібно було зібрати еквідистантно проекції (панорами) для кожного кадру майбутнього сферичного відеоролика.

збірка панорам

Збірка панорам велася за шаблоном в пакетному режимі за допомогою популярної програми для склеювання панорам PTGui PRO.

Дійшовши до цього моменту, хочу особливо відзначити роботу відеокарти Asus GTX460 DIRECTCU TOP / 2DI / 1G використовує технологію CUDA. Дана технологія дозволяє робити обчислення, пов'язані з трансформацією зображення, засобами процесора відеокарти. Це дозволило скоротити час на обробку декількох тисяч файлів в 3-5 разів.

Отже, коротко розповімо, як робилася збірка.

Оскільки всі камери були жорстко закріплені, то не було необхідності збирати з нуля кожну панораму окремо. Досить було зібрати шаблон з перших кадрів, а потім зібрати решту панорами з цього шаблону. Як шаблон для складання всіх панорам були відібрані 4 кадри, по одному від кожної камери, коли автомобіль ще не рухався.

Отже, збираємо цю панораму, проставляючи контрольні точки по заднього плану (пам'ятаємо, що на передньому у нас паралакс), оптимізуємо панораму, і шаблон проекту збірки готовий.

У нашому випадку максимальний розмір відеопанорами вийшов 3088х1544 пікселів. Слід зауважити, що для кодування відеозображень необхідно виконати умову: розмір сторін кадру повинен бути кратний 16. І крім того, для трансляції через інтернет ми прийняли рішення скоротити на 30% і без того величезний потік відео. Тому розмір результуючої панорами в нашому шаблоні був зменшений до 2720х1360 пікселів.

Ми не хотіли вручну збирати кілька тисяч панорам, тому скористалися можливістю пакетної збірки на нашу шаблоном, яку надає PTGui.

Залишаючи проект з шаблоном відкритим, запускаємо batch Builder - пакетний складальник проектів

(Мітка 1 на скріншоті нижче).

Наступний крок: вибрати поточний відкритий проект як шаблон для складання всіх інших проектів (мітка 2). Потім переходимо до побудови проектів: «Generate new projects» (мітка 3).

Побудова проектів вибрано за умовою: «в одній папці - одна панорама»; цей процес наочно ілюструє скріншот нижче:

В результаті з кожних чотирьох кадрів в папках P000 ............ Pnnnn будуть зібрані проекти для збірки еквідистантних проекцій. Після завершення процесу складання проектів batch Builder запропонує передати всі проекти в batch Stitcher. Погоджуємося, і далі починається процес складання еквідистантних проекцій (самих панорам). Залежно від потужності вашого комп'ютера він може тривати до декількох годин.

Отже, тепер у нашому розпорядженні є еквідистантно проекції (тобто самі панорами), зібрані з чотирьох кадрів, зроблених одночасно (точніше, практично одночасно) чотирма камерами. Причому кількість даних проекцій дорівнює числу кадрів в початкових відеокліпах кожної камери.

Потім всі отримані панорами були оброблені ( «підфарбовані») в пакетному режимі в Adobe Photoshop для додання насиченості і барвистості зображення. Уже на цьому етапі було помітно, що отриманий матеріал перевершує по динаміці світлотіні і деталізації репортаж з Гаїті.

Збірка відеокліпу.

Ми наближаємося до завершення збирання сферичного відеокліпу. На даному етапі нам потрібно відеоредактор Adobe Premiere не нижче версії CS5. В редакторі відео створюємо проект з установками як на скріншоті, наведеному нижче:

Частота кадрів дорівнює 12 кад / сек, як при експорті окремих кадрів. Зрозуміло, можна було залишити і 24 кад / сек, або 25 або 30 кад / сек залежно від режиму зйомки в камері. Але в такому разі потік кодованого відео зростає вдвічі, і далеко не кожен користувач зможе подивитися ваш сферичний відеоролик. Ще раз прошу звернути увагу на те, що ми створюємо відеоряд з розміром кадру більше, ніж Full HD 1080p, а далеко не кожен користувач інтернету може собі дозволити собі дивитися відео Full HD 1080p онлайн через пропускної спроможності свого каналу або сервера, що віддає відео . Зрозуміло, можна і зменшувати розмір кадру, тим самим знижуючи бітрейт і даючи можливість користувачам з низькошвидкісним каналом інтернету дивитися сферичне відео онлайн. В даному випадку, сподіваючись на технічний прогрес, який не стоїть на місці, ми залишили розмір кадру 2720х1360.

Перед початком імпорту наших еквідистантних проекцій необхідно встановити в настройках редактора відео тривалість статичного зображення, рівну одному кадру

В результаті, при імпорті всіх еквідистантних проекцій в наш проект Adobe Premiere з кожного окремого зображення буде сформований окремий видеокадр. Одночасно буде відновлена ​​тривалість самого відеоряду, така ж, як і до експорту окремих кадрів від кожної з камер.

На таймлайне розташовані наші окремі картинки, з яких буде сформовано наш ролик. На даному етапі на відео можна накласти деякі ефекти. Ми використовували тільки ефект затемнення на початку і кінці кліпу. Титри і інші ефекти простіше застосувати вже при створенні веб-сторінки, використовуючи можливості flash.

Експорт здійснювався під flash контейнер f4v, що дозволяє кодувати відеопотік формату вище ніж Full HD 1080p. Зрозуміло, в установках експорту треба не забувати ввести нестандартний для відео наш розмір кадру.

Залежно від продуктивності вашого комп'ютера процес імпорту зображень в Adobe Premiere може зайняти час до десятків хвилин, а процес кодування f4v відеокліпу може затягнутися і на кілька годин.

Демонстрація 360 відео в інтернеті

Залишилося питання: як показати отримане 360 відео глядачеві. Якщо викласти його на YouTube, то на екрані буде показано розгорнутий на 360 градусів плоске зображення, настільки ж далеке від 360 відео, наскільки пасеться на лузі овечка далека від добре приготованого шашлику:

Для того, щоб глядач міг бачити звичну картинку і обертати її на всі боки, потрібен спеціальний плеєр, який відтворює потокові еквідистантно проекції.

Для демонстрації сферичного відеозображення ми використовували єдиний доступний для нас flash плеєр компанії KRPANO http://krpano.com/video/ (Бета версія), до якого ми написали саморобний інтерфейс. Звуковий супровід у нас незалежно від відеоряду і служить фоном. Тобто при зупинці руху і статичному перегляді сфери в режимі «пауза» звуковий супровід не переривається.

Розібравшись з методикою створення сферичного відеоряду і домігшись позитивних результатів в адаптації бета версії flash плеєра, ми зіткнулися з ще однією проблемою. Було незрозуміло, як показати це відео широкому колу глядачів, так як банально не вистачало ресурсів на сервері провайдера. Як тільки кількість одночасних звернень до відео перевищувало зовсім невелику цифру 5, наш сайт, розташований в Росії на віртуальному майданчику Masterhost, переставав функціонувати, а відвідувачі бачили повідомлення «Service Temporary Unavailable». Звичайно, в таких умовах показувати відео панорами не представлялося можливим, і наш сайт змінив прописку. Ми переїхали на виділений сервер, розташований в Німеччині. Аналогічні умови в Росії коштували в кілька разів дорожче. Після аналізу ринку ми вибрали саме Німеччину через дуже хорошого співвідношення ціна-якість, а також наявності підтримки російською мовою.

Однак німецький сервер не вирішив нашу проблему з відео повністю. Ресурсів тепер вистачало з головою, межа одночасних переглядів зріс до декількох сотень, але відео показувалося з сильними ривками. На жаль, незважаючи на дуже хороший канал зв'язку, його пропускної здатності було недостатньо для якісного одночасного перегляду відео великою кількістю користувачів. У найнижчому якості відео вимагає пропускної здатності 2Мбіт / с, а у високій якості - 7Мбіт / с на одного користувача, і кілька десятків глядачів можуть легко забити будь-який канал. Нагадаю, що передається потік інформації вище, ніж у HD-video.

Для вирішення цієї проблеми нам довелося звернутися до CDN мереж (Content Distribution Network). CDN - це географічно розподілена мережева інфраструктура, що дозволяє оптимізувати доставку і поширення контенту кінцевим користувачам в мережі інтернет. Тобто наприклад користувачам з різних географічних регіонів відео показується не з одного сервера, розташованого, наприклад, в Німеччині, а з одного з безлічі серверів, об'єднаних в мережу CDN. Таким чином, користувач отримує контент з найближчого до нього сервера, що сильно прискорює процес.

В результаті ми зупинилися на сервісі Amazon S3, пропонованому компанією Amazon - визнаного лідера в області зберігання і показу великих обсягів даних. Незважаючи на американське розташування всіх основних ресурсів, через використання технології CDN наші відеоролики стали доступні для якісного перегляду не тільки в Америці, але і в Європі, і в Росії. Домогтися таких рівних результатів у найрізноманітніших регіонах без CDN мереж не було б зовсім неможливо.

Висновки

Виявилося, що не боги горщики обпалюють, і зібрати установку для зйомки 360 відео можна і з підручного фото обладнання, не витрачаючи 63 тисячі доларів на готове рішення. Ми зробили таку установку з наявних дзеркальних камер і зуміли розробити методику зйомки і склейки знятого матеріалу в повноцінне 360 відео, а також забезпечили відтворення цього специфічного відеоматеріалу через інтернет.

Через сильний параллакса на передньому плані можливості використання конструкцій з дзеркальних камер для зйомки 360 відео дещо обмежені. Однак дзеркалки цілком можна використовувати там, де немає переднього плану: наприклад, при зйомці відео з вертольота.

Для зниження параллакса можна використовувати цифрові мильниці невеликого розміру.

Це дозволить ще й значно знизити вагу, розміри і вартість конструкції при деякому падінні якості зображення. На жаль, в мильниці немає можливості встановлювати ручну експозицію та баланс білого для всіх камер, тому частково вирішивши проблему параллакса, ми в ряді випадків отримаємо проблему різної яскравості у окремих ділянок нашого відео.

І в обох випадках (дзеркалки і мильниці) не буде вирішена важлива проблема: синхронна зйомка всіх камер. Для цього потрібно втручатися в електроніку на рівні виробників.

Проте, наші експерименти показують, що і на аматорському рівні можна досягти цілком прийнятних результатів в зйомці 360 відео з використанням бюджетних рішень, без необхідності витрачати десятки тисяч доларів на спеціалізоване обладнання.

тестове відео

Висока якість

360 відео, тестова зйомка. Висока роздільна здатність, потік 7Мбіт / с
(Тільки для високошвидкісного інтернету):

Кремлівська набережна Воздвиженка, Манежна площа Мисливський ряд, Театральна, Луб'янка Іллінка, Червона площа

низький дозвіл

360 відео, тестова зйомка. Низький дозвіл, потік 2Мбіт / с:

Кремлівська набережна Воздвиженка, Манежна площа Мисливський ряд, Театральна, Луб'янка Іллінка, Червона площа

Що далі?

Безумовно, наші тестові зйомки не претендують на оригінальність і художність, а всього лише ілюструють принципову можливість створювати такі кліпи з підручного обладнання.

Виробники теж не сидять на місці, компанія Sony випустила відеомильніцу Sony bloggie MHS-PM5K. На цю камеру одягається спеціальна дзеркальна насадка, після чого камера знімає 360 відео, правда, невисокої якості:
http://habrahabr.ru/blogs/gadgets/86160/
http://www.youtube.com/watch?v=LjVodf2Bnwg

розробляється насадка для iPhone 4, що дозволяє знімати 360 відео:
http://www.iphones.ru/iNotes/131920

Крім Immersive Media, в інтернеті можна знайти і інші компанії, що випускають професійне обладнання для зйомки 360 відео.

І якщо до зйомки 360 відео докласти грамотну режисуру і якісну обробку, то виходять кліпи професійної якості, які цікаво дивитися. Приклади деяких з них наводяться нижче.

Отримає 360відео надалі широке поширення або залишиться екзотичним мультимедійним матеріалом? Покаже час.

Обговорення

Додати коментар ви можете на Цій странице

Оригінал статті був опублікований на iXBT

автори: Андрій Зубець, Олег Гапонюк

20.09.2011