Torrent і пірати

1. 1. Блокування інтернет-ресурсу по домену і по IP-адресою
2. 2. Блокування власне торрент-трекера
3. 3. Блокування торрент-трафіку на стороні провайдера

У січні поточного року Роскомндазор "довічно" "заблокував" найбільший торрент-трекер російською мовою. Лапки поставлені не випадково, тому що на ділі виявилося, що ніякої довічної блокування не траплялося. Хоча "профільні" антипіратські організації бравурно звітують про "ефективності" і ось ще чуть-чуть ...

І навіть підтверджують ефективність блокувань цифрами. Наприклад, посилаючись на відкритий інтернет-лічильник LiveInternet, який доступний всім бажаючим за адресою: http://www.liveinternet.ru/stat/rutracker.org/index.html

І дійсно ... з моменту локального піку "переглядів сторінок" в обсязі 11,4 млн. При 1,1 млн. Відвідувачів, показник серпня-16 становить 5,9 млн. Переглядів на 0,53 млн відвідувачів. Статистичне "падіння" - наполовину!

Дійсно. Можна робити звіт і переможну реляцію про дієвість механізмів "довічної блокування". Повністю явище запобігти, зрозуміло, не вдасться в такий короткий термін, але за півроку скоротити кількість "піратів" вдвічі - це цілком собі досягнення.

Давайте розберемося з самого початку.

Для початку давайте розберемося в принципах роботи власне технології "торрент" і як она блокуються за версією "Роскомнадзора".

Отже: BitTórrent (букв. Англ. "Потік бітів") це пірінговий (P2P) мережевий протокол для кооперативного обміну файлами через Інтернет.

Особливістю протоколу (на відміну, наприклад, від "старого доброго FTP) є те, що отримані елементи розбиваються на сегменти. Кожен torrent-клієнт, отримуючи (викачувавши) сегменти, в той же час віддає (закачує) їх іншим клієнтам, що знижує навантаження і залежність від кожного клієнта-джерела і забезпечує надмірність даних.

Власне протокол спочатку був розроблений Бремом Коеном, який написав перший torrent-клієнт "BitTorrent" на мові Python 4 квітня 2001 року. Запуск першої версії відбувся 2 липня 2001 року.

На сьогодні існує величезна кількість програм-клієнтів для обміну файлами по протоколу BitTorrent. Я нарахував 39 популярних клієнтів, зазначених у Вікіпедії , І відрізняються деякими особливостями, як косметичного характеру, так і внутрішнім пристроєм.

Для того щоб зрозуміти, як "блокувати торренти", необхідно розуміти і як

в принципі працює протокол BitTorrent. Не вдаючись глибоко в технічні подробиці, спробуємо розібратися.

Для того, щоб "викачати новий фільм" (піратський, зрозуміло) вам необхідно встановити на комп'ютер (відволікаючись - не тільки на персональний - існують клієнти для смартфонів, NAS-сховищ, для маршрутизаторів) спеціальне ПЗ-клієнт. Далі вам необхідно скачати і "згодувати" клієнту короткий torrent-файл, де, власне, зберігається інформація про те, де "качати" - адреса торрент-трекера і контрольна хеш-сума викачуваного файлу.

Клієнт звертається до трекера і у відповідь отримує адреси інших клієнтів, що викачують або роздають цей же файл. Далі клієнт періодично інформує трекер про хід процесу і отримує оновлений список адрес. Цей процес називається оголошенням (англ. Announce).

Клієнти з'єднуються один з одним і обмінюються сегментами файлів без безпосередньої участі трекера, який лише зберігає інформацію, отриману від підключених до обміну клієнтів, список самих клієнтів і іншу статистичну інформацію.

Мережа BitTorrent тим ефективніша, чим більше клієнтів до неї підключено.

Звідси і виникає тривіальний висновок, що якщо ми "заблокуємо" адреса торрент-трекера, то мережу працювати перестане. Але.

Але справа в тому, що роки гоніння на технологію торрентів (яку в усьому світі вважають "піратської", хоча це всього лише технологія, яку, в тому числі, використовують багато великих дистриб'ютори контенту) принесли нове розуміння безпеки мережі і відповідні зміни в протоколи. Наприклад, щоб уникнути "тонкого місця" у вигляді централізованого трекера, була розроблена система "розподіленої бази даних про оголошеннях файлів", яка отримала кодову назву Kademlia . В англійській версії на Вікіпедії досить докладно описана математика реалізації Kademlia. У російській версії все досить стисло.

Починаючи з версії протоколу 4.2.0 (анонсована ще в 2005 році) клієнти підтримують функції "розподіленої хеш-таблиці" - DHT (Distributed hash table) і PEX (Peer exchange) - це розширення БТ протоколу для обміну списками учасників.

Якщо дуже коротко: DHT - це протокол, що дозволяє бітторрент клієнтам знаходити один одного без використання трекера. Тобто, торрент-клієнти просто і нехитро пересилають один одному всю необхідну для передачі файлу інформацію - хто, де і які сегменти файлу зараз передає-приймає.

Протокол PEX реалізується як додаткові сполучення між клієнтами, вже з'єднаними між собою для обміну сегментами файлу за звичайним БТ протоколу.

Але потрібно розуміти, що DHT, PEX - це тільки допоміжні засоби отримання бенкетів. До роздачі нових бенкетів необхідно все ж підключати трекери, головне завдання яких - генерація унікальних в даній обмінної мережі хешів файлів для роздачі.

Ще одне важливе доповнення. Власне сайт RuTracker - не є торрент-трекером. Це всього лише сайт, написаний на "форумном движку" (phpBB) з відкритим вихідним кодом, значно переробленим. Власне трекер знаходиться за адресою t-ru.org (bt3.t-ru.org - дозволяється на IP-адреса 195.82.146.122). І цю адресу як раз РКН не блокується. Але в разі блокування, він може бути дуже швидко змінений на будь-який інший.

Цінність же ресурсу RuTracker полягає в тому, що його "форумних" дозволяє користувачам спілкуватися, задавати питання і обмінюватися інформацією та посиланнями на торрент-файли.

При цьому блокування за адресою "форуму" і його ip-адресу, за механізмом "чорних списків", які застосовуються РКН - безглузді.

Але таки встановлені лічильники LiveInternet (ще в коді присутній лічильник OpenStat) показують, що кількість користувачів все ж знижується ... Чому так?

Тут є кілька версій.

По-перше, взагалі аудиторія Рунета, якщо дивитися на лічильник LI , Останній рік скорочується:

Причому, знижується якраз з січня 2016 року, хоча і не так драматично, як кількість відвідувачів безпосередньо RuTracker:

По-друге, зниження кількості відвідувачів "за лічильником" можна віднести якраз до блокування, що абсолютно справедливо.

Тут необхідно трішки докладніше зупинитися на механізмі дії лічильника, який працює в такий спосіб: код лічильника імплементується в HTML-код сторінки і звертається безпосередньо зі сторінки як звернення до стороннього ресурсу. Система статистики якраз і вважає скільки разів було звернення до ресурсу з певними параметрами.

Ось так виглядає код лічильників, встановлених на RuTracker:

Логічно, що якщо ви не змогли завантажити сторінку (побачили сторінку-заглушку від провайдера імені Роскомнадзора), то лічильник теж не завантажиться і система статистики вас не порахує.

Однак якщо ви скористалися яким-небудь способом обходу блокувань, наприклад, встановивши розширення для браузера або скориставшись VPN-сервісом, то лічильник сторінки може просто не зважати. По ряду причин, не заглиблюючись.

І, по-третє: аудиторія RuTracker - це "просунуті користувачі", які не тільки легко обходять блокування, але і користуються різними способами блокування реклами і "жучків". Наприклад, AdBlock або Ghoster, кількість користувачів яких досить швидко зростає. Ці розширення для браузерів просто блокують звернення до сторонніх ресурсів або навіть HTML-код вставок "жучків" і реклами.

Ось так виглядає плагін Ghostery зі статистикою блокувань на сторінці RuTracker:

І нарешті, по-четверте, версія, яку я поки не підтвердив, але яка може мати місце - власне RuTracker деяким чином втручається в роботу видачі лічильника, навмисне і поступово знижуючи наочну відвідуваність сайту на використовуваних лічильниках.

Зробити це при навичках web-програмування нескладно - код лічильника вставляється нема на кожному перегляді, а тільки, наприклад, на кожну дев'яту сторінку, що видається відвідувачеві.

Обмовлюся додатково - це тільки версія: мені не вдалося підтвердити факт манкірування статистикою на ресурсі шляхом перезавантажень сторінки і заходів з різних браузерів. Можливо механізм видачі лічильника складніший, а можливо, такого і немає зовсім.

Але на користь версії маніпуляцій говорить такі факти:

а) Відсутність розвинених і популярних систем статистики, таких як, наприклад, Яндекс.Метрика або Google Analitics, які факт манкірування швидко б виявили і заблокували лічильники.

б) Наявність реальної аналітики на сайті, як правило, пояснюється комерційними завданнями з продажу реклами, яка на сайті дуже навіть є. Але в даному випадку, вона просто не потрібна, але про це трохи нижче.

в) Морально і технічно застарілі системи статистики - LI (система технічно не оновлюється вже кілька років) і OpenStat досить легко піддаються маніпулюванню і найголовніше - є "базовими" для спостереження саме держструктурами. Нагадаю, що LI належить "раднику президента" Клименко, який лобіює і блокування, і "пакет Яровий" і взагалі закуклювання Рунета.

Тобто метод отримання статистики, який використовується на ресурсі RuTracker такий, що ніякої реальної картини відвідуваності він не показує.

Однак є інші більш досконалі інструменти обліку трафіку на інтернет-ресурсах, що базуються на інших механізмах. Наприклад, технологія аналітики компанії Similar Web використовує кілька джерел для збору даних і статистики інтернет-ресурсів, а саме:

1) Модулі для веб-браузерів, встановлених у мільйонів анонімних користувачів; 2) Дані від глобальних і локальних інтернет-провайдерів, де SimilarWeb встановлює спеціальне обладнання і ПЗ класу DPI; 3) Дані по веб-трафіку витягуються побічно з переходів на інші сайти і веб-ресурси, для чого розроблені спеціальні алгоритми накопичення статистики; 4) Розроблено цілі колонії пошукових роботів SimilarWeb, які сканують весь Інтернет.

У підсумку, у компанії є більш точні дані щодо реального інтернет-трафіку. Ось на них і подивимося.

Для початку, загальна картина відвідуваності RuTracker за останні півроку, зроблена за допомогою плагіна Similar Web:

... де кількість переглядів (НЕ унікальних користувачів - переглядів) оцінюється в більш, ніж 80 млн. На місяць.

Нагадаю, що за версією LI переглядів менше 10 мільйонів.

Якогось катастрофічного падіння аудиторії - не зафіксовано.

Огляд статистики по ресурсу доступний (без реєстрації і СМС) за адресою: https://www.similarweb.com/website/rutracker.org?from_ext=1#overview

Даний сервіс - платний. Тому для цілей написання нашого огляду ми користуємося виключно відкритими даними. Якщо зареєструватися, то будуть доступні додаткові дані, але не всі: вартість використання в режимі PRO - 199 доларів на місяць.

Порівняємо денну відвідуваність Рутракера за версією Similar Web:

З продемонстрованої відвідуваністю від LI за той же період:

Різниця приблизно в чотири рази.

"Гострі піки" на графіку LI збігаються з піками на SW, але на LI немає можливості зробити нормальний масштаб по осі ординат без вивантаження даних для аналізу. Насправді, коливання "вихідного дня" (ГНН у розважальних сайтів припадає саме на вихідні та свята) так само як і у SW в межах 10% від загального трафіку.

На жаль, Similar Web в безкоштовному доступі віддає статистику тільки за останні півроку, а подія "довічна блокування" відбулося трохи раніше. Але насправді ніякого падіння "в два рази" відвідуваності рутрекере не сталося. Навіть більше - на хвилі новинного шуму навколо блокування відбувся певний сплеск інтересу до ресурсу, який, до речі, добре видно на графіках від LI.

Варто додати, що рутрекере - далеко не єдиний інтернет-ресурс, який промишляє "піратським контентом". Але те, що він один з найбільших в Росії - факт. Однак існують і конкуруючі протоколу BitTorrent технології, які набирають популярність, і досить швидко.

Наприклад, за увагу користувачів в сегменті "відео" бореться кілька ресурсів з онлайн відео. Показово, що трафік на них навіть більше, ніж на рутрекере. Наприклад, сайт Kinogo, який також потрапив під блокування і успішно обійшов її методом перенаправлення домену з заблокованого Kinogo.co на резервний Kinogo.club:

Відвідуваність сайту за якихось два місяці перевищила показники рутрекере вдвічі. І це не єдиний ресурс з онлайн кінотеатром і відверто піратським контентом.

Ресурс Seasonvar.ru має показник 122 мільйони переглядів на місяць.

Filmix.net - 20 мільйонів.

Kino-Dom.org - близько трьох мільйонів.

І це далеко не всі ресурси - подібних сайтів насправді існує сотні і тисячі. Тому що це вигідно.

Створення піратського сайту, як, втім, взагалі будь-якого іншого сайту - заняття клопітка і витратна. Необхідно, як мінімум, придбати хостинг, запрограмувати власне сайт, набрати і якось хоча б мінімально впорядкувати контент. Найголовніше - набрати користувачів, звичайно.

Для цього потрібні кошти, час і кваліфікація.

Зрозуміло, піратські ресурси планують якось вкладені кошти відбивати. І зазвичай це реклама.

Монетизувати призначену для користувача базу в 80 мільйонів унікальних користувачів на місяць цілком цікаво з комерційної точки зору і це цілком прибуткове заняття.

Саме так і монетизуються RuTracker:

Всього на сайті я нарахував близько 13 рекламних блоків і вставок. В основному - не самих білих з точки зору російського законодавства: реклама казино і букмекерських контор, послуги не зовсім законного отримання водійських прав і військових квитків, "дивні товари" і відверто шахрайські "послуги цілителів".

Саме це і є "кормова база", яка живить піратські ресурси.

Технічні методи блокування піратських ресурсів, як показано вище, не зовсім (насправді - зовсім) не ефективні. Власне модель "чорних списків" досить дивна "з точки зору медицини" - лікувати симптоми, а не хворобу.

Більш того, криміналізація (блокування) рутрекере заганяє користувачів (а їх понад два мільйони унікальних в день і близько 16 мільйонів зареєстрованих на форумі) привела лише до того, що тепер RuTracker офіційно відмовився від взаємодії з правовласниками і не видаляє з роздачі файли, які однозначно контрафактна.

Будь-яка блокування РКН - обходиться. Методів обходу - вже десятки. Причому, кількість методів обходу стає тим більше, ніж витонченішими методи блокування на стороні провайдерів.

Давайте перерахуємо способи блокування і очевидні методи протидії їм:

1. Блокування інтернет-ресурсу по домену і по IP-адресою

Блокується не саме трекер, а тільки інформація з посиланнями на торрент-файли або magnet-посилання і гілки обговорень роздачі. Але на роботу трекера це ніяк не впливає.

Методи обходу блокування традиційні: плагіни до браузерів, VPN, динамічний DNS.

Протидія з боку ресурсу: зміна IP-адреси хостингу, зміна домена, динамічний DNS.

Як показує практика, спільнота і відвідувачі досить швидко орієнтуються і вчаться.

2. Блокування власне торрент-трекера

Як вже було сказано вище, Роскомнадзор "довічно заблокував" інтернет-ресурс, на якому не публікується взагалі ніякої "забороненої інформації" - тільки посилання на торрент-файли. Власне трекер знаходиться за адресою bt3.t-ru.org і його IP-адреса (195.82.146.122) в реєстрі не значаться.

Ось адреса власне RuTracker - в реєстрі:

Ось адреса власне трекера:

Ось домен другого рівня:

Ось IP-адреса трекера:

Тобто, доблесний Роскомнадзор блокує не те, що потрібно блокувати!

При цьому блокування трекера також не приведе до бажаного результату - власнику ресурсу досить змінити адресу трекера в torrent-файлах і magnet-посилання, як ресурс знову стане доступним.

3. Блокування торрент-трафіку на стороні провайдера

Існує кілька способів заблокувати взагалі протокол BitTorrent на стороні провайдера. Найпростіший спосіб - блокування стандартних для протоколу BiTorrent портів 6881-6889, однак цей спосіб вже давно обходиться усіма клієнтами, які навчилися використовувати нестандартні порти, включаючи порт-80, який використовується для звичайного HTTP-трафіку.

Більш складні схеми - шейпінг (shaping traffic - обмеження пропускної здатності каналу) і повне блокування трафіку на системах DPI (Deep Packet Inspection). Зазвичай системи DPI розпізнають трафік від клієнтів BitTorrent по вмісту даних TCP пакету, де з другого байта є ознака BitTorrent protocol. Однак деякі клієнти і трекери обходять і такі обмеження шляхом маскування трафіку і його шифруванням. Очевидно, що при масовій блокування шляхом DPI найбільш популярні torrent-клієнти знайдуть способи маскування трафіку.

Ось так виглядає настройка нативного клієнта BitTorrent, де шифрування трафіку включається одним рухом курсору:

Звідсі абсолютно очевидно Висновок, что технічні засоби Блокування піратського контенту - неефектівні. Боротьба буде нагадувати старовинну приказку про "боротьбу щита і меча", де у розробників методів обходу блокування є фора за часом і кваліфікації.

А ось прості методи з суб'єктами поширення піратського контенту чомусь обходяться владою.

Ніхто не знає чому, але власники RuTracker досі на свободі і навіть не в розшуку.

Насправді - це не важко.

Наприклад, є повна історія за попереднім домену RuTracker в реінкарнації torrents.ru. Ось вона: http://who.ru/simplesearch-rc?domainsimple=torrents.ru

Електронна пошта персони, на яку був зареєстрований домен - [email protected] . Історія з разделегірованіем домену вже давня, але чомусь ніхто не поставив собі за мету простежити історію домену і на його хостінговую історію. Наприклад, хостинг Торрентс.ру довгий час надавався компанією ihome.ru - це в Росії і відстежити документи і платежі в сторону хостера не так складно.

Поточний же домен вже зареєстрований в зоні .org і на "приватну компанію". Там же зареєстрований домен t-ru.org - https://www.nic.ru/whois/?domain=t-ru.org

Країна регистранта - Багами. Так, далеко.

Але хостера можна знайти досить легко. Ось тут: https://apps.db.ripe.net/search/query.html?searchtext=195.82.146.122#resultsAnchor

І ми дізнаємося, що рутрекере хоститься в компанії Dreamtorrent Corp, зареєстрована на Сейшеллах. І у них є власна "автономна система" ( ASAS47105 ) З виділеним IP-адресним простором в діапазоні 195.82.146.0 - 195.82.147.255.

Контактні особи там: Alexander P. Frei і Le Mon Grinua. Є номер телефону +441614082336.

Маунтейнер (ідентифікатор особи, яка має повноваження на зміну об'єктів в базі RIPE) взагалі значиться юридична особа під назвою Avtomatizatsiya Business Consulting Ltd. Пошук показує, що це цілком реальна компанія з свідоцтва про Державну реєстрацію 1067760626922. Втім, я не ставив завдання пошуку власників рутрекере, але це, як мені здається, цілком можливо силами спеціально навчених слідчих.

І це ще не все!

Я нагадаю, що реклама, яку публікує на сторінках рутрекере, крутиться в основному на тему онлайн казино. Наприклад, наведений вище скріншот коду лічильників і закоментувавши шматок рекламної вставки, який виглядає так:

<! - <a href = "https://casino.ru/?utm_source=rutracker.org&amp;utm_medium=mini&amp;utm_campaign=forum" target = "_ blank"> <img src = "// static.t-ru .org / images / casino-2.gif "alt =" Кращі казино online 2015 »width =" 88 "height =" 31 "style =" border: none; "> </a> ->

Очевидно, що без доступу до власне коду сайту зробити таку вставку важко. Отже, вставку зробив хтось, хто має повний доступ до коду сайту. Адміністратор.

Отже, якщо вийти на ресурс casino.ru, то шляхом простих (ну, ладно - досить складних, на самом деле) слідчих дій можна знайти і власника RuTracker. Але це цілком можливо, тому що операція з купівлі домену "casino.ru" була однією з найбільших з доменами в Росії - за $ 250,000 цей домен був придбаний компанією Game Media в кінці 2008 року. Ось тут можна подивитися історію домену: http://who.ru/simplesearch-rc?domainsimple=casino.ru

При цьому будь-які слідчі дії однозначно будуть підтримані міжнародними правоохоронними органами, тому що власне RuTracker.org знаходиться в так званому "Списку 301", який складається на підставі ст. 301 Закону про торгівлю США 1974 року ( англ. Trade Act of 1974 ) І містить перелік інтернет-ресурсів, які беруть участь в поширенні контрафактної продукції [34] . Це повинно обмежувати можливості залучення ресурсом зарубіжних засобів і підписання угод з іноземними правовласниками.

З піратством, зрозуміло, боротися потрібно і важливо.

Але чомусь "боротьба з піратством" відбувається методом залучення непричетних (інтернет-провайдери зобов'язані витрачати власні ресурси на підтримку "чорних списків") і покаранням невинних користувачів, що зазнають труднощів від тотальної блокування. Власне інтернет від цього стає тільки складніше, а піратство процвітає.

Як, втім, і маса паразитують на "боротьбі з піратством" організацій, які отримують фінансування "на боротьбу" від правовласників, але при цьому не роблять нічого дійсно корисного, крім виступів на прес-конференціях про те, як вони нелюдськими зусиллями перемогли рутрекере і знизили його аудиторію в половину. Хоча це не так.