Як отримати великі супутникові набори даних для проектів машинного навчання

Вступ

Історично лише якісь уряди та великі корпорації мали доступ до якісних супутникових знімків. В останні роки набори даних із супутникових зображень стали доступними кожному, хто має комп’ютер та з’єднання з Інтернетом. Якість, кількість та точність цих наборів даних постійно покращується, і у вашому розпорядженні безліч безкоштовних та комерційних платформ для отримання супутникових знімків. Крім того, ціни на придбання зображень значно впали, а також ціни та доступність інструментів, які дозволять вам аналізувати зображення для проектів машинного навчання та науки про дані.

У цій статті я сподіваюся надихнути вас почати вивчати можливості та корисність загальнодоступних наборів даних супутникових зображень, доступних сьогодні. Я покажу вам огляд високого рівня, звідки беруться ці зображення, а потім заглиблююся глибше в деталі щодо того, над якими особливостями вам слід подумати, вибираючи правильне джерело даних. У наступній статті я дам вам огляд архітектури, яку потрібно мати перед тим, як почати працювати з ними на своєму локальному комп’ютері.

Давайте перейдемо прямо до супутників. Чим унікальний такий набір даних? Чому варто турбуватись супутниковими знімками?

Різниця між супутниковими зображеннями 30 см та 70 см. [Джерело: Maxar]

Дані супутникових зображень у вас під рукою

Перш за все, ви можете отримати повне покриття Землі, а це означає, що ви можете вибрати практично будь-яке місце на планеті, і ви зможете побачити, як це місце виглядає. Крім того, зображення легко доступні. Ви можете зайти на веб-сайт і легко завантажити зображення в будь-яке місце, де хочете, оскільки існують програми для публічного простору, які пропонують безкоштовні зображення тим, хто їх хоче. Тож, починаючи дослідження, я настійно рекомендую спочатку ознайомитися з доступними безкоштовними ресурсами. Унизу цієї статті ми включили перелік цих ресурсів. Доступні численні комерційні варіанти, які забезпечують якісніші зображення для спеціалізованих цілей. Ви можете звернутися безпосередньо до Appsilon, щоб отримати допомогу з придбанням комерційних супутникових наборів даних.

Один із способів думати про набори даних супутникових зображень – це те, що вони дають вам можливість подорожувати назад у часі. Коли ви думаєте про супутникові знімки, ви можете подумати про Google Maps, яка надає вам супутникові знімки, які дають вам знімок поверхні Землі. Але, маючи доступ до потрібного провайдера, ви можете повернутися в минуле і отримати доступ до зображень на будь-який бажаний день, повертаючись роками назад – в деяких випадках до 1980-х років. Цей доданий часовий вимір дає вам додаткові здібності щодо аналізу даних. Уявіть, що ви можете поглянути на одну точку на Землі, а потім повернутися у минуле і подивитися, як змінилося це місце. Потім можна побудувати прогнозні моделі, щоб передбачити, як це місце буде виглядати в майбутньому.

Представлення 4500 супутників, які зараз обертаються навколо Землі

Ця візуалізація показує масштаб того, що відбувається над нашими головами, поза стратосферою. Зараз навколо нашої планети знаходиться понад 4500 супутників, і понад 600 із них постійно фотографують. Дедалі більше готуються до запуску, тим більше, що ця галузь технологій останнім часом пришвидшується дуже швидко. Це означає, що кількість і якість наборів даних супутникових зображень швидко покращується.

В даний час найкраща роздільна здатність, яку ви можете отримати із супутникового зображення, – 25 см на піксель. Це означає, що якщо ви дуже близько збільшите якісне супутникове зображення, один піксель буде представляти приблизно 25 см поверхні Землі. Якщо на супутниковому знімку зображена людина, то ця людина буде представлена приблизно трьома пікселями. Три пікселі – це не так вже й багато, але якщо ви поєднаєте це приблизне зображення людини з її тінню, то ви можете підтвердити, що ці три пікселі справді є людиною.

Як отримати супутникові набори даних

Тепер я хотів би перейти до більш конкретних аспектів супутникових зображень – що це за набір даних і як ви можете отримати ці набори даних.

Доступні два типи супутникових даних. Існують загальнодоступні масиви даних, які є у вільному доступі з якістю, достатньою для багатьох випадків використання. І є кілька комерційних нарядів, які пропонують ще кращі зображення з більшим потенціалом використання.

Найвідоміші загальнодоступні масиви даних представлені Landsat та Sentinel. Ви можете прямо зараз погуглити ці компанії та знайти потрібний образ для себе. Одне зображення складатиме близько 1 Гб даних. Не одразу очевидно, як можна працювати з цими зображеннями, але пізніше я поясни, як це легко зробити. Ви також можете сміливо звертатися до нас за додатковою інформацією про роботу з великими комерційними наборами даних.

Існує безліч комерційних компаній, які отримують супутникові знімки. Комерційні набори даних в основному надаються Maxar, Planet Labs, Airbus Defense & Space, Imagesat та Skywatch. Рік тому “Планета Лабораторії” запустила 150 супутників кожен розміром із коробку для взуття. Тож зараз існує величезне сузір’я маленьких супутників, які фіксують зображення. В даний час ви можете отримувати нове зображення кожні два дні. Ще однією цікавою компанією для перегляду є SkyWatch. SkyWatch – це центр для супутникових знімків. Вони збирають зображення від усіх інших провайдерів – у них немає власних супутників. SkyWatch – це гарне місце, щоб знайти гідні ціни на комерційні супутникові знімки.

Мене часто запитують про ціни на зображення. Ціни варіюються від декількох доларів за одне зображення до ~ 1000 доларів за зображення найвищої якості. Отже, якщо ви хочете ідентифікувати людей на великій кількості зображень або вам потрібні послідовні та точні історичні записи для досліджень, наразі це буде для вас досить дорого. Однак, враховуючи те, наскільки швидко технологія прогресує, ціни в майбутньому повинні знижуватися. У певному сенсі ми знаходимося в момент, коли йде хвиля нових технологій супутникових зображень. Хвиля ще не досягла свого піку. Якщо ви почнете досліджувати прямо зараз, ви опинитеся на вершині хвилі, коли супутникові знімки будуть дешевими та доступними. Зараз ідеальний час, щоб розпочати гру з наборами даних супутникових зображень.

Супутникові знімки: просторова та тимчасова роздільна здатність

При виборі наборів даних першим фактором є роздільна здатність зображення. Чим більша роздільна здатність, тим більше деталей ми бачимо. Але є деякі компроміси, які ми обговоримо найближчим часом. На цьому сюжеті ви можете побачити, як просторова роздільна здатність змінювалась протягом багатьох років. Ми почали зі 100 метрів у 1970 році, а зараз ми досягли 25-30 сантиметрів.

Просторове та тимчасове вирішення

Просторова роздільна здатність – не єдина роздільна здатність, яку ми повинні враховувати при розробці рішень на основі супутникових зображень. Не менш важливим, а іноді навіть важливішим є тимчасовий дозвіл. Як часто ми отримуємо зображення даної місцевості? Який час перегляду?

Landsat, один із загальнодоступних наборів даних супутникових зображень, дає вам роздільну здатність 30 метрів, і ви отримуєте одне зображення кожні 14 днів. Sentinel дає вам роздільну здатність 10 м кожні 5 – 7 днів. Отже, якщо ви хочете інвестувати у свій проект, у вас є можливість набагато кращої роздільної здатності та частоти зображень.

Супутникові знімки: шари інформації

Те, як сенсори працюють у супутниках, є справді захоплюючою темою. Коли ви думаєте про супутникове зображення, це більше, ніж просто фотографування звичайною камерою. Люди здатні декодувати червоний, зелений та синій кольори. Але супутник може декодувати набагато більше електромагнітної інформації, ніж це. Деякі супутники мають 12 датчиків, це означає, що ви отримуєте зображення, яке має 12 шарів інформації.

Супутникові зображення можуть містити більше шарів інформації, ніж типові зображення

Для нас зображення – це просто матриця, яка має значення для червоного, зеленого та синього, але із супутника ви отримуєте набагато більше значень, які людське око не здатне обробити. Наприклад, за допомогою супутникового зображення ви можете мати інфрачервоний канал, який можна використовувати для виявлення здоров’я рослинності. Отже, це абсолютно нові дані, які не вдасться виявити неозброєним оком. Інфрачервоний канал відображається інакше, ніж хлорофіл у рослинах, що дозволяє виявляти хворі рослини з космосу. За допомогою цих додаткових шарів інформації можна зробити ще багато іншого. Наприклад, ви також можете виявити рівень вологи на поверхні планети, що неможливо зробити дуже просто за допомогою стандартної візуальної кольорової інформації.

Існує також радіолокаційна технологія. Багато з вас знають LIDAR, який повідомляє вам висоту даної поверхні. Важливо зазначити, що хмари – це величезна проблема, коли мова йде про супутникові знімки. Багато людей працюють над алгоритмами для усунення хмарної проблеми при супутникових знімках, але ідеального рішення поки що немає. Радіолокаційна технологія дозволяє переглядати хмари, але ви не отримуєте всіх інших шарів інформації, про які я згадав вище. Ви дійсно отримуєте якісну інформацію про висоту.

Справа ми маємо видиме смугове зображення певної місцевості на Суматрі, Індонезія. Як бачите, наш погляд заважають хмари. Тепер ліворуч ми бачимо ту ж ділянку на радіолокаційному зображенні. Зараз у нас доступно все більше радіолокаційних зображень, що корисно, оскільки радар може бачити крізь хмари. Це може бути вирішальним у багатьох випадках.

LIDAR пом’якшує хмарний покрив на супутниковому знімку

Вибираючи джерело даних, слід пам’ятати одне – залежно від вашого проекту, вам може не обов’язково знадобитися якнайкраще вирішення. Можливо, ви захочете поекспериментувати з безкоштовними зображеннями з роздільною здатністю 10м або 30м. Ви також можете дослідити, що насправді вам надає постачальник зображень. Деякі платформи виконують за вас деякі роботи з попередньої обробки. Наприклад, я згадав, що одне зображення може містити 1 Гб даних. Ви можете попросити деяких постачальників вирізати зображення в одному конкретному шейп-файлі, і натомість ви отримаєте лише 1 МБ даних – невелике зображення, яке складається лише з тієї області, яку ви хотіли. Це може бути дуже корисно, якщо ви працюєте з великою кількістю зображень.

Висновок

Сподіваюся, ви тепер маєте уявлення про безліч сучасних та розроблюваних варіантів супутникових знімків. Раніше такі набори даних були доступні лише деяким обраним. Зараз у вашому розпорядженні безліч безкоштовних та комерційних платформ. Ви можете використовувати часову роздільну здатність, просторову роздільну здатність і десяток смуг електромагнітного спектра, щоб допомогти у ваших проектах. Крім того, ціни на отримання супутникових знімків значно впали, а також ціни та доступність інструментів, які дозволять вам проаналізувати ці зображення. У моїй наступній статті про супутники ми далі вивчимо, як використовувати супутникові знімки на практиці, і я поясни, чому R є чудовим інструментом для аналізу супутникових зображень. Я поділюсь своїм досвідом спроб і помилок із супутниковими знімками, щоб заощадити ваш час і сили.

Список літератури

Загальнодоступні набори даних

Landsat

Вартовий

Набори комерційних даних

Макс

Planetlabs

Airbus Defense & Space

Imagesat

Skywatch

Дякуємо за читання! Щоб дізнатися більше, слідкуйте за мною на Linkedin.

Дотримуйтесь appsilon data science у соціальних мережах

Слідкуйте за @Appsilon у Twitter

Підписуйтесь на Appsilon на LinkedIn

Підпишіться на розсилку новин нашої компанії

Спробуйте наші пакунки з відкритим кодом R Shiny

Підпишіться на розсилку AI for Good

Ми наймаємо інженерів програмного забезпечення

Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/how-acquire-large-satellite-image-datasets-machine-damian-rodziewicz/.

Damian Rodziewicz люб’язно дозволив нам перекласти і опублікувати цю статтю.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

%d bloggers like this: