Великі дані та постійний моніторинг: компроміси

З прогнозованим експоненціальним зростанням пристроїв IoT (IDC прогнозує до 2020 року 28,1 мільярда IoT-пристроїв, підключених до IoT), технології дистанційного моніторингу все більше стануть нормою для екологічного сектора.

Це призведе до значного збільшення загального обсягу генерованих даних, особливо якщо врахувати, що домінуючою технікою моніторингу в галузі все ще залишається єдиний «точковий моніторинг» або з портативних даних, або із зразків, надісланих до лабораторії.

Оскільки кліматичні зміни та забруднення повітря все більше домінують у політичному та соціальному порядку денному (перегляньте веб-сайт ООН «Глобальний імпульс», щоб отримати інформацію про те, як пришвидшується розмова в Інтернеті), переваги кращих даних стають очевидними для всіх.

Однак існує різниця між “кращими даними” та “більшими даними”. Збір великих наборів даних, хоча і технічно здійсненний, може збільшити технологічні витрати та обтяжити споживачів додатковим регуляторним навантаженням, що перешкоджає їх прийняттю.

Як і більшість речей у житті, завжди є компроміс, і в цьому блозі ми намагатимемося сформулювати ці компроміси та вирішити деякі основні проблеми, пов’язані з переходом на постійний / високочастотний моніторинг.

Що таке «постійний моніторинг»?

З нашого досвіду, «постійний моніторинг» у контексті моніторингу навколишнього середовища, як правило, означає встановлення частоти вибірки, меншої за швидкість, з якою змінюється сам процес. Наприклад, у секторі сміттєзвалищ це часто описується нам як 60-хвилинні інтервали зразків для моніторингу газу та п’ятнадцять хвилин частоти проб є загальними для швидших рухомих процесів, таких як фільтрат та моніторинг поверхневих вод.

Якщо ви вважаєте, що багато з цих процесів в даний час контролюються за допомогою вибірки, відібраної, можливо, один раз на тиждень, то це являє собою збільшення x168 даних, що генеруються у випадку газу, і x672 збільшення у випадку води. Хоча це збільшення було б вітається, якби не було невід’ємних недоліків, факт полягає в тому, що є суттєві питання, які слід розглянути як з точки зору самої технології, так і з точки зору менеджера з дотримання вимог, який її застосовує.

Потужність

Прилади дистанційного моніторингу, як правило, включають акумулятори тривалого терміну служби або використовують сонячні панелі, щоб підтримувати роботу приладів. Враховуючи, що витрата потужності від приладу, як правило, пов’язаний з частотою вимірювання, чим більше даних ви збираєте, тим більше ви зменшуєте тривалість життя приладу. Якщо місце моніторингу є віддаленим та важким або небезпечним для доступу, то важливим фактором є зменшення необхідності відвідувати прилад, щоб замінити його акумулятор або зарядити його.

Термін служби та продуктивність датчика

Як і витрата електроенергії, існує прямий зв’язок між тривалістю життя датчика та його характеристиками та кількістю проведених вимірювань. Вирішення проблеми роботи датчика також зазвичай вимагає відвідування сайту, і це вимагає витрат. Ця проблема є більш серйозною, ніж проблема енергії, згадана вище, оскільки датчики поступово дрейфують і знижують продуктивність, а не просто перемикаються з робочого дня на непрацюючий на наступний день.

Той самий аргумент може бути застосований до фільтраційних середовищ, які часто використовуються в приладах дистанційного контролю. Інші компоненти, такі як насос, зазнають зносу протягом довших годин роботи, таким чином прискорюючись при більш високій частоті. Важливо визнати апаратні обмеження, тому що в кінцевому підсумку вибір стратегії підтримання роботи систем, хоча отримання даних із високим тимчасовим дозволом є ключовим.

Слід зазначити, однак, що такі системи, як AmbiSense (які включають модуль телеметрії та передають дані в реальному часі), як правило, включають аналітичний сервіс, такий, що продуктивність приладу можна контролювати в режимі реального часу, і тому графіки технічного обслуговування та калібрування можуть бути оптимізованими для оптимізації відвідувань сайту.

Зв’язок

Прилади дистанційного моніторингу часто привабливі для операторів, оскільки вони мінімізують витрати та ризики відвідування дуже віддалених місць. Якщо ці прилади включають модулі телеметрії для передачі даних, то ця телеметрична система, як правило, базується на GSM або на супутнику, оскільки 3g / 4g та Wi-Fi з’єднання недоступні. Спілкування через GSM та супутник є, як правило, набагато дорожчим, ніж за допомогою з’єднання даних, як це може підтвердити кожен, хто перейшов від надсилання текстових повідомлень на свій мобільний телефон до використання WhatsApp або Viber!

Хоча великі телекомунікаційні компанії та нові компанії, такі як Sigfox, вклали значний капітал на розгортання M2M та інших типів радіомереж (наприклад, LORaWAN), спеціально розроблених для пристроїв IoT, реальність така, що на їх впровадження знадобиться деякий час а залежність від GSM / Супутника, ймовірно, залишиться ще деякий час.

Щоб зрозуміти понесені витрати, замовник, який щогодини бере пробу звалища та сплачує 5p за текст, платить майже 450 фунтів на рік за отримання даних, тоді як клієнт, який отримує зразок кожні 6 годин, платить трохи більше 70 фунтів . Ці витрати не є незначними, особливо якщо клієнт розглядає можливість випуску великої кількості пристроїв.

Ризик вимірювань, що впливають на вимірювану величину

Деякі методи вимірювання по суті впливають на властивості, що вимірюються, наприклад відбір проб газу з свердловини та видалення в атмосферу або вимірювання витрати свердловини через вентиляційний отвір. Чим частіше проводиться вимірювання, тим більший ефект воно має, і в кінцевому рахунку це може порушити заплановані характеристики для моніторингу. AmbiSense повертає відібраний газ нижче за течією, звідки його було видобуто з цієї причини.

Накладні дані

Збір даних потрібно враховувати щодо безпечного та невразливого зберігання даних. Приймач (и) даних, що надходять із розповсюджених сенсорних пристроїв, повинен мати можливість обробляти такий трафік без несправностей та прогалин. Бази даних повинні мати можливість обробляти зростаючий обсяг даних, не вимагаючи надмірної пам’яті або обробної потужності, забезпечуючи при цьому просту фільтрацію та запити, завдяки чому використання може легко витягувати відповідні масиви даних, що цікавлять.

Нормативне сприйняття

Частота режиму моніторингу не робить ситуацію більш-менш відповідною до існуючої природи, але може мати значний вплив з регуляторної точки зору; високочастотний моніторинг відфільтрує випадкові хибнопозитивні та помилково негативні показники, які неминуче трапляються при рідкісних та рідкісних ручних вибірках. Цю „справжню картину” поведінки в навколишньому середовищі суб’єктивно може сприйняти будь-яка із сторін. Підвищений рівень контролю може бути кращим з точки зору регулятора, але може викликати занепокоєння у оператора.

Перехідні події, які в іншому випадку не можна було б визначити періодичним спотовим моніторингом, відзначаються високочастотним моніторингом – тоді необхідна збалансована інтерпретація даних на основі часу, щоб судити, чи кваліфікується це як порушення відповідності, чи потрібно змінити визначення критеріїв порушення для високочастотних подій. (Тема регулятивного сприйняття безперервного моніторингу буде предметом майбутнього блогу).

Отже, якщо наша мета – створити кращі набори даних для поліпшення екологічної відповідності, то важливо, щоб обсяг даних, який вважається необхідним, допомагав, а не перешкоджав впровадженню тієї самої технології, яка забезпечить це відповідність.

Апаратні обмеження неминучі, і їх слід визнати, хоча їхній ефект постійно зменшується в міру розвитку технологій. Визначаючи відповідну частоту постійного моніторингу, слід враховувати питання, на які потрібно відповісти (чому XYZ поводиться так? Чи покращується, якщо я це роблю? Який обсяг цієї проблеми?) Та необхідні часові рамки для встановлення відповідей, підтримуючи таким чином живий узгоджений набір даних.

Ми також повинні врахувати, як регуляторний режим повинен змінюватися, щоб обробляти ці дані, щоб допомогти, а не перешкоджати тим, хто приймає на ринок, досить сміливий, щоб в першу чергу ризикувати новими технологіями.

= Див. Більше на: http://www.ambisense.net/blog

Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/big-data-continuous-monitoring-trade-offs-stephen-mcnulty/.

Stephen McNulty люб’язно дозволив нам перекласти і опублікувати цю статтю.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

%d bloggers like this: