Хроніки галузі безпеки – Як AI навчився не виявляти

Якщо ви стежили за головною доповіддю П’єра Рача на Genetec Connect’DX, ви знаєте, що певна міра скептицизму виправдовується, коли йдеться про AI. Або як він висловився: “Ви б дозволили дощовому черв’яку водити вас на роботу?”.

За час роботи в цій галузі я бачив принаймні дві хвилі “ажіотажу на штучний інтелект”, причому друга зараз відбувається. Перший був близько 10 років тому, і саме в той час перші постачальники придумали відеоаналітику, що самостійно навчається. Наслідки цього ми могли побачити у одного з наших клієнтів, і це їх історія.

Це була виправна установа, яка прагнула захистити їх периметр. Перш ніж вони стали клієнтами, вони розповіли нам, чому до нас звернулись: Раніше вони встановили систему відеоаналітики для захисту периметра від іншого постачальника. І вони мали багато-багато помилкових попереджень вночі через машини, що їхали біля стін. Їхні фари спрацювали сигнал тривоги, хоча і не повинні.

Після розмови з продавцем була представлена абсолютно нова версія програмного забезпечення, яка включала алгоритм «самонавчання». Ідея полягала в тому, що ви дозволили йому працювати кілька тижнів, і оператор позначить, що є “істинним”, а що “помилковим” сигналом. Вони встановили його і розпочали з тренувального процесу.

Через кілька тижнів вони побачили покращення, і кількість помилкових попереджень протягом ночі значно зменшилось! Вони були досить задоволені і широко розгорнули нову версію.

Однак через кілька тижнів вони вирішили протестувати систему ще раз, якщо ви хочете, це перевірка стану розумності. Але на загальний подив, система взагалі не викликала жодних попереджень!

Він дізнався, що такі типи попереджень не повинні спрацьовувати, ні реальні, ні помилкові!

Це показує, наскільки складним є розгортання всього, що є “самонавчанням”. Особливо без будь-якого визначення, якого результату ви очікуєте. “AI” все ще є машинами, яким ви повинні точно сказати, що хочете. Якщо ви не дуже конкретні, вони можуть просто дізнатися неправильні речі.

Як, як не спрацьовувати будильники.

Спочатку ця публікація була опублікована за адресою https://www.linkedin.com/pulse/chronicles-security-industry-how-ai-learned-detect-florian-matusek/.

Florian Matusek люб’язно дозволив нам перекласти і опублікувати цю статтю.