«Ефект маскування» означає, що викид не виявляється через наявність інших суміжних. А «ефект заболочення» полягає в тому, що хороше спостереження неправильно визначається як викид через наявність іншої чистої підмножини.
Проблеми заболочування та маскування були широко вивчені при виявленні аномалій. Коли звичайні екземпляри знаходяться надто близько до аномалій, існує ймовірність того, що фактичні неанамолії будуть позначені як анамолії, це називається заболочуванням . Маскування – це наявність занадто великої кількості аномалій, які приховують власну присутність.
Існує три основні класи методів виявлення аномалій: без нагляду, напівнагляду та нагляду.
Методи виявлення аномалій можна розділити на три основні типи: статистичні методи, методи машинного навчання та методи глибокого навчання. У кожного з них є свої переваги та переваги.
5 Алгоритмів виявлення аномалій для спеціалістів із обробки даних
- K-найближчі сусіди (KNN) Це добре відомий непараметричний підхід для пошуку аномалій на основі екземплярів. …
- Модель суміші Гауса (GMM) Імовірнісна модель, яка припускає, що для створення даних використовувалися розподіли Гауса. …
- Машина підтримки векторів (SVM)
Викид — це спостереження, яке настільки відрізняється від інших спостережень, що викликає підозру, що воно було згенероване іншим механізмом. Аномалії — це екземпляри або набори даних, які дуже рідко трапляються в наборі даних і чиї характеристики значно відрізняються від більшості даних.