Posting

Machbase의 최신 소식을 지금 만나보세요

MES 및 FEMS의 핵심 기술 이상(異常) 탐지

최근 4차 산업 혁명 기술은 제조, 유통, 의료 분야 등에서 활발한 연구와 응용을 시도하고 있습니다. 그중에서도 ‘이상 탐지(Anomaly Detection)’는 AI, IoT 기술을 구현하는 핵심 분야로써 데이터 분석과 응용을 원리로 합니다. 마크베이스는 시계열 데이터베이스 전문 DBMS로써 이 분야에 있어 국제 1위의 속도와 퍼포먼스를 자랑하는 오랜 성과로 인해 이상 탐지 분야에 있어 핵심·원천 기술을 보유하고 있습니다. 이번 포스트에서는 이상 탐지에 대한 개념, 필요성과 방법 등을 설명해 드리겠습니다.



이상(異常) 탐지란 무엇인가?

이상 탐지(Anomaly Detection)는 어떤 특정한 환경에서 일반적으로 예상되는 특성을 따르지 않는 데이터나, 정상적인 데이터 패턴에서 많이 벗어난 데이터를  찾는 것을 의미합니다. 비정상 데이터의 원인은 기술적 결함이나 시스템의 고장, 사이버 침입일 수도 있고, 새로운 데이터 패턴일 수 도 있습니다. 그래서 이상 탐지의 가장 큰 문제는 정상과 이상을 구분하는 것입니다. 개념적으로는 센서 데이터 흐름의 패턴을 통해 과거에 있었던 정상이라고 판단되는 패턴과 다른 상황이 발생하면 이상으로 보고 있으나, 이는 해당 데이터를 판별하는 상황과 조건 등에 따라 상대적이고 유동적입니다. 현재 이상 탐지 알고리즘은 불법적 신용카드 사용이나 제조 공정의 고장, 의학 분야에서 비정상적인 환자 상태를 탐지하여 진단을 내리는 것 등 다양한 분야에서 활용되고 있습니다.

<출처 https://brunch.co.kr/@zedoring/2>

이상(異常) 의 종류

일반적으로 이상의 종류는 점 이상, 문맥적 이상, 집단 이상 세 가지 주요 범주로 나뉩니다. 점 이상 (Point Anomaly Detection) 이란 자료 내 하나의 개체가 나머지에 비해 이상하다고 판별되는 경우 입니다. 문맥적 이상 (Contextual Anomaly Detection) 은 자료 내 개체가 특정 맥락에서 이상하다고 판별되는 경우입니다. 마지막으로 집단 이상 (Collective Anomaly Detection) 은 자료 내 개별 개체는 정상일 수 있지만, 여러 개체를 동시에 고려했을 때 이상으로 판별되는 개체의 집합을 말합니다.

이상(異常) 탐지의 필요성

4차 산업혁명이 도래하고 데이터의 양이 폭발적으로 증가함에 따라 데이터에 대한 효율적 관리의 필요성이 대두되었습니다. 이를 위해 데이터에 어떤 패턴이 숨어져 있는지, 그것을 해석하는 것은 가장 기본적인 일입니다. 데이터의 비정상적인 현상은 시스템 내부의 원인도 있지만 업무적으로 데이터 활용과정에서도 생길 수 있습니다. 이상 탐지는 이러한 발생의 근본 원인을 추적할 수 있도록 이상 상태를 실시간으로 모니터링하고 이상 데이터를 탐지하는 것이 중요합니다.

다양한 이상(異常) 탐지의 방법

이상 탐지 기법은 데이터셋에 포함된 라벨의 유무에 따라 비지도 학습/ 지도 학습/ 준지도 학습이라 구분할 수 있으며 또 가장 오래된 방식으로 규칙 기반 기법이 있습니다.

<출처 소프트웨어정책연구소>

. 비지도 학습 기법 : 비지도 학습 기법은 라벨이 없는 데이터셋에서 사용하는 이상 탐지 기법으로 가장 널리 쓰일 수 있는 기법입니다. 주로 데이터 내 개체들 간의 거리를 기반으로 이상값을 탐지합니다. 일반적으로 정상의 비율이 압도적으로 크다는 가정을 하고 진행하며, 이 가정이 틀렸을 경우 높은 오경보율과 같은 문제가 발생합니다.

. 지도 학습 기법 : 지도 학습 기법이란 훈련 데이터의 모든 개체에 라벨이 있을 때 쓰는 방법입니다. 정상 또는 이상을 판단하는 분류 모형을 학습시키는 것이 가장 일반적인 접근 방법이고, 보통 자료가 정상에 비해 이상의 비율이 매우 적은 불균형한 상태에 있고 정확한 분류가 어렵습니다. 정상과 이상 클래스의 분포가 균등하다면 비지도 학습이나 규칙 기반 방법보다 더 좋은 성능을 낼 수도 있지만, 위에서 언급했던 것처럼 충분한 훈련 데이터가 부족하고 비율도 균등하지 않습니다. 따라서 실무 적용이 어렵다는 단점이 있습니다.

. 준지도 학습 기법 : 훈련 데이터 중 정상 개체에만 라벨 정보가 있고, 그 외 데이터에 대해 정상과 이상 여부를 알 수 없는 경우 사용하는 기법으로 지도 학습 기법보다 넓은 범위에 적용할 수 있습니다. 대표적인 알고리즘으로는 단일 클래스 서포트 벡터 머신이 있습니다. 이 알고리즘은 정상 개체만 서포트 벡터 머신의 훈련 데이터셋으로 학습하고, 새로운 데이터가 훈련 데이터셋과 유사한지 아닌지를 기반으로 이상 데이터를 분류합니다.

. 규칙 기반 기법 : 규칙 기반 기법은 가장 오래되었으며 간단한 방식이며 특정 데이터의 이상 유형을 미리 파악하고 이를 식별하는 규칙을 마련하는 것을 뜻합니다. 이 규칙은 도메인 전문가의 지식, 데이터의 특정 경험을 바탕으로 만들어지는 경우가 많습니다. 상대적으로 이해하고 개발하기 쉽지만, 규칙이 정적이고 융통성 없기 때문에 시간이 갈수록 시스템의 유지 보수와 개선이 어려워진다는 단점이 있습니다.



이상 징후 탐지를 위한 기술들은 현재도 지속해서 개발되고 있으며 점점 더 빠르고, 정확한 모델이 출시되고 있습니다. 또한 실제로 적용할 때 어떤 모델을 어떤 데이터 수집 환경에서 써야 할 것인지 의사 결정이 매우 중요합니다. 또 이상 탐지 기능은 MES (생산 관리 시스템) 및 FEMS (공장 에너지 관리 시스템), 기타 인공지능과 사물인터넷을 활용하여 다양한 산업 분야에서 응용·활용되고 있습니다. 더불어 기존의 관계형 DBMS는 사물에서 발생하는 데이터를 처리·분석할 수 없으므로 여기에 특화된 시계열 데이터베이스를 선택하는 것이 첫 단추라 할 수 있습니다. 지금까지 이상 탐지에 대한 다양한 내용을 다뤄 보았으며 이상 탐지는 스마트공장과 관련하여 요즘 핫하게 떠오르는 키워드인 만큼 알아두시면 좋을 것입니다. 그럼 다음에 더 좋은 컨텐츠로 찾아뵙겠습니다. 감사합니다.



아래 링크를 통해 세계 1위 마크베이스 TSDB 무료 다운로드 받을 수 있습니다.

 

뉴스레터 신청, 언론홍보 관련 문의는 pr@machbase.com / 02-2038-4606로 연락부탁드립니다.

ask all about AIoT

마크베이스 전문 컨설턴트에게 문의하세요.


T.02-2038-4606 F.02-2018-4607 E.support@machbase.com

연관 포스트

AI 예지보전을 위한 TSDB의 활용

제조설비 예지보전 제조설비 예지보전(Predictive Maintenance)은 최근 PHM(Prognostics and Health Management)이라는 보다 큰 의미의 용어로 불리고 있으며, 설비 이상에 대한 사전 진단 및 설비, 부품 등의

세상을 뒤덮는 IoT 데이터

김성진 대표, 마크베이스 이번 글에서는 IoT 데이터의 발생에 있어서 어떠한 영역에서 이를 활용하고 있는지, 그리고 이런 데이터를 통해 실제로 어떤 문제를 해결하고 있는지에 대해 구체적인