Posting

Machbase의 최신 소식을 지금 만나보세요

IoT 센서 데이터 처리를 위한 클라우드 서비스

Machbase CTO 심광훈

클라우드

제 4차 산업혁명과 산업용 IoT, 사물인터넷의 중요성이 점점 커지고 있습니다. 모든 사물이 네트워크로 연결되고, 인공지능 기술로 인해 자동으로 판단하고 동작하는 이른바 스마트 세상은 더 이상 꿈이 아닌 현실이 됐습니다. 4차 산업혁명은 디지털(digital), 물리적(physical), 생물학적인(biological) 기존 영역의 경계가 사라지면서, 융합되는(fusion) 기술적인 혁명입니다. IT 분야에서 클라우드로의 전환은 거역할 수 없는 흐름입니다. 이는 사물인터넷(IoT)의 확산을 야기했으며, 각종 센서에서 수많은 데이터들이 쏟아짐에 따라 기존 방식으로 처리하는 것은 사실상 불가능해졌습니다. 이번 포스트에서는 이러한 디지털 트랜스포메이션 변화속에 마크베이스가 어떻게 준비하고 있고 스마트 시대 경쟁력 제고를 위해 IoT 데이터를 처리하는 방안에 대해 말씀드리려고 합니다. 데이터베이스 혹은 데이터 처리 서비스를 클라우드화 할 때, 보통 2가지 서비스 유형이 있습니다 : 1) DB가 설치된 VM 제공; 2) DBMS 자체를 서비스.

DB가 설치된 VM

사용자는 DBMS가 설치된 상태의 가상머신을 이용하는 형태입니다. 이 경우 DB의 성능치와 저장용량은 VM을 최초 생성한 지점에 결정되기 때문에, VM의 저장용량과 컴퓨팅 파워가 구동 초기에는 과도하게 남는 반면, 서비스가 활성화되면 용량 부족과 처리 성능 둔화의 문제를 초래합니다 (물론, 사용하다가 용량을 변경하거나 다른 VM으로 DB의 확장 이전이 가능합니다)

장점 

  • DBMS, 서버 장비 및 소프트웨어 구매 비용 없음
  • 실제 장비에 설치하는 경우 대비, 자유로운 마이그레이션 가능
  • DB 설정 변경, 시스템 튜닝 가능

단점

  • 성능의 유연한 확장 어려움
  • OS, DBMS 직접 관리 필요
  • 입력, 검색, 분석을 위한 응용 프로그램 직접 작성

DBaaS (Database as a Service)

두번째 모델은 DBMS자체를 서비스하는 것으로, DaaS라 불립니다. 사용자는 DBMS접속 권한이 있는 User ID와 접속 주소를 할당 받게 되고, 기존 API(ODBC, JDBC)를 통해 데이터 입력, 검색을 하게 됩니다. 입력한 데이터의 양, 저장 데이터의 양, 검색에 수행된 자원의 소모량(eg. 검색시 발생되는 Disk IO)에 따라 과금이 되기 때문에, 적은 비용으로 테스트가 가능하고 서비스가 활성화되어 입력 데이터가 늘어나면 그 때 추가비용이 청구되는 탄력적인 구조입니다. 최근 Cloud Database라고 불리는 서비스 대부분이 이와 같은 형태의 서비스입니다. RDB 서비스에서는 DDL을 이용해 테이블, 인덱스를 만들고, INSERT 쿼리는 데이터 삽입, SELECT 쿼리로 데이터를 검색합니다.

이 모델에서 데이터는 서비스 운영자가 알아서 관리합니다. 유저는 본인이 사용중인 DBMS가 단일 인스턴스 인지, 클러스터 구성인지 아니면 RAC인지 알 수 없습니다. 심지어는 DB서버 버전도 알 수 없기 때문에, DBMS는 잠수함 패치의 형태로 관리됩니다. 즉, 유저는 DB서버에 대한 제어 권한을 가질 수 없습니다.

장점

  • DB에 대한 추가 관리 필요 없음
  • 사용량에 따른 탄력적인 과금으로, 초기 테스트에 비용 효율적임
  • 서비스 활성화 후, 대량 데이터에 대해 마이그레이션 이슈 없음

단점

  • 운영체제 레벨의 접근 불가능
  • 과도한 질의 수행시 비용 증가(star)

마크베이스의 솔루션

마크베이스는 스마트 공장, 스마트 모빌리티 등에서 발생되는 사물 데이터에 최적화된 시계열 데이터베이스(Time Series DBMS)를 산업 현장에 적용하고 있습니다. 이를 기반으로 엣지 데이터 솔루션인 “엣지 마스터(Edge Master)”를 출시하였습니다. 센서 데이터의 실시간 변환, 이벤트 트리거, 알람 등의 기능을 코어에 위치한 서버에서 수행하는 것이 아니라, 센서 장비에 최대한 가까운 로컬 엣지에서 처리합니다. 그리고 분산되어 구동되는 다중 엣지를 관리하고 데이터를 통합할 수 있습니다. 엣지 마스터는 실제로 엣지에 설치되는 “엣지 마스터 클라이언트 (EMC, Edge Master Client)”와 EMC를 관리하고 수집되는 데이터를 통합 관리하는 “엣지 마스터 서버 (EMS, Edge Master Server)”로 구성되어 있습니다. 

산업 현장의 불안정하고 열악한 네트워크 환경에서 데이터 변환, 필터링, 알람의 빠른 처리가 오랫동안 불가능했으며, 데이터 수집, 상태 모니터링 조차도 쉽지 않았습니다. 무엇보다, IoT 센서 데이터를 처리하는데 있어서 가장 어려운 부분은 제각기 다른 프로토콜을 사용하는 센서의 데이터를 DBMS에 맞게 변환 저장하는 것입니다. 물론 뒷단에 On-Premise 혹은 클라우드 어떤 방식을 사용하더라도 이 문제는 반드시 해결되어야 합니다. 마크베이스는 이를 엣지 데이터 플랫폼인 “엣지 마스터 (Edge Master)”로 해결합니다. 

Architecture of EM consist of EMC and EMS

다양한 센서 데이터 프로토콜들을 지원하는 EMC가 여러가지 통신환경을 통해 수집되는 데이터를 변환하고, 변환된 데이터는 이상 장애로 유실되지 않도록 임베디드된 Machbase DBMS에 저장됩니다. 그리고 분산된 EMC들의 데이터는 네트워크를 통해 EMS로 전달되어 통합됩니다.

데이터가 저장되어 통합되는 이 영역을 마크베이스에서는 클라우드 서비스로 제공하려 하고 있습니다. 고객은 Edgemaster  suite를 이용하면 장비의 다양한 센서프로토콜의 변환을 지원하는 EdgeMaster client를 이용하여 특별한 추가 작업 없이 센서 데이터를 DBMS에 전달할 수 있습니다. Edgemaster server는 Machbase Timeserise DBMS 클라우드서버와 연동하여 데이터를 저장하고, 검색하는 서비스를 제공할  수 있습니다.

마크베이스는 앞으로 더 나아가 Data Lake as a Service (dLaaS) 형태로 위의 서비스들을 클라우드에서 제공할 것입니다. 고객은 한정된 리소스를 가지고도 스마트 공장을 쉽게 구현할 수 있으며, 도입 이후 시스템 확장이 필요할 시 복잡한 데이터 마이그레이션을 할 필요가 없습니다. 왜냐하면 어떠한 시스템의 변경 없이 서비스 용량을 확충하는 수준으로 끝나기 떄문입니다. 

결론

본 포스트에서는 DBMS가 클라우드에서 어떤 형태로 제공되는지 살펴보고, 2가지 유형에 대한 장단점을 확인해 보았습니다. 그러나 두 방식 모두 IIoT 데이터 처리시 프로토콜 지원과 데이터 입력 어플리케이션 작성 등에 어려움을 동반하게 됩니다. 반대로 마크베이스의 dLaaS는 엣지마스터와 연계된 클라우드 엣지 모델로 기술적 어려움과 비용 효율 문제를 동시에 해결했습니다. 빅데이터, 인공지능, 클라우드 등 4차 산업혁명의 여러 기술과 결합되면서 스마트홈, 스마트 빌딩, 스마트팩토리, 스마트 시티 등 다양한 분야에서 IoT 도입의 필수 요소 ‘IoT 플랫폼 및 IoT DB’ 구축은 점점 더 중요해지고 있습니다. 올해 공개 예정인 마크베이스의 IoT 클라우스 서비스에 많은 관심과 격려 부탁드립니다.

연관 포스트

Deep Anomaly Detection in Time Series (2) : 이상 감지 모델

개요 안녕하세요, 마크베이스의 Cloud개발본부 연구원 양창은입니다. 지난 게시글 Deep Anomaly Detection in Time Series (1) : Time Series Data에서는 시계열 데이터와 이상치(Anomaly)의 종류에 대해 알아보았습니다. 그리고

IIoT를 위한 Data Lake – machlake

Data Lake 란, 대규모의 다양한 원시 데이터 세트를 기본 형식으로 저장하는 데이터 리포지터리 유형입니다. 원시 데이터는 특정 목적을 위해 처리되지 않은 데이터를 뜻합니다. 산업 IoT