CEP(Complex Event Processing) 정의
- 여러 이벤트 소스로부터 발생한 이벤트를 대상으로 "실시간"으로 의미있는 데이터를 추출하여 대응되는 액션을 수행하는 것 [실시간 분석]
- 이벤트 데이터란, 스트림 데이터로써 대량으로 지속적으로 입력되는 데이터, 시간 순서가 중요한 데이터, 끝이 없는 데이터를 말함
- DB나 File, Hadoop 등에 저장하지 않고, 다양한 고속의 이벤트 스트림을 In-Memory 기반으로 초당 수 백/ 수 십만건의 Real-time 처리가 가능
- 스트림 데이터는 전동적인 관계형 데이터베이스로는 실시간 처리 및 분석이 불가능
→ CEP는 이러한 스트림 데이터를 실시간으로 분석하는 이벤트 데이터 처리 솔루션
Hadoop과의 비교
출처: http://hochul.net/blog/bigdata_paradigm_realtime_kthdaisy/
적용 예시
- 실시간 시스템 관리 및 장애 경감
- 국경 보안, 교통 물류, 공항 관리
- 실시간 슬롯머신 사용량을 통한 설득
- 온라인 사기 감시
- 스마트 미터기
- 도로 통행료 관리 시스템
- 인텔리전트 케이블 셋톱박스 관리
- 알고리즘 거래, 스마트 주문 라우팅
- 실시간 제조 생산 라인 모니터링
- 실시간 근접한 위치를 탐색하는 응급 서비스
- 스마트 몰: 위치기반 상품 프로모션
대표적인 솔루션
- Esper
- Storm
- Droos
Esper
- Esper is a component for complex event processing (CEP) and event series analysis.
- Esper는 실시간으로 발생하는 이벤트를 분석하고 처리하기 위한 컴포넌트
- 외부에서 발생한 이벤트를 Esper 엔진에 전달하면 이벤트를 분석
- EPL(Event Processing Language) 언어 사용, 조건에 맞는 이벤트를 찾고 처리한 결과 데이터를 생성
Esper와 Storm과의 연동
- Esper는 비정형 데이터를 다루기 어렵기 때문에 Storm과 연동해서 설계하면 효율적
- Storm에서 비정형 데이이터(ex. 트위터 정보)를 실시간으로 추출해 내서 Esper에 전달하면 Esper에서는 이 데이터로 의미 있는 이벤트를 찾아 쿼리문으로 실행
- 수집과 분석을 모두 실시간으로 할 수 있음
- [출처] 실시간 데이터 수집 및 처리, 최민수, 동국대, 2013
'Computer Science > Big data' 카테고리의 다른 글
Hadoop & Spark 교육 - 3일차 (0) | 2018.11.01 |
---|---|
Hadoop & Spark 교육 - 2일차 (0) | 2018.10.31 |
오픈스택을 사용한 클라우드 구축과 관리(1) (0) | 2018.08.14 |
CEP란? - (2)Spark, Storm, Esper 차이 (0) | 2018.07.25 |
CEP란? - (1)개념(Complex Event Processing) (0) | 2018.07.25 |