MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도...

81
케이블 업체 MS BI 도입사례 및 BI 시스템 관리자 “야근금지” 노하우 공개 ㈜tsis 이진형

Transcript of MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도...

Page 1: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

케이블 업체 MS BI 도입사례 및 BI 시스템 관리자 “야근금지”

노하우 공개

㈜tsis 이진형

Page 2: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스피커 소개

• tsis 미디어 IT 기획팀 근무 – 티브로드 전사 BI 시스템

– P사 IFRS 연결결산 시스템

– H사 EDW 시스템

– L사 EIS 시스템

홈페이지 : http://tsis.co.kr 블로그 : http://blog.naver.com/samjino 이메일 : [email protected]

• 활동영역

Page 3: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

목차

• 프로젝트 수행사 소개

• 고객사 소개

• 프로젝트 요약

• 시스템 구성도

• 운영 노하우

• 향후 과제

Page 4: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

프로젝트 수행사 소개 - 티시스

Page 5: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

프로젝트 수행사 소개 - 고객사례

사 업 분 야 시스템 통합, 소프트웨어 개발, 컨설팅, 시스템 관리 및 재판매,

별정통신사업, 콜센터 관련 용역

연도 내용

2011

티브로드 MS BI 시스템 구축/운영

흥국화재 MS BI 시스템 구축/운영

흥국화재/생명 콜센터 운영

손해보험협회 전문통합시스템 구축

흥국화재차세대시스템 구축 시작 (삼성SDS와 컨소시엄)

2010

흥국생명/흥국화재 콜센터 KS인증 획득

고려/예가람 저축은행 콜센터 운영

티브로드 콜센터 구축

우리아비바생명 차세대 프로젝트 수주

생명보험협회 ITO사업 수행

솔로몬신용정보 차세대 채권시스템 구축 프로젝트 수주

2009

㈜티시스로 사명변경

한국도서보급 콜센터 운영

콜센터 고도화 프로젝트 시스템 공급

흥국생명/화재(SLA계약실시)

한국정보통신산업협회 표준전자세금계산서 v3.0인증

2008 GA(General Agency) 시스템 구축

The-K손해보험 일반보험시스템 컨소시엄

연도 내용

2008 티브로드 콜센터 total 아웃소싱 (콜시스템 운영 포함)

이유다이렉트 운전자 보험 시스템 주관사업자

KB생명 변액 포워드 시스템 주관사업자

2007

태광산업 IT아웃소싱

흥국생명, 흥국쌍용화재 콜센터 Total 아웃소싱

티브로드(Tbroad) UMS시스템 구축 프로젝트 수주

금호생명 상품시스템 전환사업 프로젝트 수주

2006

흥국생명, 흥국쌍용화재 통합유지보수 계약체결

흥국증권중개 IT아웃소싱

흥국쌍용화재해상보험 IT아웃소싱

흥국쌍용화재해상보험 콜센터 운영

한국케이블미디어센터(KMDC) IT아웃소싱

티브로드/한국도서보급 인프라 운영 아웃소싱

2005 흥국생명 신기간계 시스템(I-PRIME)구축

2004 ㈜태광시스템즈 발족, 흥국생명보험 IT아웃소싱 통합

Page 6: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

프로젝트 수행사 소개 – BI 고객사례

연도 내용

2012년 태광그룹 3개 계열사 BI 시스템 구축 예정

2011년

티브로드 BI 시스템 고도화/운영(Microsoft)

흥국화재 BI 시스템 구축/운영(Microsoft)

태광산업 BI 시스템 구축/운영(SAP/BW)

2010년이전

티브로드 BI 시스템 구축(SAS)

흥국생명 BI 시스템 구축(Oracle)

Page 7: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

고객사 소개 - 티브로드

Contents

DMC

Telecom

| tcast 채널사업자(PP: Program Provider), ‘08년 8월 설립 분야: 영화 / 패션 / 리얼리티 쇼

| e- channel 채널사업자(PP: Program Provider), ‘00년 1월 설립 분야: 드라마 / 버라이어티 쇼

| Tbroad Fox Korea ‘06년 3월 설립, ‘06년 3월 美20세기 폭스와 공동설립 한국에서의 유일한 폭스 브랜드

| TPNS ’09년 9월 설립 티브로드 지역채널 방송프로그램 제작 및 지역광고 총괄 운영 | KDMC ‘01년 9월 설립 디지털 방송, 양방향 데이터방송, 양방향 VOD, EPG 서비스 등 다양한 서비스 제공

| KCT ‘06년 8월 설립 SO대상 인터넷 전화 서비스 제공 MVNO 서비스 제공

미디어 계열

주요사업

Home Service Hub

인터넷 VoIP

/MVNO

방송

광고

미래 Biz

홈 네트워크

Page 8: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

고객사 소개 - 사업권역

전국 케이블방송 사업권역 77개 권역 중 21개 권역에서 22개 SO(*) 운영

※ SO : System Operator

Page 9: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

티브로드 BI 프로젝트 요약

내/외부 환경 변화에 따라 분석 내용을 상세화, 업무 영역간 연관 분석으로 확대 하기

위하여 5개월의 일정으로 웹 리포팅 시스템 개발 및 신규 패키지(MS BI)를 도입 하였음

분석 관점의 상세화 (사업부 직원 관점으로 변화)

연관분석 체계 수립 (업무 영역간 연관분석 기능 미흡)

빠른 의사결정 시간 확보

영업 채널 관리 강화 및 지원 확대

직원 기준 실적 조회 시스템 개발

사용자 기반 정보 분석 환경 구축

영역별 연계 분석 보고서 개발

MS BI 신규 도입(패키지 교체 완료)

웹 리포팅 시스템 개발 완료

데이터 처리 속도 개선

추진내용

추진목표 추진배경 추진결과 및 효과

웹 리포팅 시스템 구축

신 분석 시스템 도입 (MS BI 패키지로 교체 하였음)

MS BI 도입 이후 현업의 이용 횟수가 증가 하였음

[기존 시스템 대비 98%증가 함

As-is : 10,839 건(2010.06월)

To-be : 21,539 건(2011.06월)]

웹 리포팅 시스템 개발에 따라 사업부/ 고객센터의 사용이 증가 하고 있음

[기존 시스템 대비 114%증가 함

As-is : 2,993 건(2010.06월)

To-be : 6,425 건(2011.06월)]

Page 10: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

MS BI 시스템 구성도

SMS

MSSQ

L A

naly

sis Serv

ice O

LED

B

MSSQL Meta Data Management Server

작업 영역

(Staging Area)

Cube(MDB)

엑셀(Pivot)

웹 엑셀 리포트

SSIS

(MSSQ

L In

tegra

tion S

erv

ices)

사업부

기간계

Source Layer Data Warehouse Layer Business

Intelligence Layer

CMS

TM센터 Power Pivot

IMS

경영기획

RP/VOD

디지털

고객 계약 상품

매출 입금 TM

자원 공통

고객센터

TM/Call

IT관리자

Excel Pivot 화면에서 데이터 분석 및 리스트 추출 작업이 가능

Web Portal 서비스 기능을 이용하여 부서간 데이터 공유 및 수정 작업이 가능

고객센터/직원 단위 분석 보고서 작성이 가능

DW

DM

Presentation Layer

주요내용

본부

가입자 과금

입금 채권

웹 리포트(SSRS)

Page 11: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 12: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through 최적화

• What? 큐브에서 조회하기 어려운 상세 데이터 조회

(예 : 고객번호, 계약번호, 주문번호 등)

• Why? 멤버가 많은 차원을 잘못 사용 시 성능 저하의 원인이 됨

• Issue – 원하는 차원/측정값을 선택해서 보고 싶다

– 차원과 측정값 순서를 변경하고 싶다

– 계산된 값을 선택해도 상세 데이터를 보고 싶다

Page 13: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through 최적화

• Microsoft BI에서 제공하는 Drill Through

1. 엑셀 값 셀 더블클릭

2. 드릴스루 동작

Page 14: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through 최적화

• 수행내용 2010년도 신용카드로 납부한 1,000명 고객의 상세정보를 조회

• 요구사항 1. 화면에 나타나지 않은 차원, 측정값은 숨기기

2. 행사할인총계는 계산식이지만, 상세 데이터 조회 시 사용 가능해야 함

1,000

700

600

100

1,000,000

700,000

600,000

100,000

10,000

7,000

6,000

1,000

Page 15: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through - 엑셀 값 셀 더블클릭

• 장점 – Drill Through를 위해 별도 작업 필요 없음

• 단점 – 차원/측정값 순서 변경 불가, 숨기기 불가

– 차원/측정값 이름 앞에 ”[매출액 그룹]”이 표시됨

– 계산된 값을 사용하여 상세 데이터 조회 불가

[매출액 그룹].[$고객구분.고객구분] [매출액 그룹].[$과금구분.과금구분명] [매출액 그룹].[$비과금구분.비과금구분] [매출액 그룹].[$장비보유구분.장비보유구분] [매출액 그룹].[$요금항목.요금항목명] [매출액 그룹].[$서비스구분.서비스구분명] [매출액 그룹].[$청구년월.월] [매출액 그룹].[$상품.서비스상품명] [매출액 그룹].[$납부방법.납부방법명] [매출액 그룹].[과금일수] [매출액 그룹].[IP수] [매출액 그룹].[상품수] [매출액 그룹].[확정요금] [매출액 그룹].[가입자IP수] [매출액 그룹].[임대IP수] [매출액 그룹].[고객건수] [매출액 그룹].[발생금액]

개인 온과금 과금 값없음 SMS사용료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 2 12735

개인 온과금 과금 값없음 114통화료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 2 76

개인 온과금 과금 값없음 114통화료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 38

개인 온과금 과금 값없음 국제무선료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 400

개인 온과금 과금 값없음 114통화료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 38

개인 온과금 과금 값없음 사용료 DV폰 12월 DV PHONE 표준 신용카드 0 0 2 0 2 0 2 8000

개인 설치일과금 영업할인 값없음 사용료 DV폰 12월 DV PHONE 표준 신용카드 0 0 1 0 1 0 1 1200

개인 온과금 과금 값없음 국제유선료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 250

개인 온과금 과금 값없음 국제유선료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 50

개인 온과금 과금 값없음 114통화료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 76

개인 온과금 과금 값없음 114통화료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 2 342

개인 온과금 과금 값없음 114통화료 DV폰 12월 DV PHONE 표준 신용카드 0 0 0 0 0 0 1 38

개인 온과금 과금 값없음 사용료 DV폰 12월 DV PHONE 표준 신용카드 0 0 1 0 1 0 1 4000

개인 온과금 과금 값없음 사용료 DV폰 12월 DV PHONE 표준 신용카드 0 0 1 0 1 0 1 4000

개인 온과금 과금 값없음 사용료 DV폰 12월 DV PHONE 표준 신용카드 0 0 4 0 4 0 4 16000

[매출액 그룹].[$고객구분.고객구분] [매출액 그룹].[$과금구분.과금구분명] [매출액 그룹].[$비과금구분.비과금구분]

Page 16: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through - 드릴스루 동작

• 장점 – 차원/측정값 숨기기 가능

• 단점 – 차원/측정값 순서 변경 불가

– 차원/측정값 이름 앞에 ”[$차원명]”이 표시됨

– 계산된 값을 사용하여 상세 데이터 조회 불가

Page 17: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through 최적화

Page 18: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through - 향상된 Drill Through

• GetDefaultDrillthroughMDX()

– 엑셀 값 셀 더블클릭 기능과 유사

• GetCustomDrillthroughMDX()

– Drill Through 시 차원/측정값의 순서를 변경 가능

• ExecuteDrillthroughAndFixColumns()

– 차원/측정값의 머릿글([$차원명].)을 제거함

GetCustomDrillthroughMDX()

+ ExecuteDrillthroughAndFixColumns()

최상의 조합

Page 19: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through - 향상된 Drill Through

연도 월 납부방법그룹 납부방법명 고객건수 발생금액

2010년 12월 자동결제 은행자동이체 5 250

2010년 12월 자동결제 은행자동이체 3 225

2010년 12월 자동결제 은행자동이체 1 915

2010년 12월 자동결제 은행자동이체 6 5910

2010년 12월 자동결제 은행자동이체 3 2625

2010년 12월 자동결제 은행자동이체 5 2070

2010년 12월 자동결제 은행자동이체 5 595

2010년 12월 자동결제 은행자동이체 3 775

2010년 12월 자동결제 은행자동이체 4 2055

2010년 12월 자동결제 은행자동이체 5 2774

Page 20: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Drill Through - 향상된 Drill Through

Page 21: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 22: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

향상된 성능의 오라클 연결자

• Data Warehouse가 Oracle인 경우 SSIS에서 제공하는 OLEDB 원본/대상으로 데이터 전송 시 느림

• 데이터를 전송하기 위해 여러 Layer가 필요함

OLE DB .NET

Oracle OLE DB

ODBC .NET

Oracle ODBC

Oracle Data Provider for .NET

Oracle Call Interface(OCI)

Oracle

SSIS

Page 23: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

향상된 성능의 오라클 연결자

• 오라클 연결자 설치(Microsoft Connector for Oracle by Attunity)

• Oracle Client 사용으로 Data 전송 Layer 단축

• Direct Path 사용가능, 병렬처리 사용가능

Oracle Call Interface(OCI)

Oracle

SSIS

Oracle Client

Page 24: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

오라클 연결자 별 성능 비교

• 비교 대상

– Attunity(Oracle Client)

– OLEDB

• 테스트 케이스

데이터 원본 데이터 대상

AddToTable

EmptyTable

Extract

Page 25: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

오라클 연결자 별 성능 비교

20배 향상 17배 향상 1.5배 향상

Page 26: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Attunity 연결자 bit별 성능 비교

Page 27: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

향상된 성능의 오라클 연결자

Page 28: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

• 다운로드 http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=13921

• 개발사 http://www.attunity.com/index.aspx

• 설치 가이드 http://technet.microsoft.com/en-us/library/ee470675(SQL.100).aspx

향상된 성능의 오라클 연결자 - 참고

Page 29: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 30: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회

Page 31: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(TABLE)

• SSIS 로깅 기능을 사용한 로그 데이터를 테이블에 저장

1. SQL Server용 SSIS 로그 공급자 추가

Page 32: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(TABLE)

2. OnError, OnPostExecute, OnPreExecute 이벤트 선택

Page 33: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(TABLE)

Page 34: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(TABLE)

3. ETL 진행 시 테이블에서 로그 상세 정보 조회 가능

어떤 태스크가 시작, 종료되는지 또는 어떤 에러가 발생하는지 파악하기 어려움

Page 35: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회

Page 36: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(VIEW)

• SSIS 로깅에서 생성한 테이블을 사용하여 뷰 생성

쉽고 간편하게 실행 중이거나 종료된 태스크 조회 가능

Page 37: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회

Page 38: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(Tool)

• 상용 툴을 사용하여 실시간 조회 가능

Page 39: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(Tool)

• 오류 발생 시 SMS, 이메일 발송 및 태스크의 처리시간 및 건수에 대한 통계 보고서 조회

Page 40: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회

Page 41: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(SMS)

• 문자 메시지를 수신하여 언제 어디서나 실시간 모니터링 가능

- 하지만 SMS 솔루션 도입 및 SMS 발송에 따른 비용 발생

- 글자수 제한에 따른 상세 오류 내용 수신이 어려움

Page 42: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(SMS)

• 에러 메시지 발송 프로세스

SSIS SMS 솔루션

오류 발생

Page 43: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회

Page 44: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(마이피플)

• 마이피플을 사용하여 실시간 상세 로그 모니터링을 무료로 사용

Page 45: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(마이피플)

• 에러 메시지 발송 프로세스

SSIS 마이피플 서버 Web Server

(IIS)

오류 발생

Page 46: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

실시간 ETL 처리 현황 조회(마이피플)

Page 47: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 48: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Slowly Changing Dimension

• What? 시간이 흐름에 따라 드물게 변경되는 차원

• Question

A부서의 홍길동이 2월에 B부서로 이동한다면, 1월의 홍길동 실적은 어느 부서에 포함되는가?

Page 49: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Slowly Changing Dimension

고객센터의 유치 실적을 정산하기 전 고객센터 별 할당 지역 변경 발생

할당 지역 변경 전 할당 지역 변경 후

A동(70)

B동(30)

수원 남부고객센터 수원 북부고객센터

A동(70)

C동(120)

수원 남부고객센터

B동(30)

D동(120)

수원 북부고객센터

1,000,000

2,000,000

C동(80)

D동(120)

1,500,000

1,500,000

100 200 150 150

Page 50: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Slowly Changing Dimension

실적을 과거와 현재 할당 기준의 고객센터 별 조회를 위해 SCD* TYPE 3을 선택

예) 고객센터의 변경, 사원의 부서 이동, 상품의 분류 변경

SCD TYPE 1 SCD TYPE 2 SCD TYPE 3

선 정 기 준

- 항상 현행 기준으로 조회 - 과거 이력 조회 불가

- 변경되는 이력을 시점 별 관리 (선분이력 관리방식)

- 현행 / 이전 변경 이력만 관리 (바로 이전 정보만 관리)

장 점 - 빠르고 처리하기 쉬움 - 과거 데이터 시점 이력관리 가능 - 팩트 데이터 재 처리필요 없음

- 과거 데이터 이력관리 가능 - 팩트 데이터 재 처리필요 없음 - 차원의 구조가 단순함

단 점 - 변경 전 데이터에 대한 이력을 확인

할 수 없음 - 차원의 구조가 복잡해 짐 - 데이터량 증가

- 과거 데이터의 시점 이력 관리를 할 수 없음

비 고

본 프로젝트 적용 부문

50

ID 주소 고객센터

1 B동 북부고객센터

ID 주소 고객 센터

시작일 종료일

1 B동 북부 센터

2011-01-01

2011-06-30

2 B동 남부 센터

2011-07-01

ID 주소 이전

고객센터 현행

고객센터

1 B동 북부센터 남부센터

* SCD : Slowly Changing Dimension

Page 51: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Slowly Changing Dimension

SCD Type 3???

SCD Type 1

SCD Type 2

Page 52: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Slowly Changing Dimension

52

To-Be As-Is

주소ID

현행업체

이전업체

계열사ID

주소ID

상품ID

공급가

고객센터 차원 팩트 테이블

주소ID

현행업체

계열사ID

주소ID

상품ID

공급가

고객센터 차원 팩트 테이블

SCD Type 3 사용을 위한 고객센터 차원 구조 변경

Page 53: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Slowly Changing Dimension

이전 기준의 매출과 현재 기준의 매출을 분석하여, 할당 지역 재할당이 고객센터 별 매출에 어떤 영향을 미쳤는지 분석 가능

53

SCD 사용 후 SCD 사용 전

1,500,000

1,500,000

700,000

800,000

300,000 1,200,000

1,000,000

2,000,000

할당 지역 변경 전

할당 지역 변경 후

1,000,000

2,000,000

수원 남부고객센터

수원 남부고객센터

수원 북부고객센터

수원 북부고객센터

수원 남부고객센터 : -300,000 + 800,000 = 500,000 수원 북부고객센터 : -800,000 + 300,000 = -500,000

할당 지역 변경은 수원 남부고객센터에게 유리함

Page 54: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 55: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper

Page 56: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper

MS BI 개발 기능을 확장, 증가 시켜주는Visual Studio Add-in

Page 57: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper

총 53가지의 추가/확장 기능이 존재함

기능 소개

1. SSAS 1. Duplicate Role

2. SSIS 1. SSIS Performance Visualization

2. Deploy SSIS Packages

Page 58: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – Duplicate Role

Role 추가 시 새로 만들지 않고 존재하는 Role을 복사

복사 가능한 항목 1. Database Permission 2. Cube Permission 3. Cube Dimension Permission 4. Dimension Permission

기존에 존재하는 것과 비슷한 Role을 만들 시 작업시간 단축

Page 59: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – SSIS Performance Visualization

실행중인 SSIS 태스크 별 수행 시간을 시각적으로 조회 가능

처리시간 지연의 원인을 분석하여 시간 단축 방안 모색 가능

Page 60: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – Deploy SSIS Packages

일반적인 SSIS 패키지 배포 방법

1. dtsx 파일을 SQL Agent에 등록하여 실행

2. dtsx 파일을 SQL Server에 import 후 SQL Agent에 등록하여 실행

Page 61: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – Deploy SSIS Packages

Page 62: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – Deploy SSIS Packages

BIDS Helper의 Deploy 기능 사용

SSIS SSMS

Page 63: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – Deploy SSIS Packages

개발 환경에 적합한 Deploy 속성 정의

SSIS

• DeploymentType : 배포 유형 • FilePathDestination : 특정 윈도우 폴더에 배포 • SsisPackageStoreFileSystemDestination : SSIS 파일 시스템에 배포 • SsisPackageStoreMsdbDestination : MSDB에 배포 • SqlServerDestination : MSDB에 배포

• DestinationServer : 배포 대상 서버 • DestinationFolder : 배포 대상 폴더

Page 64: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BIDS Helper – 참고

• 다운로드 http://bidshelper.codeplex.com/releases/view/68109

• 기능설명 http://bidshelper.codeplex.com/documentation

• Duplicate Role http://bidshelper.codeplex.com/wikipage?title=Duplicate%20Role&referringTitle=Documentation

• SSIS Performance Visualization http://bidshelper.codeplex.com/wikipage?title=SSIS%20Performance%20Visualization&referringTitle=Documentation

• Deploy SSIS Packages http://bidshelper.codeplex.com/wikipage?title=Deploy%20SSIS%20Packages&referringTitle=Documentation

Page 65: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 66: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속

Page 67: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속(TeamViewer)

• 원격접속 프로그램을 사용하여 스마트폰에서 서버 접속 가능

네트워크 차단 및 상용 솔루션으로 인하여 사용이 어려움

Page 68: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속

Page 69: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속(VPN)

• 스마트 폰을 사용하여 VPN 접속

회사에서 VPN 서버 운영 시 사용가능

Page 70: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속(VPN)

• CISCO VPN 사용 시 IPSec으로 정보 입력 C:\Program Files\Cisco Systems\VPN Client\Profiles

grpname

Page 71: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속(VPN)

• 설정한 VPN을 사용하여 연결

Page 72: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

스마트폰으로 서버 접속(VPN)

• 스마트 폰에서 원격 접속 App을 사용하여 VPN 접속

Page 73: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

Microsoft BI 운영 노하우

• SSAS

– Drill Through 최적화

• SSIS

– 향상된 성능의 오라클 연결자

– 실시간 ETL 처리 현황 조회

• 기타

– Slowly Changing Dimension

– BIDS Helper

– MSBI 서버 원격 접속

– BI 보고서 실시간 조회

Page 74: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BI 보고서 실시간 조회

Page 75: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BI 보고서 실시간 조회

Page 76: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BI 보고서 실시간 조회

• 제약사항

자바를 사용하여 데이터를 처리 해야 함

Cube

Page 77: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BI 보고서 실시간 조회

MS-SQL Oracle

Analysis Services

오픈API인 olap4j를 사용하여 MSBI 큐브 데이터 추출

Page 78: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

BI 보고서 실시간 조회

Page 79: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

향후과제

빅데이터를 분석하여 고객 만족도 향상 및 새로운 가치 창출

Page 80: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터

경청해 주셔서 감사합니다

아주 감사하는 거예요

Page 81: MS BI 도입사례 및download.microsoft.com/.../BI_4_2.pdf · 2018-10-13 · ms bi 신규 도 (패키지 교체 완료) 사용이 웹 리포팅 시스템 개발 완료 데이터