728x90
반응형
지난 포스트에서는 분석모형의 평가 방법에 대해 공부했다. 이번 글에서는 최종적으로 도출된 결과를 어떻게 해석하고 현업에서 활용해야 하는지 배울 것이다. 이 글은 데이터에듀에서 발행한 '빅데이터 분석기사 필기' 교재 2권의 308~365페이지에 해당하는 내용을 참고하였다.
통계와 과학은 퍼포먼스 분석의 한 부분이어야 하되 경기에 대한 깊은 지식과 결합되어야만 한다.
- Arsene Wenger -
인터넷을 뒤적이다 인상적인 구절이 있어 소개한다. (출처) 세계적인 축구 클럽, 아스날에서 약 20년간 활약한 명장의 발언인데 그 역시 데이터와 도메인 지식의 결합을 강조한 것이 눈에 띄었다.
※ 출처가 있는 이미지를 클릭하면 원 사이트로 접속된다.
Index
2장 분석결과 해석 및 활용
1절 분석결과 해석
1. 분석모형 해석
- 서술적 분석 : 질문 - 무슨 일 발생? (탐구적 분석, 이상 탐지) / 분석 모델링 - 기술통계량, 확률분포, 상관관계, 회귀분석
- 진단 분석 : 질문 - 왜, 어떻게 발생? (모델링, 실험) / 분석 모델링 - 군집분석, 요인분석, 다중회귀분석, KNN 등
- 예측 분석 : 질문 - 무슨 일이 일어날까? (예측) / 분석 모델링 - 시계열 분석, 의사결정트리, SVM, 앙상블 등
- 규범 분석 : 질문 - 최선의 대응? (실시간 대응, 개인화) / 분석 모델링 - 시나리오 분석, 몬테카를로 시뮬레이션 등
- 데이터 시각화 Data Visualiazation : 정보 전달과 설득이 목적
- 시각화 기능 : 설명, 탐색, 표현의 기능
- 크기, 색상, 네트워크, 다중 표현 등을 활용.
- 시각화 요건 : 기능적 (원칙) + 심미적 (요건)
- 시각화 유형 : 시간 (막대, 선, 산점도, 영역 차트 등), 분포 (파이, 도넛 등), 관계 (산점도, 히스토그램, 버블차트), 비교 (히트맵, 체르노프 페이스 등), 공간 (등치선도, 도트맵 등)
- 시각화 절차 : 구조화, 시각화, 시각표현
- 1) 구조화 : 시각화를 위한 요건을 정의하고 사용자별 시나리오를 작성 및 스토리 구상 단계. 데이터 수집과 정제 과정을 수집 및 탐색 ▶ 분류 ▶ 배열 ▶ 재배열, 4단계로 나눔.
- 2) 시각화 : 구조화 단계에서 정의된 시각화 요건, 스토리를 토대로 적합한 시각화 도구와 기술을 선택해 시각화 구현.
- 3) 시각표현 : 최종 결과물이 구조화 단계에서 정한 목적과 의도에 부합하는지 확인. 시각화 의도의 전달을 위해 결과물에 별도 그래픽 요소 추가.
- 시각화 도구
- 1) 플랫폼 : 엑셀, R, 태블로 등
- 2) 라이브러리 : 구글 차트, tangle 등
- 3) 인포그래픽스 : iCharts, Visulal.ly 등
2. 비즈니스 기여도 평가
- 비즈니스 기여도 : 데이터 분석 결과 활용 및 실질적 실행으로 얻을 수 잇는 비즈니스 영향도와 효과의 긍정적 측면
- 데이터 분석 목적 : 운영효율 향상과 매출 증대로 구분 가능. 6가지 근본 질문 (링크)에 대한 해답.
- 평가 기법
- 총소유비용 TCO : 한 개의 자산을 획득하고자 할 때 주어진 기간 동안 모든 연관 비용 고려.
- 투자대비효과 ROI : 자본 투자에 따른 순효과. 투자 타당성.
- 순현재가치 NPV : 특정 시점의 투자 금액과 매출 금액의 차이를 이자율을 고려해 계산. 미래 시점의 순이익 규모.
- 내부수익률 IRR : 순현재가치를 0으로 하는 할인율.
- 투자회수기간 PP : 누적 투자금액과 매출금액의 합이 같아지는 기간 (흑자 전환 시점)
- 수행 준거
- 모델링 기법별 정량적 효과 측정 (데이터 마이닝 : 검출률 증가 or 향상도 개선, 시뮬레이션 : 처리량, 대기시간의 감소 등, 최적화 등)
- 비즈니스 수행 시 비용 요소 고려
2절 분석결과 시각화
1. 시공간 시각화
- 이산형 시계열 데이터의 시각화 구현 : (누적) 막대 그래프, 점 그래프 (가로축이 시간이 아니라면 산점도.)
- 연속형 시계열 데이터의 시각화 구현 : 히스토그램, 선 그래프, 계단식 그래프 Cascade Chart, 영역형 차트
※ traffic.csv는 구매인증 후 데이터에듀 자료실에서 다운로드 가능.
> route <- getwd()
> traffic <- read.csv(file.path(route, 'traffic.csv'))
> jung <- subset(traffic,
+ 자치구명 == '중구' & 연도 == 2015)
> jung
연도 월 자치구명 발생건수 사망자수 부상자수
13 2015 1 중구 86 1 127
14 2015 2 중구 78 0 105
15 2015 3 중구 113 0 153
16 2015 4 중구 125 0 183
17 2015 5 중구 128 0 170
18 2015 6 중구 99 0 144
19 2015 7 중구 106 0 141
20 2015 8 중구 116 1 144
21 2015 9 중구 107 1 151
22 2015 10 중구 130 2 162
23 2015 11 중구 139 0 180
24 2015 12 중구 111 3 143
> # libraries
> library(ggplot2)
> # bar plot
> bar <- ggplot(data =jung, aes(x = 월, y = 발생건수)) +
+ geom_bar(stat = 'identity', color = 'red', fill = 'orange') +
+ coord_cartesian(xlim = c(0, 13), ylim = c(0, 160)) +
+ ggtitle("2015년 서울 중구의 월별 교통사고 발생 동향")
> bar
>
# scatter plot
> scat <- ggplot(data =jung, aes(x = 월, y = 발생건수)) +
+ geom_point(aes(x = 월, y = 발생건수)) +
+ coord_cartesian(xlim = c(0, 13), ylim = c(0, 160)) +
+ ggtitle("2015년 서울 중구의 월별 교통사고 발생 동향")
> scat
> line <- ggplot(data =jung, aes(x = 월)) +
+ geom_line(aes(y = 발생건수)) +
+ coord_cartesian(xlim = c(0, 13), ylim = c(0, 160)) +
+ ggtitle("2015년 서울 중구의 월별 교통사고 발생 동향")
>
> line
- 공간 시각화 : 지도상에 해당하는 위치 정보를 표현하는 방법. 구글 지오차트는 지명만 알면 국가, 대륙별 지도를 쉽게 그릴수 있음
- 1) 등치지역도 Choropleth Map : 지도상의 지리적 단위에 데이터별 의미를 색상으로 표현하는 것.
- 2) 도트 플롯맵 Dot Plot Map : 해당 좌표에 점을 찍어 표현하는 것. 시간 경과에 따른 점진적 확산을 주로 표현.
- 3) 버블 플롯맵 : 정량적 데이터 값의 크기를 뜻하는 서로 다른 크기의 원형 표현.
- 4) 등치선도 Isarithmic Map : 등치지역도가 지닌 결점 (인구밀도가 다르면 데이터 왜곡 발생)을 극복하고자 색상의 농도를 다르게 하여 표현.
- 5) 카토그램 Cartogram : 값을 표현하기 위해 지리적 형상 크기를 조절해 재구성.
- R을 사용한 공간 시각화
※ traffic.csv는 구매인증 후 데이터에듀 자료실에서 다운로드 가능.
※ 구글 API 필요. 데이터에듀 자료실의 가이드 확인 요망.
# 공간 시각화
# load data
seoul <- read.csv(file.path(route, 'seoul.csv'))
seoul
seoul15 <- merge(traffic, seoul,
by.x="자치구명", by.y = "area")
seoul15
# libraries
install.packages("ggmap") # 동적
install.packages("maps") # 정적
install.packages("mapproj") # 정적
library("ggmap")
library("maps")
library("mapproj") # 투영 기능 지원# load map
## require google api
register_google(key = "개인 API")
seoul_map <- get_googlemap("seoul", zoom = 11)
sm <- ggmap(seoul_map) #ggmap() 지도 데이터 시각화
print(sm)
# dot plot
dot <- ggmap(seoul_map)
dot <- dot + geom_point(data = seoul15,
aes(x = lon, y = lat))
dot
# bubble plot
library(RColorBrewer)
bub <- ggmap(seoul_map)
bub <- bub +
scale_fill_brewer(palette = "Set2") +
geom_point(data = seoul15,
aes(x=lon, y=lat, size = "발생건수"),
shape = 16, color = 'yellow', alpha = 0.6)
bub
2. 관계 시각화
- 다변량 데이터 사이에 존재하는 연관성, 분포와 패턴을 살펴보는 시각화 방법.
- 1) 산점도 행렬 Scatterplot matrix
- 시간에 따른 변화 외에도 데이터의 관계를 알아보는 데도 유용. 군집화와 이상치 패턴 파악에 적합.
- 다변량 변수를 지닌 데이터에서 가능한 모든 변수 쌍에 대한 산점도를 행렬로 표현한 것.
- 2) 버블 차트
- 산점도에서 데이터 값을 나타내는 점 혹은 마크에 여러 의미를 부여하여 확장된 차트. 3요소 (가로, 세로, 버블 크기)의 상관관계 표현 가능.
- 갭마인더 : 한스 로슬링 교수 개발. 많은 양의 빅데이터를 간결한 버블차트 기반의 타임라인 그래픽과 세계지도 기반의 시각화 형식으로 제공.
- R을 사용한 관계 시각화
# relation visualization
scat2 <- ggplot(tra15, aes(x=발생건수, y = 부상자수))
scat2 <- scat2 + geom_point() +
ggtitle("교통사고 - 발생건수와 사상자수의 관계") +
stat_smooth(method = "lm", se = F, color = 'skyblue') #추세선
scat2
# bubble chart
bub2 <- ggplot(tra15, aes(x=발생건수, y = 부상자수)) +
scale_fill_brewer(palette = "Set3") +
geom_point(aes(size = 사망자수), shape = 16, color = 'red',
alpha = 0.56) +
ggtitle("교통사고 발생 통계 버블차트"); bub2
3. 비교 시각화
- 다변량 변수를 갖는 자료를 제한된 2차원에 표현함.
- 1) 플로팅 바 차트 (간트 차트) : 막대가 가장 낮은 수치에서 가장 높은 수치까지 걸쳐있는 것으로 표현. 시작점은 0이 아닐 수 있음.
- 2) 히트맵 : 행 방향은 관측 개체, 열 방향은 각 변수를 의미. 데이터가 많을 때, 과도한 색상 사용으로 가독성이 떨어질 수 있으므로 주의.
- 3) 평행 좌표 그래프 Parallel Coordinates : 2차원 평면에 각 변수를 나타내는 축을 평행으로 배치해 다변량 데이터를 표현. 하나의 축은 하나의 변수를 뜻하고, 축의 상단은 변수의 최댓값, 하단은 최솟값.
- 4) 체르노프 페이스 Chernoff Faces : 데이터의 다양한 변수를 얼굴 하나로 표현. 가로, 세로 길이, 눈, 코 등을 변수와 일대일 대응.
- 5) 스타 차트 Star Chart (레이더 차트, 거미차트) : 중앙에서 외부 링으로 이어지는 몇 개의 축을 그리고 전체 공간에서 하나의 변수마다 축 중앙으로부터의 거리를 수치로 표현. 각 축의 끝을 연결해 별 모양의 다각형을 이룸. 체르노프 페이스처럼 데이터 수만큼 다각형을 생성해 각 다각형의 모양을 비교할 수 있음.
- 6) 다차원 척도법 : 데이터셋 상의 개별 데이터 간 유사도를 바탕으로 시각화. 유사성 or 선호도에 따라 대상을 다차원 공간 속에 배치 (유사성이 크면 가까이). 거리행렬을 포함하는 데이터의 시각화에 적합.
- R을 이용한 비교 시각화
# bar graph
ba <- ggplot(tra15, aes(x=자치구명, y = 부상자수)) +
geom_bar(stat = 'identity', color = 'gray', fill = 'magenta') +
ggtitle("교통사고 부상자수"); ba
> row.names(tra15) <- tra15$자치구명
> tra15 <- tra15[,c(4:6)]
> tra15_mat <- data.matrix(tra15)
> tra15_mat
자치구명 발생건수 사망자수
종로구 23 121 2
중구 24 111 3
용산구 21 113 2
성동구 16 93 1
광진구 6 84 0
동대문구 11 212 2
중랑구 25 163 1
성북구 17 136 3
강북구 3 116 1
도봉구 10 92 1
노원구 9 111 0
은평구 22 96 1
서대문구 14 93 2
마포구 13 151 2
양천구 19 124 0
강서구 4 172 0
구로구 7 108 1
금천구 8 87 1
영등포구 20 216 5
동작구 12 122 0
관악구 5 138 1
서초구 15 176 3
강남구 1 374 2
송파구 18 203 1
강동구 2 116 2
> heatmap(tra15_mat, Rowv = NA, Colv = NA,
+ col = cm.colors(256), scale = "column",
+ margin = c(5,5), cexCol = 1)
4. 인포그래픽
- 정보를 뜻하는 인포메이션과 시각적 형상물인 그래픽의 합성어. 중요한 핵심 정보를 하나의 그래픽으로 나타내 대중들이 손쉽게 정보를 이해하도록 만든 메시지. 뉴스 그래픽이라고도 함.
- 독자의 마우스 움직임에 따라 상호 소통하는 것같은 느낌을 주는 인터랙티브 인포그래픽 시도 중
- 유형 : 정보형 메시지, 설득형 메시지
- 전달 형태 : 지도형, 도표형, 스토리텔링형, 비교분석형, 타임라인/프로세스형, 만화형
3절 분석결과 활용
1. 분석모형 전개
이전에 다루었던 분석모형 개발 및 운영절차에 따르면 프로세스의 마지막 절차는 실제업무에 적용하는 '전개'다.
- 분석 모델 배포
- 전개는 배포라고도 함. 분석 모델을 운영계 환경과 통합하고 실행하는 것을 뜻함.
- IDC의 2019년 조사에 따르면, 만들어진 분석 모델의 50% 이상이 운영 시스템에 배포되지 못함.
- 모델 개발 조직과 배포 조직이 다른 것이 주원인. (서로 다른 환경으로 인해 프로세스 단절)
- 이슈
- 서로 다른 환경 : 예) 파이썬 → 자바, 어려움...
- 모델 저장소 부재
- 성능 모니터링 부재
- 규제 요구사항 준수
- 분석 모델 배포 과정
- 1) 분석모형 적용 모듈 결정
- 2) 분석모형 적용 방식 결정 및 구현
- 분석 모델은 배치 시스템, 온디멘드 시스템, 스트리밍 등으로 실시간 시스템에 배포할 수 있음.
2. 분석결과 활용 시나리오 개발
- 작금의 빅데이터 비즈니스가 실패한 이유를 분석하는 것은 신규 분석 서비스 비즈니스 모델을 개발하는 과정에서 필수불가결.
- 분석 목적 및 서비스 목적이 불명확하고 타켓 대상과 활용방안도 모호. 분석모델 정의 없이 인프라를 우선 도입하는 경우에 주로 실패.
- 분석결과 및 인사이트 활용 과정 : 분석결과 활용 가능 분야 파악 → 활용 가능 분야 분류 → 활용 가능 서비스 영역 도출 → 빅데이터 분석 서비스 모형 개발
- 1) 분석결과및 인사이트 활용 분야 발굴
- 마이클 포터의 가치사슬 모형 활용. 가치사슬 모형은 기업의 부가가치 생성 과정을 연결된 활동으로 나타낸 것.
- (1) 활용 가능 분야 파악
- (2) 활용 가능 분야 분류 : 마인드맵, 친화도 Affinity Diagram, 피라미드 구조도 활용
- (3) 활용 가능 서비스 영역 도출 : 직접 적용 or 간접 적용
- 2) 분석 서비스 모델 개발
- (1) 신규 분석 서비스의 사용자와 제공 가치 정의
- 제공가치 기반 : 제공 가치를 기준으로 사용자 정의. 현재 제공되는 서비스 개선에 적합. 신뢰성, 확신성, 반응성, 공감성, 유형성 Tangibility 제공.
- 사용자 정의 기반 : 사용자 정의를 기준으로 제공가치 정의. 새용자 사용자 그룹 발굴에 적합. 인구통계학적 접근.
- (2) 신규 분석 서비스 모형에 대한 정의
- 사용자와 제공가치가 정해지고 신규 서비스 개념이 명확해졌다면 신규 서비스 모형 정의.
- 서비스 명칭, 개념 설명, 사용자, 제공 가치 및 주요 기능 안내.
- (3) 신규 분석 서비스 제공을 위한 채널 구축 방안
- 홈페이지, 모바일 앱 등 다양한 방식으로 디자인 가능.
- 기존 시스템 활용 방안 or 신규 시스템 도입 방안
- (1) 신규 분석 서비스의 사용자와 제공 가치 정의
- 1) 분석결과및 인사이트 활용 분야 발굴
- 분석 서비스 비즈니스 모델 개발
- 1) 분석 서비스의 비즈니스 모델 정의
- 비즈니스 모델 캔버스 : 조직이 가치를 어떻게 만들어내고, 전달하는지를 도식화한 일종의 설계도. 가치 제안 ~ 가치 확보에 이르는 핵심 요소를 일목요연하게 정리해 시각화.
- 2) 분석 서비스의 시나리오 개발
- 분석 결과 활용 시나리오 : 인사이트를 사용자에게 효과적으로 전달하기 위해 도입하는 스토리텔링.
- 시나리오 도출 과정 : 사용자별 데이터셋 및 정보 - 사용자 시나리오 (내부 업무자, 외부 사용자) - 스토리보드 기획
- 1) 분석 서비스의 비즈니스 모델 정의
3. 분석결과 보고서 작성
- 빅데이터 분석 프로젝트는 단계별 필수 산출물을 명시하여 프로젝트 단계별 평가와 최종 평가에 활용할 수 있도록 함.
- 최종 보고서는 이전 결과물을 모두 포함해 결과를 요약하게끔 구성되어야 함.
- 보고서 유형 : 프로젝트 계획서, 데이터 탐색 보고서, 모델링 및 검증 보고서, 중간 및 최종 보고서, 성능 보고서, 운영 보고서
4. 분석모형 모니터링
- 분석모델이 새로 도입되면 성능 향상을 위해 모델 결과를 지속적으로 분석 및 모니터링 해야 함.
- 운영 환경에서는 실시간 또는 배치 스케줄러가 예상 수준으로 성능을 발휘하는지 주기별 모니터링.
- 분석모델별 모니터링 척도
- 범주형 분류 모델 : 정확도, 민감도 or 재현율, 정밀도
- 범주형 예측 모델 : 예측 오차의 패턴 파악 (추적신호 TS 활용. -4~4 부근이 정상). 관리도의 상하한을 벗어나면 별도 조치.
- 연속형 데이터 모델 : 회귀분석으로 변수 성능 평가 ▶ MSE로 모니터링
- 분석 모델 성능 모니터링
- 빅데이터 분석 시스템은 다수의 서브 시스템으로 이루어져 있으므로 원활한 운영을 위해 각 서브 시스템별 관리도구와 모니터링 도구를 마련해야 함.
- 입력 데이터 품질에 대한 평가 필요.
- 시스템의 예측을 샘플링해 시스템 성능 평가
- 주요 성능 측정 항목
- 1) 주기별 분석 : 일간, 주간, 월간(분기), 연간
- 2) 측정 항목별 영향 분석 : 응답시간 (정보시스템 처리 성능 및 용량 등), 사용률 (네트워크 자원 사용 시간 등 ), 가용성 (H/W 이상, S/W 버그, 운영자 실수 등), 정확성 (환경설정, H/W 상태 등)
- 분석모델 모니터링 솔루션
- 성능관리 전문 도구 활용 : 튜닝, 실시간 감시, 성능분석, 진단 및 조치 수행 및 유기적 연동.
- 시스템에 거의 부하를 주지 않고 실시간으로 모든 성능 정보를 로깅해 수집된 로그 데이터를 시계열로 재현.
5. 분석모형 리모델링
- 모형 리모델링 : 기존 분석 모델에 대해 데이터마이닝 혹은 시뮬레이션 등을 추가 적용하는 것.
- 리모델링 필요성
- 기존 모델의 성능 저하 : 새로운 데이터로 정기적으로 학습시켜야 함.
- 비즈니스 측면 : 유효하지 않은 모델의 매립 시기 최적화도 고려.
- 리모델링 주기와 방안
- 주기 : 대체로 분기 (데이터마이닝), 반기, 연 단위 (최적화)
- 방안 : 재학습, 수정, 교체
- 리모델링 프로세스
- 1) 기존 모델 성능 검토
- 2) 개선용 데이터 선정
- 데이터 활용도, 변경도, 신규 영향 데이터, 오류율 등 고려
- 3) 개선 모델 개발을 위한 알고리즘 적용
- 개선의 목적, 개선 데이터의 선택과 유형 구분, 기존 데이터 변경 내역 파악
- 알고리즘 수행 및 분석 결과 보존
- 4) 분석 모델 평가 및 등록
- 분석모형 전면 리모델링 : 기존 분석 모델의 수익성이 좋지 않을 때, 전면 리모델링을 위한 독립 프로젝트 시행 가능
- 모델 개선을 위한 접근 방식 : 하향식, 상향식, 분석 사례 벤치마킹
- 전면 리모델링 절차 : 개선 요건 정의 - 개선 모델링 - 개선 모델 적용
- 고려 사항 : 정기적 재평가 및 재조정, 초기에는 재조정 빈도를 높이고 점차적 빈도 감소. 자동화 도구 사용 추천
반응형
♧ 예상문제 오답 정리
- 데이터 시각화 : 빅데이터 활용을 위한 전처리
- 인포그래픽&워드클라우드 : 표현 기능
- 스토리텔링 : 분석결과 시각화를 위한 선행 작업.
- 비즈니스 기여도
- 난이도 : 관찰/보고 - 진단분석 - 이상탐지 - 실시간 대응 - 예측분석 - 최적화
- 최적화 : 기업이 보유한 자원으로 최대 성능을 끌어내는 솔루션 도출 방법.
- 체르노프 페이스 : 비교 시각화 기법
- 선버스트 차트 : 계층 구조 데이터 표현에 유용.
- 분석 결과 활용 단계의 활동
- 분석모형 배포, 모니터링, 리모델링
- 분석모형 개선은 분석모형 평가 후 진행.
- 모델을 저장하는 저장소가 있어 추적관리가 가능.
- 서비스 개념 : 신규 도출한 서비스 영역에서 새로운 수익을 창출할 수 있는 분석 모델을 개발 시 필요.
- 분석 결과 활용 시나리오에서의 스토리텔링 : 상황 디자인, 해결과정과 결과 해석에 대한 전개를 뜻함. (사용자와의 소통과 무관)
- 개선 데이터 선정 시 고려사항
- 데이터 오류율은 기존 데이터에 대해 확인한다.
이것으로 데이터에듀 빅분기 교재의 정리를 마치겠습니다. 수정이나 추가되는 내용은 게시물 하단에 이력을 적어둘 것입니다. R코드는 필자의 GITHUB에 올려두었습니다.
728x90
반응형
'Cerificate > 빅데이터분석기사' 카테고리의 다른 글
| [빅데이터분석기사 실기] 필기 합격 & 실기 응시와 합격 전략 (0) | 2022.10.18 |
|---|---|
| [빅데이터분석기사 필기] 빅데이터분석기사 기출문제 및 모의고사 풀이 (0) | 2022.09.26 |
| [빅데이터분석기사 필기] 4과목 - 빅데이터 결과 해석 (1/2) (0) | 2022.08.18 |
| [빅데이터분석기사 필기] 3과목 - 빅데이터 모델링 (5/5) (0) | 2022.08.17 |
| [빅데이터분석기사 필기] 3과목 - 빅데이터 모델링 (4/5) (0) | 2022.08.17 |
