빅데이터를 어느 정도 이해하는 리더들은 빅데이터로 달성하려는 비즈니스 목표를 정했는데도 그만큼 성과가 나오기 힘들다고 말한다.
기업이 빅데이터를 잘 활용할 수 있는 전략을 수립했다 하더라도 수집한 빅데이터와 인공지능 알고리즘이 비즈니스 목적을 달성할 정도의 정확도를 제공해주지 못하면 전략의 실현 가능성은 낮다.
따라서 전략을 실행하는 과정에서 비용, 속도, 비즈니스 부서의 수용성이라는 세 가지 관점에서 균형이 잘 잡혀 있는지 지속적으로 확인해야 한다. 이 과정을 생략하면 알고리즘 학습 결과는 만족스럽지만, 실제 업무에서는 부정확한 예측으로 비즈니스에 손실을 가져올 수 있다. 또 빅데이터를 수집하고 알고리즘을 학습시키는 과정을 처음부터 자시 반복해야 하기 때문에 상당한 시간이 소요된다.
특히 기존 사업은 오랜 기간 운영을 했기 때문에 업무 담당자가 쉽게 이해할 수 있도록 업무 전문가의 지식을 규칙 Rule 형태로 만들어 이미 운영하고 있다.
큰 문제가 발생하지도 않았는데 새로운 빅데이터 기반 알고리즘을 활용하라고 하면 잘 운영되던 업무에 지장을 줄지 모른다는 부정적인 시각이 존재한다. 이렇듯 전반적인 업무에서 수용하기 어려운 경우 알고리즘을 전체 업무에 적용하기 보다는 시간과 속도를 조절해서 비즈니스에 영향이 적은 일부 업무에 먼저 적용해야 한다. 적용 결과를 같이 공유한 뒤 업무 영역을 단계적으로 확대하는 등 전략 실행 방법을 변경하는 게 좋다.
하버드 비즈니스 스쿨의 존 데이튼 John Deighton 교수는 빅데이터를 잘 사용한다면 한 산업을 넘어 다른 산업의 경쟁 규칙까지 완전히 새로운 것으로 변화시킬 수 있을 거라고 말했다. 또 기업이 빅데이터를 포함한 사업 전략 모니터링을 제대로 수행하려면 비즈니스 부서의 리더들이 빅데이터의 의미를 제대로 알고, 빅데이터 부서와의 커뮤니케이션을 주도할 수 있어야 한다고 강조한다. 이런 리더들을 비즈니스 부서에 배치하면 내부 분석 역량이 다소 부족하더라도 제대로 분석이 진행되는지 혹은 빅데이터 솔루션 업체가 제대로 개발을 하고 있는지 등 긍정적인 시각에서 업무를 추진하기 때문에 그만큼 성공 가능성은 높아진다.
하지만 빅데이터가 포함된 사업 전략 수립 자체도 어려운데 수행 과정 모니터링은 어떻게 해야 할까? 기업 내 빅데이터 담당자들도 용어는 익숙하지만 한 번도 해본 적이 없기 때문에 목표를 달성하려면 어디서부터 뭘 해야 할지 모르겠다는 고민을 많이 한다. 담당자들 중에는 인공지능 관련 알고리즘을 마치 엑셀에서 함수를 불러다 사용하듯, 딥러닝도 오픈소스 소프트웨어에서 불러다 사용하면 된다고 오해하는 사람도 있어 빅데이터나 머신러닝 분석 환경 제공을 요구하는 경우도 있었다.
현업의 참여가 중요하니 프로젝트를 진행할 때마다 업무 담당자를 참여시켜달라는 요청도 있었다. 머신 러닝 알고리즘의 정확도를 잘못 측정하는 경우도 있었고, 외부에서 개발된 알고리즘을 제대로 이해하지 못해 사용에 어려움을 겪는 경우도 있었다.
분석 담당자들의 생각은 천차만별이었다. 이는 빅데이터 담당자들이 빅데이터 분석 단계별로 분석이 제대로 진행되고 있는지 체크할 수 있는 리스크가 없어서 발생한다.
현재 수행되고 있는 빅데이터가 포함된 사업과제들이 제대로 진행되고 있는지 스스로 점검해서 방향을 잡아갈 수 있도록 기업 특색에 맞는 체크리스트가 있어야 한다.
빅데이터 분석 열 개 과정별로 분석이 제대로 진행되고 있는지 평가할 수 있는 체크리스트를 정리해보았다.
빅데이터 분석 체크리스트(예시)
1.1 가설 수립 및 데이터 수집
체크리스트 점검 포인트
. 새로운 가설이 기존 가설과 차이가 있는가?
. 기존 가설의 문제점을 새로운 가설이 해결할 수 있는가?
. 데이터 수집 항목이 수립된 가설을 입증할 수 있는가?
. 데이터 수집 항목 중 수집이 불가능한 항목은 없는가?
. 수집 불가능한 데이터인 경우 간접적으로 연관성이 있는 데이터로 대체가 가능한가?
. 수집된 분석 변수는 모두 독립적인가?
예) 6개월간 카드 미사용 고객을 이탈 가능 고객 종속 변수로 선정했는데 분석 변수에 카드 미사용 기간을 사용하면 목표값과 동일한 의미인 카드 미사용 기간이 가장 우월한 분석변수로 선정되는 오류 발생
. 기업 내 분석을 위해 데이터를 모아놓은 데이터웨어하우스 외에 단위 업무 시스템에 있는 데이터까지도 수집 대상 후보 리스트에 포함했는가?
1.2 차원의 저주 확인
체크리스트 점검 포인트
. 중복이나 노이즈 제거, 데이터 값이 없는 경우 등 데이터베이스의 기초 클렌징을 수행했는가?
. 점검 기준에 따라 기초 클렌징 결과물을 검증했는가?
. 분석 변수별로 측정될 수 있는 최저값부터 최고값을 확인했는가?
. 수집도니 데이터들이 최저값과 최고값 사이에서 충분히 조밀한 간격을 보이는가?
예) 온도 센서가 최저 0 C에서 100 C사이에 값을 갖는데 측정값이0~70 C까지 밖에 없다면 데이터가 없는 구간이 있어 최종 결과에 영향을 미친다면 71~100 C 까지 데이터를 추가로 확보해야만 온도 센터 데이터를 분석에 활용할 수 있음
1.3 특징변수 추출
체크리스트 점검 포인트
. 수집란 분석변수를 차원의 저주에 해당되지 않을 정도의 개수 조합으로 구분해서, 간단한 알고리즘(저층의 딥러닝 알고리즘 등)을 활용해 정확도를 확인했는가?
. 위 분석 결과를 기반으로 분석변수 중 바로 특징변수로 사용할 수 있는 가능성이 있는지 확인했는가?
. 간단한 알고리즘으로 분석변수들을 결합해서 새로운 특징변수 하나로 만들 수 있는지 확인했는가?
. 특징변수를 추출할 수 있는 적합한 알고리즘은 선정되었는가? 선정 근거에 동의하는가?
. 새롭게 도출된 특징변수는 물리적 혹은 비즈니스적인 의미를 가지고 있는가?
. 도출된 특징변수를 다양한 조합으로 구성해서 다시 간단한 알고리즘을 통해 결과가 수렴되는지 확인했는가?
. 특징변수 도출을 위한 과정이 얼마나 반복벅으로 수행되었는가? 각 단계마다 도출된 특징변수들이 간단한 테스트 알고리즘의 정확도를 개선시켰는가?
2.1 시각화를 통한 알고리즘 선정
체크리스트 점검 포인트
. 알고리즘 분석 인력들이 고차원 특징변수를 2~3차원으로 축소한 경험이 있는가?
. 차원 축소 알고리즘을 제대로 선정했는가?
. 차원 축소 후 데이터 분포도를 그렸을 때 분석 목적에 맞는지 확인했는가?
예) 분류가 분석 목적이라면 저차원으로 시각화된 데이터가 집단 간 구분할 수 있을 정도로 떨어져 있는지 점검
. 시각화를 통해 데이터를 분석한 결과 초기에 수립한 가설과 상충되는 부분이 있는지 확인했는가?
2.2 알고리즘 개발
체크리스트 점검 포인트
. 선정된 알고리즘이 오픈소스 소프트웨어로 존재하는지 확인했는가?
. 오픈소스에 존재한다면, 분석 인력들이 그 알고리즘에 글로벌 데모 사이트에서 제공하는 데이터를 적용해서 만족스러운 수준의 결과를 얻어낼 수 있는가?
. 오픈소스에 존재하지 않는다면 대체할 수 있는 알고리즘이나 관련 이론들을 찾을 수 있는가?
. 기업 내부나 외부에 대체 알고리즘을 개발할 수 있는 가능성이 있는가?
. 선정된 특징변수의 특징에 맞게 알고리즘 일부를 수정할 수 있는지 확인했는가?
2.3 알고리즘 학습
체크리스트 점검 포인트
. 특징변수들을 무작위로 추출해서 학습 및 테스트 데이터 여러 개로 구분했는가?
. 학습 및 테스트 데이터별로 학습 결과에 편차가 어느 정도인지 확인했는가?
. 학습된 결과를 평가할 수 있는 기준이 분석 목적에 적합한지 확인했는가?
예) 이탈 고객을 제대로 인식하는 정인식률로만 평가했는데 정상 고객을 정상 고객으로 인지하는 인식률은 낮을 수 있기 떄문에 이런 경우 두 가지 정인식률을 기준으로 사용해야 함
2.4 알고리즘 테스트
체크리스트 점검 포인트
. 데이터에 노이즈 등 왜곡이 발생했을 때도 예측 성능을 보장할 수 있는지 내구도를 확인했는가?
. 분류나 군집분석 시 특정 분류나 군집에 속한 데이터의 비중이 상대적으로 낮아 실제 업무에 적용 시 왜곡 발생 가능성을 점검했는가?
3.1 규칙 추출 알고리즘 선정
체크리스트 점검 포인트
. 선정된 학습 알고리즘의 규칙을 추출할 수 있는 알고리즘에 대한 시장조사를 했는가?
. 규칙 추출 알고리즘이 존재하지 않을 경우 비즈니스 담당 부서가 블랙박스 형태의 결과를 받아들일 수 있는지 수용성을 확인했는가?
. 규칙 추출 알고리즘을 비교하기 위한 담당 업무 전문가들의 지식을 테스트 규칙으로 확보했는가?
. 도출된 규칙들을 줄일 수 있는 축소 알고리즘을 확보했는가?
3.2 규칙 축소
체크리스트 점검 포인트
. 축소된 규칙 개수를 비즈니스 부서가 수용하라 수 있는지 확인했는가?
. 축소로 인한 정확도 훼손이 크지는 않은가?
3.3 규칙 테스트
체크리스트 점검 포인트
. 추출된 규칙이 비즈니스 의미를 제대로 전달할 수 있는지 확인했는가?
. 실제 업무에 적용해본 결과를 분석해서 처음부터 다시 분석 프로세스를 수행할 필요가 있는지 점검했는가?
새로운 기회와 수익을 만드는 빅데이터 사용법
- 돈이 보이는 빅데이터, 이종석 -
