몇 년 전부터 '빅데이터'라는 단어가 한창 유행입니다. 빅데이터 현상은 새로운 것의 등장이 아니라 기존의 데이터, 처리 방식, 다루는 사람과 조직 차원에서 일어나는 변화를 얘기합니다.
산업계에서는 양질 전환으로 설명되며, 학계의 대표적인 사례는 게놈 프로젝트를 들 수 있습니다. 기술적인 측면에서는 인터넷이 보급되고 모바일 시대의 변화. 이에 따른 클라우드 서비스 보편화 등이 모두 빅데이터의 탄생과 관련이 있다고 볼 수 있습니다.
데이터(data)라는 용어는 1646년 영국 문헌에 처음 등장하였습니다. 라틴어인 dare(주다)의 과거분사형으로 '주어진 것'을 의미합니다. 빅데이터는 빅(Big)과 데이터(Data)의 합성어로 여기서 BIg은 단순히 양적으로 많거나 큰 것을 의미하는 게 아닌 전통적인 방식으로 측정 가능하거나 분석과 해석이 가능한 범위를 넘어서는, 방대한 양을 뜻합니다.
빅데이터는 4가지 변화를 만들어 냅니다.
1. 사전처리에서 사후처리 시대로
필요한 정보만 수집하여 나머지 정보를 버리는 시스템에서 가능한 많은 데이터를 모으고 다양한 방식으로 조합항하여 숨은 정보를 찾아 낼 수 있습니다.
2. 표본조사에서 전수조사로
데이터 수집 비용과 처리비용의 감소로 표본을 조사하는 기존의 지식발견의 방식식이 전수조사를 통해 샘플링이 주지 못하는 패턴이나 정보를 제공해 주게 됩니다.
3. 질보다 양으로 승부!
데이터의 누적으로 양질의 정보가 오류 정보보다 많아져 전체적으로 나은 결과를 도출할 수 있게 변화합니다.
4. 인과관계에서 상관관계로
상관관계를 통해 특정 현상의 발생 가능성이 포착되고, 그에 상응하는 행동을 하도록 추천되는 일이 늘어나 상관관계 분석이 주는 이인사이트가 인과관계에 의한 예측을 압도하는 시대가 올 것으로 전망됩니다.
맥킨지에서는 빅데이터가 가치를 만들어 내는 방식을 다음 5가지로 정의하였습니다.
- 투명성 제고로 연구개발 및 관리 효율성 제고
- 시뮬레이션을 통한 수요 포착, 주요 변수 탐색으로 경쟁력 강화
- 고객 세분화 및 맞춤 서비스 제공
- 알고리즘을 활용한 의사결정 보조 또는 대체
- 비지니스 모델과 제품, 서비스의 혁신
데이터를 어떻게 바라볼 것인가
빅데이터와 데이터 사이언스가 데이터에 묻혀 있는 잠재력을 풀어내고, 새로운 기회를 찾고, 누구도 보지 못한 창조의 밑그림을 그릴 수 있는 힘을 발휘하게 될 것입니다.
DIKW 피라미드 는
데이터,정보,지식을 통해 최종적으로 지혜를 얻어내는 과정을 계층구조로 설명하고 있습니다.
데이터(Data),
개별 데이터 자체로는 의미가 중요하지 않은 객관적인사실
'kg노트북 가격이 H마트는 100만원, S마트는 90만원이군'정보(Information),
데이터의 가공, 처리와 데이터간 연관관계 속에서 의미가 도출된 것
'S마트의 kg노트북 가격이 더 저렴하네'지식(Knowledge),
상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과물
'상대적으로 저렴한 S마트에서 kg노트북을 사야지!'지혜(Wisdom),
지식의 축적과 아이디어가 결합된 창의적인 산물
'S마트의 다른 상품들도 H마트보다 더 저렴할거야'
데이터 분석 과정에서는 인간의 해석이 개입되는 단계를 반드시 거치기 마련입니다.
분석 결과가 의미하는 바는 사람에 따라 전혀 다른 해석과 결론을 내릴 수 있습니다. 아무리 정량적인 분석이라도 모든 분석은 가정에 근거하게 됩니다. 단순히 데이터양이 많다고, 분석을 많이 했다고 경쟁우위를 가져다주지는 않습니다.
분석이 경쟁의 본질을 제대로 바라보지 못하면 쓸모없는 결과들만 쏟아내게 될 것입니다.
빅데이터 시대의 특징은 분석과 해석의 구분 자체를 넘어선다는 데에 있으며, 숫자로 표현된 것 이면의 의미와 가치를 파악하려면 인문학적 해석이나 통찰이 필요합니다.