구글, 페이스북 같은 기업들이 내부적으로 개발한 인공지능 알고리즘을 오픈소스로 공개하면서 많은 오픈소스 기반 플랫폼 개발 기업들이 저렴한 개발 비용으로 시장을 확대하고 있다.
구글, 아마존과 같이 내부에 풍부한 전문 인력이 있어 플랫폼을 직접 개발하고 운영하는 기업들과 일반 기업은 다르다. 대부분 기업들은 생소한 오픈소스 기반의 빅데이터 플랫폼을 운영하기 어렵다.
오픈소스 기반의 빅데이터 플랫폼을 이해해서 기업 특성에 맞게 맞추려면 수많은 비용과 시간을 지불해야 할지도 모른다. 그렇게 되면 기존의 분석 시스템 대비 개발 비용은 저렴할지 몰라도 매우 높은 유지 보수 비용이 발생할 것이다.
미국의 분석 전무 컨설팅 기업 코리오스Corios 조사에 의하면, 제4차 산업혁명의 선두 기업들이 많은 미국은 최근 금융기업들이 오픈소스 기반의 빅데이터 플랫폼 도입을 가장 적극적으로 검토하고 있고, 각 기업의 분석 담당 임원들은 오픈소스 기반의 빅데이터 플랫폼 성공 사례를 간절히 찾는 중이라고 했다. 코리오스가 금융기관 임원들과 인터뷰한 내용을 살펴보면
. 미국 리딩뱅트 Leading Bank는 오픈소스 기반의 빅데이터 플랫폼 도입을 위한 계획을 4년에 걸쳐 신중하게 검토했지만 플랫폼 개발과 유지보수에 들어가는 비용이 너무 커서 도입을 주저하고 있다.
. 업계 10위 안에 드는 손해보험 회사는 18개월에 걸쳐 오픈소스 기반의 빅데이터 플랫폼을 개발했는데, 오픈소스 알고리즘을 머신 하나에서 학습시켰을 때와 오픈소스 기반의 분산.병렬 처리 형태로 학습시켰을 때 결과가 다르게 나와 고민하고 있다.
. 미국 내 리딩 신용카드는 오픈소스 알고리즘을 개발할 수 있는 언어가 다양하기 때문에 오픈소스 플랫폼에 기업의 모든 업무 시스템을 이전할 경우 발생할 수 있는 다양한 문제들(예를 들면 개발자가 이직할 경우 알고리즘을 다른 언어로 전환하는 데 들어가는 막대한 비용)때문에 도입을 고민하고 있다.
. 리딩 생명보험 기업은 오픈소스 기반의 빅데이터 플랫폼을 실제 업무에 적용하고자 했으나 시스템을 제대로 이해하는 내부인력이 없고, 애메모호한 부분이 너무 많아 도입을 주저하고 있다.
오픈소스 기반의 빅데이터 플랫폼 도입에 대해 같은 고민을 한적이 있다. 매스 마케팅에서 고객 개개인에 대한 빅데이터 마케팅으로 전환하기 위해서는 고객별로 인공지능 알고리즘을 구동시켜야 한다.성능 좋은 시스템 몇 개보다는 성능이 좀 떨아지더라도 많은 수의 저가 시스템에 분산시켜 병려로 처리하는 것이 효과적이기 떄문이다.
데이터 양은 그리 많지 않지만 패턴이나 연속성 분석 등 상당히 복잡한 머신러닝 알고리즘 여러 개가 고객 수만큼 필요하고, 여러 번 분석해야 하기 때문에 분산, 병렬 처리가 아주 중요하다.
마이크로소프트도 넥스트 램브란트 프로젝트를 수행하기 위해 리눅스 가상머신을 분산, 병렬 처리해서 기존보다 약 1,000배 정도 많은 수의 알고리즘을 수행할 수 있었다고 한다. 따라서 사내 분석 인력들도 오픈소스 기반의 빅에이터 플랫폼 도입의 필요성을 공감하고 있었다.
이런 이유 때문에 내부 IT 담당자들로 임시 조직을 구성해 도입 가능성을 검토했지만, 빅데이터 플랫폼을 먼저 도입한 국내 성공 사례가 없어서 추진하기 힘들다는 의견이 많았다. 많은 기업들이 머신러닝 알고리즘을 단순 분석 용도로만 사용하기 때문이었다.
알고리즘이 빅데이터 마케팅에 필요한 모든 분석을 해주고 마케팅 담당자가 의사결정만 하면 되는 형태, 득 업무 시스템과 분석 시스템을 결합해서 사용하는 수준까지 도달한 기업은 없었다.
미국 금융기업들의 첫 번째 사례처럼 오픈소스 기반의 빅데이터 플랫폼 개발 비용은 적을지 모르지만, 시행착오로 인한 재개발로 유지 보수까지 고려할 경우 더 많은 비용이 든다며 반대하는 의견도 있었다. 하지만 네 번째 사례에서 보듯 기업 내부에서 오픈소스나 딥러닝 알고리즘 그리고 하둡이라는 새로운 분산, 병렬 처리 기술을 경험해본 인력 부족으로 생기는 성공에 대한 늦은 자신감, 실패에 관대하지 않은 금융기업 문화 등도 도입을 주저하는 이유 중 하나였다.
도입은 했지만 실무에 적용이 어려워 고민하는 기업들도 있다. 결국 미국 금융기업 사례에서와 같은 고민을 할 수밖에 없었다. 오픈소스 기반의 빅데이터 플랫폼을 도입했거나 도입을 추진하고 있는 기업이라면 이런 고민을 한 번쯤은 했을 것이다. 물론 이 문제는 각 기업의 선택에 달렸지만, 향후 디지털 역량 관점에서 보면 도입을 하고 고민하는 것이 긍정적이라고 본다. 빅데이터 플랫폼을 효율적으로 운영하는 방법은 기업이 인공지능 알고리즘을 어떤 목적으로 활용하는지에 따라 달라지기 때문이다. 결국 개별 기업들이 찾아낼 수밖에 없다.
하지만 엄청난 비용을 투자하고 성과가 없어 고민하고 싶은 기업은 없기 때문에 투자 대비 성과를 극대화하기 위한 오픈소스 기반의 빅데이터 플랫폼 단계적 도입 방안을 제시하여 한다.
. 빅데이터 분석을 위한 빅데이터 플랫폼 도입
. 기존 분석 시스템 내 알고리즘을 빅데이터 분석 시스템으로 이관
. 데이터 저자을 위해 빅데이터 플랫폼 확장
. 기존 데이터웨어하우스에 정형 데이터 저장
. 기존 데이터웨어하우스에 비정형 데이터 저장
. 빅데이터 플랫폼으로 비정형 데이터 이관
. 빅데이터 플랫폼으로 정형 데이터 이관
. 데이터 저장을 위해 빅데이터 플랫폼 확장
. 신규 업무 시스템 기존 방식대로 개발
. 빅데이터 플랫폼에서 신규 업무 시스템 개발
. 빅데이터 플랫폼으로 기존 업무 시스템 이관
오픈소스 기반의 빅데이터 플랫폼을 도입한 이후 데이터 저장 그리고 업무 시스템까지 단계적으로 확대해가는 것이다.
물론 모든 데이터와 업무 시스템 그리고 분석 시스템을 오픈소스 기반의 빅데이터 플랫폼으로 한꺼번에 이전하는 방식으로 할 수도 있다.
이 방식이 궁극적으로는 맞지만 아직까지 한 번에 퀀텀점프해서 성공한 사례는 전 세계적으로 없기 때문에 신중하게 고려해야 한다. 각 세부 단계는 기업이 보유하고 있는 빅데이터 엔지니어링 역량과 개발 기간 등 제약 조건을 고려하여 조정할 수 있다.
예를 들면 다음과 같다.
. 분석 시스템의 경우 어느 정도 빅데이터 엔지니어링 역량이 있다면, 기존 알고리즘을 빅데이터 플랫폼으로 이관하거나 모든 분석 알고리즘을 빅데이터 플랫폼에서 개발하는 형태로 추진하는 것도 괜찮다. 기존 분석 알고리즘을 빅데이터 플랫폼에 맞게 변환하는 노력은 필요하지만 그리 힘든 일은 아니다. 역량이 부족한 경우, 기존 분석 알고리즘을 이관하지 않고 기존 분석 시스템에서 활용하는 방식을 택하여 좀 더 쉽게 개발해도 된다.
. 데이터 저장도 비정형 데이터의 경우 바로 빅데이터 플랫폼에 저장해도 된다. 이 경우 비정형 데이터는 원래 파일 형태로 저장되기 때문에 빅데이터 플랫폼에 저장하기 위한 데이터 사전 처리가 필요하지 않다. 빅데이터 플랫폼을 통한 데이터 관리 및 운영 역량을 어느 정도 갖고 있다면 처음부터 정형, 비정형 데이터 모두 빅데이터 플랫폼으로 이관하는 것도 괜찮다.
. 업무 시스템을 빅데이터 플랫폼으로 이관하려면 기존 업무 시스템을 재코딩해야 하는데 이때 예기치 않은 오류가 발생할 수 있다. 앞에서 예로 든 미국 손해보험 회사처럼 해결 방안을 못 찾을 경우 업무가 마비되는 재난에 가까운 상황이 발생할 수 있다. 따라서 업무 시스템은 기존 방식대로 개발해도 된다. 이 경우 빅데이터 플랫폼과 기존 업무 시스템을 실시간으로 연결하는 것만 고민하면 된다.
새로운 기회와 수익을 만드는 빅데이터 사용법
- 돈이 보이는 빅데이터, 이종석 -
