오늘은 어제에 이어서 계속해서 빅데이터에 관한 정보를 알아봄, 어제 기술까지 얘기하면서 구글에서 개발한 기술인 맵리듀스까지 얘기했고 그 기술을 소프트웨어로 만든 하둡까지 얘기했었고 오늘은 데이터 마이닝이라는 것부터 시작할텐데 데이터 마이닝은 엄청난 양의 데이터로부터 필요한 정보를 얻어내는 것인데, 어제 얘기했듯이 기업이나 정부에서 고객이나 국민들에게 유용하고 그 사람들이 필요로 하는 것을 만들어야 하기 때문에 이러한 작업은 꼭 필요하다고 생각해, 그리고 우리가 이러한 데이터를 처리하였으면 우리가 보기 쉽게 나타낼수 있어야 하는데 이렇게 우리가 이해하기 쉽게 나타내는 작업을 '데이터 시각화'라고 하는데 그 예로는 단어구름이 있음, 우리 어떠한 단어를 기준으로 그 주변에 단어를 나타내는데 나타낼때 그냥 막무가내로 나타내는 것이 아니라 기준되는 단어와의 관계가 많다면 글씨를 크게하거나 다른 색으로 나타내어 그 기준되는 단어와 얼마나 관계가 있는지에 대해 보여주는 거야, 그리고 빅데이터를 처리하기 위해 꼭 수반되어야 하는게 분산처리인데 이과정에 꼭 필요한 기술이 클라우드 기술이야, 클라우드 기술은 나의 컴퓨터가 아닌 인터넷으로 연결되어져있는 제 3의 컴퓨터로 처리하는 것이야 내 컴퓨터로는 엄청난 양의 데이터를 처리하기에 힘이 드니까 좋은 놈들의 컴퓨터로 하는거야 그리고 또 이러한 작업을 할때 또 분산처리를 함으로써 더욱이 빨리 할수 있게끔 해주는 거지 그리고 이러한 클라우드 컴퓨팅서비스는 3가지로 분류되는데 우리가 기본적으로 알고 있는 n드라이브처럼 하드웨어측면을 빌려주는 인프라서비스와 어플같은거 만들때 필요한 하드웨어나 소프트웨어를 제공하는 플랫폼서비스랑 사용자가 필요한 소프트웨어만 골라서 사용하고 돈을 지불하는 소프트웨어 서비스로 나뉨 그리고 이러한 모든데이터를 저장하고 처리하는 곳이 데이터 센터인데 용도에 따라서 빅데이터를 처리하는 곳과 사람들을 검색이나 데이터처리를 돕기위한 용도로 나뉘고 또한 얼마전에 기사에 따르면 구글이 또한 인터넷 인프라망에대해 지난 3년간 30조넘는 돈을 투자했고 그 결과 이러한 데이터 처리과정중 4분의 1을 담당한다고 하더라구, 그리고 당연히 어떤 기술이 나오면 그에 대한 문제점이 나오기 마련인데 여기서도 데이터센터를 유지하기 위해서는 상당한 전력소모를 필요로 하기때문에 아직까지도 많은 연구가 필요로 해보임. 그리고 마지막으로 데이터 과학을 얘기해보면 데이터 과학은 데이터로부터 의미있는 정보를 추출해내는 학문을 의미한다는데 쉽게 말하면 이러한 데이터관한 내용들을 포괄하고 종합된 학문이라고 말해도 될거 같아.
