오늘은 빅데이터에대해서 알아보았음. 빅데이터는 쉽게말해서 대규모 데이터인데 이 빅테이터들의 특징은 옛날과는 다르게 인터넷의 발달로 방대한 양과 빠른속도로 만들어지고 또한 데이터형태또한 다양하다고 말하더라구. 그렇다면 왜 이 빅데이터라는 놈이 중요한가에 대해서 알아보았는데 예를들어 '한 사람이 쇼핑할때의 그 사람이 어떠한 품목들을 자주 본다'고 하면 그사람의 발자취들(즉,데이터)을 통해 그사람이 어떤 것을 선호하고 어떤것을 싫어하는지에 대한 답을 유추해낼수 있다는 거지, 그리고 한발 더 나아가면 그사람이 관심가져하는 품목들을 띄어주게끔 해줄수도 있다는거지, 이러한 데이터들이 기업에 입장에서는 어떤 결정을 할때 소비자들이 어떠한것을 원하고 있는지 등에 대한 데이터들을 통해 보다 나은 선택을 할 수 있는거지, 그리고 기업뿐만 그 어디서든 활용가능하다고 생각하고있어. 자 그럼 왜 이렇게 좋은게 이제서야 나왔냐고 말하면 그건 바로 기술적인 문제인데 우선 구글이 데이터를 처리하기 위한 방법으로 컴퓨터를 좋은놈으로 할까 컴퓨터는 저렴한놈으로 여러대로 할까하다가 뒷놈으로 결정하고 그 안에 소프트웨어를 발전시키자라구 했지 그리고 이들은 분산파일시스템 개발했는데 이게 뭐냐면 데이터를 컴퓨터여러곳에 저장시켜두고 저장시켜둘때도 이곳저곳에 복사해고 (한곳이 고장나도 다른곳을통해 원하는데이터를 얻을수있게끔하려고) 또한 이렇게 데이터를 찾으면 여러곳에서 찾아도 분산되어있기때문에 한쪽으로 쏠리지않아서 집중되지않는다는건데 여기서 이 데이터를 처리하는 기술이 맵리듀스라는 건데 이게 맵+리듀스임 맵은 분산되어있는 컴퓨터에서 각자 처리해서 중간결과를 내는거고 리듀스는 중간결과를 바탕으로 또 최종결과를 내는거야. 그리고 이 맵리듀스가 2004?5?인가에 나왔는데 이 맵리듀스의 기술을 바탕으로 하둡이라는 소프트웨어가 개발이되는데 이 소프트웨어는 무료로 공개가됬어
