환경 python 을 사용해서 spark를 활용하기 위해 사전 준비 작업을 포스팅합니다. 여러 블로그에서 spark 자체의 jupyter-notebook기능을 활용해서 하는 것들을 보여줬었습니다. 저는 spark를 활용할 수 있는 가상환경을 만들고 이를 jupyter-notebook kernel 로 올려서 사용할 생각입니다. 이전과 마찬가지로 AWS, ubuntu

환경 linux ubuntu 환경에서 python, pyenv, virtualenv 등을 이용한 개발 환경 구성 방법과 과정에 대해 포스팅합니다. pyenv 는 python 버전관리 패키지로 원하는 버전에서 개발환경을 구축하기 위해 필요합니다. 단독으로도 쓸 수 있지만 virtualenv를 통해 라이브러리까지 따로 관리 하여 라이브러리끼리의 충돌을 방지합니다.

설치 환경 AWS-EC2, ubuntu 14.04 bash , python3 환경에서 진행하였습니다. 설치 방법 가장 먼저 jupyter 를 설치합니다. $ pip3 install jupyter 로컬환경에서는 다음 명령으를 이용하면 localhost:8888 로 접속가능합니다. $ jupyter notebook 그러나 AWS EC2환경에서는 브라우저를 활용할