오늘 웹 크롤러 만들러 갔는데
정작 검색으로 배우고 왔습니다. ㅎㅎㅎ
그래도 배웠으면 된 거죠. ㅋㅋㅋ
생애 최초 웹 크롤러 학습이라서
여러분들께 알려드리면서
저도 기억하기 위해서 한 줄 씁니다.
웹 크롤러란?
웹사이트(네이버 등등)에 가서 정보를 긁어오는 것 입니다.
정보의 바다에서 황금 한 수레씩 마음껏 긁어올 수 있는 기술인거죠. 푸합합.
이걸 조금 응용하시면
원하시는 것을 개발하실 수 있어요.
저는 간단한 것만 알려드리겠습니다.
(사실 제가 환경설정 + 독학으로 거기까지만 배워서요 ㅋㅋ)
[환경설정]
웹 크롤러는 환경설정이 어렵습니다. ㅋㅋㅋ.
환경설정만 제대로 돼도,
간단한 것은 충분히 만들 수 있다고 생각하시면 틀림 없습니다.
자, 그러면 해봅시다.
[1] 파이썬을 설치합니다.
www.python.org
에 들어가셔서 다운로드 하시면 됩니다.
저는 운영체제가 윈도우즈라서 3.6.5 버전을 받았어요.
여러분들도 운영체제에 맞게 다운로드 하시면 됩니다.
다운로드 받은 걸 그대로 설치하면 에러가 나요.
체크해제 되어있는, 경로설정을 체크해주고 설치해야
경로를 못 찾는 문제가 생기지 않는답니다.
[2] 그 다음은 에디터입니다.
비쥬얼 스튜디오(VS) code 를 설치합니다.
https://code.visualstudio.com/
(혹은 서브라임 텍스트 및 ATOM 등 다른 IDE를 쓰셔도 됩니다.)
둘다 설치했다면 VS code를 켜주세요.
이제 아래쪽 터미널로 내려와서요.
python을 입력해줍니다.
흰 글씨가 나오면 성공. 다른 색이 나오면 실패입니다.
(실패 이유는 파이썬을 설치할 때 경로설정 체크를 안 해줬기 때문이므로
파이썬 삭제하고, 다시 설치하면서, 경로설정 체크를 해주세요. )
(>>> 에서 빠져나올 때는 exit() 라고 쳐 주면 빠져나옵니다. )
[3] selenium을 설치해줍니다.
vs code의 터미널 부분에서
pip install selenium 이라고 치고 엔터를 누르면
자동으로 설치가 됩니다.
[4] 브라우저 드라이버를 설치합니다.
저는 크롬드라이버를 다운 받아서, 설치해줄게요.
다운로드에 저장되면 그대로 풀어주면 됩니다.
https://chromedriver.storage.googleapis.com/index.html?path=2.37/
이후는 문과생도 할 수 있는 웹 크롤링 사이트를 참고???? 했습니다.
(예. 그 소스 그냥 그대로 따라했습니다. 정말 정리 잘 해놓으셔서요. ㅎㅎㅎ
이해가 안 가시면 그 사이트를 방문해서 읽어보세요.)
http://sacko.tistory.com/13?category=643535
자, 그럼 vs code를 열어주세요.
왼쪽에서 새폴더를 만들어줍니다.
이름은 아무거나 해줘도 됩니다.
그리고 그 안에 아까 해줬던
압축 푼 드라이버 파일을 넣어주고요.
1.py 파일도 하나 만들어줍니다.
그리고 중앙에서 이 코드를 따라서 쳐주세요.
from selenium import webdriver
path = "c:\downloads\chromedriver.exe"
driver = webdriver.Chrome(path)
다 입력하였으면 vs code 의 터미널로 내려가서요.
python 1.py 를 입력해줍니다.
으아아ㅏ아아아아악.
제대로 못 쓰겠습니다.
내일 정리해서 업그레이드 할 게요. ㅋㅋㅋ
감사합니다.
