구글시트 강좌1 IMPORTHTML로 한방에 하는 웹페이지 크롤링 (모든 코인 현재가격 불러오기)

눈꼽만큼씩 도움이 될만한 구글시트 함수 강의를 하기로한 @youngbinlee 빈누입니다.

구글 시트는 구글에서 제공하는 스프레드시트 프로그램입니다. 마이크로 소프트 엑셀과 거의 동일하지만, 클라우드 상에 파일이 존재하여, 여러 기기에서 접근하거나, 여러 사람이 동시에 수정을 하는 등 엑셀보다 편리한 점이 많이 있습니다.

기존의 엑셀 함수는 대부분 사용이 가능하고, 구글 시트에서만 작동하는 유용한 함수들도 많이 있습니다. 구글 시트를 익혀서 여러분의 생산성을 올려보세요! :) 구글 드라이브 바로가기

개인적으로 구글 시트상에서 가장 활용도가 높으면서도 간단한 함수를 소개하도록 하겠습니다. 바로 웹사이트의 정보를 간단하게 크롤링해올 수 있는 함수 IMPORTHTML 입니다. HTML 페이지에서 표(TABLE) 또는 목록(LIST)로 있는 데이터를 가져옵니다.

IMPORTHTML(URL, 쿼리, 색인)

URL - 검토할 페이지의 주소를 입력합니다.
- URL 값은 http://를 포함하여 따옴표로 묶거나, 해당 텍스트를 포함하는 셀에 대한 참조여야 합니다.
쿼리 - 원하는 데이터가 어떤 구조에 포함되었는지에 따라 목록인 경우에는 "list", 표인 경우에는 "table"로 입력합니다.
색인 - HTML 소스에 정의된 표 또는 목록 중 반환되어야 하는 것을 확인하는 색인으로 1에서 시작합니다.

야구 리그 순위 페이지에서 순위 테이블을 불러와보자.

=importhtml("https://www.koreabaseball.com/TeamRank/TeamRank.aspx","table",1)

Cryptocurrency Market Capitalizations 웹사이트에 있는 코인의 가격 정보를 한방에 불러와보자.

=importhtml("https://coinmarketcap.com/", "table",1)

steemd.com에 있는 계정 정보를 불러와보자.

=importhtml("https://steemd.com/@youngbinlee","table",1)

importhtml 함수는 웹페이지에서 table 태그나 ul 혹은 ol의 리스트 태그로 작성된 데이터만 불러올 수 있음.
importhtml 함수는 모든 사람에게 공개된 웹페이지의 데이터만 불러 올 수 있고, 로그인이 필요한 페이지는 불러올 수 없음.
겉보기에는 html로 이루어진 웹페이지처럼 보이더라도, 그 안에 javascript 등 프로그램이 데이터를 불러오는 부분이 포함되어있다면, importhtml로 불러오지 못할 수 있음.
importhtml 함수는 구글 시트가 오픈되는 시점에서 데이터를 리로딩함. 구글 시트를 오픈하지 않더라도 1-2시간에 한번 정도는 구글 서버에서 새로고침을 하는 것으로 알려져 있음.
importhtml 함수를 많이 사용하면 시트가 느려지거나, 데이터를 불러오는데 문제가 생길 수 있으니 적절한 곳에만 사용하시길.