[웹사이트를 엑셀로 가져오기]크롬 웹스크랩 익스텐션 - Data Scraper - Easy Web Scraping

Data Scraper - Easy Web Scraping

웹페이지의 데이터를 엑셀 데이터로 받아올 수 있는 크롬 익스텐션이 있다. 검색해 본 결과 이러한 기능을 제공하는 프로그램이 생각보다 꽤 많아서 놀랐다. 이  extension은 그중에서도 가장 인지도가 높은 녀석이라고 할 수 있을 것 같다. 2020년 12월 14일 기준으로 20만명 정도가 사용하고 있고, 후기는 500개에 이른다. 사실 더 많은 후기가 달린 녀석이 두 개 더 있기는 했는데 랭킹 상으로는 이 프로그램이 더 상위에 노출되어 있었기 때문에 이 프로그램을 신뢰하기로 했다. 무료버전이기는 하지만 모든 기능을 다 사용하기 위해서는 유료 버전을 사용해야 한다. 무료와 유료의 차이점은 자동화에 있는 것 같다. 아무래도 자동으로 웹페이지를 글거오는 기능까지 제공하는 모양이다.

 

최근에 나도 프로그래밍에 관심이 생겨서 오토핫키를 비롯해 uipath라든지,, 엑셀 VBA라든지.. 아니면 파이썬과 같은 프로그램들에 대해서 이렇게 저렇게 강의들을 들어보면서 머리를 굴리고 있는데.. 효과적인 프로그래밍 학습을 위해서는 적절한 문제상황에 직면하는 게 가장 중요하다. 온전히 의미를 부여할 수 있고, 그 문제를 해결함으로써 엄청난 아드레날린을 뿜뿌할 수 있는 문제상황이 필요하다는 것이다. 그런데 그런 상황이 흔치 않다.

 

프로그램을 이용해서 해결할 수 있는 일은 크게 두 가지인 것 같다. 하나는 자동화다. 똑같은 작업을 반복해야 하는 경우다. 그리고 또 하나는 계산이 어렵고 복잡한 경우다. 그런데 우리의 일상에서 그런 작업이 필요한 경우가 그렇게 많지 않으며, 있다 하더라도 매우 제한적일 수밖에 없다는게 문제인 것 같다. 잡설이 길었다.

하여간 유료화도 있기 때문에 기본적으로는 구글 계정을 통해 로그인을 요한다.

무료버전의 경우 한 달에 500페이지의 스크랩 제한이 걸려 있다.

Sign in with Google

어쩌다보니 홈페이지까지 왔다.

역시 유료화에 공을 들이고 계시군

유료화 패키지도 매우 여러개라는 걸 알 수 있다. 가장 저렴한 솔로버전은 한 달에 500페이지를 스크랩할 수 있다. 그리고 역시 가장 눈길이 가는 것은 automate scrape jobs다. 자동화인데 대체 자동화를 얼마나 어떻게 구현했을지 궁금하다. 하지만 그 호기심을 충족하기 위해 유료 결제를 할 생각은 없으니 패스한다.

드디어 실행했는데.. 뭘 어쩌라는거지.. New Recipe를 선택

Recipe가 뭔지 몰라서 검색했다. 레시피구나.....

표를 가져올 것이기 때문에 List Page를 선택해봤다.

개고생시키는 것 같은데 이렇게 해놓고 제대로 효과 없으면 진짜 짜증날 것 같은데

 

Find......... 뭐...지 이렇게 하는 거 맞나

 

심지어는 안내 유튜브가 있어서 참고했다. 하지만 어려운걸요?? 아니 블럭 금지가 되어 있는 페이지에 효과가 있어야 할텐데 그걸 모르겠다. 아무래도 스크래핑을 허용하지 않으려는 사이트에 대한 스크래핑에는 적합하지 않은 것 같은데