엔지엠소프트웨어

에디터 외부 API - 웹 API - 웹 스크래이퍼 (External API, Web API, Web Scraper)

목록
- 검색
- 닫기

페이지 정보

작성자 엔지엠소프트웨어 쪽지보내기 메일보내기 홈페이지 자기소개 아이디로 검색 전체게시물
댓글

댓글 0건 조회Hit 13,159회 작성일Date 20-01-31 08:21

본문

안녕하세요. 소심비형입니다. 요즘 웹 관련한 문의가 많아서 크롤링이나 스크래이퍼 또는 봇 기능을 좀 더 추가할 예정입니다. 그중에 하나가 스크래이퍼인데요. 현재 NGM은 셀레니움을 이용한 API만 제공하고 있습니다. 기능에 한계가 있어서~ 고차원적인 문제를 해결하는데 어려움이 있습니다. 물론, 하드코어하게 스크립트를 구성하면 되긴 하지만요^^;

웹 크롤러와 다르게 스크래이퍼는 설정한 조건에 맞게 로컬 컴퓨터로 다운로드 받을 수 있습니다. 기능은 대부분 유사하지만, 셀레니움을 사용하지 않는다는 점이 가장 큰 차이점이죠. 하지만, 셀레니움처럼 브라우저를 제어하거나 어떤 명령을 처리하지는 못합니다^^;

우선 간단한 테스트를 위해 아래와 같이 새로운 스크립트를 추가합니다.

File > 새로 만들기 > 스크립트 (단축키: Ctrl+N)

오른쪽 컨트롤 독 하단에서 외부 API를 클릭하세요~

웹 API 카테고리 확장
웹 스크래이퍼 클릭
드래그 앤 드롭으로 스크립트에 추가
속성 클릭

네이버의 매인 페이지를 스크랩할 예정입니다. 우선 바탕 화면에 NAVER 폴더를 하나 생성 해주세요. 그리고, 아래와 같이 속성을 채워줍니다. 네이버 주소를 입력하고 스크랩한 내용들이 저장될 폴더를 선택한 후 스크립트를 실행하세요.

바탕화면의 네이버 폴더를 열어서 저장된 내용을 확인합니다. 컨텐츠와 이미지들이 저장되어 있습니다.

컨텐츠를 열어보면 정리되지 않는 내용들을 확인할 수 있습니다. 네이버 매인 페이지에 있는 내용들을 쉽게 확인할 수 있죠.

이번에는 Html 형태로 저장되는지 확인해볼께요. 우측 속성에서 "요소 형식"을 Html로 변경하고 다시 실행하세요. 그전에 네이버 폴더의 내용을 모두 삭제해줍니다. 파일이 겹치지는 않지만, 지금은 테스트라서 쉽게 확인하기 위함입니다.

폴더를 보면 이미지는 동일하게 저장 되었을겁니다. 하지만, 컨텐츠는 html로 만들어진 것을 확인할 수 있죠? 내용을 열어보면 네이버 매인 페이지의 소스를 확인할 수 있습니다. 물론, 네이티브는 아니고 이미 가공된 소스죠.

폴더를 열어보면 아래 그림과 같이 모든 이미지들을 다운로드 받아서 정리되어 있는 것을 알 수 있습니다. 조금만 더 가공해서 결과물을 만들어 낼 수 있으면~ 특정 사이트의 내용을 가져와서 가공 처리 후 다른 사이트에 자동으로 올리는 것도 해볼 수 있을거 같네요.

웹 크롤링 또는 스크래이퍼 관련 데이타 수집 및 자동화 솔루션은 많이 있습니다. 네이버나 특정 사이트에서 이메일, 주소, 전화번호 3개 수집하는데 80~100만원 정도 비용이 들죠. 간단하게 스크랩한 후 로컬에서 데이타 검색 후 수집해도 됩니다. 만들기 나름이겠지만~ 키워드도 몇개 더 매칭해서 검색 후 사이트 스크랩하면 좀 더 효과적인 홍보가 되지 않을까 생각되네요^^

속성 정보