스럽 공식 블로그

이번에는 크롤링을 이용하여 멜론 차트에 있는 가수들의 데이터를 수집해보려고한다. ( 기본 설명은 아래 링크 참고 ! ) [Crawling] 파이썬으로 무신사 브랜드 데이터 수집하기 크롤링이란 웹 페이지를 그대로 가져온 후 데이터를 추출해내는 행위이다. 크롤링을 하는 소프트웨어는 크롤러라고 부른다. 1. 크롤링의 원리 웹 페이지는 HTML 문서로 작성되어있다. 그리고 이 gyu-ree.tistory.com 이전에 사용한 라이브러리로는 멜론 차트를 크롤링 하기 어렵다. 멜론의 경우 다른 페이지로 접속해도 url이 변하지 않아 규칙성을 파악할 수 없어서 request 모듈만으로 원하는 데이터를 가져오기 어럽다. 직접 마우스로 클릭하여 접속해야하는데, 크롤링을 위해서는 이를 자동화해주는 기능이 필요하다. 이를 ..

데이터 크롤링 2023. 4. 28. 20:37

크롤링이란 웹 페이지를 그대로 가져온 후 데이터를 추출해내는 행위이다. 크롤링을 하는 소프트웨어는 크롤러라고 부른다. 크롤링이 뭔지 알아보고, 무신사에 있는 브랜드의 데이터드를 수집해보자. 1. 크롤링의 원리 웹 페이지는 HTML 문서로 작성되어있다. 그리고 이 문서는 css파일, 그리고 java Script 파일을 참조할 수 있다. 그리고 이는 개발자 도구를 통하여 쉽게 확인이 가능하다. (개발자 도구는 아래 사진처럼 열거나 윈도우나 맥에서 F12를 클릭하면 열 수 있다! 개발자들이 홈페이지를 수정하고 발생한 문제의 원인을 쉽게 파악하기 위해 브라우저에서 제공한다.) 위 사진처럼 크롬창에서 개발자 도구를 켜면 현재 페이지가 어떤 구성요소를 가지는지가 보여진다. 아래 그림처럼 Element를 클릭하여 페..

데이터 크롤링 2023. 4. 27. 20:55