[Crawling] 파이썬으로 무신사 브랜드 데이터 수집하기
크롤링이란 웹 페이지를 그대로 가져온 후 데이터를 추출해내는 행위이다. 크롤링을 하는 소프트웨어는 크롤러라고 부른다. 크롤링이 뭔지 알아보고, 무신사에 있는 브랜드의 데이터드를 수집해보자. 1. 크롤링의 원리 웹 페이지는 HTML 문서로 작성되어있다. 그리고 이 문서는 css파일, 그리고 java Script 파일을 참조할 수 있다. 그리고 이는 개발자 도구를 통하여 쉽게 확인이 가능하다. (개발자 도구는 아래 사진처럼 열거나 윈도우나 맥에서 F12를 클릭하면 열 수 있다! 개발자들이 홈페이지를 수정하고 발생한 문제의 원인을 쉽게 파악하기 위해 브라우저에서 제공한다.) 위 사진처럼 크롬창에서 개발자 도구를 켜면 현재 페이지가 어떤 구성요소를 가지는지가 보여진다. 아래 그림처럼 Element를 클릭하여 페..
데이터 크롤링
2023. 4. 27. 20:55