스럽 공식 블로그

이번에는 크롤링을 이용하여 멜론 차트에 있는 가수들의 데이터를 수집해보려고한다. ( 기본 설명은 아래 링크 참고 ! ) [Crawling] 파이썬으로 무신사 브랜드 데이터 수집하기 크롤링이란 웹 페이지를 그대로 가져온 후 데이터를 추출해내는 행위이다. 크롤링을 하는 소프트웨어는 크롤러라고 부른다. 1. 크롤링의 원리 웹 페이지는 HTML 문서로 작성되어있다. 그리고 이 gyu-ree.tistory.com 이전에 사용한 라이브러리로는 멜론 차트를 크롤링 하기 어렵다. 멜론의 경우 다른 페이지로 접속해도 url이 변하지 않아 규칙성을 파악할 수 없어서 request 모듈만으로 원하는 데이터를 가져오기 어럽다. 직접 마우스로 클릭하여 접속해야하는데, 크롤링을 위해서는 이를 자동화해주는 기능이 필요하다. 이를 ..

데이터 크롤링 2023. 4. 28. 20:37

서비스를 만들고 앱을 만들 때 서버에서는 서버 앱을 만들기보다 먼저 해야 하는 것이 있습니다. 그것은 바로 정보들을 저장할 Storage 만들기. 즉, DB를 설계하는 것입니다. Sluv의 DB 설계를 통해 Sluv이 어떻게 성장했는지 보여 드리겠습니다! 다음과 같은 조건들이 주워졌습니다. 1. 디자이너가 제작한 디자인 화면 2. 기획자의 간단한 요구사항 저희는 주워진 조건을 가지고 다음 3단계의 순서로 Sluv의 DB를 설계하였습니다. 요구사항 분석 → ERD 설계 → 객체 다이어그램 설계 요구사항 분석 : UI에 감춰진 비밀 속의 요구사항을 개발을 위한 명시적인 요구사항 변경. ERD 설계 : 명시적인 요구사항을 바탕으로 어떤 형식으로 데이터를 저장할 것인지 설계. 객체 다이어그램 설계 : JPA..

DB 2023. 4. 28. 19:56

크롤링이란 웹 페이지를 그대로 가져온 후 데이터를 추출해내는 행위이다. 크롤링을 하는 소프트웨어는 크롤러라고 부른다. 크롤링이 뭔지 알아보고, 무신사에 있는 브랜드의 데이터드를 수집해보자. 1. 크롤링의 원리 웹 페이지는 HTML 문서로 작성되어있다. 그리고 이 문서는 css파일, 그리고 java Script 파일을 참조할 수 있다. 그리고 이는 개발자 도구를 통하여 쉽게 확인이 가능하다. (개발자 도구는 아래 사진처럼 열거나 윈도우나 맥에서 F12를 클릭하면 열 수 있다! 개발자들이 홈페이지를 수정하고 발생한 문제의 원인을 쉽게 파악하기 위해 브라우저에서 제공한다.) 위 사진처럼 크롬창에서 개발자 도구를 켜면 현재 페이지가 어떤 구성요소를 가지는지가 보여진다. 아래 그림처럼 Element를 클릭하여 페..

데이터 크롤링 2023. 4. 27. 20:55

기존의 Sluv 애플리케이션의 문제점을 보완하기 위해 webView로 처리했던 로그인 부분을 native 코드로 변환하면서 적은 글입니다. SwiftUI를 처음 접해보는 입장에서 애플로그인을 진행하다보니 막히는 부분도 많았고 어떻게 진행하는지 어려움이 많아 정리하게 됐습니다. Problem 처음 애플로그인 버튼도 뜨고 버튼을 누른 후 동작도 잘 됐습니다. 하지만, AppleId 와 비밀번호를 올바르게 입력했음에도 불구하고 입력창이 그대로 남아있고, 터미널에도 아무것도 뜨지 않는 문제가 발생했습니다. 비밀번호를 잘못 입력했을때는 입력창이 흔들리면서 비밀번호가 틀렸다는 표시가 났지만, 올바른 입력을 한 후에는 애플로그인 함수 내에서 에러를 출력하는 print문 조차 실행되지 않았고 아무런 동작도 하지 않아 ..

iOS 2023. 4. 26. 23:18

엘라스틱서치에서는 색인할 때 문서의 데이터 유형에 따라 필드에 적절한 데이터 타입을 지정해야한다. 이러한 과정을 매핑이라하며, 매핑은 색인된 문서의 데이터 모델링이라고도 할 수 있다. 이는 관계형 데이터베이스에서 ERD 설계만큼 매우 중요한 과정이다! 조금 더 구체적으로 설명하면, 매핑은 색인 시 데이터가 어디에 어떻게 저장될지를 결정하는 설정이다. 데이터베이스의 저장소로 볼 수 있는 인덱스에 데이터가 추가될 때 그 데이터의 타입을 구체적으로 정의하는 일이다. 스럽 서비스에서 가장 간단한 인덱스를 예시로 들어 설명할테니 차근 차근 이해해보자. 1. 매핑 인덱스 만들기 매핑 정보를 설정할 때는 다음과 같은 사항을 고민해야 한다. - 문자열을 분석할 것인가? - _source에 어떤 필드를 정의할 것인가? ..

Elastic Search 2023. 4. 24. 13:54

Elastic search란? Apache Lucene( 아파치 루씬 ) 기반의 Java 오픈소스 분산 검색 엔진이다. Elasticsearch를 통해 루씬 라이브러리를 단독으로 사용할 수 있게 되었으며, 방대한 양의 데이터를 신속하게, 거의 실시간( NRT, Near Real Time )으로 저장, 검색, 분석할 수 있다. 스럽에서는 주로 검색을 위해 활용하고 있다. 본격적인 Elastic Search를 스터디하기 전에 검색 시스템에 대해 알아보자. 1. 검색 시스템이란 무엇인가? 검색 시스템이란? 검색 시스템은 사용자가 원하는 정보를 빠 르게 검색할 수 있는 기능을 제공하는 소프트웨어 시스템이다. 네이버와 구글에서 사용자들이 가장 많이 쓰는 서비스는 사용자가 원하는 검색어에 대한 결과를 제공하는 검색..

Elastic Search 2023. 4. 23. 11:37

검색 시스템을 구축하기 위해 먼저 ELK Stack 환경을 구성하려고한다. (ELK는 Elastic Search와 Logstash, Kibana를 앞글자만 딴 단어이다.) 스럽 ELK Stack 구성 Java 11 Elastic Search 7.0 Logstash 7.0 Kibana 7.0 Elasticsearch는 검색 및 분석을 위한 오픈 소스 분산 검색 엔진이고, Kibana는 Elasticsearch로부터 수집된 데이터를 시각화하고 분석하는 데 사용되는 오픈 소스 도구이다. Elasticsearch와 Kibana와 함께 사용하면 데이터 수집, 분석 및 시각화를 효과적으로 수행할 수 있다. Logstash는 데이터 처리 파이프라인을 구축하기 위해 사용되며, 수집기능을 해준다. 이러한 도구들을 함께 ..

Elastic Search 2023. 4. 23. 10:59