크롤링2 Selenium과 BeautifulSoup을 활용한 네이버 인기 급상승 검색어 크롤링 및 시각화(matplotlib, wordcloud) 지난 포스팅에서 웹 크롤링을 위해 selenium과 BeautifulSoup을 설치했다. 이번엔 실제로 웹 크롤링을 간단하게 해보고 그 데이터를 시각화해 볼 것이다. 데이터를 분석할 때 통계 기술들을 활용하여 표본 데이터로 더 큰 규모의 데이터 패턴을 추측하기도 하고, 잘 알려진 비지도 모델을 활용해 데이터의 패턴을 찾기도 한다. 위와 같은 방법도 좋지만 데이터를 시각화해보는 것 역시 가치있는 정보를 제공해 줄 가능성이 있으며, 무엇보다 가시적인 결과는 전달하는 바가 명확하다. 오늘은 간단히 네이버에서 인기 검색어를 수집하고 그 빈도를 시각화 해볼 것이다. 1. 네이버 웹 페이지 네이버 메인 페이지의 급상승 검색어를 클릭하면 클릭 시점 기준으로 1위부터 20위까지 인기 검색어를 볼 수 있다. 메인 페이지.. 2020. 3. 19. Mac OS 카탈리나(Catalina), 콘다(Conda)를 활용한 웹페이지 크롤링 환경 구축(Selenium, BeautifulSoup) 데이터를 분석하고 머신 러닝/딥러닝 모델을 학습할 때, 많은 연구자들이 활용하고 검증한 공인된 데이터 셋을 활용하는 상황이 가장 이상적이지만, 말 그대로 이상적인 경우에 가깝기 때문에 분석/모델링 도메인에 따라서 필요한 데이터 셋을 직접 수집해야하는 경우가 있다. 웹페이지 크롤링은 수많은 방법 중 하나로 본래 목적은 방대한 정보를 제공하는 서비스(e.g. 검색 엔진)들이 데이터를 최신 상태로 유지하기 위해 사용되었으나 뉴스 분석, 추천 시스템 등의 많은 양의 텍스트 데이터가 필요한 자연어 처리 영역에서도 사용된다. 크롤링을 쉽게 할 수 있는 많은 파이썬 기반 오픈소스 라이브러리들이 있다. 그 중 Selenium과 Beutifulsoup4을 활용한 웹페이지 크롤링 환경을 구축한다. 웹페이지 크롤링에서 Se.. 2020. 3. 14. 이전 1 다음
