conda2 Mac OS 카탈리나(Catalina), 콘다(Conda)를 활용한 웹페이지 크롤링 환경 구축(Selenium, BeautifulSoup) 데이터를 분석하고 머신 러닝/딥러닝 모델을 학습할 때, 많은 연구자들이 활용하고 검증한 공인된 데이터 셋을 활용하는 상황이 가장 이상적이지만, 말 그대로 이상적인 경우에 가깝기 때문에 분석/모델링 도메인에 따라서 필요한 데이터 셋을 직접 수집해야하는 경우가 있다. 웹페이지 크롤링은 수많은 방법 중 하나로 본래 목적은 방대한 정보를 제공하는 서비스(e.g. 검색 엔진)들이 데이터를 최신 상태로 유지하기 위해 사용되었으나 뉴스 분석, 추천 시스템 등의 많은 양의 텍스트 데이터가 필요한 자연어 처리 영역에서도 사용된다. 크롤링을 쉽게 할 수 있는 많은 파이썬 기반 오픈소스 라이브러리들이 있다. 그 중 Selenium과 Beutifulsoup4을 활용한 웹페이지 크롤링 환경을 구축한다. 웹페이지 크롤링에서 Se.. 2020. 3. 14. Mac OS 카탈리나(Catalina), 콘다(Conda)를 활용한 텐서플로우(tensorflow), 겐심(gensim) 라이브러리 환경 구축 이전에 Anaconda3을 설치하고 오늘은 Tensorflow, Keras, Gensim 라이브러리 환경을 구축한다. tensorflow2 부터 패키지 이름으로 CPU와 GPU를 구분하지 않는다. Mac의 경우엔 패키지 이름으로 CPU와 GPU를 구분하던 tensorflow1.* 에서도 GPU 모드를 사용할 수 없었다. GPU모드를 사용하기 위해서는 CUDA를 지원하는 그래픽 카드여야 하는데 이는 NVIDIA의 기술로 맥북 프로는 Radeon 계열의 분리형 그래픽 카드 또는 Intel의 내장 그래픽 카드이기 때문에 사용할 수 없다. 아쉽긴 하지만 Radeon과 NVIDIA의 주타겟 영역이 다르다고 생각하면 될 것 같다. tensorflow 공식 웹페이지에서는 pip와 virtualenv를 활용한 방법을 .. 2020. 2. 18. 이전 1 다음
