Hun's Blog

참고 파이썬 레시피 - 웹 활용 입문편을 공부하면서 정리한 내용 https://wikidocs.net/36472 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 색감테스트 해보기 http://zzzscore.com/color/ 색감 테스트! 나는 몇점일까? 색감 테스트, 나의 눈은 얼마나 정확한가?! zzzscore.com 1. 태그 구성 -> 버튼이 4 -> 9 -> 16 ... 으로 늘어난다. -> div로 되어있다. -> xpath 찾기 -> //*[@id="grid"]/div[1] -> //*[@id="grid"]/div[2] ... 2. 스크립트 작성 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 2..

참고 파이썬 레시피 - 웹 활용 입문편을 공부하면서 정리한 내용 https://wikidocs.net/36472 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 유튜브에서 자동으로 키워드를 입력하고 검색해보자. 자동화를 위해선 python의 selenium 모듈이 필요하다. 유튜브는 크롬 웹브라우저에 최적화되어있기 때문에 크롬을 설치해야한다. 추가로 크롬 드라이버도 설치한다. selenium? 다양한 브라우저 및 플랫폼에서 웹 응용프로그램을 위한 자동화 테스트 스위트이다. 웹 기반 응용 프로그램을 자동화하는 데 중점을 둔다. 단 하나의 도구가 아니라 소프트웨어의 모음이다. 여러 언어에서 웹 자동화 테스트 및 웹 자동화를 도와주는 라이브러리이다. chrome driver? 크롬드라..

참고 파이썬 레시피 - 웹 활용 입문편을 공부하면서 정리한 내용 https://wikidocs.net/36472 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net *urllib 모듈을 활용하여 네이버 웹툰의 썸네일을 찾아서 지정된 폴더에 다운로드한다. urllib ? URL 작업을 위한 여러 모듈을 모은 패키지이다. urllib.request -> URL 을 열고 읽는다 -> urlretrieve() : address 와 저장될 이름을 인자값으로 받아서 해당 url의 이미지 파일을 다운로드하여 저장한다. urllib.parse -> URL 구문 분석 urllib.robotparser -> robots.txt 파일 구문 분석을 위함 re? 파이썬의 정규표현식을 지원하는 모듈이다. (..

참고 파이썬 레시피 - 웹 활용 입문편을 공부하면서 정리한 내용 https://wikidocs.net/36472 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net *BeautifulSoup + requests 를 활용해 네이버 웹툰의 제목을 가져와보자. 1. 스크립트 작성 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 from bs4 import BeautifulSoup from pprint import pprint import requests html = requests.get("http://comic.naver.com/webtoon/weekday.n..

참고 파이썬 레시피 - 웹 활용 입문편을 공부하면서 정리한 내용 https://wikidocs.net/36472 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net Beautifulsoup ? HTML 및 XML 파일에서 데이터를 가져오는 Python 라이브러리 이다. Beautifulsoup 가 가져올 수 있는 page source 는 정적 스크립트이다. javascript 로 생성되는 동적 스크립트는 python 의 또다른 라이브러리인 selenium 을 이용해 pulling 한다. 웹의 어지간한 data 는 beautiful soup 과 selenium 을 통해 가져올 수 있다. requests ? HTTP Request를 웹 브라우저가 아닌 python에서 가능하게 해주는 모..

참고 파이썬 레시피 - 웹 활용 입문편을 공부하면서 정리한 내용 https://wikidocs.net/36472 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 크롤링을 구현해야해서 파이썬에대해 공부를 시작했다. 위의 참고 링크에서 파이썬 입문자용 강의를 제공하고 있어서 해당 강의를 따라하면서 구현한 예제를 정리해 볼 생각이다. 먼저 예제 구현을 위해 파이썬을 셋팅한 부분부터 정리해보도록 하겠다. APM 에서 PHP와 MariaDB 는 예제에서 사용되지 않았지만 간단하게 자동설치 한 부분도 정리해 보았다. 설치환경 Ubuntu 18.04.3 Python 3.7.4 VirtualBox 6.1 Apache 2.4.29 PHP 7.2.24 Mariadb 10.1.44 VirtualBo..