크롤링

하루하고도 17시간 44분동안 크롤링했고 폴더 약 3만개 -_-; 파일 약 20만개 -_-;; 용량 23기가 -_-;;; 오프라인으로 테스트해봤는데 유튜브 다운로드가 가능하면 그것까지 플레이가 가능하더라구요 이거 너무 좋은데? 약 이틀걸린다고보면되니 얼음집 망하기전에 다시 백업해야....

NAS를 선정할때 웹페이지도 간편하게 만들수있다는 문구에 시놀로지 NAS로 지름 나름 보안에 신경쓴다고

파이썬으로 작성한 소스를 실행파일로 작성하고자.. 인터넷 검색을 통해 처음 접한 방법은.. pyinstaller 아래 명령어로 설치.. pip install pyinstaller 아래 명령어로 파이썬 실행파일화.. pyinstaller news-crawling_xlsx.py 그러나.. 먼가 오류 발생.. 인터넷 검색으로는 파이썬 재설치.. 환경설정에 명령어 추가하기(?) 등이 나왔는데, 재설치는 했으나 동일하고,, 두번재 방법은 이해못함;; 그래서 다음으로 찾은 명령어는.. cxfreeze 아래 명령어로 다시 파이썬 실행파일화.. cxfreeze -c news-crawling_xlsx.py 처음에 버퍼링이 꽤 있어 좀 기다리면.. 실행 완료.. bu

오늘 제일 많이 사용되는 국내외 웹 크롤러 탑10을 소개할까 하는데요. 웹 크롤링 도구는 홈페이지에서 유효한 정보를 추출하기 위해 개발된 프로그램으로 웹사이트에서 특정 데이터를 수집하려는 사람들이 주로 사용하는 도구입니다. 특히 오늘 소개할 크롤링 도구중에 코드 기술이 필요없는 도구도 있으니까 주의깊게 봐주세요(소개순서랑 순위는 무관) 1.八爪鱼octoparse octoparse.com 특점: ①코드 작성이 필요 없는 시각화 작업 ②시간을 설정하여 일정한 주기로 자동 수집 ③외부 서비스 또는 외부 데이터베이스와 통합 가능 ④클라우드 서비스 제공 단점: ①한번에 많은 웹