요새 'crawler' 관련 강좌가 눈에 많이 띄기도 하고, 아주 가~끔 써먹기도 해서요즘에 소개되는 웹크라울러 소개 내용이나 Tip들을 리뷰해보았다. 원래는 PPT 자료로 만들어서 slideshare 등에 올릴까 하다가, 주말지나고 나서 의욕이 사라졌지만,최소한의 것 정도는 기록에 남기려고 적는다.(웹.알.못인 주제에 아주 살짝 훑어보고, 테스트 해 본 거라 잘못된 것이 당연히 있을 수 있다.) . 요즘에 소개되는 crawler 강좌 들은 엄밀히 말해서, crawler를 만든다기 보다는 Web automation or web scraping 에 관련된 tip 들이더라. 제대로 된 웹크라울러를 만들려면, 하이퍼텍스트 다큐먼트들간의 네트워크 구조에 대한 고려(알고리즘 설계)와 시스템 프로그래밍(분산처