API연동

크롤링 테스트 해봤어요, Bright Data로 가격 데이터 모아본 후기

요즘 데이터 쪽 테스트하면서 이것저것 만져보는 중인데, 이번엔 실제로 크롤링을 한 번 제대로 돌려봤어요. 단순히 데이터를 모으는 것보다, 공개 웹 데이터를 기반으로 크롤링 안정성을 확인해 보고 싶었거든요. 이번에 진행한 건 개인 테스트 성격의 테스트라 실제 서비스 운영이 아닌 분석 관점에서 접근했어요. 사실 예전에도 웹크롤링은 몇 번 해봤는데 막상 해보면 막히는 부분이 생각보다 많더라고요. 차단 이슈도 있고, 속도도 들쭉날쭉하고, 무엇보다 안정적으로 유지하는 게 쉽지 않았어요. 평소에는 가벼운 크롤링만 해보는 편인데, 이번에는 조금 더 실전 관점에서 데이터를 다뤄보고 싶어서 Bright Data로 아마존 ‘오메가3’ 키워.......