크롤링
Posts
9 posts크롤링 테스트 해봤어요, Bright Data로 가격 데이터 모아본 후기
요즘 데이터 쪽 테스트하면서 이것저것 만져보는 중인데, 이번엔 실제로 크롤링을 한 번 제대로 돌려봤어요. 단순히 데이터를 모으는 것보다, 공개 웹 데이터를 기반으로 크롤링 안정성을 확인해 보고 싶었거든요. 이번에 진행한 건 개인 테스트 성격의 테스트라 실제 서비스 운영이 아닌 분석 관점에서 접근했어요. 사실 예전에도 웹크롤링은 몇 번 해봤는데 막상 해보면 막히는 부분이 생각보다 많더라고요. 차단 이슈도 있고, 속도도 들쭉날쭉하고, 무엇보다 안정적으로 유지하는 게 쉽지 않았어요. 평소에는 가벼운 크롤링만 해보는 편인데, 이번에는 조금 더 실전 관점에서 데이터를 다뤄보고 싶어서 Bright Data로 아마존 ‘오메가3’ 키워.......
퀸트트레이더 뜻 연봉 되는법 방법
안녕하세요 여러분의 퀀트 트레이더 도와드리는 김케터입니다 :) 혹시 "수학은 1도 몰라도 억대 연봉 가능하다던데..."라는 퀀트 트레이더 관련 광고, 혹하셨나요? 3초 만에 끝내는 퀀트 트레이더 핵심 정보! 이거 하나로 끝내드릴게요. 오늘 알아볼 내용은 다음과 같습니다. 퀀트 트레이더 뜻과 2026년 현재의 핵심 트렌드는? 연봉 수준과 현실적인 되는 법은? 초등학생도 이해하는 트레이딩 방법 핵심만 쏙쏙! 현실 치트키 1: '백테스팅' 자동화 상황 설정: 과거 주식 데이터를 기반으로 개발한 알고리즘의 성과를 검증하고 싶을 때 예시: 이수지 님은 파이썬을 이용하여 과거 10년간의 삼성전자 주가 데이터를 다운로드받.......
밸리ai 크롤링, 아이디 공유, 현금 초대 리베이트 금지!
밸리ai 3기 펠로우 입장을 앞두고 공지사항을 읽었다. valley 사이트 크롤링, 아이디 공유 초대 시 현금 리베이트 금지에 대한 안내 운영정책을 위반하는 행위는 단호하게 대응해야 합니다. 계정 제재뿐만 아니라 법적 조치를 통해 무관용 원칙을 적용할 필요가 있습니다. ⓐ 웹 크롤링은 사이트 내 정보를 그대로 수집하는 행위입니다. 최근 파이썬을 이용한 크롤링 사례가 늘어나고 있습니다. 그러나 이는 IP가 노출될 수 있으며, 회원가입이 필요한 시스템에서는 VPN을 사용하더라도 운영자가 추적할 수 있습니다. 왜 저러나? ⓑ 크롤링된 데이터를 외부에 유출하는 행위는 더욱 심각한 문제입니다. 네이버 카페, 비공개 그룹, 네프콘 등을 통.......
구글 네이버 웹마스터도구 사이트맵 sitemap 무료 제작 사이트, 색인 오류, 크롤링 검색 반영 신청 방법 결과 후기
구글 네이버 웹마스터도구 사이트맵 sitemap 무료 제작 사이트, 색인 오류, 크롤링 검색 반영 신청 방법 결과 후기 음.. 그동안 작업한게 정리를 하는 개념으로 글을 좀 씁니다. 일단 오래된 구형 사이트가 있는데. 이사이트를 좀 활용을 하고 싶어서. .이상하게 오래된 것에 애착이 있는 편이라. 수정을 해서 사용을 하려고 하니 구글에서 정보를 크롤링 해가질 않네요. 그래서 원인을 분석을 해봤더니 사이트맵에 없는 페이지가 있다고 해서 또 그걸 찾아서 새롭게 사이트맵을 제작을 해서 등록을 했습니다. 다행히 최근 ai 기술이 좋아져서 이런 점에서 도움을 많이 받았는데요. 이거 정말 저 제정신이 아니면 이 사이트로 자동화를 도전해볼.......
