PYTHON
Posts
134 posts[Python] BeautifulSoup 과 HTML 인코딩에 관한 고찰
얼마전 필요에 따라 BeautifulSoup을 이용하여 HTML 파싱하여 데이터를 추출하는 프로그램을 작성했는데, HTML을 읽고 그 내용을 파싱하기 위하여 다음과 같이 시도했습니다. with open('1.html', 'r', encoding='utf-8') as ifp: hstr = ifp.read() soup = BeautifulSoup(hstr, self.parser) 말로 설명하면 1.html 이라는 HTML 파일을 UTF-8 로 열어 그것을 hstr 문자열에 넣고 BS로 파싱한다는 의미입니다. 그런데 문제는 이 HTML이 동일한 사이트라도 때때로 다른 인코딩으로 가져온다는 것이었습니다.아마도 나라에 따라 해당 인코딩을 사용하게 한다던지 아니면 크롬 웹브라우저에서 C
curl 명령 파이썬 코드 변환
다음과 같은 약간은 복잡한 curl로 API 테스트 코드가 있다고 가정합니다. curl -X POST \ \ -H 'Accept: */*' \ -H 'Authorization: Basic xxxyyzz' \ -H 'Cache-Control: no-cache' \ -H 'Connection: keep-alive' \ -H 'Host: oauth-rpa.argos-labs.com' \ -H 'Postman-Token: foobar' \ -H 'User-Agent: PostmanRuntime/7.13.0' \ -H 'accept-encoding: gzip, deflate' \ -H 'cache-control: no-cache' \ -H 'content-length: 92' \ -H 'con
[Python] Scapy 를 이용한 ICMP, UDP 테스트
파이썬은 C와 같이 초당 수만, 수십만 개 이상의 패킷을 충분히 처리할 수 있을 정도로빠르지 않으므로 일반적으로 패킷 관련 작업을 하기에는 적합하지 않을 수 있습니다. 하지만 아주 간단하게 패킷을 만들어 진단을 한다던지 테스트를 진행할 때는파이썬의 scapy 만한 것이 없습니다. 테스트 환경은 Ubuntu Server 16.04 LTS 또는 18.04 에서 진행하였습니다.(모하비 맥에서도 같이 테스트 하는데 이상없이 잘 동작합니다) 설치는 간단히 $ pip install scapy 로 설치가 가능했는데경우에 따라 오류가 발생하면, $ pip install --pre scapy 로 설치하면 잘 되었습니다. 일반적으로 1024 포트 이후의 well-known 포트를 다루지 않는다면,root
[Python] multiprocessing 에서 각각 다른 virtual env 를 이용할 경우
파이썬에서의 가상환경은 꼭 필수적으로 사용할 만 합니다. 최근 multiprocessing 을 이용해야하는 상황에서 개별 서로 다른 가상환경(vitualenv)을 사용해야할필요가 생겼는데 어떻게 가능할까 하고 살펴보았습니다. 해당 내용 및 코드는 동료인 RAVEN 이 작업한 것인데 공유해 봅니다. 어느분께는 도움이 되셨기를..
