«urlopen» 태그된 질문

간단한 웹 스크레이퍼를 개발하려고합니다. HTML 코드없이 텍스트를 추출하고 싶습니다. 실제로이 목표를 달성했지만 JavaScript 가로 드 된 일부 페이지에서는 좋은 결과를 얻지 못했습니다. 예를 들어, 일부 JavaScript 코드가 텍스트를 추가하면 텍스트를 볼 수 없습니다. response = urllib2.urlopen(request) JavaScript가 클라이언트에서 실행되기 때문에 추가 된 텍스트없이 원본 텍스트를 얻습니다. 그래서이 문제를 해결할 아이디어를 …

178 python  web-scraping  python-2.x  urlopen 

Python 3에서는 URL에서 json 문서를 요청하고 있습니다. response = urllib.request.urlopen(request) response객체와 파일 - 류의 객체입니다 read및 readline방법. 일반적으로 텍스트 모드에서 열린 파일로 JSON 객체를 만들 수 있습니다. obj = json.load(fp) 내가하고 싶은 것은 : obj = json.load(response) 그러나 urlopen은 파일 객체를 이진 모드로 반환하므로 작동하지 않습니다. 해결 방법은 물론 : …

177 python  json  python-3.x  encoding  urlopen