Python 요청을 사용하여 브라우저 방문을 가짜로 만드는 방법은 무엇입니까?

아래 웹 사이트에서 콘텐츠를 얻고 싶습니다. Firefox 또는 Chrome과 같은 브라우저를 사용하면 원하는 실제 웹 사이트 페이지를 얻을 수 있지만 Python 요청 패키지 (또는 wget명령)를 사용하여 가져 오면 완전히 다른 HTML 페이지가 반환됩니다. 나는 웹 사이트 개발자가 이것을 위해 몇 가지 블록을 만들었다 고 생각했기 때문에 질문은 다음과 같습니다.

파이썬 요청 또는 wget 명령을 사용하여 브라우저 방문을 가짜로 만들려면 어떻게합니까?

http://www.ichangtou.com/#company:data_000008.html

User-Agent헤더 제공 :

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

참고로 다음은 다양한 브라우저에 대한 User-Agent 문자열 목록입니다.

• 모든 브라우저 목록

참고로 사용자 에이전트에 대한 멋진 추상화 계층을 제공하는 fake-useragent 라는 매우 유용한 타사 패키지가 있습니다 .

가짜 사용자 에이전트

실제 데이터베이스와 함께 최신 간단한 사용자 에이전트 가짜

데모:

>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'

이 질문이 여전히 유효하다면

가짜 UserAgent를 사용했습니다.

사용하는 방법:

from fake_useragent import UserAgent
import requests


ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)

산출:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>

파이어 폭스를 가짜 사용자 에이전트 로 사용하여이 작업을 시도해보십시오 (또한 쿠키를 사용하는 웹 스크래핑을위한 좋은 시작 스크립트입니다).

#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4


import cookielib, urllib2, sys

def doIt(uri):
    cj = cookielib.CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    page = opener.open(uri)
    page.addheaders = [('User-agent', 'Mozilla/5.0')]
    print page.read()

for i in sys.argv[1:]:
    doIt(i)

용법:

python script.py "http://www.ichangtou.com/#company:data_000008.html"

대답의 근원은 질문을하는 사람이 원하는 것을 얻으려면 JavaScript 인터프리터가 필요하다는 것입니다. 내가 찾은 것은 JavaScript로 해석되기 전에 json의 웹 사이트에서 원하는 모든 정보를 얻을 수 있다는 것입니다. 이것은 각 웹 페이지가 동일한 형식이기를 바라면서 html을 파싱하는 데 많은 시간을 절약했습니다.

따라서 요청을 사용하여 웹 사이트에서 응답을 받으면 실제로 html / text를 살펴보십시오. 바닥 글에서 파싱 할 준비가 된 자바 스크립트 JSON을 찾을 수 있기 때문입니다.