URLConnection과 함께 Java를 사용하여 웹 페이지를 구문 분석하려고합니다. 다음과 같이 사용자 에이전트를 설정하려고합니다.
java.net.URLConnection c = url.openConnection();
c.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
그러나 결과 사용자 에이전트는 끝에 "Java / 1.5.0_19"가 추가 된 내가 지정한 것입니다. 이 추가없이 사용자 에이전트를 진정으로 설정하는 방법이 있습니까?
답변:
손으로 http.agent시스템 속성을로 설정하면 ""트릭을 수행 할 수 있습니다 (제 앞에 코드가 없습니다).
다음과 같이 벗어날 수 있습니다.
System.setProperty("http.agent", "");
하지만 시작시 값을 캐시하는 경우 사용자와 URL 프로토콜 처리기 초기화 사이의 경쟁이 필요할 수 있습니다 (실제로는 그렇게 생각하지 않습니다).
이 속성은 JNLP 파일 (6u10의 애플릿에서 사용 가능)과 명령 줄을 통해 설정할 수도 있습니다.
-Dhttp.agent=
또는 래퍼 명령의 경우 :
-J-Dhttp.agent=
설명을 위해 : setRequestProperty("User-Agent", "Mozilla ...")이제 잘 작동 java/xx하며 끝에 추가되지 않습니다 ! 적어도 Java 1.6.30 이상에서는.
netcat (포트 리스너)를 사용하여 내 컴퓨터에서 수신했습니다.
$ nc -l -p 8080
단순히 포트에서 수신 대기하므로 원시 http-headers와 같이 요청 된 모든 것을 볼 수 있습니다.
그리고 setRequestProperty없이 다음과 같은 http-headers를 얻었습니다.
GET /foobar HTTP/1.1
User-Agent: Java/1.6.0_30
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive
그리고 setRequestProperty :
GET /foobar HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive
보시다시피 사용자 에이전트가 올바르게 설정되었습니다.
전체 예 :
import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;
public class TestUrlOpener {
public static void main(String[] args) throws IOException {
URL url = new URL("http://localhost:8080/foobar");
URLConnection hc = url.openConnection();
hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");
System.out.println(hc.getContentType());
}
}
나를 위해 그 작업 은 addRequestProperty에서 User-Agent를 설정합니다.
URL url = new URL(<URL>);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
httpConn.addRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0");
HttpURLConnection. 그가 사용했다면 당신이 옳았을 것 URLConnection입니다. 어쨌든, HttpURLConnection c = new URL("http://www.google.com").openConnection();예 를 들어이 줄을 컴파일하려고 javac하면 error: incompatible types그 줄에 줄 것입니다. 나는 자바 (8)의 최신 버전, 그래서 자바 1.8.0 (R172)를 사용하고 있습니다
HttpURLConnection c = new URL("http://www.google.com").openConnection();Java 8 및 이전 버전의 Java에서 HttpURLConnection에 대한 캐스트 가 확실히 필요한 것은 맞습니다 .
HTTP 서버는 오래된 브라우저와 시스템을 거부하는 경향이 있습니다.
페이지 테크 블로그 (WH) : 가장 일반적인 사용자 에이전트 섹션에서 현재 브라우저의 사용자 에이전트 속성을 반영한다 : "당신의 사용자 에이전트" , a의 요청 속성 "사용자 에이전트"로 설정을 적용 할 수있는 java.net.URLConnection나 시스템 속성 "http.agent".