몇 가지 사실 :
Google은 JSON 을 반환하는 공개 검색 웹 서비스 API를 제공합니다 . http://ajax.googleapis.com/ajax/services/search/web . 여기에 문서화
Java는 HTTP 요청을 제공 java.net.URL하고 실행 java.net.URLConnection하고 처리합니다.
JSON은 임의의 Java JSON API를 사용하여 Java에서 완전한 Javabean 객체로 변환 될 수 있습니다. 최고 중 하나는 Google Gson 입니다.
이제 수학을 수행하십시오.
public static void main(String[] args) throws Exception {
String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
String search = "stackoverflow";
String charset = "UTF-8";
URL url = new URL(google + URLEncoder.encode(search, charset));
Reader reader = new InputStreamReader(url.openStream(), charset);
GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);
// Show title and URL of 1st result.
System.out.println(results.getResponseData().getResults().get(0).getTitle());
System.out.println(results.getResponseData().getResults().get(0).getUrl());
}
Google에서 반환하는 가장 중요한 JSON 데이터를 나타내는이 Javabean 클래스를 사용합니다 (실제로 더 많은 데이터를 반환하지만 이에 따라이 Javabean 코드를 확장하는 것은 사용자의 몫입니다).
public class GoogleResults {
private ResponseData responseData;
public ResponseData getResponseData() { return responseData; }
public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
public String toString() { return "ResponseData[" + responseData + "]"; }
static class ResponseData {
private List<Result> results;
public List<Result> getResults() { return results; }
public void setResults(List<Result> results) { this.results = results; }
public String toString() { return "Results[" + results + "]"; }
}
static class Result {
private String url;
private String title;
public String getUrl() { return url; }
public String getTitle() { return title; }
public void setUrl(String url) { this.url = url; }
public void setTitle(String title) { this.title = title; }
public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
}
}
또한보십시오:
2010 년 11 월 이후 업데이트 (위 답변 2 개월 후), 공개 검색 웹 서비스는 더 이상 사용되지 않습니다 (서비스가 제공되는 마지막 날은 2014 년 9 월 29 일이었습니다). 이제 가장 좋은 방법은 정직한 사용자 에이전트와 함께 http://www.google.com/search를 직접 쿼리 한 다음 HTML 파서를 사용하여 결과를 구문 분석하는 것 입니다. 사용자 에이전트를 생략하면 403이 반환됩니다. 사용자 에이전트에 누워 웹 브라우저 (예 : Chrome 또는 Firefox)를 시뮬레이션하면 훨씬 더 큰 HTML 응답을 얻을 수있어 대역폭과 성능이 낭비됩니다.
다음은 Jsoup 을 HTML 파서로 사용하는 시작 예제입니다 .
String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; // Change this to your company's name and bot homepage!
Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");
for (Element link : links) {
String title = link.text();
String url = link.absUrl("href"); // Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");
if (!url.startsWith("http")) {
continue; // Ads/news/etc.
}
System.out.println("Title: " + title);
System.out.println("URL: " + url);
}