Google 웹 검색 API가 더 이상 사용되지 않는 대안은 무엇입니까? [닫은]

322

Google 웹 검색 API는 더 이상 사용되지 않으며 맞춤 검색 API ( http://code.google.com/apis/websearch/ 참조 ) 로 대체되었습니다 .

전체 웹을 검색하고 싶었지만 새로운 API에서는 사용자 정의 사이트 만 검색 할 수 있습니다.

프로그래밍 방식으로 전체 웹을 검색하는 방법이 있습니까? Java 프로그램에서 JSON을 사용하여 이전 API를 쿼리 할 수있었습니다.

google-api  deprecated  google-search  google-custom-search 
— 단
소스
3
나는 이것에 대해 많은 연구를 해왔으며 유일한 해결책은 Yahoo Boss 인 것 같습니다
— Dan
사용자 정의 검색 API는 대부분의 사람들이 찾고있는 것이 아닙니다 :-/ searchapi.io 에보 세요!
— Stan Smulders
다양한 기능을 제공하고 몇 분 안에 구현하기가 매우 쉬운 다양한 검색 API에서 POC를 수행했습니다. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc )는 내가 구현하고 테스트 한 API입니다. 자세한 답변을 제공 할 수는 있지만이 질문은 닫힙니다.
— Ashish Kumar
2
가장 좋은 솔루션은 SerpApi
— Hartator
— neverMind9

답변:

32

브라우저처럼 전송하고 html을 구문 분석 할 수 있습니다 .Youtube와 같은 경우에도 내가 항상 한 일입니다.

— 짐 3r
소스
64
나는 그 서비스 금지를 스파이더의 구글의 약관 ... 이야기 해요
— 스티븐 A. 로우
52
로부터 TOS : "당신은 특별히 액세스하지 않을 것에 동의합니다 (또는 액세스를 시도) ... (스크립트 또는 웹 크롤러의 사용을 포함) 자동화 된 수단을 통해 서비스 중 하나를"
— ændrük
18
"서비스 제공 업체에 서비스 약관 위반"은 결코 좋은 조언이 아닙니다. 웹 페이지를 파싱하는 것은 경고없이 하루 종일 끊어지는 것입니다. 이것은 끔찍한 조언입니다. 그것이 공표 된 것보다 더 많이 공감 된 이유입니다.
— WhyNotHugo
143
예, 그것은 서비스 약관을 위반하지만 개인적으로 나는 그것에 대해 걱정하지 않을 것입니다. Google은 다른 사람들의 사이트를 긁어 모으고 나면 약간의 긁힘을 처리 할 수 ​​있습니다.
— jimbo2087
106
사람들에게 오십시오. 순진하지 마십시오. 구글은 당신의 목을 ToS로 강요 할 수 없습니다. ToS를 위반하려면 먼저 서면으로 동의하거나 '예, 동의합니다'와 같은 버튼을 클릭하여 이에 동의해야합니다. 이것에 대해 생각하십시오 : 나는 웹 페이지에 그 페이지를 방문하는 모든 사람이 나에게 $ 10000를 주어야한다는 ToS를 넣었습니다. 방문자에게이 ToS를 적용 할 수 있습니까? 내가 즉시해야할까요?
— Migrate2Lazarus 내 프로필보기
482

예, 이제 Google 맞춤 검색이 기존 검색 API를 대체했지만 맞춤 검색 설정에서 단계가 명확하지 않지만 Google 맞춤 검색을 사용하여 전체 웹을 검색 할 수 있습니다 .

전체 웹을 검색하는 Google 맞춤 검색 엔진을 만들려면 다음 단계를 따르십시오.

  1. Google 맞춤 검색 홈페이지 ( http://www.google.com/cse/ )에서 맞춤 검색 엔진 만들기를 클릭하십시오.
  2. 검색 엔진의 이름과 설명을 입력하십시오.
  3. 검색 엔진 정의 아래의 검색 할 사이트 상자에 하나 이상의 유효한 URL을 입력하십시오 (지금은 www.anyurl.com을 입력하여이 화면을 지나가십시오. 자세한 내용은 나중에).
  4. 원하는 CSE 에디션을 선택하고 서비스 약관에 동의 한 후 다음을 클릭하십시오. 원하는 레이아웃 옵션을 선택한 후 다음을 클릭하십시오.
  5. 다음 단계 섹션에서 링크를 클릭하여 제어판으로 이동하십시오.
  6. 왼쪽 메뉴의 제어판에서 기본 사항을 클릭합니다.
  7. 검색 환경 설정 섹션에서 전체 웹 검색을 선택하지만 포함 된 사이트 강조 표시를 선택하십시오.
  8. 변경 사항 저장을 클릭하십시오.
  9. 왼쪽 메뉴의 제어판에서 사이트를 클릭합니다.
  10. 초기 설정 과정에서 입력 한 사이트를 삭제하십시오.

이제 맞춤 검색 엔진이 전체 웹을 검색합니다.

가격

  • Google 맞춤 검색은 하루에 100 개의 검색어를 무료로 제공합니다.
  • 그 후에는 1000 개의 쿼리 당 $ 5를 지불합니다.
  • 하루에 최대 10,000 개의 쿼리가 있습니다.

출처 : https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • 검색 품질은 일반 Google 검색보다 훨씬 낮습니다 (동의어, '지능'등 없음)
  • Google은이 서비스를 완전히 종료 할 계획 인 것 같습니다.
— 방콕 식
소스
26
고마워 바라건대 이것은 유효한 절차이며 Google에 의해 연결되기를 기다리는 허점이 아닙니다!
— Mazatec
9
감사합니다! 이것은 아마도 인터넷에서 내 질문에 대한 유일한 대답 일 것입니다. Google이 핵심 서비스에 대한 직접 API 지원을 종료해야하는 이유에 대해 생각하고 있습니다.
— spamguy
7
하지만 json과 함께 사용하는 방법은 무엇입니까?
— nawara
61
경고 : Google은 무료 버전을 사용하여 개발했지만 유료 버전으로 업그레이드 (100 회 이상의 검색을 수행하기 위해)하려면 "전체 웹 검색은 포함하지만 포함 된 사이트는 강조 표시"로 설정해야합니다.
— Bryan Larsen
5
"2017 년 4 월 1 일에 Google은 Google 사이트 검색 판매를 중단합니다. 모든 새로운 구매 및 갱신은이 날짜 이전에 이루어져야합니다. 2018 년 4 월 1 일까지 제품이 완전히 종료됩니다."
— Gajus
55

Google 맞춤 검색 (최고의 답변에서 옹호 됨)은 잘 작동하지만 경쟁 업체 (아래) 또는 다른 Google API와 비교할 때 비용이 많이 듭니다. 소규모 프리 티어 (100 개의 쿼리 / 일)와 1000 개의 쿼리 당 5 달러의 매우 높은 가격이 있습니다.

사이트 검색으로 업그레이드 할 수있는 옵션을 제공하는데 가격이 약간 더 나아지지만 이는 하나의 사이트 (자신의 사이트)를 검색하기위한 것이므로 업그레이드가 아닌 매우 다른 것입니다.

주요 대안은 다음과 같습니다.

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
월 5000q의 프리 티어를 가지며 가격은 1 페니 당 5 번의 쿼리에서 시작하며 하드 제한은 없습니다.

업데이트 : 2016 년 말 에이 API는 Azure 대응 "Cognitive Services Bing Search API"를 위해 종료되었습니다 :
https://azure.microsoft.com/en-us/services/cognitive-services/search/

1,000 건의 거래에 대해 미화 3 달러에서 시작하는 가격표는 여기 를 참조하십시오 . 내가 뭔가를 놓치지 않으면 꽤 비쌉니다.

Yahoo BOSS Search API
업데이트 : 2016 년 3 월 31 일에 중단되었습니다. http://developer.yahoo.com/boss/search/
전체 웹 검색에 대해 약 12 ​​개의 쿼리 / 페니에서 시작하는 가격.

그리고 내가 들어 본 적이없는 것들도 있습니다 :

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[판매 중단-아래 지적 된대로]

이 SO 포스트 에서 이들 중 일부에 대해 약간의 토론 이 있습니다.
[주제를 벗어 났기 때문에 문을 닫았습니다.

— 톰
소스
2
Bing Search API 버전 5는 이제 모든 Bing Search API (웹, 이미지, 비디오, 뉴스 검색) -microsoft.com/cognitive-services/en-us/pricing에서 한 달에 최대 1,000 개의 트랜잭션을 허용합니다 . - 내가 함께 몇 가지 샘플 넣어 mvark.blogspot.in/2016/06/...
— mvark
여기서 볼 수 있듯이 entireweb.com는 서비스를 중단되었습니다 entireweb.com/services
— Wessam 엘 Mahdy을
2016 년 12 월 15 일 Bing Web Search API는 Azure Marketplace의 Cognitive Services ( azure.microsoft.com/en-us/services/cognitive-services/search ) 로 이동 하며 구독을 위해서는 전화 + 신용 카드 확인이 필요합니다. 무료).
— gilad mayani
Bing API에서 : "2016 년 12 월 31 일 이후에 DataMarket 및 데이터 서비스가 폐기되고 새로운 주문 수락이 중단됩니다. 기존 구독은 2017 년 3 월 31 일부터 폐기 및 취소됩니다. 옵션이 필요한 경우 서비스 제공 업체에 문의하십시오. 서비스를 계속하고 싶습니다. "
— Dmitri Zaitsev
변경 사항을 지적 해 주셔서 감사합니다. 이에 따라 답변을 업데이트했습니다.
— Tom
27

여기에 맞춤 검색 제어판의 하단에있는 옵션은 다음과 같습니다 "사이트 검색하기" , 당신이 선택할 수 있습니다 "전체 웹을 검색하지만 포함 된 사이트를 강조"

맞춤 검색 제어판-검색 할 사이트

— 이슈 팡
소스
1
여전히 당신을 위해 작동합니까?
— Dejell
그래도 여전히 작동합니다.
5
유료 검색으로 업그레이드 할 때 Google에서 해당 옵션을 강제로 끕니다. 그리고 free는 100 개의 검색으로 제한됩니다.
— Bryan Larsen
1
@Yishu, 왜 https://support.google.com/customsearch/answer/141877?hl=ko 페이지에 " 전체 웹을 검색하도록 Google 사이트 검색을 구성 할 수 없습니다 "라고 표시되어 있습니까?
— Pacerier
@Pacerier, 나는 그것에 대해 모른다. 정책이 변경되었을 수 있습니까?
— Yishu Fang
14

Faroo는 무료 웹 검색 API를 가지고 있습니다

— 잭
소스
결과는 이음새가 제한적이지만 시작점이 좋습니다.
— afro360
@ 잭, 전에는 들어 본 적이 없습니다. 그들은 어디에서 검색 결과를 얻습니까?
— Pacerier
7
Faroo의 가능한 거래 차단기는 API 키가 등록 중에 지정한 IP 주소로 제한되어 있다는 것입니다.
— 잡히지 않는 예외
6
이 사람들은 여전히 ​​작동합니까? API 키를 요청했지만 아무 소리도 들리지 않았습니다.
— Paul Whelan
5

나는 Common Crawl에서 이것을 보았습니다.

http://www.commoncrawl.org/

우리 모두가 찾고있는 답이 될 수 있습니다 !!

— 단
소스
3
인덱스는 제한되어 있으며 1 년에 한 번 정도 새로 고침됩니다. 그리고 Amazon S3에 연결해야하므로 마침내 비용이 많이 듭니다.
— 기 illa 레보 지아
@GuillaumeLebourgeois, 비싼가요? 나는 그것이 사실이라고 생각하지 않습니다. 비영리입니다. 전체 102TB의 데이터는 무료로 다운로드 할 수 있습니다.
— Pacerier
비용은 AWS에 연결하여 액세스 할 수 있습니다. 학생 인 경우 프리 티어 자격이 있지만 이전 비용 등이 남아있을 수 있습니다. 프리 티어가 아닌 경우 운영 비용이 발생합니다.
— tripleee
일반적인 기어 것 같은데 지금은 매월 업데이트됩니다
— 잭 턱을
4

문서 상단에 메모가 있습니다 .

참고 : Google 웹 검색 API는 2010 년 11 월 1 일부터 공식적으로 지원이 중단되었습니다. Google 지원 중단 정책에 따라 계속 작동 하지만 일일 요청 수는 제한됩니다. 따라서 새로운 맞춤 검색 API 로 이동하시기 바랍니다 .

중단 정책은 그들이 3 년 동안 API를 계속 실행됩니다 말한다. 따라서 이전 API를 사용하는 애플리케이션이 이미있는 경우 아직 변경하기 위해 서두를 필요가 없습니다. 새 애플리케이션을 작성중인 경우 맞춤 검색 API를 사용하십시오 . 파이썬 에서이 작업을 수행하는 방법에 대한 내 대답은 here 이지만 아이디어는 모든 언어에서 동일합니다.

— Moinudin
소스
8
그리고 그것은 무료가 아닙니다 .... "1000 쿼리 당 $ 5"... 매우 무료가 아닙니다!
— UpTheCreek
1
이 답변은 3 년이 지났고 2014/09/29가 지났을 때 더 이상 사용되지 않습니다.
— nanofarad
CustomeSearchAPI가 모든 웹 사이트에있는 것은 아닙니다-사용자 웹 사이트를위한 것입니다
— Dejell
1

Google 맞춤 검색 홈페이지 ( http://www.google.com/cse/ ) 에서 '어디서나'맞춤 검색 엔진을 만들 수 있습니다 . 새 엔진을 추가하는 동안 '고급'을 클릭하면됩니다. 여기에서 Schema.org 사이트 유형을 제공 할 수 있습니다. ' Thing '은 모든 웹을 포괄하는 가장 일반적인 유형입니다.

— testlnord
소스
나는 그것을 얻지 못했습니다. 그것은 당신을 위해 작동합니까?
— Dejell
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.