웹 사이트에서 특정 제품을 검색하고 데이터를 추출하는 방법을 찾고 있지만 정보를 쿼리하고 다운로드하는 로컬 웹 사이트처럼이 웹 사이트로 직접 이동하지 않고,
"웹 스크래핑"이 내가 찾고있는 것이라고 생각하지만 실시간으로 내 데이터를 얻는 방법을 알고 싶었습니다.
최선의 해결책은 검색 사례가 포함 된 단일 페이지를 보유하고 웹 사이트에서 데이터를 추출하여 결과를 표시하는 것입니다.
누구? : D
감사
귀하의 질문을 올바르게 이해하고 있는지 확실하지 않지만 PHP의 curl (client url) 라이브러리가 귀하의 요구 사항과 일치한다고 생각합니다. 자세한 예는 여기
—
agtoever
어쩌면 당신은 "웹 크롤러"(실제로 웹 스크레이퍼의 Wikipedia 페이지를 읽었을 때 그것을 이끌어 냄)를 언급하고있을 것입니다. 그러나 검색 기능은 웹 사이트 및 내부 작동 방식에 따라 크게 달라집니다. 가장 간단한 방법으로 wget과 같은 웹 크롤러를 사용하여 사이트 전체를 검색하고 특정 텍스트에 대한 모든 HTML 파일을 검색 할 수 있습니다.
—
Doktoro Reichard
Thk, Php curl이 내가 찾고있는 것이라고 생각합니다. 답변에 감사드립니다! 네, 웹 크롤러는 웹 스크레이퍼와 매우 유사하다고 생각합니다.
—
Steven Désilets