«web-scraping» 태그된 질문

다양한 공용 웹 사이트를 크롤링하고 해당 사이트의 데이터를 처리 / 집계하는 기능을 개발하려고합니다. 전자 메일 주소를 찾는 것과 같은 불길한 것은 없습니다. 실제로 사이트에 실제로 추가 트래픽을 발생시킬 수 있습니다. 그러나 나는 산만하다. 명예 외에 robots.txt, (a) 악성으로 보이고 잠재적으로 금지되는 것을 피하고 (b) 사이트 소유자 / 웹 마스터에게 아무런 …

83 web-scraping  web-crawler 

휴무 . 이 질문은 더 집중되어야 합니다. 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 이 게시물 을 편집 하여 한 가지 문제에만 집중할 수 있도록 질문을 업데이트하십시오 . 휴일 3 년 전 . 외부 웹 사이트 / 응용 프로그램을 자동화하기 위해 응용 프로그램을 만들 것입니다. 경우에 따라 사용자처럼 사이트를 탐색해야합니다 …

9 c#  .net  html  web-scraping