«search-engine» 태그된 질문


2
검색 엔진으로 Github Wiki를 크롤링 할 수 있도록하려면 어떻게해야합니까? robots.txt가 금지하는 것 같습니다
W3C 링크 검사기를 사용하는 동안 Github Wiki를 크롤링 할 수 없다는 것을 알았습니다. https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync- 개발 상태 : (해당 없음) robots.txt에 의해 금지됨 사람들이 검색 엔진에서이 Wiki를 쉽게 찾을 수 있기를 바랍니다. 질문 : 검색 엔진으로 Github Wiki를 크롤링 할 수있게하려면 어떻게해야합니까? 아니면 내가 잘못하고 Github의 robots.txt가 실제로 괜찮습니까?
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.