2
검색 엔진으로 Github Wiki를 크롤링 할 수 있도록하려면 어떻게해야합니까? robots.txt가 금지하는 것 같습니다
W3C 링크 검사기를 사용하는 동안 Github Wiki를 크롤링 할 수 없다는 것을 알았습니다. https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync- 개발 상태 : (해당 없음) robots.txt에 의해 금지됨 사람들이 검색 엔진에서이 Wiki를 쉽게 찾을 수 있기를 바랍니다. 질문 : 검색 엔진으로 Github Wiki를 크롤링 할 수있게하려면 어떻게해야합니까? 아니면 내가 잘못하고 Github의 robots.txt가 실제로 괜찮습니까?