robots.txt 사용법

대부분의 검색 로봇이 웹 페이지를 크롤링하기 위해 접근 시, 가장 먼저 해당 사이트의 최상위 폴더에서 robots.txt 파일을 호출하여 권한을 확인한 후 수집한다.

웹 서버의 최상위 폴더에 robots.txt 파일을 생성한 후 아래의 예시들을 활용해보자.

 

모든 로봇 문서 접근 허용

 

모든 봇 접근 금지

 

특정 폴더 봇 접근 금지

 

구글 봇만 접근 허용