robots.txt

이번에 크롤링 공부하면서 알게된 robots.txt

그동안 이런게 있는지도 몰랐다.

나무위키의 설명을 간단하게 요약하면, 크롤러의 접근을 제어하기위한 규약이다.
강제성은 없어서 꼭 지킬의무는없다고한다.
robots.txt 는 반드시 사이트의 루트경로에 있어야한다.
그래서 웬만한 사이트주소에 /robots.txt 를 붙여보면 바로나온다.

https://namu.wiki/robots.txt

https://www.google.com/robots.txt

https://www.naver.com/robots.txt