SEO 최적화를 위한 Robot.txt 설정 방법

 # SEO(검색엔진 최적화)를 위한 Robot.txt 최적화 방법

블로그에 작성된 내용은 크롤링 과정이후 색인 작업이 완료되어야 검색엔진에 노출되게 된다.

열심히 작성한 내용이 검색엔진에 노출되지 않는다면 무슨 소용이 있을까?

그래서 컨텐츠 작성시 SEO 최적화 관점에서 작성하게 되는데, 정작 검색 봇(bot)을 통체하는 Robot.txt를 잘못 작성해서 크롤링이 안되거나 쓸데없는 내용까지 검색하게 만들어 크롤링 효율이 떨어지는 경우가 있다.

검색봇은, 특히 구글 검색봇은 세상에서 가장 바쁜 친구이다.

그렇기 때문에 전 세계 있는 웹사이트를 한가하게 돌아다니지 않고 사이트 마다 사이트맵을 검색하는데 소요되는 시간을 제한하여 효율적으로 활동한다.

따라서, 검색봇을 통제하는 Robot.txt 파일을 잘 관리해주는 것이 중요하다.

검색봇이 사이트 내에서 쓸데 없는 정보를 찾아다니느라 헤메지 않도록 robot.txt를 작성해야 하며, 가장 최적의 Robot.txt를 작성하는 방법을 안내하고자 한다.

1. Robot.txt 관리 포인트 3단계

1단계) 검색 라벨과 관련된 항목에 대한 검색봇 접근 금지

2단계) 컨텐츠와 관련없는 문서는 모두 접근 금지

• 구글 블로그외에 다른 블로그를 사용하는 경우, admin, Download 등 검색 봇이 접근하면 안되는 폴더는 모두 접근 금지를 시켜야 한다.

3단계) 필요한 문서만 접근 가능하도록 설정

위의 3단계를 구글 블로거(블로그스팟)에는 어떻게 적용하는지 알아보자.

2. 구글 블로거(블로그스팟, blogspot)의 최적의 Robot.txt를 설정해보자.

   ※ Robot.txt 설정 추천 (구글 blogger 用)    

User-agent : Mediapartners-Google	→ 애드센스 광고 크롤러 접근 허용
Allow : /	→ 애드센스 크롤러 모든 페이지 접근 허용
User-agent : *	→ 모든 검색봇 접근 허용
Disallow: /search	→ Search로 시작하는 폴더, 파일 접근 금지 (*주1)
Allow: /	→ 20으로 시작하는 모든 폴더/파일에 접근 금지 (*주2)
Allow: /search/label	→ 확장자가 html인 페이지에는 모두 접근 허용
Sitemap: https://사이트 주소/sitemap.xml	→ 마지막에 다음과 같이 sitemap 주소를 넣어주면 sitemap을 다시 체크하게 된다.

•  주1) 구글 블로거(블로그스팟)의 경우, 글 작성시 라벨을 설정하게 되면
  https://사이트주소/Search/ 하위에 라벨이 생성되게 되고, https://사이트주소/Search?q=label:라벨명 도 생성되게 된다.
  따라서 필요없는 라벨에 검색봇이 접근하는 것을 막아주는 것이 좋다.
  
  
• 주2) 구글 블로거(블로그스팟)은 글을 작성하여 게시하게 되면,
  작성연도(예.2023)로 폴더가 생성되고 하위 폴더에 해당 월의 폴더가 또 생성되게 된다.
  
  예를 들어, 2023년 9월 1일에 포스팅을 위한 글을 작성하게 되면 https://사이트주소/2023/09/xxx.html 이런식으로 생성되게 된다. 따라서 20으로 시작하는 폴더를 다 접근 금지를 시키면, 사이트내에 모든 폴더의 접근을 막을 수 있게 된다.
  
  
• 위의 상태까지만 진행하면, 모든 폴더가 접근 금지이기 때문에 크롤링이 불가능하다.
  
  따라서 마지막에 Allow:/*.html을 넣어주면 사이트의  모든 html파일에는 접근 가능하게 되기 때문에, 사이트내에 html 파일만 접근할 수 있게 만들 수 있다.
  
  
• 마지막에 위와 같이 Sitemap 주소를 넣어주면, 검색봇이 마지막으로 sitemap 정보를 읽게 된다.

※ 참고로 구글 블로거(블로그스팟)외에 티스토리, 네이버 블로그 등 다른 블로그를 사용하시는 분들은 admin, download 등 여러 형태의 폴더로 구성되어 있는 경우가 있다. 블로그 내용과 관련 없는 폴더의 경우에는 무조건 모두 disallow : /폴더명 을 넣어서 막은 이후에 작성 내용만 노출될 수 있도록 *.html만 allow를 처리하면 된다.