검색엔진 등록
만들어진 Sitemap은 각 검색엔진에 등록하여야 합니다. 검색엔진으로서 Naver와 Daum이 의미가 없다고 판단하실 수 있습니다만 두 서비스의 디렉토리에라도 등록하는 것이 단 하나의 클릭이라도 더 발생시킬 수 있기에 등록하시기를 권해드립니다.
특별히 적극적으로 검색등록을 하려면 위 각 검색서비스의 서비스에 회원가입하여 등록하면 됩니다. 대부분의 서비스는 웹사이트 또는 도메인의 소유자를 인증하여야 하는 절차를 가지게 됩니다. 서비스에서 사이트를 승인받으신 후 제작한 Sitemap을 등록하면 최소 1~2일 정도 후에 각 검색엔진에서 크롤링하여 인덱싱 한 결과를 확인 하실 수 있습니다.
개별 검색엔진에서 자신의 사이트가 어떻게 인덱싱되어 있는지는 아래 구문으로 확인해 보실 수 있습니다. 검색창에 아래와 같이 입력해서 확인해보세요.
site:seoguide.kr
물론 특정 서브도메인 단위로 확장하여 확인이 가능합니다. site:www.example.com 과 site:example.com은 다른 결과를 보여줄 수도 있습니다. 서브도메인을 통해 별도의 서비스를 하고 있다면 서브도메인 별로 위 서비스에 가입하여 관리하시는 것을 추천드립니다.
ps. 서비스 등록과 관리 등의 화면 예시는 차후 오픈 가능한 프로젝트의 진행시 해당 서비스의 운영 정보를 예제로 추가하도록 하겠습니다. (2020.01.29)
robots.txt를 통한 사이트맵 등록
각 검색엔진 서비스에 가입 후 사이트맵을 등록하는 것이 아닌 자연스럽게 검색엔진으로 부터 크롤링을 요청할 수도 있습니다. 다만 그러기 위해서는 해당 웹사이트가 다른 사이트의 인바운드 링크를 통해 크롤러가 방문하게 되었을 때 가능합니다.
검색엔진의 크롤러는 해당 페이지를 크롤링 하기 전 해당 사이트의 robots.txt를 확인합니다. 크롤링 후 인덱싱이 가능한지 여부를 확인하는 절차인데 그 시점에 우리는 검색엔진에 사이트맵의 존재를 알려줄 수 있습니다.
아래와 같이 사이트맵의 위치를 root에 위치한 robots.txt에 삽입하시면 됩니다. 요즘 핫한(?) 구인구직 서비스 원티드의 robots.txt에 위치한 코드입니다.
Sitemap: https://www.wanted.co.kr/sitemap.xml