OpenAI에서 자사의 GPTBot에 대한 Robots.txt 규칙을 공개하였습니다. 현재의 GPTBot은 OpenAI의 공식적인 웹크롤러이며 아래와 같은 agent와 식별자를 가지고 있습니다. User agent…
robots.txt
sitemap을 검색엔진에게
만들어진 Sitemap을 검색엔진에 등록한 후 해당 검색엔진에서 인덱싱 된 페이지들을 확인하는 법을 알아봅니다.
sitemap.html? sitemap.xml 사이트맵!
검색엔진에 나의 웹사이트 페이지들을 노출 시키는 가장 편하고 빠른 방법인 사이트맵 제작에 대해서 설명합니다. 하지만 사이트맵이 없어도 됩니다.