네이버의 검색엔진으로서의 기능을 오랜만에 테스트 해보고자 네이버 웹마스터 도구를 통해 2021년 2월 9일 현 사이트의 RSS Feed 및 Sitemap에 대하여 신규 수집 요청을 진행하였습니다. 그 결과 약 6일 후 총 4페이지에 대하여 크롤링을 진행 완료하였음을 확인할 수 있었습니다. 현재의 사이트가 실제로 많은 페이지를 보유한 사이트는 아니지만 최소한의 내부 링크 구조를 가지고 있기 때문에 실질적으로는 자동으로 모두를 크롤링 가능하도록 구성되어 있는 사이트에 대한 크롤링으로는 상당히 실망스러운 상황입니다. RSS와 Sitemap 모두를 등록한 결과이기에 더욱 놀라운 결과이기도 합니다.
다른 검색엔진 처럼 크롤링에 의해서 사이트의 트래픽이 과다하여 호스팅 차단되는 결과까지 발생하는 것을 원하는 것은 아니지만 이 상황은 꽤나 검색엔진으로서 검색 자료를 크롤링한다고 하기에는 무리가 있는 숫자로 판단됩니다. 크롤링 후 인덱싱 된 페이지가 거의 없기 때문에 검색에 노출 후 클릭된다는 시나리오 자체가 성립되지 않기 때문입니다.
총 4페이지의 크롤링 후 실제 색인 생성은 1페이지만 진행되었다는 것을 확인할 수 있으며 네이버 검색상에서도 그렇게 확인되었습니다.
다행스럽게도 비록 테스트를 위해 직접 클릭한 결과이지만 사이트를 통해 클릭한 결과가 웹마스터 툴에 반영되는 것을 확인할 수 있습니다. 웹마스터 툴 자체의 효용은 전혀 없는 것은 아닌 것으로 판단됩니다.
비교대상이 되는 다음의 수집현황은 추후에 공개하도록 하겠습니다만 그곳은 그곳대로 검색 자체가…