2021년 10월 28일 아래와 같이 네이버가 ‘통합검색’을 버리고 ‘에어서치’와 ‘스마트 블록’ 이라는 검색 결과를 제공하겠다는 기사가 나왔다.
‘정답 검색’에 이어, ‘관심사 탐색’도…네이버, “검색 전반에 AI 기술 녹여”
‘스마트 블록’은 지난번 이야기한 네이버의 의도검색의 공식 명칭으로 새로운 맞춤형 결과를 보여주기 위한 의도 검색 결과의 브랜드로 이해된다.
하지만 어디에도 웹검색의 고도화와 인덱싱의 고도화 등 실질적인 웹 검색시스템으로서의 발전은 어디에도 보이지 않는다. 예상은 했으나 아직은 가야할 길이 먼 한국의 검색엔진 소식이다.
네이버의 검색엔진으로서의 기능을 오랜만에 테스트 해보고자 네이버 웹마스터 도구를 통해 2021년 2월 9일 현 사이트의 RSS Feed 및 Sitemap에 대하여 신규 수집 요청을 진행하였습니다. 그 결과 약 6일 후 총 4페이지에 대하여 크롤링을 진행 완료하였음을 확인할 수 있었습니다. 현재의 사이트가 실제로 많은 페이지를 보유한 사이트는 아니지만 최소한의 내부 링크 구조를 가지고 있기 때문에 실질적으로는 자동으로 모두를 크롤링 가능하도록 구성되어 있는 사이트에 대한 크롤링으로는 상당히 실망스러운 상황입니다. RSS와 Sitemap 모두를 등록한 결과이기에 더욱 놀라운 결과이기도 합니다.
다른 검색엔진 처럼 크롤링에 의해서 사이트의 트래픽이 과다하여 호스팅 차단되는 결과까지 발생하는 것을 원하는 것은 아니지만 이 상황은 꽤나 검색엔진으로서 검색 자료를 크롤링한다고 하기에는 무리가 있는 숫자로 판단됩니다. 크롤링 후 인덱싱 된 페이지가 거의 없기 때문에 검색에 노출 후 클릭된다는 시나리오 자체가 성립되지 않기 때문입니다.
총 4페이지의 크롤링 후 실제 색인 생성은 1페이지만 진행되었다는 것을 확인할 수 있으며 네이버 검색상에서도 그렇게 확인되었습니다.
다행스럽게도 비록 테스트를 위해 직접 클릭한 결과이지만 사이트를 통해 클릭한 결과가 웹마스터 툴에 반영되는 것을 확인할 수 있습니다. 웹마스터 툴 자체의 효용은 전혀 없는 것은 아닌 것으로 판단됩니다.
비교대상이 되는 다음의 수집현황은 추후에 공개하도록 하겠습니다만 그곳은 그곳대로 검색 자체가…
네이버에서 2021년 2월 18일 신규 웹검색 랭킹 알고리즘인 SOLID 프로젝트를 발표하였습니다.
기술적으로는 아래와 같은 변화가 있음을 공지하였으며,
이는 구글 검색엔진의 랭크브레인 알고리즘과 버트 알고리즘과 상당 부분 유사해 보입니다. 우선적으로 변화 자체는 확인이 필요한 상황입니다. 네이버 CLOVA의 텍스트 분석과 머신 런닝을 부분적으로 도입한 것으로 추측됩니다만 확인되지는 않았습니다.
또한 이 SOLID 프로젝트의 결과로 아래와 같이 좀더 검색엔진 다운 결과를 노출하게 된다고 합니다.
뭔가 이제는 검색엔진 다워지는 시작 일까요? 매번 이랬지만 결과는..그나저나 크롤링이라도 좀 열심히하고..
하지만 뭔가 아쉽습니다. SOLID 프로젝트라는 명칭은 지난 2018년 웹의 아버지라 불리우는 팀 버너스리 경이 직접 개인이 자신의 데이터 사용에 대한 통제권을 행사할 수 있는 웹 생태계를 만들게 하겠다고 하면서 들고나온 프로젝트 명이기도 하기 때문입니다. 이 내용은 solid project 공식 웹사이트에서 내용을 확인해 보실 수 있습니다.네어버의 SOLID 프로젝트와 명칭이 동일한데 어떤 관계일까요?
만들어진 Sitemap은 각 검색엔진에 등록하여야 합니다. 검색엔진으로서 Naver와 Daum이 의미가 없다고 판단하실 수 있습니다만 두 서비스의 디렉토리에라도 등록하는 것이 단 하나의 클릭이라도 더 발생시킬 수 있기에 등록하시기를 권해드립니다.
특별히 적극적으로 검색등록을 하려면 위 각 검색서비스의 서비스에 회원가입하여 등록하면 됩니다. 대부분의 서비스는 웹사이트 또는 도메인의 소유자를 인증하여야 하는 절차를 가지게 됩니다. 서비스에서 사이트를 승인받으신 후 제작한 Sitemap을 등록하면 최소 1~2일 정도 후에 각 검색엔진에서 크롤링하여 인덱싱 한 결과를 확인 하실 수 있습니다.
개별 검색엔진에서 자신의 사이트가 어떻게 인덱싱되어 있는지는 아래 구문으로 확인해 보실 수 있습니다. 검색창에 아래와 같이 입력해서 확인해보세요.
site:seoguide.kr
물론 특정 서브도메인 단위로 확장하여 확인이 가능합니다. site:www.example.com 과 site:example.com은 다른 결과를 보여줄 수도 있습니다. 서브도메인을 통해 별도의 서비스를 하고 있다면 서브도메인 별로 위 서비스에 가입하여 관리하시는 것을 추천드립니다.
ps. 서비스 등록과 관리 등의 화면 예시는 차후 오픈 가능한 프로젝트의 진행시 해당 서비스의 운영 정보를 예제로 추가하도록 하겠습니다. (2020.01.29)
robots.txt를 통한 사이트맵 등록
각 검색엔진 서비스에 가입 후 사이트맵을 등록하는 것이 아닌 자연스럽게 검색엔진으로 부터 크롤링을 요청할 수도 있습니다. 다만 그러기 위해서는 해당 웹사이트가 다른 사이트의 인바운드 링크를 통해 크롤러가 방문하게 되었을 때 가능합니다.
검색엔진의 크롤러는 해당 페이지를 크롤링 하기 전 해당 사이트의 robots.txt를 확인합니다. 크롤링 후 인덱싱이 가능한지 여부를 확인하는 절차인데 그 시점에 우리는 검색엔진에 사이트맵의 존재를 알려줄 수 있습니다.
아래와 같이 사이트맵의 위치를 root에 위치한 robots.txt에 삽입하시면 됩니다. 요즘 핫한(?) 구인구직 서비스 원티드의 robots.txt에 위치한 코드입니다.
Sitemap: https://www.wanted.co.kr/sitemap.xml
