네이버의 검색엔진으로서의 기능을 오랜만에 테스트 해보고자 네이버 웹마스터 도구를 통해 2021년 2월 9일 현 사이트의 RSS Feed 및 Sitemap에 대하여 신규 수집 요청을 진행하였습니다. 그 결과 약 6일 후 총 4페이지에 대하여 크롤링을 진행 완료하였음을 확인할 수 있었습니다. 현재의 사이트가 실제로 많은 페이지를 보유한 사이트는 아니지만 최소한의 내부 링크 구조를 가지고 있기 때문에 실질적으로는 자동으로 모두를 크롤링 가능하도록 구성되어 있는 사이트에 대한 크롤링으로는 상당히 실망스러운 상황입니다. RSS와 Sitemap 모두를 등록한 결과이기에 더욱 놀라운 결과이기도 합니다.
다른 검색엔진 처럼 크롤링에 의해서 사이트의 트래픽이 과다하여 호스팅 차단되는 결과까지 발생하는 것을 원하는 것은 아니지만 이 상황은 꽤나 검색엔진으로서 검색 자료를 크롤링한다고 하기에는 무리가 있는 숫자로 판단됩니다. 크롤링 후 인덱싱 된 페이지가 거의 없기 때문에 검색에 노출 후 클릭된다는 시나리오 자체가 성립되지 않기 때문입니다.
네이버 색인 생성 현황
총 4페이지의 크롤링 후 실제 색인 생성은 1페이지만 진행되었다는 것을 확인할 수 있으며 네이버 검색상에서도 그렇게 확인되었습니다.
네이버 검색 노출 클릭 현황
다행스럽게도 비록 테스트를 위해 직접 클릭한 결과이지만 사이트를 통해 클릭한 결과가 웹마스터 툴에 반영되는 것을 확인할 수 있습니다. 웹마스터 툴 자체의 효용은 전혀 없는 것은 아닌 것으로 판단됩니다.
비교대상이 되는 다음의 수집현황은 추후에 공개하도록 하겠습니다만 그곳은 그곳대로 검색 자체가…
흔히 On-Site SEO라고도 부르는 온-페이지 SEO는 목표 웹사이트 내부에서 행하는 검색 결과 순위 향상을 위한 작업을 지칭합니다.
On-page SEO는 콘텐츠 최적화, Meta tag최적화, 이미지 최적화, URL최적화, 내부링크 최적화 등 다양한 영역에 걸쳐 있습니다. 온-페이지 SEO는 기계적으로 이루어지는 검색엔진의 행위를 해당 기술의 관점에서 쉽게 이루어 질 수 있도록 개선하여 목적을 달성하는 것에 있습니다. 역설적으로 기계가 받아들이기 쉬운 웹페이지는 사용자에게도 접근성이 향상되는 효과를 얻을 수 있습니다.
Off-Page SEO
Off-Page SEO란 검색 결과 랭킹을 높이는 것을 목적으로 행하는 목표 웹사이트 외 모든 곳에서 진행한 행위를 지칭합니다. 링크 빌딩(Link Building)이 가장 잘 알려진 오프-페이지 SEO 활동의 예가 되겠습니다.
실제로 많은 이들이 링크 빌딩가 오프-페이지 SEO의 전부라고 하지만 인바운드 링크(Inbound Link)를 포함하지 않더라도 검색엔진에서 가중치를 줄 수 있는 권위있는 온라인 매체에 소개되는 것을 통해서 간접적으로 SEO 효과를 얻을 수 있으며 역으로 해당 매체의 링크를 아웃바운드 링크(Outboun Link)를 하는 것을 통해 효과를 얻을 수도 있습니다. 마케팅 활동을 통해 만들어지는 외부 페이지들의 정보를 잘 활용하는 것도 SEO에 도움이 됩니다.
블랙햇 SEO는 특정 웹사이트 또는 웹페이지를 검색엔진 상위 랭크를 위해 검색엔진 서비스의 이용약관(Terms of Service)에 위배되는 SEO 기술(?)을 이용하는 것을 의미합니다.
블랙햇 자체는 고전 영화1에서 선인과 악인을 구별하기 위해서 사용한 소품에서 유래를 찾을 수 있는 단어입니다. 하지만 최근에는 해커, 크래커 또는 인터넷 범죄자, 바이러스 제작자 등 불법적인 행위를 하는 사람들을 의미하는 용도로 사용되는 단어입니다.
Back Link – Black Hat SEO 기법
기본적으로 가장 일반적인 기법은 백링크2를 활용하는 것입니다. 고리타분한 옛적 구글의 검색엔진 순위 로직의 상징인 Page Rank를 활용한 것으로 이 때 가장 중요한 가치 척도인 “참조”의 횟수를 늘려 상대적으로 목적한 페이지의 순위를 올려주는 기법입니다. 하지만 구글에서 2012년 펭귄알고리즘을 발표하면서 이제는 더 이상 목적한 바를 달성할 수 없게 되었습니다.3 펭귄 알고리즘의 핵심은 제 3자 사이트의 백링크를 구매한 웹사이트에 즉각적인 패널티를 가하는 링크 품질 기준 강화 알고리즘으로 실제로 백링크 구매를 통해 상위 랭크 되었던 웹사이트들이 어느날 검색결과에서 사라지는 결과를 만들었습니다.
하지만 이러한 블랙햇 기법의 백링크를 구축하는 것이 아닌 자연스러운 백링크의 구축은 검색결과에 플러스 요인이 됩니다. 신뢰도가 높은 웹 사이트 또는 신뢰도가 높은 웹 페이지로 부터 참조를 받는 페이지와 많은 참조를 받은 웹 페이지의 경우 상위로 랭크가 됩니다. 최근의 검색엔진은 참조한 웹 사이트/페이지의 신뢰도를 평가할 수 있는 기술을 가지고 있어 블랙햇에 의해 구축된 스팸성 백링크인지 올바른 백링크인지를 판단할 수 있습니다.
가장 쉽게 직접 할 수 있는 백링크 구축은 구글을 통해 검색결과가 공유될 수 있는 SNS 채널에 프로필 생성과 링크등록, 주요 페이지 링크의 등록을 통한 공유입니다. 이때 공유하는 링크되는 페이지들은 당연히 테크니컬 SEO를 완료한 페이지 일수록 효과가 높습니다. 서비스의 종류에 따라 달라지겠지만 트위터, 페이스북, 링크드인, 핀터레스트 등 SEO 작업을 진행할 웹사이트의 성격에 따라 다양하게 활용하실 필요가 있습니다.
하지만 실제로 검색엔진이 작동원리를 알고 있다면 꼭 사이트맵을 제출할 필요가 없다는 것도 눈치 채셨을겁니다. 우리가 실제로 만드는 웹사이트가 올바로 내부적인 링크를 포함하고 있다면 사이트맵 없이도 우리의 웹사이트 모든 페이지는 시간이 지나면 모두 크롤링되어 인덱스가 만들어지게 됩니다.
웹페이지 하단 Footer에 수 많은 링크들을 표시해 둔 해외 웹사이트를 보셨던 기억이 나실지도 모르겠습니다. 그 링크 묶음들 역시 SEO를 위한 작은 노력입니다.
Contents Silo
여기서 중요한 포인트는 모든 링크를 포함한다는 것입니다. 크롤러(스파이더)가 링크를 타고 접근 가능하도록 모든 콘텐츠의 하이라키 구조(hierarchy structure)를 구성하여야 합니다. 하이라키 구조를 계획하다 보면 우리는 다시 이 콘텐츠들이 콘텐츠 사일로를 구성한다는 것을 알게됩니다. 콘텐츠 사일로(contents silo)란 곡물을 종류별로 모아둔 큰 곡물 저장 시설물을 사일로라고 하는데 콘텐츠를 이렇게 종류별로 묶음단위로 분리해 둔것을 칭합니다.
인천항의 Silo, 해당 시설에 그려진 세계 최대 벽화로 기네스북에 등재되었다, 출처 인천일보
또한 이러한 콘텐츠 사일로를 만들기 위해서는 각각의 콘텐츠를 분류하여 각각으로 안내하는 무엇인가가 필요하다는 것을 알게 됩니다. 각각의 페이지 사이의 이동을 좀더 자연스럽게 구현하기 위해서 우리는 Main Page 와 Contents Page 사이에 링크들을 보관하고 길을 안내할 중간자, 일명 Sub Main Page의 존재가 필요하게 됩니다. 또한 이러한 Sub Main이 사용자만이 아닌 검색엔진의 크롤러에게도 안내자 역할을 훌륭하게 해낼 수 있다는 것 또한 예상해 볼 수 있습니다.
우리는 Main Page에 제공된 GNB(Global Navigation bar)를 통해 각각의 Sub main을 방문한 크롤러를 생각해볼 수 있습니다. Sub Main Page는 각각의 콘텐츠를 가지고 있는 Page로의 링크 외에도 각각의 관계를 알려줄 수 있는 잘 정리된 안내문과 직관적으로 다음 콘텐츠를 선택할 수 있도록 하는 이미지 등을 포함하고 있을 것입니다. 당연히 해당 페이지에 소개되고 있는 콘텐츠는 하나의 유사성을 가진 콘텐츠 묶음-Silo를 구성하고 있을 것입니다.
코너스톤 페이지 (Cornerstone Page)
최근의 검색엔진(아마도 구글…이겠죠)은 단순 키워드가 나열되어 있는 페이지보다 일관된 주제에 대해서 상세한 내용을 포함한 상대적으로 풍부한 콘텐츠를 상위에 랭크하는 경향이 두드러지고 있습니다. 이에 대한 대응으로 최적화의 한 방법으로 상위 랭크를 의도적으로 노리는 페이지를 만들어 적극적으로 이러한 정책에 대응하려고 노력합니다. 해당 주제를 중심으로 비교적 많은 콘텐츠를 가득 담은 페이지를 만들어 상위 랭크에 올려 방문을 유도하는 페이지를 코너스톤 페이지 (Cornerstone Page)라고 합니다. 이러한 코너스톤 페이지는 검색엔진을 통한 사용자의 랜딩 페이지 (landing page)로 다음 행동을 유도하게 됩니다. 당연히 서브 페이지로의 많은 링크를 포함하게 됩니다.
더 나은 SEO를 위한 코너스톤
콘텐츠 사일로 – 서브 메인 페이지 – 코너스톤 페이지 뭐라고 부르든 어떤 의미를 가지든 우리의 목적은 검색엔진을 통해 방문자를 늘리는 것입니다. 검색엔진에서 우리의 페이지가 높은 순위로 노출되고 그에 따라 클릭을 유도할 수 있다면 역할이 중요한 것이지 그 명칭이 중요한 것이 아닙니다.
서비스 운영중 특별히 코너스톤 페이지를 신규로 구성하는 것보다 처음 사이트를 설계하는 단계에서 Sub Main Page를 코너스톤 페이지로서 역할을 하도록 구성하여 자연스러운 검색 노출과 상위 랭크를 목표하는 것을 추천합니다. 또한 서비스의 종류에 따라 별도의 Silo를 구성할 수 있는 테마를 선정하여 해당 테마의 Silo를 구성하며 추가적인 코너스톤 페이지를 생성하는 것을 적극적으로 추진하는 것 또한 좋은 전략입니다. 예를 들어 콘텐츠와 함께 하위 페이지들의 추천 순위나 선호도를 포함한 구성을 통해 하위 링크들을 자연스럽게 노출하여 코너스톤의 역할을 감당시키는 것입니다.
만들어진 Sitemap은 각 검색엔진에 등록하여야 합니다. 검색엔진으로서 Naver와 Daum이 의미가 없다고 판단하실 수 있습니다만 두 서비스의 디렉토리에라도 등록하는 것이 단 하나의 클릭이라도 더 발생시킬 수 있기에 등록하시기를 권해드립니다.
특별히 적극적으로 검색등록을 하려면 위 각 검색서비스의 서비스에 회원가입하여 등록하면 됩니다. 대부분의 서비스는 웹사이트 또는 도메인의 소유자를 인증하여야 하는 절차를 가지게 됩니다. 서비스에서 사이트를 승인받으신 후 제작한 Sitemap을 등록하면 최소 1~2일 정도 후에 각 검색엔진에서 크롤링하여 인덱싱 한 결과를 확인 하실 수 있습니다.
개별 검색엔진에서 자신의 사이트가 어떻게 인덱싱되어 있는지는 아래 구문으로 확인해 보실 수 있습니다. 검색창에 아래와 같이 입력해서 확인해보세요.
site:seoguide.kr
물론 특정 서브도메인 단위로 확장하여 확인이 가능합니다. site:www.example.com 과 site:example.com은 다른 결과를 보여줄 수도 있습니다. 서브도메인을 통해 별도의 서비스를 하고 있다면 서브도메인 별로 위 서비스에 가입하여 관리하시는 것을 추천드립니다.
ps. 서비스 등록과 관리 등의 화면 예시는 차후 오픈 가능한 프로젝트의 진행시 해당 서비스의 운영 정보를 예제로 추가하도록 하겠습니다. (2020.01.29)
robots.txt를 통한 사이트맵 등록
각 검색엔진 서비스에 가입 후 사이트맵을 등록하는 것이 아닌 자연스럽게 검색엔진으로 부터 크롤링을 요청할 수도 있습니다. 다만 그러기 위해서는 해당 웹사이트가 다른 사이트의 인바운드 링크를 통해 크롤러가 방문하게 되었을 때 가능합니다.
검색엔진의 크롤러는 해당 페이지를 크롤링 하기 전 해당 사이트의 robots.txt를 확인합니다. 크롤링 후 인덱싱이 가능한지 여부를 확인하는 절차인데 그 시점에 우리는 검색엔진에 사이트맵의 존재를 알려줄 수 있습니다.
