워드프레스로 블로깅을 하다보면 All In One SEO Pack 플러긴만 설치해두면 구글에는 엄청나게 검색이 잘되는 것을 금방 알 수 있다. 워드프레스 자체의 고유주소(permalink)시스템 + 자동 생성되는 메타정보(키워드나 컨텐츠 내용) 들이 이미 구글 봇이 수행하는 인덱싱에 최적화 되있기 때문이다. 덕분에 큰 노력 없이도 구글에 최상단 노출이 되는 경우가 많다보니, 블로그 트래픽의 구글검색을 타고 들어오고 있다.
하지만 글을 올리고 몇달이 지나도 국내 검색 엔진들에는 전혀 검색이 되지 않길래 이것저것 검색을 해보니, 아니 웬걸. 네이버 검색엔진님께 내가 직접 RSS 피드을 등록을 해줘야 검색이 된다는 황당한 설명을 발견. 네이버 신디케이션 서비스도 그렇고 네이버측에서는 구글처럼 봇으로 긁어오는게 해당 사이트에 무리를 줄 수 있다는 핑계를 대긴 하지만 실제로 이렇게 되어있는 이유가 궁금할 따름이다. 아래는 네이버측의 설명이다
검색 서비스는 웹 로봇을 이용하여 여러 웹 사이트의 콘텐츠를 수집합니다. 웹 로봇은 무작위 접근 방식의 크롤링(crawling) 기법을 이용하여 콘텐츠를 수집하는데, 이는 웹 사이트에 많은 부하를 줄 수 있으며, 정형화되지 않은 URL과 수집 내용 때문에 검색 서비스에서도 수집 결과를 분석하기 어려운 단점이 있습니다.
솔직히 말해 자동으로 인덱싱해서 검색엔진에 등록을 해준다면 블로거들이 사이트에 약간 무리가 간다고 해도 그걸 싫어할리가 없을텐데. 봇이 웹사이트 전체 긁어간다고 웹서버가 바로 다운되는것도 아니니 말이다. 상황이 이렇다보니 웹상의 문서들을 제대로 자동 크롤링 해올 리가 만무하고, 그러다보니 웹사이트 검색이 제대로 될리가 없을 것 같다. 네이버에서 제공하는 “웹사이트” 검색의 경우 질이 떨어지다보니 쓰는 사람이 거의 없게되고, 결국 통합검색에서 매우 낮은 우선순위를 갖고 출력되는 안타까운 일이 당연히 발생할 수밖에 없어 보인다. 그래서 지금으로써는 블로그/카페/뉴스가 아닌 일반 웹사이트 검색하려면 구글을 쓰는 수 밖에 없는 듯 싶다.
하지만 전국민이 사용하고있는 네이버에 등록을 하지 않을수는 없으니, 결국 꼬리내리고 직접 등록을 할 수밖에 없었다. 친절하신 네이버님의 설명과 등록 요청 페이지를 아래에 명시해 두었으니 참고 바랍니다.