네이버 서치어드바이저 수집보류, 수집성공, 수집제한, 통누락, 사이트 색인 없어짐 등 내 사이트 및 블로그가 노출이 안될 때 체크해 볼 부분 및 사항들을 정리했습니다.
네이버 서치어드바이저 수집보류
네이버 서치어드바이저(웹마스터 도구)를 통해 웹 페이지 수집을 요청하고, 검색 제외를 하는 기능을 가진 툴에서 2024년 5월부터 수집보류가 부쩍 많아졌다는 것을 느낍니다.
특히, 네이버 블로그, 카페 등의 콘텐츠를 발행해 노출되는 웹문서가 아닌 워드프레스 사이트, 블로그, 티스토리 및 커뮤니티 사이트 등의 콘텐츠 페이지에서 특히 많이 수집보류가 나오는 일이 빈번해졌습니다.
또, 네이버 웹페이지 수집에서 처리결과 값이 수집성공으로 나온다 해도 실제 네이버 웹문서 영역에 노출되지 않는 등 스트레스를 받는다는 게시글 또는 댓글로 호소하는 글들이 많아졌습니다.
여기서는 네이버 서치어드바이저 웹문서 수집 전송 시 수집보류되어 네이버 검색 결과에 색인이 되지 않는 경우 체크해 볼 사항들에 대해 정리했습니다.
확인#1. 보안인증서
네이버 서치어드바이저 내 사이트 상태의 항목에는 보안인증서, HTTPS 리다이렉션, 사이트맵 3가지의 항목에 대해 상태값을 보여주고, 진단 결과를 제공하고 있습니다.
최근에는 사이트 및 게시물 전송을 모두 서버 보안 인증서 적용이 된 사이트를 이용하기 때문에 SSL에 무조건 https://~ 시작할 수 있도록 웹사이트 제작 단계부터 설정을 한 후 네이버 서치어드바이저에 사이트 등록을 하고 있습니다.
보안서버 적용이 안된 상태인지 또는 적용되어 있지만, 발급 확인 중 상태인지에 따라 웹페이지 수집이 늦게 수집되거나 보류가 날 수 있으므로, 완전하게 정상이라는 진단 결과로 나올 때 웹페이지 수집 요청하는 것이 좋습니다.
확인#2. HTTPS 리다이렉션
네이버 서치어드바이저 내 사이트 상태의 항목에서의 HTTPS 리다이렉션은 http://~로 인입되는 주소를 https://~로 넘겨주는 기능 설정이 되어 있는지를 확인합니다.
http:// 주소를 강제로 https:// 로 옮겨주는 rewrite 기능을 말하는 것으로 5회 이상 리다이렉션 되는 게시물 및 루트 도메인 주소의 경우 네이버 검색 봇은 수집성공의 상태값이 떴다하더라도 이 게시물에 대해서는 검색결과에 반영 노출하지 않습니다.
이를 해결하기 위해서는 우선 설정한 도메인이 정확하게 서버의 주소(IP)를 향하고 있는지를 확인하고, 정확한 주소에 보안인증서가 설치되어 있는지를 확인해야 합니다.
또, 가장 중요한 .htaccess 파일에 리다이렉트(리다이렉션) 설정이 올바르게 되어 있는지를 체크합니다.
많은 리다이렉션은 웹페이지에서도 에러 출력이 되지만, 웹 페이지를 수집하는 검색 엔진 내부에서도 거부를 하기 때문에 리다리렉션 규칙을 수정하여 올바르게 정의해 줄 필요가 있습니다.
확인#3. 사이트맵
네이버 서치어드바이저 내 사이트맵 제출은 구글 서치 콘솔과는 달리 단 한 개만 제출할 수 있습니다.
그러므로, 정확한 값의 사이트맵 주소를 제출하여 ‘사이트맵이 등록되었습니다.’라는 진단 결과를 보여주고 있는지 확인해야 합니다.
워드프레스 블로그의 경우 설치한 SEO 플러그인에 따라 sitemap.xml 주소는 상이하고, 파일이름도 상이하므로 정확한 주소를 제출합니다.
확인#4. RSS 제출
네이버 서치어드바이저 내 RSS 제출은 실시간으로 콘텐츠 게시물 또는 웹페이지가 업로드 되는 것을 표현하는 것으로 네이버가 내 웹페이지 문서를 빠르게 가져가는(긁어가는) 통로라고 할 수 있습니다.
그러므로, 제출된 RSS가 올바르게 제출되어 있는지 확인해야 합니다.
워드프레스 블로그를 운영한다면, https://(www).example.com/rss 가 아닌 https://(www).example.com/feed 로 제출하는 것을 권장합니다. 원래 워드프레스 CMS가 내장하고 있는 RSS 값 주소는 feed이기 때문입니다.
확인#5. robots.txt
네이버 서치어드바이저 내 robots.txt 정보가 수집되고 있는 상태를 볼 수 있는 곳은 왼쪽 검증 메뉴 하위에 있습니다.
네이버 검색 로봇 Yeti를 Allow가 아닌 Disallow되고 있는지를 확인합니다.
네이버, 다음, 구글, 빙, 그리고 모든 검색 봇에 대해 허락을 해야 한다면, User-agent: * 명령어를 입력해 robots.txt를 정의하고, 이후에 서버 또는 웹호스팅 서버 자원을 확인해 원하지 않는 검색 봇의 방문을 차단해 가는 것이 좋습니다.
확인#6. 리포트 > 사이트 진단
네이버 서치어드바이저 내 리포트 안에는 콘텐츠 노출/클릭, 사이트 진단, 수집 현황, 콘텐츠 확산 메뉴가 있습니다.
이 중 수집보류가 계속된다면 유심히 관찰해야 하는 메뉴는 사이트 진단 내 유형별 진단 정보라고 할 수 있습니다.
사이트 진단 메뉴에서 상태가 빨강색으로 <수집제한>이 있는지 확인합니다.
가장 흔하게 수집 제한이 나오는 것 중 하나는 <자기 자신을 리다이렉션하는 페이지>입니다.
자기 자신을 리다이렉션하는 페이지 유형은 웹페이지 요청에서 수집성공이 나오더라도 수집제한으로 분류되면 네이버 검색 결과에 반영이 되지 않습니다.
수집제한에 걸린 페이지 수가 나오며, 페이지 별 상세를 보기 위해서는 ‘자기 자신을 리다이렉션하는 페이지’ 텍스트를 클릭하면 리스트가 출력됩니다.
수집 일자 별로 수집제한 갯수의 페이지가 출력되며, 그 아래 수집 제한에 걸린 페이지 목록을 볼 수 있습니다.
또, 해당 URL를 클릭해 게시물을 보거나, URL 검사를 통해 현재의 색인 상태, 메타 값, 웹서버에서 응답한 http 상태 코드 등의 상세 사항을 확인할 수 있습니다.
확인#7. 자기 자신을 리다이렉션하는 페이지
자기 자신을 리다이렉션하는 페이지로 인해 수집 제한이 걸렸다면, 가장 먼저 체크해야 할 부분은 웹서버 보안인증서 부분이며, 리다이렉션에 문제가 있다고 할 수 있습니다.
자기 자신을 리다이렉션하는 페이지를 해결하거나 수정하는 방법은 .htaccess 파일 안에 다시쓰기(Rewrite) 부분를 새롭게 정의하는 것입니다.
재정의(redefine) 한 후 서버 운영자라면, 재시작(restart)를 적용함으로 해당 웹사이트 내 .htaccess 파일을 다시 로드 되도록 할 수 있습니다.
대부분 이러한 현상이 발생하는 에러는 웹서버에 설정되어 있는 301, 302 redirect 에러이기 때문에 워드프레스 블로그라면, 리다이렉션 플러그인 및 캐쉬 플러그인을 비활성화 했다가 활성화하는 방법으로 체크합니다.
캐쉬 플러그인의 경우 웹사이트의 속도 또는 웹서버의 속도를 많이 높인다는 목적으로 강도를 높여 캐싱 설정을 해두거나, 무료 SSL 플러그인과 충돌이 나는 경우일 수 있으므로 적당한 캐싱 설정으로 전환하는 것을 권장합니다.
네이버 서치어드바이저 수집성공 방법
네이버 서치어드바이저 수집성공을 위해서는 수집제한에 걸린 요소들을 하나하나 풀어내는 과정이 요구됩니다.
위에서 언급한 사항들을 하나하나 꼼꼼하게 체크해가며 수집성공 및 빠른 검색 결과에 반영이 되고 있는지 등 이상 유뮤를 확인하는 것입니다.
구글 서치 콘솔과 달리 네이버 검색 로봇은 과한 리다이렉션 되는 페이지에 대해 엄격한 기준을 가지고 있습니다 .
또, 최근 네이버는 잦은 영역의 변화, 검색엔진의 고도화라는 명목 아래 자사가 운영하는 콘텐츠 페이지 외의 콘텐츠를 많이 배제하고 있는 느낌을 받게 하고 있습니다.
실제 Chat GPT를 활용해 가공된 문서에 대해 색인이 잘되지 않는 경우가 빈번하게 증가하고 있습니다.
예를 들면, 이러한 챗GPT에 의존해 작성된 문서의 경우 수집 성공되어 검색 노출이 된다해도 문서가 상위에 노출되지 않는 일을 흔하게 볼 수 있습니다.
네이버 서치어드바이저 고객문의
일반적인 네이버 고객센터에서 서치어드바이저 담당부서에 문의를 할 수 있는 방법은 챗봇으로 가능하지만, 그 종착역은 웹마스터도구 가이드로 돌아오기 때문에 지루함의 연속입니다.
하지만, 잦은 수집보류, 수집반영의 지연, 수집 통누락, 수집 미반영, 수집 제한 등에 대해 직접 고객을 문의하기 위해서는 아래 문의 폼 링크를 통해 문의 접수해 볼 수 있습니다.
문의하면 대략 영업일 기준 2일 이내로 답변이 오지만, 통상적인 네이버 검색로봇의 기준에 따라 처리되고 있음을 알리는 담당자의 메일이 도착하게 됩니다.
또, 네이버 검색결과에 반영되기 위한 방법 및 해결방안은 모두 웹마스터 가이드를 참고하라고 안내되고 있기 때문에 대량으로 수집보류 및 수집제한에 놓인 분들은 답답한 오늘을 보내고 있는 것이 현실이라고 하겠습니다.
