검색로봇 접근 확인, 색인과는 조금 다른 방식

검색로봇이 페이지에 방문해 내용을 가져오는 과정을 크롤링이라고 합니다. 색인은 검색 서비스가 문서 내용을 분석해 검색에 사용할 정보로 저장하는 단계죠. 따라서 페이지가 정상적으로 열린다고 색인까지 완료된 것은 아닙니다.

구글은 AI 개요와 모드에서 출처 링크로 표시될 자격을 갖추려면 페이지가 색인되어 있고 검색결과에 설명문을 표시할 수 있어야 한다고 안내하고 있는데요. 

그리고 한 마디를 더 남겼죠, 조건을 갖췄다고 노출이나 인용이 보장되지는 않는다고 말이죠. [구글 AI 검색 공식 안내]

워드프레스에서 검색로봇 접근 막는 설정 해제하는 법

관리자 화면의 “설정 → 읽기”에서 검색 엔진 가시성 체크박스를 확인해 보세요. 검색 엔진의 색인을 억제하는 옵션이 선택되어 있다면, 확인한 뒤 해제합니다. 

그럼 워드프레스에 색인을 막는 설정은 왜 있는걸까요? 

사실 필자는 이 기능을 홈페이지 제작 과정에서 자주 활용하는데, 사이트 오픈이 아직 준비되지 않은 상태에서는 활용도가 높기 때문이죠.

따라서 정상적으로 콘텐츠를 발행하기 시작 전, 우리가 해야 할 첫 번째 조치는 설정에서 읽기, 이후 검색엔진 색인 차단<<<체크를 풀어 주는 것입니다.

다음으로 여러분이 사용하는 SEO 플러그인에서 해당 글이나 페이지에 검색 제외 설정이 적용되어 있는지 살펴봐야 합니다. 

이때는 사이트 전체 설정과 개별 글 설정을 나눠 확인하는 것이 좋습니다.

그리고 관리자에서 로그아웃하거나 시크릿 창으로 접속해 본문이 보이는지도 확인하세요. 로그인 화면이나 준비 중이란 안내만 나온다면 방문자에게 공개 상태로 전환해야 합니다.

robots.txt와 noindex 역할 구분

robots.txt는 검색로봇이 접근할 경로를 관리하고, noindex는 해당 페이지를 검색 색인에서 제외하도록 지시합니다.

특히 robots.txt 접근을 막으면 구글이나 네이버가 여러분 페이지 안의 noindex를 읽지 못할 수 있기 때문에 검색에서 제외하려는 목적으로 두 설정을 매번 함께 적용하는 방식은 피해야 합니다.[구글 noindex 안내]

또한 검색이 안 된다고 robots.txt 내용을 모두 지우는 것도 적절하지 않습니다. 이때는 공개할 페이지 색인 경로가 차단됐는지부터 확인하고, 판단하기 어렵다면 해당 주소와 차단 내용을 웹사이트를 제작한 담당자에게 전달해서 문제를 해결해야 합니다.

서치콘솔에서 실제 주소를 검사해 보세요

사이트 소유권을 확인한 구글 서치콘솔(보통 자신의 구글계정 활용)에서 점검할 페이지 주소를 URL 검사 도구에 입력합니다. 홈페이지 첫 화면만 확인하지 말고, 검색에 노출하려는 글 주소 하나하나를 직접 넣어보세요.

워드프레스를 구글 서치 콘솔에 등록하는 방법(플러그인 미사용)에 대해 궁금하다면 본사이트에서 발행한 “서치콘솔 설정”을 확인해 보세요.

이때 블로그 포스팅 양이 많은 경우라면 글페이지를 점검해도 좋습니다.

먼저 색인 여부와 미등록 사유를 읽고, “실제 URL 테스트”로 현재 페이지에 접근할 수 있는지를 확인합니다. 기존 검사 결과는 구글이 이전에 수집한 상태일 수 있어 현재 상태와 구분 합니다.

문제를 수정했다면 다시 테스트하고 필요할 때 색인 생성을 요청합니다. 다만 실제 URL 테스트가 통과되어도 색인이나 검색 노출이 보장되는 건 아닙니다.

이렇게 기본적으로 검색로봇 접근 차단과 관련해 확인을 마쳤다면 다음 단계는 콘텐츠 구조와 관련 글의 연결 상태를 살펴보시면 됩니다.