구글 검색 엔진 최적화, 서치 콘솔 크롤링 및 색인 요청

이 글은 구글 검색 엔진 최적화 글입니다만 기본 중에서도 가장 기초적인 내용을 설명하는 글입니다. 이에 구글 서치 콘솔을 이용하여 사이트의 게시물을 크롤링하고 색인 요청하는 방법을 알고 있다면 내용을 보지 않아도 됩니다. 시간 낭비이니 창을 닫고 글을 하나 더 작성하시면 되겠습니다.

 

검색 엔진 최적화의 기본은 크롤링에서부터 시작합니다. 검색 봇이 문서를 수집해야 검색 엔진에서 수집한 문서의 색인 여부를 결정할 수 있는 것이니 말입니다. 크롤링과 색인은 기본 중에서도 기본입니다. 크롤링을 저해하는 요소가 있다면 모든 수단과 방법을 동원하여 문제를 해결해야 합니다. 색인이 보다 더 잘 되게 하는 것은 그 이후 문제입니다.


구글 서치 콘솔 크롤링 및 색인 요청

우선 먼저 구글 검색 엔진은 똑똑하긴 한데 조금 불친절합니다. 색인 여부를 결정하고, 검색 결과 페이지의 게재 순위를 결정해야 하기에 꼼꼼하면서도 깐깐하게 문서를 판독합니다. 이에 구글 서치 콘솔의 검사 도구를 이용하여 크롤링 및 색인을 요청하면 크롤링은 빠르게 하지만 색인까지는 시간 조금 걸립니다. 모든 요청을 받아 들이지도 않습니다. 크롤링 후 기준에 부합될 경우에만 색인에 반영합니다.


URL 검사 도구를 사용하여 게시물 페이지 크롤링 및 색인 생성 확인

구글 서치 콘솔에는 URL 검사 도구가 있습니다. 이 URL 검사 도구를 이용하면 사이트 혹은 블로그 게시물의 크롤링 및 색인 생성 요청을 할 수 있습니다.

 

여기서 잠깐! 글 발행 후 무조건 구글 서치 콘솔에서 URL 검사 도구를 이용하여 크롤링 및 색인 요청을 하는 사람들이 있는데요. 절대 그럴 필요 없습니다. 위에서 말했지만 구글 검색은 불친절합니다. 그리고 느려 터졌습니다. 구글 검색을 상대할 때는 느긋하게 대해야 합니다. 크롤링 문제가 있거나 색인이 안된 게시물만 크롤링 및 색인 요청하면 됩니다.

구글 서치 콘솔 크롤링 및 색인 요청


구글 서치 콘솔 색인의 사이트맵

구글 서치 콘솔의 색인 영역에서 게시물의 크롤링 및 색인 상태를 확인할 수 있습니다. 적용 범위로 설명하려면 조금 복잡하니 쉽게 설명할 수 있는 사이트맵으로 설명하겠습니다. 적용 범위가 설명할 것이 많아 복잡한 것이지 방법은 동일합니다.


사이트맵 색인 생성 범위 보기

사이트맵의 경우는 제출한 사이트맵 우측에 있는 색인 생성 범위 보기 버튼을 클릭하면 제출한 사이트맵의 색인 여부를 확인할 수 있습니다.


사이트맵 색인 생성 현황

몽리넷 블로그에서 제출한 사이트맵에는 2,950개의 URL이 담겨 있습니다. 하지만 유효는 2,780여개이고 제외됨이 172로 표시되고 있습니다. 2,780개의 게시물이 색인 되어 있고, 172개의 게시물은 색인에서 제외 되었다는 의미입니다. 색인에서 제외된 172개의 게시물들은 구글 검색 결과 페이지에 노출되지 않는다는 얘기입니다.

붉은색으로 표시되고 있는 오류 문제를 최우선적으로 해결해주어야 하는데요. 이 글은 게시물의 크롤링 및 색인 요청 방법을 설명하는 글이니 따로 설명하지 않겠습니다. 제외됨 처리하는 방법과 동일하게 해결하면 됩니다.


구글 서치 콘솔 사이트맵 색인 제외됨

제외됨을 선택하면 그래프로 추세를 확인할 수 있습니다. 또한 해당되는 항목만 살펴볼 수 있습니다.


크롤링됨 현재 색인이 생성되지 않음

아래쪽에 보면 상세 정보가 주륵 나옵니다. 172개 게시물이 무슨 이유로 제외 되었는지 확인할 수 있습니다.

“크롤링 됨 – 색인이 생성되지 않음”이 168개로 되어 있습니다. 이는 구글 검색 봇이 게시물의 존재를 파악했지만, 색인되지 않았다는 얘기입니다. 색인이 안되었으니 구글 검색 결과 페이지에는 노출되지 않는 게시물이라는 의미죠. 해당 항목을 클릭하면


색인이 생성되지 않은 게시물 URL 검사

요렇게 해당되는 게시물의 주소를 모두 확인할 수 있습니다. 게시물 항목에 마우스 커서를 올리면 우측에 새 탭 열기와 URL 검사 버튼이 나타납니다. URL 검사 버튼을 클릭하면


구글 색인에서 데이터 가져오는 중

“구글 색인에서 데이터 가져오는 중”이라고 적힌 작은 창이 하나 열립니다. 잠시 기다리면


URL이 구글에 등록되어 있지 않음 실제 URL 테스트

해당 URL의 검사 결과 페이지가 열립니다. 색인이 안된 게시물 URL은 위와 같이 “URL이 구글에 등록되어 있지 않음”으로 표시될 것입니다. 정보를 확인한 후 문제가 없다고 판단되면 실제 URL 테스트 버튼을 눌러 줍니다.

URL 검가 결과 페이지에 대해 잠시 부연 설명하자면, 색인 생성 아래의 주황색 박스친 부분의 색인 생성 허용 여부, 사용자 선언 표준 URL, 구글에서 선택한 표준 URL은 매우 중요한 부분입니다. 색인 생성이 허용으로 설정된 것이 아니라면 아무리 똑똑한 구글 검색 엔진이라도 색인하지 않습니다. 색인 생성 허용 여부가 아니오 등으로 표시된다면 스킨 혹은 게시물 페이지에서 로봇 메타 태그로 색인을 거부한 것인지 확인해 보시기 바랍니다. 만약 로봇 메타 태그로 색인을 거부한 것이라면 검색 엔진은 게시물을 색인 하지 않습니다.

사용자 선언 표준 URL과 구글에서 선택한 표준 URL이 다르게 표시되고 있다면 사용 중인 스킨 혹은 게시물의 캐노니컬 태그를 확인하여 표준 URL이 제대로 선언 되어 있는지 확인하는 것이 좋습니다. 구글 검색에 색인 생성을 요청할 때는 표준 URL로 하는 것이 좋습니다. 티스토리 블로그 캐노니컬(Canonical) 태그와 모바일 친화적 페이지글과 티스토리 블로그 네이버 검색의 유사문서 문제를 읽어 보시면 쉽게 이해하실 수 있을 겁니다.


실제 URL 테스트 중 1~2분 정도 걸릴 수 있습니다

실제 URL 테스트 버튼을 눌러 주면 실제 URL 테스트가 진행되고, 테스트가 완료되면


URL을 구글에 등록할 수 있음일 경우 색인 생성 요청

URL 검사 결과가 보여집니다. URL을 구글에 등록할 수 있음, URL을 색인 생성할 수 있음, 페이지가 모바일 친화적임 모두 녹색 상태이면 아무 문제 없는 것입니다. 우측의 색인 생성 요청을 클릭하면


색인 생성 요청 체줄 중

색인 생성 요청이 제출 되고 30초~1분 정도후에는 요청이 완료됩니다.


색인 생성 요청됨 URL이 우선순위 크롤링 대기열에 추가 되었습니다

색인 생성 요청이지 색인 생성 완료가 아닙니다. 구글 검색 봇이 크롤링 후 색인 여부 결정하게 됩니다.


URL을 구글에 등록할 수 있음 색인 생성 요청됨

색인 생성 요청됨으로 표시되면 이제 기다리는 일만 남은 것입니다. 색인이 안되었다고 다시 또 요청할 필요는 없습니다. 문제가 없다면 색인될 것이고, 문제가 발견되면 색인이 거부됩니다. 색인에서 제외된 것은 제외됨에 표시됩니다. 제외된 URL의 최종 크롤링 날짜가 오래되었거나, 이미 한 번 색인 생성 요청을 하였음에도 불구하고 색인에서 제외되고 있다면 해당 게시물을 에디터로 열어 문제를 확인해 보시기 바랍니다. 텍스트, 이미지 등의 구성이 아무 문제 없는 게시물이라면 다시 색인 요청을 진행하면 되겠고요. 문제가 발견되었다면 수정 후 색인 요청하면 됩니다. 물론 색인 여부는 구글 검색 엔진이 판단합니다. 끝~

Leave a Comment