서치 콘솔 크롤링 통계 보고서는 설정 메뉴 안에 있으며, 구글봇이 최근 일정 기간 동안 내 사이트에 얼마나 자주 요청했는지, 서버가 얼마나 빨리 응답했는지, 어떤 응답 코드가 돌아갔는지를 보여 줍니다. 색인 보고서가 결과를 보여 준다면 크롤링 통계는 그 과정을 보여 주는 자료라고 이해하면 됩니다. 이 글에서는 보고서를 여는 방법, 주요 지표의 의미, 호스트 상태 점검, 숫자가 갑자기 바뀌었을 때 확인할 점을 정리합니다.
크롤링 통계 보고서 여는 방법
- 구글 서치 콘솔에 로그인하고 해당 속성을 선택합니다.
- 왼쪽 메뉴 아래쪽의 설정을 클릭합니다.
- 크롤링 항목에서 크롤링 통계의 보고서 열기를 누릅니다.
도메인 속성으로 등록했다면 하위 도메인까지 포함한 통계를 볼 수 있고, URL 접두어 속성이라면 해당 범위만 표시될 수 있습니다. 보고서는 실시간이 아니라 일정 기간의 누적 자료이므로 하루 이틀의 변화보다 흐름을 보는 것이 중요합니다.
주요 지표의 의미
| 지표 | 의미 | 볼 때 포인트 |
|---|---|---|
| 총 크롤링 요청 | 구글봇이 보낸 요청 수 | 급격한 감소나 증가 여부 |
| 총 다운로드 크기 | 크롤링 중 내려받은 데이터 양 | 이미지·스크립트 용량 변화 |
| 평균 응답 시간 | 서버가 응답하는 데 걸린 평균 시간 | 꾸준히 길어지는지 여부 |
| 호스트 상태 | robots.txt, DNS, 서버 연결 문제 | 최근 문제 표시 여부 |
그래프 아래에는 응답별, 파일 형식별, 목적별, 구글봇 유형별로 요청을 나눈 표가 있습니다. 이 표를 통해 어떤 종류의 요청에서 문제가 생기는지 좁혀 볼 수 있습니다.
응답 코드 분류 읽는 법
응답별 표에서 대부분이 정상 응답인 200이라면 크게 걱정할 필요가 없습니다. 301이나 302 같은 리디렉션 비율이 높다면 내부 링크나 사이트맵이 예전 주소를 가리키는지 확인해 보세요.
404가 많다면 삭제한 글이나 잘못된 링크가 있다는 뜻일 수 있습니다. 404 자체는 자연스러운 현상이지만, 중요한 글이 404로 나온다면 원인을 찾아야 합니다. 5xx 서버 오류가 늘어난다면 호스팅 상태나 플러그인 충돌을 우선 점검하는 것이 좋습니다.
목적별 분류도 참고하세요
목적별 분류는 새 페이지를 발견하기 위한 요청과 기존 페이지를 새로 고치기 위한 요청으로 나뉩니다. 새 글을 꾸준히 발행하는 블로그라면 발견 요청이 일정 비율로 유지되는 것이 자연스럽습니다.
호스트 상태 점검
호스트 상태 항목에는 robots.txt 가져오기, DNS 확인, 서버 연결 세 가지가 표시됩니다. 최근 문제가 있었다면 해당 항목에 경고 표시가 나타납니다.
- robots.txt 가져오기: 파일을 읽지 못하면 구글이 크롤링을 줄일 수 있습니다.
- DNS 확인: 도메인 설정이나 네임서버 문제를 의심해 볼 수 있습니다.
- 서버 연결: 서버 과부하나 방화벽 차단 여부를 확인합니다.
경고가 일시적으로 한 번 나타났다가 사라졌다면 대부분 큰 문제는 아닙니다. 하지만 같은 문제가 반복된다면 호스팅 업체에 문의해 서버 로그를 확인하는 것이 좋습니다.
숫자가 갑자기 바뀌었을 때 확인할 점
크롤링 요청이 갑자기 줄었다면 robots.txt 설정 변경, 서버 응답 지연, 보안 플러그인의 봇 차단 여부를 먼저 확인하세요. 테마나 플러그인을 바꾼 직후라면 그 변경이 원인일 가능성도 있습니다.
반대로 요청이 크게 늘었다면 많은 글을 새로 발행했거나 사이트 구조를 바꿨을 때 자연스럽게 생길 수 있습니다. 다만 의미 없는 매개변수 주소나 검색 결과 페이지가 대량으로 크롤링되고 있다면 내부 링크 구조와 robots.txt를 점검해 불필요한 주소가 노출되지 않게 정리하는 것이 좋습니다.
평균 응답 시간을 줄이는 방법
평균 응답 시간이 길면 구글봇이 같은 시간 동안 확인할 수 있는 페이지 수가 줄어들 수 있습니다. 응답 시간은 방문자 체감 속도와도 연결되므로 꾸준히 관리하는 것이 좋습니다.
- 페이지 캐시를 적용해 서버가 매번 페이지를 새로 만들지 않게 합니다.
- 사용하지 않는 플러그인을 정리해 서버 부담을 줄입니다.
- 이미지 용량을 줄이고 적절한 형식으로 저장합니다.
- 트래픽에 비해 호스팅 사양이 부족하지 않은지 확인합니다.
설정을 바꾼 뒤에는 바로 결과를 기대하기보다 몇 주에 걸쳐 그래프 흐름을 비교해 보세요. 응답 시간 그래프가 안정적으로 내려가면 개선이 반영되고 있다는 신호로 볼 수 있습니다.
작은 블로그도 이 보고서를 봐야 할까요
글이 수백 개 이하인 작은 블로그는 크롤링 예산을 크게 걱정할 필요가 없는 경우가 많습니다. 그래도 서버 오류나 robots.txt 문제처럼 색인 자체를 막는 문제는 규모와 관계없이 생길 수 있으므로, 한 달에 한 번 정도 호스트 상태와 응답 코드 분포를 확인하는 것만으로도 충분히 도움이 됩니다.
다른 보고서와 함께 보는 법
크롤링 통계만으로는 문제의 결과를 알기 어렵습니다. 페이지 색인 보고서에서 색인되지 않은 페이지가 늘었는지, 실적 보고서에서 노출이 줄었는지를 함께 보면 원인과 결과를 연결해 판단할 수 있습니다. 세 보고서의 변화 시점이 겹친다면 그 무렵 사이트에 어떤 변경이 있었는지 기록을 찾아보세요.
자주 묻는 질문
크롤링 요청이 많을수록 좋은가요?
많다고 항상 좋은 것은 아닙니다. 중요한 페이지가 안정적으로 크롤링되고 오류가 적은 것이 더 중요합니다.
보고서 데이터는 얼마나 자주 갱신되나요?
실시간이 아니라 일정 간격으로 갱신되며 최근 며칠 자료는 늦게 반영될 수 있습니다.
크롤링 속도를 직접 늘릴 수 있나요?
직접 늘리는 설정은 없습니다. 서버 응답을 빠르게 하고 유용한 콘텐츠를 꾸준히 발행하는 것이 기본입니다.
마무리
크롤링 통계 보고서는 구글봇이 내 사이트를 어떻게 방문하는지 보여 주는 진단 자료입니다. 총 요청 수의 흐름, 평균 응답 시간, 응답 코드 분포, 호스트 상태를 주기적으로 확인하면 색인 문제를 미리 발견하고 대응할 수 있습니다.