SEO 구글 크롤링 스마트폰 리디렉션 오류로 인한 실패

운영하고 있는 서비스에서 새롭게 만들어진 콘텐츠가 구글 서치 콘솔에 등록했는데, 색인이 되지 않는 문제가 발생하고 있습니다.
기존에 아무렇게나 올라오는 글에 비하면 퀄리티가 괜찮다고 판단하였는데, 색인이 등록되지않아 점검을 진행하였습니다.

 

크롤링 에이전트 변경

기존에 상세페이지의 색인은 분명 Googlebot 데스크톱이었고 그거 기반으로 크롤링이 일어나고 있었습니다. 그런데, 구글에서 모바일 중심 색인 생성 권장으로 변경하면서, Googlebot 스마트폰으로 기본 에이전트가 변경되면서 발생하기 시작했습니다.

리디렉션 에러

 

우선 현재 서비스의 문제는 웹 기반의 모바일 url 을 지원하는 것이었는데, 모바일인지 PC인지 판단하여 모바일인 경우 '/m/' url 을 붙여 리디렉션을 진행하였습니다. 그러다보니, Googlebot 스마트폰이 리디렉션을 보고 이거는 오류가 있는 페이지로 판단하여 실패 문제를 보냈던 것으로 판단하고 있는 것입니다. (옛날에 다른 싸이트 들어가면 리디렉션 시켜서 광고페이지가 나오듯이...)

 

다른 곳은 어떻게 하고 있는가?

예시로 티스토리에서도 마찬가지로 이런 문제가 발생했는데, 관리에서 모바일웹 자동 연결 옵션을 비활성화하여 해결할 수 있습니다.

그렇다면, 운영하고 있는 서비스에서는 어떻게 접근해야 하는가?

구글봇의 에이전트를 판별할 수 있기 때문에 모바일 + 구글봇으로 스마트폰을 판별하여 리디렉션을 하지 않는 로직을 추가합니다.

const userAgent = req.headers['user-agent'] || ''
const isGoogleMobileBot =
  userAgent.includes('Googlebot') && userAgent.includes('Mobile')

리디렉션 문제 해결

해당 에이전트를 가져와서 리디렉션을 하지 않도록 하면 문제가 바로 해결됩니다.

 

아래는 구글 검색 센터에 있는 내용입니다. 참고하시면 좋습니다.

[참고]

https://developers.google.com/search/docs/crawling-indexing/googlebot?hl=ko

Googlebot이란 무엇인가요? | Google 검색 센터  |  문서  |  Google for Developers

https://support.google.com/webmasters/thread/252108021/%EA%B5%AC%EA%B8%80%EC%84%9C%EC%B9%98%EC%BD%98%EC%86%94%EC%97%90%EC%84%9C-googlebot-%EC%8A%A4%EB%A7%88%ED%8A%B8%ED%8F%B0-%ED%81%AC%EB%A1%A4%EB%A7%81-%EB%A6%AC%EB%94%94%EB%A0%89%EC%85%98-%EC%98%A4%EB%A5%98%EA%B0%80-%EC%A7%80%EC%86%8D-%EB%B0%9C%EC%83%9D%ED%95%98%EA%B3%A0%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4?hl=ko

구글서치콘솔에서 Googlebot 스마트폰 크롤링 리디렉션 오류가 지속 발생하고있습니다 - Google 검색

https://developers.google.com/search/blog/2019/10/updating-user-agent-of-googlebot?hl=ko

Googlebot의 사용자 에이전트 업데이트  |  Google 검색 센터 블로그  |  Google for Developers

https://developers.google.com/search/blog/2019/10/updating-user-agent-of-googlebot?hl=ko

Googlebot의 사용자 에이전트 업데이트  |  Google 검색 센터 블로그  |  Google for Developers