[SEO] 삭제된 페이지 구글 검색에서 완전히 제거하기 (인덱싱 삭제)

배경

준비중인 상태를 알려주던 /coming_soon 이라는 페이지가 더 이상 사용되지 않게 되어 페이지를 내린상태였다.
정확히는 추후 재사용을 염두에 두고 라우팅은 보존한 채, 다음 조치들을 취해놓은 상태였다:

• robots.txt에서 크롤링 차단 (Disallow: /coming_soon 명시)
• 페이지에 직접 접근 시 middleware를 사용해 404로 리다이렉트
• <meta name="robots" content="noindex, nofollow"> 태그 적용

3중 차단을 해두었으니 철저히 진입을 막고 있을거란 믿음이 있었지만...
그럼에도 불구하고 페이지는 구글에서 여전히 인덱싱 되고 있다는 리포트를 받았다 🫠

원인

알고 보니 오히려 robots.txt에서 해당 페이지를 Disallow 처리하면 Googlebot이 페이지 자체에 접근할 수 없기 때문에 설정해둔 noindex, nofollow 태그를 읽지 못한다고 한다.
결국 중복 차단으로 인해 기존에 인덱싱된 페이지가 계속 남아 있게 되는 문제가 발생할 수 있는 것이다!

즉, noindex를 제대로 적용하려면 robots.txt에서 Disallow를 제거하고, 일시적으로 페이지 접근을 허용한 뒤 다시 삭제요청을 해야한다.

해결방법

1. robots.txt에서 해당 페이지의 Disallow 제거

# 삭제
# Disallow: /coming_soon

2. 페이지에 noindex, nofollow 유지

<NextSeo path="coming_soon" lang={i18n.language} noindex nofollow />

3. middleware로 페이지 직접 접근 시 404 반환 유지

export function middleware(request: NextRequest) {
  // ...생략
  if (request.nextUrl.pathname === '/coming_soon') {
    return Response.redirect(new URL(`/${locale}/404`, request.nextUrl.href));
  }
  return NextResponse.rewrite(request.nextUrl);
}

4. Google Search Console에서 URL 삭제 요청
1) Google Search Console 접속 > 삭제 메뉴 진입 > 임시 삭제 항목 탭 > 새 요청 버튼 클릭 > 일시적으로 URL 삭제 탭 > URL 입력 > 이 URL만 삭제 혹은 이 접두어가 포함된 모든 URL 삭제 선택 > 다음 클릭

2) URL 확인 후 요청 제출 클릭

💡fyi. 삭제 제출 시 임시로 6개월간 삭제되며, 이후 Googlebot이 페이지를 다시 크롤링했을 때 noindex 처리된 페이지로 인식되면 완전 삭제됨.

---

Reference

Search Console 도움말 > URL 완전히 삭제하기
Google 검색 센터 > Google에 URL 재크롤링 요청하기