Google, Naver 등 우리가 알고 있는 포털 사이트는 보통 검색 봇이 있고 이 봇들이 불특정 다수의 사이트를 돌아다니며 사이트의 정보를 수집하고 이 수집한 내용을 바탕으로 해당 포털에서 검색 했을 때 검색 결과에 나오게 된다.
하지만 어떠한 이유로(링크삭제, 서비스 안함 등) 인하여 해당 링크가 포털에서 검색이 되지 않아야 할 때가 있는데 이미 검색엔진이 가져간 후에는 아무리 서비스 링크를 삭제하거나 해도 삭제 되지 않는 경우가 있다.
검색결과에서 삭제 방법은
https://search.google.com/search-console/remove-outdated-content
해당 사이트를 방문하여 [새요청] 버튼을 누른 후 삭제하고자 하는 링크를 입력하고 제출을 누르면 하단의 입력되게 되고 상태가 대기중으로 있게 된다 그리고 며칠이 지난 후 다시 확인해 봤을 때 심사가 승인이 됐다면 상태가 승인됨 으로 바뀌게 된다.
상태는 총 5개가 있다
- 대기중 : 현재 요청을 처리중 입니다. 처리하는데 며칠이 걸릴 수 있습니다.
- 승인됨 : 업데이트 요청이 승인되었으며 Google 검색결과에 표시 됩니다.
- 거부됨 : 다음 이유 중 하나로 인해 요청이 거부되었습니다.
- 만료됨 : 요청이 승인되었지만 만료되었습니다. 요청이 승인 된 후 180일이 지났거나 URL이 더 이상 존재하지 않으면 요청이 만료 됩니다.
- 취소됨 : 요청하는 사용자 또는 인증된 사이트 소유자가 요청을 취소했습니다.
그 후
구글에서 검색을 하게 되면 검색 결과에 노출되지 않게 된다.
이것은 이미 검색 결과에 있을 때 삭제 되는 경우이고 해당 검색엔진 봇이 다시 수집해 가면 보일 가능성이 있다.
이 경우에는
https://developers.google.com/search/docs/advanced/crawling/remove-information?hl=ko
해당 페이지에 나와 있듯이
해당 페이지의 소스에 noindex 태그를 추가하거나 페이지를 비밀번호로 보호 하는 조치를 취해 봇이 수집해 가지 않도록 처리를 해야 할 것이다.
페이지를 차단하는 방법으로 robots.txt를 사용하지 말라고 빨간글씨로 되어 있는데
robots.txt가 만능이 아니라서 그런 것 같다
- 일부 검색엔진에서만 지원 될 수 있습니다.
- 크롤러마다 구문을 다르게 해석합니다.
- robots.txt에서 허용되지 않은 페이지라도 다른 사이트에서 연결된 경우 여전히 색인이 생성될 수 있습니다.
를 이유로 하고 있다.
