빙 색인이 모두 사라져버렸습니다!어서 확인해보세요(크롤링 오류, 403 오류)

시작하며 : 빙에 색인된 사이트들이 사라지고 있습니다

어젯밤, 갑자기 bing 검색 결과에 뜨던 제 페이지들이 하나둘씩 사라지고 있는 현상을 발견했습니다. 이게 무슨 일일까요? 일단 급하게 사이트 검사를 실행해 보았습니다. 결과가 충격적인데요. 색인되어 있던 모든 페이지들이 사라지고, 단 1개의 페이지만 존재하고 있는 결과가 나와버렸습니다. 정말 경악을 금치 못하는 결과입니다.

사이트 검사 결과

지난 7월 15일부터 크롤링 오류가 마구 발생한 것을 알 수 있습니다. 왜 갑자기 이런 오류가 발생했던 것일까요? 사이트 검사를 실시해도 스캔되는 페이지 자체가 뜨지 않습니다. 3회 실시했지만, 모두 결과는 위의 이미지와 같이 나옵니다.

크롤링 오류가 급증했다

색인되었던 페이지의 30%가량이 사라져버렸습니다. 81개였던 '인덱스 된 페이지가 58개로 줄어있습니다. 없어진 페이지들을 보니 구글 색인과는 달리, 리디렉션이나 다른 문제도 없는 정상적인 페이지들이었습니다. 혹시나 해서 네이버에서 검색을 해 보니 네이버에서는 사라지지 않았습니다. 빙 검색등록에서만 사라지고 있는 것입니다. 문제는 나머지 페이지들도 모두 사라질 수 있다는 것입니다. 현재 검색 결과에 남아있는 사이트들도 url 검사를 해보면 크롤링이 되지 않고 있습니다.

4xx 오류를 반환했다

페이지 주소를 입력해서 색인 전 검사를 해 보니, 위와 같이 http 4xx오류를 반환했다고 나옵니다. 그런데, 처음 발견했던 어제까지는 메시지가 달랐습니다. 어제는 리디렉션 오류라고 나왔었습니다. 미처 화면을 캡처하지는 못했지만, 제 사이트 페이지를 kauth.kakao.com/어쩌고~ 이런 주소로 옮겨놨던 것으로 기억합니다. 그런데 하루가 지난 오늘은 위와 같은 상태로 바뀌어 있습니다. 수차례 계속해서 페이지 검사를 수행했더니 '403 오류'라고 나옵니다. 

도대체 무슨 일이 일어나고 있는 걸까요? 원인을 찾아보았습니다.

검색을 해 보니, 403오류는 페이지가 존재하지 않는다는 404 오류와는 다릅니다. 페이지는 존재하지만, 티스토리 측에서 차단했음을 의미합니다. 그럼, 티스토리는 왜 빙 색인 봇을 차단하고 있는 것일까요? 원인을 찾아보기 위하여 robots.txt파일을 살펴보아야 할 것 같습니다.

url테스트를 해 보니 검색은 허용된 상태로 나옵니다. 그렇다면, 빙봇이 제 블로그를 방문은 했지만, 페이지를 가져오는 것이 차단되었음을 의미한다고 해석할 수 있습니다. 구체적으로 뭐가 문제인지 도저히 알 수 없다가, 달라진 점 한 가지를 발견하였습니다! 

robots.txt 파일을 살펴보았습니다.

robots.txt 캡쳐 화면

 

이미지 아래 부분에 크롤링 딜레이 항목이 보이시나요? 제 기억에 분명 원래는 'Crawl-delay :30'으로 되어있었습니다. 분명히 기억합니다. 그런데 지금은 'Crwl-delay :20'으로 변경되어 있습니다! 제가 또 무언가를 잘못 만진 것일까요? 하지만  티스토리는 루트 접근을 허용하지 않습니다. 따라서 robots.txt 파일은 우리 블로거들이 어떻게 바꿀 수가 없습니다. 즉, 티스토리 측에서 변경한 것입니다.

혹시나 하는 마음에 이웃 블로그분들의 사이트에서의 robots.txt도 확인해 보았습니다. 모든 분들의 블로그가 변경된 것을 확인하였습니다. 

아무런 사전 공지도 없이, 이렇게 속도 제한을 건 이유가 무엇일지는 대강 짐작해 볼 수 있습니다. 티스토리 자체 광고를 심으면서 전체적으로 홈페이지 반응 속도가 느려졌을 것입니다. 시설을 확충하거나 어떤 조치를 취해야 하는데, 일단은 당장 트래픽을 줄이기 위해서 빙봇의 크롤링 속도를 30 이하에서 20 이하로 줄여버린 것입니다.

그 결과 대부분의 사이트들이 크롤링 봇의 접근이 차단되어버렸고, 결국 빙 색인 페이지가 아예 사라지는 현상이 발생했습니다. 카카오 측에는 문의를 해 볼 계획입니다.

자체 광고와 상관없이 내 블로그를 꾸며 나간다는 생각으로 티스토리에 애정을 가지고 블로그를 계속하려고 생각하고 있었습니다. 그런데 이런 일이 발생하니, 저도 실망을 금치 못하겠습니다. 워드프레스나 다른 곳으로 옮길 실력은 아직 부족해서, 고민이 깊어집니다.

당장은 우선 크롤링 속도를 느리게 조정해 두었습니다.

방법을 알려드리자면 다음과 같습니다.

좌측 메뉴에 크롤링 제어라는 항목이 있습니다. 이곳에서 크롤링 속도를 조절할 수 있는데요, 기본으로 설정되어 있을 것입니다. 위로 갈수록 크롤링 속도가 빨라지고, 아래로 내려갈수록 점점 속도가 느려집니다. 기본 설정 속도는 4칸입니다. 빠르지도, 느리지도 않은 상태인 것이죠.

크롤링 제어 메뉴 캡처

저는 크롤링 속도를 2칸으로 줄이고 나서 다시 수집 요청을 해 보았습니다. 그랬는데도, 수집이 거부된 것을 확인했습니다.결국 급하게 한 칸으로 모두 줄여버렸네요. 한 칸으로 느리게 크롤링을 하면, bingbot 크롤링 딜레이 제한 20을 피해 무사히 크롤링하지 않을까 하는 소망입니다. 일단은 결과를 지켜보려고 합니다. 이 방법이 효과가 있는지는 결과를 기다린 이후에 이 포스팅을 수정해 보도록 하겠습니다.

마치며 : 티스토리의 위기, 응원을 보냅니다.

후.. 정말 어렵네요. 

산 넘어 산이라는 말이 실감이 납니다. 저는 티스토리가 중대한 기로에 섰다고 생각합니다. 최근에 유독 오류가 많아진 느낌입니다. 일단은 통계에 있어서도 검색 유입으로 들어오는 트래픽을 '기타 유입'으로 기록하고 있다고 합니다. 게다가, 글쓰는 과정에서 유용했던 글감 검색도 며칠 째 안 되고 있습니다.

티스토리가, 이렇게 무너지는 모습을 보니 마음이 아픕니다. 도대체 무슨 일이 일어나고 있는 것일까요? 티스토리 자체 광고 삽입 사건도 그렇고, 지금의 운영진이 고생이 많을 것으로 생각합니다.

이글루스라는 플랫폼도 사라졌고, 구글 블로거는 아예 방치된 상태입니다. 대세는 유튜브로 기울었다가 이제는 AI쪽으로 흘러가고 있죠. 블로그 플랫폼 자체가 어쩌면 사라져버릴지도 모르겠다는 생각을 하게 됩니다. 저는 2021년에 블로그를 시작했는데요. 너무 늦게 시작했던 것이 아닌가 싶습니다.

항상 포스팅을 할 때마다, '꺾이지 않는 마음'으로 이겨내자고 생각하고 또 그렇게 글을 적어왔습니다. 그런데 자꾸 이런저런 일들을 겪으니, 흔들리는 마음을 유지하기가 쉽지가 않네요. 

이 작은 블로그를 운영한다는 것도 이토록 어려운데, 티스토리 측은 얼마나 힘들까요? 당장 압박을 받으니 실적은 내야하고, 이를 위해 자체 광고라는 승부수까지 걸었는데, 그 과정에서 이런저런 문제가 발생하고 있는 것으로 판단됩니다. 엄청나게 바쁘게 고생하고 있지 않을까 싶습니다.  

부디 티스토리 운영진 측에서도 이 문제를 해결해 주셨으면 좋겠습니다. 이웃 님들과 이 글을 읽으시는 모든 분들, 아무쪼록 블로그 운영에 문제가 없으시길 바랍니다.

긴 글 읽어주셔서 감사합니다.