애드센스 초보자분들은 애드센스에서 뭔가 새로운 경고 문구를 보았을때 당황하게 됩니다. 저역시 아직까지도 마찬가지인데요. 벌써 애드센스를 시작한지 10여년이 되어가는데, 아직까지도 경고 문구를 보면 깜짝 놀라고 있습니다. 이번시간에는 [광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.] 문구에 대해서 알아보겠습니다.

해당오류에 대해서 분석을 하자면 크롤러가 호스팅 서버에 접근을 못해서 발생하는 문제라 단정을 할 수가 있습니다. 그럼 왜 이런 오류가 나타는 걸까요?

크롤러 : 호스팅서버에 연결할 수 없음

아래 사진을 보시죠. 문제=크롤러:호스팅서버에 연결할 수 없음 이라는 문구가 표기되고 있습니다.

저도 애드센스를 시작하면서 이런 문구를 처음 보았는데요. 호스팅서버란 간단히 말하면 제가 운영하고 있는 티스토리를 말하는 것이며, 티스토리를 감독하는 곳은 다음이니 다음에서 뭔가 문제가 생겼다는 걸로 이해를 하시면 됩니다. 그럼, 한가지 궁금한게 생기셔야 할건데요. 호스팅서버에 문제가 생겼다는 말은 다음에서 뭔가 문제가 생긴건가? 이런 의문점이 드실겁니다. 

그럼 좀더 추리를 해 나간다고 하면, 다음에서 뭔가 문제가 생겨서 구글 크롤러가 호스팅서버에 연결을 못해서 지금 이런 문구가 나타나는 구나 라고 이해를 하실 수 있을겁니다.

그럼 이시점에서 우리가 할 수 있는 건 뭘까요? 답은 없습니다. 입니다. 저희가 할 수 있는게 아무것도 없어요. 호스팅하는 다음한테 야! 빨리 서버 제대로 정상화 해서 크롤러 문제 해결해줘 라고 하는 떼를 쓰는 정도 일테지요.

크롤러가 하는 행위를 알아보자

그럼 크롤러가 호스팅서버에서 무슨 행위를 하며, 어떤 일을 하기에 저런 문제가 생기는지 좀더 파보도록합시다. 우리가 티스토리에 글을 쓰면(발행) 크롤러라는 녀석이 방문을 해서 홍길동 누구누구 블로그에서 글을 썼군. 기록을 해야지 하고 분석을 하는데요. 그 과정에서 애드센스라는 녀석이 붙습니다. 크롤러가 방문했을때 애드센스도 같이 방문을 해서 우리고객이네 하면서 광고를 송출하는 것이죠. 크롤러는 당연한 듯이 이곳저곳을 돌아다니면서 정보를 수집하고 수집하는데로 애드센스 역시 따라다니면서 우리광고를 배치하기 좋은곳이네 하면서 이것저것 둘러보게 됩니다. 그후 크롤러가 떠난뒤 애드센스는 광고를 두고 떠난다고 보시면 됩니다.

여기까지가 크롤러가 하는 행위에 대해서 알려드렸습니다. 그럼 호스팅 서버에 연결할 수 없는 문제는 어떻게 해결해야 할까요?

호스팅서버 연결문제 해결방법 안내

원시론적인 해결방법은 호스팅서버 자체의 문제를 해결하는 방법입니다. 이 과정은 다음(티스토리)에서 처리할 부분이기 때문에 저희는 손을 댈 수가 없는 부분이죠. 크롤러가 정기적으로 여러분들의 티스토리에 방문을 하게 되는데, 집의 문이 닫혀 있는 경우입니다. 어? 들어갈 수가 없네 하면, 위의 저런 문구가 뜨게 되는 것이죠.

그럼 이걸 해결하는 보편적인 방법 두가지를 알려드리겠습니다.

1. 구글 서치콘솔이용

해당 문제를 해결하려는 블로거들의 경우 구글 서치콘솔을 이용하고 계실거라 생각이 드는데요. 간단하게 URL제출을 해서 색인을 강제 시키는 방법입니다. 크롤러가 색인을 하려는데 어떤 사유로 못하고 있으니 강제 시키는건데 의외로 이게 효과가 있습니다. 결국 못한 색인을 강제로 시키는 거니까요.

2. ROBOTS.TXT에 크롤러 엑세스 권한부여

우선 애드신스에서 문제를 해결하는 문서를 한번 읽어보시죠

해당 문제를 해결하는 방법을 제시하는데요. 크롤러가 방문을 하였을때 알수없는 오류 즉, 방문이 잠겨있을경우 열쇠와 비밀번호를 알려주고 들어오라고 하는 방법입니다. 대부분의 블로거들이 해결방법으로 제시하고 있는 방법인데요. 그과정은 다음과 같습니다.

애드센스 계정 - 엑세스 및 승인 - 크롤러 엑세스 항목에 접근하여 주시고, 사이트 추가를 해주세요. 그러면 아래와 같은 화면을 보 실 수 있습니다.

제한된 디렉토리 또는 url 항목에는 문제가 생긴 url을 적어주셔고, 로그인 url은 티스토리 로그인 주소를 입력하여 주시기 바랍니다. [https://www.tistory.com/auth/login] 주소를 넣어주시면 되세요. 로그인 방식은 POST, 로그인 매개변수의 경우 아이디 비밀번호를 두개씩 넣어주시고 로그인 추가를 해주시면 됩니다.

이러면 아래와 같은 화면을 보실 수 있는데요.

크롤링 안함으로 상태가 표기된 걸 알 수 있습니다. 조금 있으면 크롤러가 다녀가서 상태를 변경시킬건데요. 이게 크롤링이 된다고 해도 애드센스에 반영되는건 하루정도 걸린다고 보시면 됩니다.