XE 로 홈페이지 + 블로그를 만들고나서 리퍼러 통계를 매일 보는데
이상한 리퍼러가 항상 남겨있는 것이다.
실질적으로 나의 홈페이지를 방문한 사람의 리퍼러가 아닌 로봇이 남긴 리퍼러 같았다.
MS에서 운영하는 search.live.com 이놈들이 바로 그 주인공이다.
search.live.com/results.aspx?q=newest
search.live.com/results.aspx?q=naver
search.live.com/results.aspx?q=content
이런 종류의 리퍼러인것이다.
이거 말고도 참으로 다양한 짝퉁 리퍼러를 많이 남겨놓는다.
참고로 저 페이지를 접속하면 내 홈페이지 링크가 없다.
죽어도 저 주소에서는 내 홈피를 접속할 수 없는것이다.
그런데 저런 종류의 주소들을 남겨 놓는다.
이유?
난 모르겠다. 대체 어떠한 이유에서 저런 리퍼러를 남기게 해놨는지...
검색엔진의 로봇을 차단하는 방법으로는 robots.txt를 통하여 차단할 수 있다.
그러나 라이브서치의 검색엔진의 이름을 알길이 없다.
네이버를 비롯하여 여기저기 찾아봤는데 없다.
그래서 홈페이지에 직접 문의를 했다.
그래서 받은 답변은 좀 치사한 답변을 줬다.
차단하는 방법이 아닌 딜레이 시키는 방법을 알려주는거다.
그러나 무시해버리고 차단시켜버렸다.
robots.txt 란 텍스트 파일을 홈페이지 계정 루트에 업로드 한다.
내용은 아래처럼 넣으면 된다.
User-agent: msnbot
Disallow: /
이름 머 거창하고 독특한거 아니였다. msnbot 였다.
간단히 설명을 하자면 msnbot이 루트디렉토리(하위포함) 전체를 검색하지 못하도록 한다는거다.
특정 디렉토리를 설정해도 되지만 전체 막아버렸다.
이렇게 차단을 시키고 일주일 정도 지켜본 결과
쓰레기 리퍼러는 두 건 있었다.
그동안 하루에 수십개씩 남기던 쓰레기가 확 줄었다.
그 두개는 왜 생겼는지는 모르겠지만 그리 신경써야할만한 수준이 아니라고 생각되고
이정도면 만족한다. 쓰레기 리퍼러 정말 짜증났었는데...
이상한 리퍼러가 항상 남겨있는 것이다.
실질적으로 나의 홈페이지를 방문한 사람의 리퍼러가 아닌 로봇이 남긴 리퍼러 같았다.
MS에서 운영하는 search.live.com 이놈들이 바로 그 주인공이다.
search.live.com/results.aspx?q=newest
search.live.com/results.aspx?q=naver
search.live.com/results.aspx?q=content
이런 종류의 리퍼러인것이다.
이거 말고도 참으로 다양한 짝퉁 리퍼러를 많이 남겨놓는다.
참고로 저 페이지를 접속하면 내 홈페이지 링크가 없다.
죽어도 저 주소에서는 내 홈피를 접속할 수 없는것이다.
그런데 저런 종류의 주소들을 남겨 놓는다.
이유?
난 모르겠다. 대체 어떠한 이유에서 저런 리퍼러를 남기게 해놨는지...
검색엔진의 로봇을 차단하는 방법으로는 robots.txt를 통하여 차단할 수 있다.
그러나 라이브서치의 검색엔진의 이름을 알길이 없다.
네이버를 비롯하여 여기저기 찾아봤는데 없다.
그래서 홈페이지에 직접 문의를 했다.
그래서 받은 답변은 좀 치사한 답변을 줬다.
차단하는 방법이 아닌 딜레이 시키는 방법을 알려주는거다.
그러나 무시해버리고 차단시켜버렸다.
robots.txt 란 텍스트 파일을 홈페이지 계정 루트에 업로드 한다.
내용은 아래처럼 넣으면 된다.
User-agent: msnbot
Disallow: /
이름 머 거창하고 독특한거 아니였다. msnbot 였다.
간단히 설명을 하자면 msnbot이 루트디렉토리(하위포함) 전체를 검색하지 못하도록 한다는거다.
특정 디렉토리를 설정해도 되지만 전체 막아버렸다.
이렇게 차단을 시키고 일주일 정도 지켜본 결과
쓰레기 리퍼러는 두 건 있었다.
그동안 하루에 수십개씩 남기던 쓰레기가 확 줄었다.
그 두개는 왜 생겼는지는 모르겠지만 그리 신경써야할만한 수준이 아니라고 생각되고
이정도면 만족한다. 쓰레기 리퍼러 정말 짜증났었는데...
