C++Builder  |  Delphi  |  FireMonkey  |  C/C++  |  Free Pascal  |  Firebird
볼랜드포럼 BorlandForum
 경고! 게시물 작성자의 사전 허락없는 메일주소 추출행위 절대 금지
분야별 포럼
C++빌더
델파이
파이어몽키
C/C++
프리파스칼
파이어버드
볼랜드포럼 홈
헤드라인 뉴스
IT 뉴스
공지사항
자유게시판
해피 브레이크
공동 프로젝트
구인/구직
회원 장터
건의사항
운영진 게시판
회원 메뉴
북마크
볼랜드포럼 광고 모집

자유게시판
세상 살아가는 이야기들을 나누는 사랑방입니다.
[15691] 네이버 막기
JBMEX [edchang] 4581 읽음    2009-02-16 11:21
제 개인 서버에 블로그가 하나 돌아가고 있는데요.
그 악명 높다는 로봇을 비롯해서 그 쪽에서 오는 각종 트래픽을 막고 싶다는 열망에
나름 차단 리스트를 작성했습니다.
어짜피 robot.txt 는 가볍게 씹어버리는 막장 로봇이니 설정은 해두었습니다만
그외에 /etc 의 hosts.allow 랑 hosts.deny 에 *.naver.com *.naver.co.kr 을 비롯한
수집할 수 있는 모든 관련 아이피를 설정해두었는데요.
일단 트래픽은 크게 줄었습니다. 하지만 여전히 search.naver.com 에서 트래픽은
유입이 되는군요. 자기들이 기존에 가지고 있던 캐쉬 자료때문인지는 모르겠지만
완전 해결은 안된 것 같아 좀 찜찜합니다.

검색해봐도 아주 명쾌한 대답을 주는 사이트는 없는 것 같고요.
뭔가 좋은 방법 있을까요?
미노 [wyb330]   2009-02-16 12:25 X
네이버 로봇이 robots.txt를 안지킬리는 없을 겁니다. 만약 그렇다면 네이버에 블로그 수집 중단을
요청하시면 될겁니다. 정 안되면 IP블럭이 확실한 방법입니다. 그리고 읽어보니 이미 수집된 문서 때문에
검색을 통해서 들어오는 것 같습니다. 네이버 고객센터에 검색이 되지 않도록 색인에서 모두 삭제하도록
요청해 보십시오.
Lyn [tohnokanna]   2009-02-16 14:48 X
미노 // 네이버 안지켜요 -0-ㅋ
미노 [wyb330]   2009-02-16 15:40 X
네이버 수집 정책으로 보니 robots.txt를 준수하되 RSS인 경우 공개 여부가 robots.txt보다 우선한다고 되어있네요.
따라서 블로그의 경우 공개된 글이면 robots.txt 유무에 관계없이 수집한다고 합니다.

http://www.naver.com/rules/search_policy.html

이 정책은 문제가 있어 보이는 정책 같네요.

http://help.naver.com/customer_webtxt_02.jsp 에서 수집된 문서를 삭제하는 방법이 나와있으니
참고하세요.

+ -

관련 글 리스트
15691 네이버 막기 JBMEX 4581 2009/02/16
Google
Copyright © 1999-2015, borlandforum.com. All right reserved.