|
|
||||||||
| 경고! 게시물 작성자의 사전 허락없는 메일주소 추출행위 절대 금지 |
|
김호광 [testcode]
2007-12-06 02:20 X
이 밤에 이 글 읽는 분들은 일하시는 분들인가요 -;;; 올빼미인가요???
번역기로 돌려봤습니다. 대충 의미 파악은 될껍니다.
NaverBot 출전: 프리 백과사전 「위키페디아(Wikipedia)」이동: 네비게이션, 검색 NaverBot는, 검색 엔진을 위해서 웹 사이트의 정보를 모으는 NAVER의 로봇(크로라). 그러나, 크로라로서의 알고리즘의 나쁨으로부터 문제가 되었다. * 초간격으로 차례차례 리퀘스트를 실시하기 위해, DoS 공격과 같이 서버를 불안정하게 시킬 우려가 있다. 양심적인 크로라이면, 적당히 시간을 비우고 리퀘스트를 실시한다. * 모든 디렉토리에 대해, default.htm, default.html, home.php등 인덱스에 사용될 것 같은 이름의 페이지를, 페이지의 유무를 확인하지 않고 리퀘스트 한다. * 세션을 식별하지 않고, 같은 URL에 대해서 세션만 바꾸어 몇번이나 리퀘스트를 실시한다. * 사이트 관리자가 준비하는 robots.txt(크로라의 액세스를 제어하는 파일)를 읽어들이면서도 무시. 혹은, robots.txt를 단시간에 몇번이나 읽어들인다. * HTML의 META 엔티티를 사용한 로봇의 액세스 제어를 무시한다. 이상과 같은 동작 때문에, 사이트 관리자들로부터 경원되게 되어, 몇개의 사이트에서 액세스를 거부하는 방법이 소개되었다. 그러나, 그 후 NaverBot는 HTTP 리퀘스트의 UserAgent 필드를 차례차례로 바꾸게 되었다. 이것은, NaverBot의 동작이 알려지게 되어, 「NaverBot」라고 하는 유저 에이전트명으로부터의 액세스를 거부하는 사이트가 증가했기 때문에라고 추측된다(일반적인 액세스 제어는 UserAgent 필드의 문자열 일치로 판단하기 위해, 변경되면 규제가 돌파되어 버린다). 가명사용은 NABOT/5.0, nhnbot, minibot(NaverRobot), dloader(NaverBot), nabot, Cowbot, NaverBot-1.0+(NHN+Corp.+/++82-2-3011-1954+/+nhnbot@naver.com) 등 다양한 이름이 확인되고 있다. 또, robots.txt에의 액세스시에 Google의 크로라 Googlebot를 닮은 GoogleBot라고 하는 유저 에이전트명을 이용한 것도 확인되고 있다. 관련 사이트 * robot나무에 대해 * ipfw와 BIND에 의한 NaverRobot 대책 필터 * .htaccess로 특정의 유저 에이전트로부터의 액세스를 제한하는 방법 * 유저 에이전트에 의한 제한 -다운로드 소프트등을 연주하는 방법- 관련 글 리스트
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Copyright © 1999-2015, borlandforum.com. All right reserved. |