login register Sysop! about ME  

2019년 09월 25일 10시 53분 00초,     조회수 : 198
  제목 : IIS에서의 봇 차단 문의
SEQ : 8932 글쓴이 : gosuzzang

작성 포맷 : TEXT 모드, 자동 줄바꿈 사용

안녕하세요?

요즘 사이트가 페이지 이동하다 보면 랜덤하게 500에러가 나는경우가 있어 로그를 봤더니 AhrefsBot 봇으로 들어오는 사례가 
많아 robot.txt에

User-agent: AhrefsBot

Disallow: /

User-agent: *

Allow:/

Disallow: /admin/

를 추가해 놓은 상태입니다.

서버를 내렸다 올려서 그런지 현재는 문제가 없으나 IIS 로그를 보면 여전히 status는 200인 상태로 로그는 계속 찍히고 있는
데요..

서버를 내렸다 올리면 하루정도는 괜찮은데 몇시간 지나면 여전히 랜덤하게 500에러를 내거든요..

robot.txt가 제대로 작동하고 있는건가해서요..

감사합니다.

  supercore
  2019-11-05(10:25)
캐릭 이미지
robot.txt는 "봇님 부탁좀 할게" 이렇게 이해하는거 아닌가요?? 헤헤^^;;
  ciwciw
  2020-02-19(17:52)
robot.txt 의 경우는... 검색엔진이나 봇을 쓰는 업체에서 robot.txt 안에 특정 세팅을 하
면 해당 세팅을 보고 피해가든 수집하든 하겠습니다 라는 일종의 배려(?) 구요...
실제로 robot.txt 가 동작을 한다든가 기능을 막는다든가 하는건 전혀 없는 그냥 텍스트 파
일일 뿐입니다.... 봇을 쓰는 업체가 robot.txt를 무시하고 하고 싶은대로 한다면 말 그대로
순수하게 텍스트 파일일뿐 그 이상도 이하도 아닙니다...
해당 문제는 다른 대책을 세워야 할 듯 하네요



제목 작성자 날짜 조회
IIS에서의 봇 차단 문의 (2) gosuzzang 2019-09-25 198

 
 
.NET과 Java 동영상 기반의 교육사이트

로딩 중입니다...

서버 프레임워크 지원 : NeoDEEX
based on ASP.NET 3.5
Creative Commons License
{5}
{2} 읽음   :{3} ({4})