login register Sysop! about ME  

2019년 03월 21일 18시 31분 00초,     조회수 : 298
  제목 : robots.txt 작성시 유의사항에 대해 질문합니다.
SEQ : 164146 글쓴이 : wink73

작성 포맷 : TEXT 모드, 자동 줄바꿈 사용

robots.txt 에는 
Disallow 라는 검색 로봇이 검색을 차단하게 하는 명령어가 있습니다.

그런데 사이트에는 모든 폴더를 검색 차단하는 게 아니라서
아래와 같이 특정 폴더만 차단을 하게 작성을 해야 합니다.

User-agent: *
Disallow: /관리폴더/

이런 식으로 말이죠.

그런데 이렇게 되면 
http://도메인/robots.txt 를 입력하면 
대놓고 관리폴더 주소를 노출하게 되는 단점이 발생하게 됩니다.

패턴 검색이 되는 구글의 경우에는 
Disallow: /관*/ 
뭐 이런 식으로 "관"자가 들어간 모든 폴더를 접근 불가하게 하니 
관리자 폴더를 노출하는 것을 덜하게 될 수도 있지만 
어쨌든 그렇게 설정해봤자
패턴 검색이 되지 않는 검색엔진에는 그대로 노출이 되므로 
그다지 의미 없는 명령어 입니다.

그래서 질문인데요, 
robots.txt 에
폴더명을 노출하지 않을 방법은 없을까요?

접근 가능한 폴더만 
allow : /접근가능폴더/
로 쓰는 것도 방법이기는 하겠지만 
그럴 경우 폴더를 생성할 때마다 매번 만들어야 하니 그것도 일이고.....

대체로 어떤 방법들을 사용하시는지 궁금하여 질문을 드립니다.

  supercore
  2019-03-22(11:32)
캐릭 이미지
관리폴더라는게 보통 프론트에 노출이 안되지 않나요????

그게 앵커로 박혀야 봇이 찾아가는건데 박혀있다면 앵커에 <a href="/관리폴더"
rel="nofollow">관리자</a> 이런식으로 nofollow를 추가하면 되긴 하지만...

근본적으로 프론트에 관리경로가 들어가면 안된다고 봅니다;;;

  wink73
  2019-03-22(14:09)
@supercore 답변을 주신 점 감사하게 생각합니다. 답변주신 사항은 맞는 말씀이지만
다만 제가 드린 질문은 robots.txt 에 노출을 시키고 싶지 않은 경우 어떻게 하느냐 입니다.


  hskim618
  2019-03-22(15:55)
캐릭 이미지
저는 보통 서비스용 사이트와 관리자용 사이트를 아예 나눠버립니다.
하나의 관리자용 사이트로 여러 사이트를 관리하는 경우도 있구 말예요..

  supercore
  2019-03-22(17:35)
캐릭 이미지
와...모르겠습니다.
봇한테 크롤링 하지 마라고 robots.txt에 선언해야 하는데
robots.txt에 해당 경로를 표시하면 안된다.

이게...참 그냥 패턴 안되는 엔진은 무시하시죠!! 으하하

  wink73
  2019-03-28(13:08)
@hskim618 @supercore
결론은 robots.txt 에서 패턴 안되는 엔진때문에
robots.txt 는 건드리는 데 한계가 있으니
애초에 관리자와 사용자를 구분하여 설계해야 한다는...

저도 그러고는 싶지만 애초에 구축이 그리된 걸 맡은지라
혹여나 다른 수가 있나 싶어 문의해본 거였습니다.^^;;



제목 작성자 날짜 조회
robots.txt 작성시 유의사항에 대해 질문합니다. (5) wink73 2019-03-21 298

 
 
.NET과 Java 동영상 기반의 교육사이트

로딩 중입니다...

서버 프레임워크 지원 : NeoDEEX
based on ASP.NET 3.5
Creative Commons License
{5}
{2} 읽음   :{3} ({4})