웹사이트 crawl러 httrack

환경 세팅

 칼리 리눅스

 웹 서버 (선택)

 

httrack은 웹사이트를  복사 즉 크롤링 하는  툴로 사이트를  로컬 내에서 분석을 할때 사용하는 툴이다.

칼리리눅스는  최신 버전이라면 httrack이 기본적으로 설치 되어 있으나

만약에 없다면 sudo apt install httrack 으로 설치를 하면 된다.

 

httrack을 실행을 하면 프로젝트 이름을 쓰라고 나온다.

복제한 사이트 저장을 하는 위치를 뜻한다.  그냥 엔터를 누르면 /root/websites 위치에 저장이 되는데

복제된 웹 사이트를 브라우저를 보기위해서는 /root로 가면 권한 수정을 대대적으로 해야하기 떄문에

처음부터 /home/본인계정이름 디렉토리에 저장을 하는것이 좋다.

복사할 url을 쓰는 곳인데  본인에 경우 웹서버를 따로  돌리고 있기 떄문에 웹서버 ip를 썼다.

웹 사이트를 복제하는 것이 목적이니 1을 입력을 한다 .

1. Mirror web site: 해당 사이트 지점에 웹 사이트를 복제한다

2.mirror web sites with Wizard: wizard 툴을 이용하여 지정된 웹 주소를 복제하는 것인데 경고창,특정 설정 등 좀더 세밀한 설정을 할수 있다

3. just get files indicated : 지정된 파일만 복사를 한다.

4. mirror all links in urls:  지정된 웹 주소를 기점으로 모든 링크들의 사이트들을 복제한다.

5. test links in urls: 지정된 웹 주소에 있는 링크들이 접속이 가능한지 검사를 한다.

 

 프록시를 설정을 하면 후에 response나 request 정보들을 확인 할수 있다.

wildcard와 recurse level은 따로 설정하지 않고 엔터 누르면서 패스 해주면 된다.

미러 할 준비 됐냐는 질문에 y를 눌러서  실행을 하면 된다. 

그리고 기다리다 보면

Done 메세지와 함께 실행이 완료가 된다 .

초반에 설정해둔 프로젝트 저장위치인 /home/kali 에 가면 프로젝트이름으로 dir 가 있는것을 확인할수 있다

그 dir 안에는 url 이름의 dir 이 있고 그 안에 index.html이 있는것을 확인할수 있다.

 

브라우저로 접속을 하면 로컬내에 웹사이트로 접속된것을 확인 할수 있다

 

해당 툴은 모의해킹전 로컬내에서 분석하기 위해서 뿐만이 아니라 

블로그 내용 백업, 웹 사이트 변화 과정 저장 등 다양한 목적으로 유용하게 쓰일수 있다.