wget - Web Get

wget (GNU Wget, GNU Network Downloader)

• HTTP, HTTPS, FTP 프로토콜을 통해
• 인터넷상의 리소스를 비대화형(non-interactive) 방식으로
• 다운로드할 수 있도록 설계된 GNU 프로젝트의 커맨드라인 기반 네트워크 다운로드 도구

스크립트 등에서 활용하기 좋은 도구임.

주로 HTTP, HTTPS 프로토콜을 이용하지만, FTP도 가능함.

 

curl과 함께 대표적으로 많이 사용되는 tool임:

(sftp를 wget은 지원하지 않으나 curl은 지원함)

2023.09.29 - [utils] - [Util] curl 간단사용법 정리 : web의 자원 다운로드하기.

[Util] curl 간단사용법 정리 : web의 자원 다운로드하기.

---

기본 사용: 단일 파일 다운로드

wget url_of_resource_to_download

일반적으로 URL의 마지막 부분을 이름으로 삼는데,
URL에 따라 이는 적절치 못한 선택일 수 있음: download_script.php?src_id=77

 

대안으로는 보통 다음 2가지가 있음:

• -O (uppercase O) 옵션으로 저장할 파일의 이름을 명시적으로 지정
• --content-disposition 옵션을 붙여서 wget이 HTTP 헤더에서 제공하는 파일이름을 저장할 때 사용하도록 지시.

wget -O fname.zip url_of_resource_to_download

---

이어서 받기

wget -c url_of_resource_to_download

• -c 옵션을 이용하여 같은 파일을 다시 다운로드하면,
• 이전 다운로드를 이어서 받을 수 있음.

-c가 없을 경우, 새로 처음부터 받으니 주의할 것.

---

기타 옵션

--limit-rate 옵션: 다운로드 속도 제한

wget --limit-rate=200k url_of_resource_to_download

• wget은 기본적으로 사용 가능한 모든 네트워크 대역폭을 사용하려고 시도.
• 단, --limit-rate 옵션으로 다운로드 속도를 제어할 수 있음

---

-b 옵션: 백그라운드 다운로드 실행

wget -b url_of_resource_to_download
Continuing in background, pid 2025.
Output will be written to `wget-log'

• -b 옵션을 사용하면 wget은 백그라운드 프로세스로 실행
• 프로세스 ID(pid)와 로그 파일 위치(wget-log)를 보여줌.

---

--tries 옵션: 다운로드 재시도 횟수 지정

wget --tries=75 url_of_resource_to_download

• wget은 기본적으로 20회까지 다운로드를 재시도
• --tries를 통해 다운로드 재시도 횟수를 지정가능함.

---

--spider 옵션: 다운로드 전 리소스가 유효한지 확인

wget --spider url_of_resource_to_download

• 원격 서버에 해당 파일이 존재하는지 또는 링크가 유효한지만 빠르게 확인.

---

고급 기능

-i : 다운로드 리스트 파일로 한번에 처리

다음의 형태로 list.txt를 작성하고,

URL1
URL2
URL3
URL4

아래와 같이 수행시 해당 url들을 모두 다운로드함.

wget -i list.txt

---

--mirror : 웹사이트의 콘텐츠 미러링

wget --mirror -p --convert-links -P ./LOCAL-DIR website_url

• --mirror: 미러링에 적합한 옵션들(재귀적 다운로드, 타임스탬프 유지 등)을 활성화
• -p: HTML 페이지를 올바르게 표시하는 데 필요한 모든 파일(이미지, CSS 등)을 함께 다운로드
• --convert-links: 다운로드가 완료된 후, 문서 내의 링크들이 오프라인(로컬) 환경에서 작동하도록 수정
• -P ./LOCAL-DIR: 다운로드한 모든 파일과 디렉터리를 지정된 로컬 디렉터리(LOCAL-DIR)에 저장

---

-r과 -A : 특정 타입 파일만 다운로드

wget -r -A.pdf url_of_resource_to_download

• -r(recursive, 재귀적 다운로드) 옵션
• -A(accept, 허용) 옵션

---

--reject 옵션 : 특정 타입 파일 제외하여 다운로드

wget --reject=png website_url

• 웹사이트의 콘텐츠를 다운로드할 때 이미지 파일(.png)처럼 불필요한 파일 유형은 제외

복수의 타입을 지정하려면 ,를 사용

wget --reject=gif,pdf,zip [웹사이트 주소]

---

Web Browser인 것처럼 위장해서 다운로드하기

wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

• User Agent를 Firefox 브라우저인 것처럼 설정하여 다운로드를 시도

---

같이보면 좋은 자료들

https://www.gnu.org/software/wget/manual/

wget - 1.25.0 - GNU Project - Free Software Foundation

 

https://www.thegeekstuff.com/2009/09/the-ultimate-wget-download-guide-with-15-awesome-examples/

The Ultimate Wget Download Guide With 15 Awesome Examples

https://linuxiac.com/wget-command-examples/

Top 10 Use Cases of Wget Command (with Examples)