Linuxターミナルでプロのようにwgetコマンドを使用する方法

Wgetは、Webページのスクレイピング、パスワードで保護されたWebサイトからのビデオやコンテンツのダウンロード、単一のWebページ、mp3ファイルの取得などに使用できるすばらしいコマンドラインユーティリティです。また、低速のネットワーク状態でも機能し、一時停止機能を備えています。残された場所から自動的に再開します。
この投稿では、いくつかの便利な例を使用して、プロのようにwgetコマンドを使用する方法について説明します。

1。 1つのファイルをダウンロードする

$ wget http://myexample.com/s.tar.gz

2。 HTMLページをダウンロードして、別の名前で保存します

$ wget -o page.html http://example.com/somepageurl
# Save it in different directory 
$ wget --directory-prefix='./home/user/' johndoe.com

3。異なるプロトコルで複数のファイルをダウンロードする

$ wget http://example.com/myfile.tar.gz ftp://42.11.23.4/file.jpg

4。ファイルの帯域幅レートを制限する

$ wget --limit-rate=20k http://example.com/myfile.zip

5。すべてのアセットを含むWebページをダウンロードする

$ wget --page-requisites --convert-links --adjust-extension http://example.com/mywebpage

6。残された場所から現在ダウンロード中のファイルを再開します

$ wget -c http://example.com/myfile.rar

7。テキストファイルからすべてのURLをダウンロードします

$ wget ‐‐input long-list-of-urls.md

8。ウェブサイト全体（そのすべてのページとアセット）をミラーリングする

$ wget --mirror --no-parent --continue http://example.com

9。 Webサイトから特定の種類のファイルをダウンロードする

# will download all the mp3 files
$ wget --level=2 --recursive --accept mp3 http://example.com
# will download all jpeg files
$ wget ‐‐level=1 ‐‐recursive ‐‐no-parent ‐‐accept jpg,JPG http://example.com/

10。パスワードで保護されたWebサイトからファイルをダウンロードする

wget ‐‐http-user=johndoe ‐‐http-password=somepass http://example.com/secretpath/file.tar.gz