CLIの使用方法を説明するNGCカタログCLIのこの記事。
はじめに
NVIDIA®GPUクラウド（NGC）カタログCLIは、NGCレジストリ内のコンテンツを管理するためのコマンドラインインターフェイスです。 CLIはシェル内で動作し、スクリプトを使用してコマンドを自動化できます。NGCカタログCLIを使用すると、次のことができます。
- GPUで高速化されたDockerコンテナイメージ、事前トレーニング済みの深層学習モデル、および深層学習モデルを作成するためのスクリプトのリストを表示します。
- モデルとモデルスクリプトをダウンロードします。
- 注： 現在、NGCカタログCLIには、コンテナイメージをダウンロードする機能はありません。コンテナイメージをダウンロードするには、Dockerコマンドラインからdockerpullコマンドを使用します。
このドキュメントでは、NGCカタログCLIの使用方法について説明します。コマンドとオプションの完全なリストについては、 -hを使用してください NGCCLIの使用で説明されているオプション 。
注 ：現在 NGC CLI Ubuntu-18でのみ動作します その他のOSについては、NGC GUIドキュメントを参照してください：https：//www.e2enetworks.com/help/knowledge-base/get-started-with-nvidia-docker-and-ngc-container-registry/#how-to-access -ngc-software-catalog
NGCレジストリ内のコンテンツをダウンロードするには
NGCレジストリ内のコンテンツは、ロックまたはロック解除されています。ロック解除されたコンテンツは、ゲストユーザーが無料でダウンロードできます。ロックされたコンテンツをダウンロードするには、NGCコミュニティユーザーアカウントにサインアップする必要があります。
ゲストユーザー
ゲストユーザーは、ログインしなくてもNGC Webサイトにアクセスできます。ゲストユーザーは、WebサイトからNGCカタログCLIをダウンロードし、それを使用してコンテンツを表示したり、ロック解除されたコンテンツをダウンロードしたりできます。
コミュニティユーザー
コミュニティユーザーになり、ロックされたNGCコンテンツをダウンロードするには、NGCアカウントにサインアップし、アカウントを使用してNGC Webサイトにサインインしてから、APIキーを生成する必要があります。手順については、NVIDIAGPUCloudスタートガイドを参照してください。
NGCカタログCLIの使用
NGC CLIコマンドを実行するには、「ngc」に続けて適切なオプションを入力します。
使用可能なオプションとコマンドの説明の説明を表示するには、コマンドまたはオプションの後にオプション-hを使用します。
例1 ：ngcで使用可能なすべてのオプションのリストを表示するには、入力
root@localhost:~# ngc -h
usage: ngc [--debug] [--format_type] [-h] [-v] {config,diag,registry} …
NVIDIA NGC Catalog CLI
optional arguments:
-h, --help show this help message and exit
-v, --version show the CLI version and exit.
--debug Enables debug mode.
--format_type Change output format type. Options: ascii, csv, json.
ngc:
{config,diag,registry}
config Configuration Commands
diag Diagnostic commands
registry Registry Commands 例2： レジストリイメージの説明を表示するには コマンドとオプション、入力
root@localhost:~# ngc registry image -h
usage: ngc registry image [--debug] [--format_type] [-h] {info,list} …
Container Image Registry Commands
optional arguments:
-h, --help show this help message and exit
--debug Enables debug mode.
--format_type Change output format type. Options: ascii, csv, json.
image:
{info,list}
info Display information about an image repository or tagged
image.
list Lists container images accessible by the user 例3 ：レジストリイメージ情報の説明を表示するには コマンドとオプション、入力
root@localhost:~# ngc registry image info -h
usage: ngc registry image info [--debug] [--details] [--format_type]
[--history] [--layers] [-h]
[:]
Display information about an image repository or tagged image.
positional arguments:
[:] Name of the image repository or tagged image,
[:]
optional arguments:
-h, --help show this help message and exit
--debug Enables debug mode.
--details Show the details of an image repository
--format_type Change output format type. Options: ascii, csv, json.
--history Show the history of a tagged image
--layers Show the layers of a tagged image ロックされたコンテンツをダウンロードする準備をしています
ロックされたコンテンツをダウンロードする場合は、NGCアカウントに登録していることを確認してください。 APIキーを生成しました 、次に以下を発行し、プロンプトでAPIキーを入力します。
root@localhost:~# ngc config set Enter API key [no-apikey]. Choices: [, 'no-apikey']:<your-api-key>
コンテナレジストリへのアクセス
ngcレジストリイメージ コマンドを使用すると、レジストリからすぐに使用できるGPUアクセラレーションコンテナイメージにアクセスできます。
コンテナ画像情報の表示
使用可能なコンテナイメージに関する情報を表示するためのコマンドがいくつかあります。
コンテナ画像を一覧表示するには：
root@localhost:~# ngc registry image list
出力例
| TensorFlow | nvidia/tensorflow | 19.10-py3 | 3.39 GB | Oct 28, 2019 | unlocked | | TensorRT | nvidia/tensorrt | 19.10-py3 | 2.22 GB | Oct 28, 2019 | unlocked | | TensorRT Inference | nvidia/tensorrtserver | 19.10-py3 | 2.76 GB | Oct 28, 2019 | unlocked | | Server | | | | | | | Theano | nvidia/theano | 18.08 | 1.49 GB | Oct 18, 2019 | unlocked | | Transfer Learning | nvidia/tlt- | v1.0_py2 | 3.99 GB | Oct 21, 2019 | unlocked | | Toolkit for Video | streamanalytics | | | | | | Streaming Analytics | | | | | | | Torch | nvidia/torch | 18.08-py2 | 1.24 GB | Oct 18, 2019 | unlocked | | DeepStream - | nvidia/video- | latest | 2.52 GB | Oct 20, 2019 | unlocked | | Intelligent Video | analytics-demo | | | | | | Analytics Demo | | | | | | | Chainer | partners/chainer | 4.0.0b1 | 963.75 MB | Oct 18, 2019 | locked | | Deep Cognition Studio | partners/deep- | cuda9-2.5.1 | 2.05 GB | Oct 18, 2019 | locked | | | learning-studio | | | | | | DeepVision - | partners/deepvision/ad | onpremise-1.0.1 | 240.24 MB | Oct 21, 2019 | locked | | admin.console | min.console | | | | | | DeepVision - | partners/deepvision/ad | onpremise-1.0.1 | 753.95 KB | Oct 21, 2019 | locked | | admin.console.data | min.console.data | | | | | | DeepVision - | partners/deepvision/vf | onpremise-2.0.0 | 3.29 GB | Oct 21, 2019 | locked | | Demographics | .demographics | | | | |
特定の画像に関する詳細情報を表示するには、画像を指定し、タグ。
例 ：
root@localhost:~# ngc registry image info nvidia/tensorflow:19.10-py3
Image Information
Name: nvidia/tensorflow:19.10-py3
Architecture: amd64
Schema Version: 1 モデルレジストリへのアクセス
ngcレジストリモデル コマンドを使用すると、レジストリからすぐに使用できるディープラーニングモデルにアクセスできます。
モデル情報の表示
利用可能なモデルに関する情報を表示するためのコマンドがいくつかあります。
NVIDIAが提供するモデルのリストを表示するには：
出力例
+-----------------+-----------------+----------------+-----------------+--------------+-----------+---------------+------------+ | Name | Repository | Latest Version | Application | Framework | Precision | Last Modified | Permission | +-----------------+-----------------+----------------+-----------------+--------------+-----------+---------------+------------+ | BERT-Large | nvidia/bert_for | 1 | Language | TensorFlow | FP16 | Oct 18, 2019 | unlocked | | (pre-training) | tensorflow | | Modelling | | | | | | for TensorFlow | | | | | | | | | BERT-Large(pre- | nvidia/bert_tf | 1 | Language | Tensorflow | FP16 | Oct 19, 2019 | unlocked | | training using | pretraining_lam | | Modelling | | | | | | LAMB optimizer) | b_16n | | | | | | | | for TensorFlow | | | | | | | | | BERT-Base(fine- | nvidia/bert_tf_ | 2 | Language | Tensorflow | FP16 | Oct 18, 2019 | unlocked | | tuning) - SQuAD | v1_1_base_fp16_ | | Modelling | | | | | | 1.1, seqLen=128 | 128 | | | | | | | | BERT-Base(fine- | nvidia/bert_tf_ | 2 | Language | Tensorflow | FP16 | Oct 18, 2019 | unlocked | | tuning) - SQuAD | v1_1_base_fp16_ | | Modelling | | | | |
モデルのすべてのバージョンを表示するには、ワイルドカード*を使用します。
root@localhost:~# ngc registry model list nvidia/bert_for_tensorflow:*
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
| Version | Accuracy | Epochs | Batch Size | GPU Model | Memory | File Size | Owner | Status | Created Date |
| | | | | | Footprint | | | | |
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
| 1 | | 1000000 | 256 | V100 | 4011 | 3.77 GB | NVIDIA | UPLOAD_COMPL | Jun 13, 2019 |
| | | | | | | | | ETE | |
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
モデルに関する詳細情報を表示するには、指定することができます
モデル
root@localhost:~# ngc registry model info nvidia/bert_for_tensorflow
Model Information
Name: bert_for_tensorflow
Application: Language Modelling
Framework: TensorFlow
Model Format: TF ckpt
Precision: FP16
Description:
# BERT Large(pre-training) for TensorFlow またはモデルバージョン。
root@localhost:~# ngc registry model info nvidia/bert_for_tensorflow:1
Model Version Information
Id: 1
Batch Size: 256
Memory Footprint: 4011
Number Of Epochs: 1000000
Accuracy Reached:
GPU Model: V100
Owner Name: NVIDIA
Created Date: 2019-06-13T22:50:06.405Z
Description:
Pretrained weights for the BERT (pre-training) model.
Status: UPLOAD_COMPLETE
Total File Count: 3
Total Size: 3.77 GB モデルのダウンロード
レジストリからローカルディスクにモデルをダウンロードするには、モデル名とバージョンを指定します。
root@localhost:~# ngc registry model download-version nvidia/<model-name:version>
例 ：モデルを現在のディレクトリにダウンロードしています。
root@localhost:~# ngc registry model download-version nvidia/bert_for_tensorflow:1 Downloaded 3.46 GB in 6m 22s, Download speed: 9.26 MB/s Transfer id: bert_for_tensorflow_v1 Download status: Completed. Downloaded local path: /root/bert_for_tensorflow_v1 Total files downloaded: 3 Total downloaded size: 3.46 GB Started at: 2019-10-30 18:14:23.667980 Completed at: 2019-10-30 18:20:46.313870 Duration taken: 6m 22s seconds
モデルは、現在のディレクトリのモデル名に対応するフォルダにダウンロードされます。 -dを使用して別のパスを指定できます 。オプション。
root@localhost:~# ngc registry model download-version nvidia/bert_for_tensorflow:1 -d ./models
モデルスクリプト情報の表示
利用可能なモデルスクリプトに関する情報を表示するためのコマンドがいくつかあります。
NVIDIAが提供するモデルスクリプトのリストを表示するには：
root@localhost:~# ngc registry model-script list +-----------------+-----------------+----------------+-----------------+------------+-----------+---------------+------------+ | Name | Registry | Latest Version | Application | Framework | Precision | Last Modified | Permission | +-----------------+-----------------+----------------+-----------------+------------+-----------+---------------+------------+ | BERT for | nvidia/bert_for | 3 | NLP | PyTorch | FPBOTH | Oct 19, 2019 | unlocked | | PyTorch | _pytorch | | | | | | | | BERT for | nvidia/bert_for | 4 | NLP | TensorFlow | FPBOTH | Oct 21, 2019 | unlocked | | TensorFlow | _tensorflow | | | | | | | | Clara Deploy | nvidia/clara_de | 4 | SEGMENTATION | TensorFlow | FPBOTH | Oct 21, 2019 | unlocked | | SDK | ploy_sdk | | | | | | | | Clara AI | nvidia/clara_tr | 1 | KUBEFLOW_PIPELI | TensorFlow | FP32 | Oct 19, 2019 | locked | | Medical Imaging | ain | | NE | | | | |
モデルスクリプトに関する詳細情報を表示するには、指定できます
モデルスクリプト
root@localhost:~# ngc registry model-script info nvidia/bert_for_pytorch
model-script Information
Name: bert_for_pytorch
Application: NLP
Training Framework: PyTorch
Model Format: PyTorch PTH
Precision: FP16, FP32 またはモデルスクリプトバージョン。
root@localhost:~# ngc registry model-script info nvidia/bert_for_pytorch:3
model_script Version Information
Id: 3
Batch Size: 0
Memory Footprint: 0
Number Of Epochs: 0
Accuracy Reached: 0.0
GPU Model: V100 モデルスクリプトのダウンロード
レジストリからローカルディスクにモデルスクリプトをダウンロードするには、モデルスクリプトの名前とバージョンを指定します。
root@localhost:~# ngc registry model-script download-version nvidia/<model-script-name:version>
例 ：モデルを現在のディレクトリにダウンロードしています。
以下は、ダウンロードの完了を確認する出力を示す例です。
root@localhost:~# ngc registry model-script download-version nvidia/bert_for_pytorch:1 Downloaded 275.69 KB in 6s, Download speed: 45.87 KB/s Transfer id: bert_for_pytorch_v1 Download status: Completed. Downloaded local path: /root/bert_for_pytorch_v1 Total files downloaded: 49 Total downloaded size: 275.69 KB Started at: 2019-10-30 18:34:24.956435 Completed at: 2019-10-30 18:34:30.970395 Duration taken: 6s seconds
モデルは、現在のディレクトリのモデル名に対応するフォルダにダウンロードされます。 -dを使用して別のパスを指定できます 。オプション。
例 ：モードスクリプトを特定のディレクトリ（/ model-scripts）にダウンロードします。
root@localhost:~# ngc registry model-script download-version nvidia/bert_for_pytorch:1 -d ./model-scripts