Este artículo para la CLI del catálogo de NGC que explica cómo usar la CLI.
Introducción
La CLI del catálogo NVIDIA® GPU Cloud (NGC) es una interfaz de línea de comandos para administrar contenido dentro del registro NGC. La CLI opera dentro de un shell y le permite usar secuencias de comandos para automatizar comandos. Con la CLI de NGC Catalog, puede
- Vea una lista de imágenes de contenedores de Docker aceleradas por GPU, modelos de aprendizaje profundo entrenados previamente y scripts para crear modelos de aprendizaje profundo.
- Descargar modelos y scripts de modelos.
- Nota: Actualmente, la CLI del catálogo de NGC no ofrece la posibilidad de descargar imágenes de contenedores. Para descargar imágenes de contenedores, utilice el comando docker pull desde la línea de comandos de Docker.
Este documento proporciona una introducción al uso de la CLI del catálogo de NGC. Para obtener una lista completa de comandos y opciones, use -h como se explica en Uso de NGC CLI .
Nota :actualmente CLI de NGC funciona solo con Ubuntu-18 para otros sistemas operativos, consulte nuestra documentación de GUI de NGC:https://www.e2enetworks.com/help/knowledge-base/get-started-with-nvidia-docker-and-ngc-container-registry/#how-to-access -ngc-software-catálogo
Para descargar contenido dentro del registro NGC
El contenido dentro del registro NGC está bloqueado o desbloqueado. El contenido desbloqueado está disponible gratuitamente para que lo descarguen los usuarios invitados. Para descargar contenido bloqueado, debe registrarse para obtener una cuenta de usuario de la comunidad NGC.
Usuarios invitados
Los usuarios invitados pueden acceder al sitio web de NGC sin tener que iniciar sesión. Desde el sitio web, los usuarios invitados pueden descargar la CLI del catálogo de NGC y comenzar a usarla para ver contenido y descargar contenido desbloqueado.
Usuarios de la comunidad
Para ser un usuario de la comunidad y descargar contenido de NGC bloqueado, debe registrarse para obtener una cuenta de NGC, iniciar sesión en el sitio web de NGC con su cuenta y luego generar una clave de API. Consulte la Guía de inicio de NVIDIA GPU Cloud para obtener instrucciones.
Uso de la CLI del catálogo NGC
Para ejecutar un comando CLI de NGC, ingrese "ngc" seguido de las opciones apropiadas.
Para ver una descripción de las opciones disponibles y las descripciones de los comandos, use la opción -h después de cualquier comando u opción.
Ejemplo 1 :para ver una lista de todas las opciones disponibles para ngc, ingresar
root@localhost:~# ngc -h
usage: ngc [--debug] [--format_type] [-h] [-v] {config,diag,registry} …
NVIDIA NGC Catalog CLI
optional arguments:
-h, --help show this help message and exit
-v, --version show the CLI version and exit.
--debug Enables debug mode.
--format_type Change output format type. Options: ascii, csv, json.
ngc:
{config,diag,registry}
config Configuration Commands
diag Diagnostic commands
registry Registry Commands Ejemplo 2: Para ver una descripción de la imagen de registro comando y opciones, ingrese
root@localhost:~# ngc registry image -h
usage: ngc registry image [--debug] [--format_type] [-h] {info,list} …
Container Image Registry Commands
optional arguments:
-h, --help show this help message and exit
--debug Enables debug mode.
--format_type Change output format type. Options: ascii, csv, json.
image:
{info,list}
info Display information about an image repository or tagged
image.
list Lists container images accessible by the user Ejemplo 3 :para ver una descripción de la información de imagen de registro comando y opciones, ingrese
root@localhost:~# ngc registry image info -h
usage: ngc registry image info [--debug] [--details] [--format_type]
[--history] [--layers] [-h]
[:]
Display information about an image repository or tagged image.
positional arguments:
[:] Name of the image repository or tagged image,
[:]
optional arguments:
-h, --help show this help message and exit
--debug Enables debug mode.
--details Show the details of an image repository
--format_type Change output format type. Options: ascii, csv, json.
--history Show the history of a tagged image
--layers Show the layers of a tagged image Preparándose para descargar contenido bloqueado
Si planea descargar contenido bloqueado, asegúrese de haberse registrado para obtener una cuenta de NGC. y haber generado una clave de API , luego emita lo siguiente e ingrese su clave API cuando se le solicite.
root@localhost:~# ngc config set Enter API key [no-apikey]. Choices: [, 'no-apikey']:<your-api-key>
Accediendo al Registro de Contenedores
La imagen de registro ngc Los comandos le permiten acceder a imágenes de contenedores aceleradas por GPU listas para usar desde el registro.
Visualización de la información de la imagen del contenedor
Hay varios comandos para ver información sobre las imágenes de contenedores disponibles.
Para listar imágenes de contenedores:
root@localhost:~# ngc registry image list
Salida de ejemplo
| TensorFlow | nvidia/tensorflow | 19.10-py3 | 3.39 GB | Oct 28, 2019 | unlocked | | TensorRT | nvidia/tensorrt | 19.10-py3 | 2.22 GB | Oct 28, 2019 | unlocked | | TensorRT Inference | nvidia/tensorrtserver | 19.10-py3 | 2.76 GB | Oct 28, 2019 | unlocked | | Server | | | | | | | Theano | nvidia/theano | 18.08 | 1.49 GB | Oct 18, 2019 | unlocked | | Transfer Learning | nvidia/tlt- | v1.0_py2 | 3.99 GB | Oct 21, 2019 | unlocked | | Toolkit for Video | streamanalytics | | | | | | Streaming Analytics | | | | | | | Torch | nvidia/torch | 18.08-py2 | 1.24 GB | Oct 18, 2019 | unlocked | | DeepStream - | nvidia/video- | latest | 2.52 GB | Oct 20, 2019 | unlocked | | Intelligent Video | analytics-demo | | | | | | Analytics Demo | | | | | | | Chainer | partners/chainer | 4.0.0b1 | 963.75 MB | Oct 18, 2019 | locked | | Deep Cognition Studio | partners/deep- | cuda9-2.5.1 | 2.05 GB | Oct 18, 2019 | locked | | | learning-studio | | | | | | DeepVision - | partners/deepvision/ad | onpremise-1.0.1 | 240.24 MB | Oct 21, 2019 | locked | | admin.console | min.console | | | | | | DeepVision - | partners/deepvision/ad | onpremise-1.0.1 | 753.95 KB | Oct 21, 2019 | locked | | admin.console.data | min.console.data | | | | | | DeepVision - | partners/deepvision/vf | onpremise-2.0.0 | 3.29 GB | Oct 21, 2019 | locked | | Demographics | .demographics | | | | |
Para ver información detallada sobre una imagen específica, especifique la imagen y la etiqueta.
Ejemplo :
root@localhost:~# ngc registry image info nvidia/tensorflow:19.10-py3
Image Information
Name: nvidia/tensorflow:19.10-py3
Architecture: amd64
Schema Version: 1 Accediendo al Registro de Modelos
El modelo de registro ngc Los comandos le permiten acceder a modelos de aprendizaje profundo listos para usar desde el registro.
Ver información del modelo
Hay varios comandos para ver información sobre los modelos disponibles.
Para ver una lista de modelos proporcionados por NVIDIA:
Ejemplo de salida
+-----------------+-----------------+----------------+-----------------+--------------+-----------+---------------+------------+ | Name | Repository | Latest Version | Application | Framework | Precision | Last Modified | Permission | +-----------------+-----------------+----------------+-----------------+--------------+-----------+---------------+------------+ | BERT-Large | nvidia/bert_for | 1 | Language | TensorFlow | FP16 | Oct 18, 2019 | unlocked | | (pre-training) | tensorflow | | Modelling | | | | | | for TensorFlow | | | | | | | | | BERT-Large(pre- | nvidia/bert_tf | 1 | Language | Tensorflow | FP16 | Oct 19, 2019 | unlocked | | training using | pretraining_lam | | Modelling | | | | | | LAMB optimizer) | b_16n | | | | | | | | for TensorFlow | | | | | | | | | BERT-Base(fine- | nvidia/bert_tf_ | 2 | Language | Tensorflow | FP16 | Oct 18, 2019 | unlocked | | tuning) - SQuAD | v1_1_base_fp16_ | | Modelling | | | | | | 1.1, seqLen=128 | 128 | | | | | | | | BERT-Base(fine- | nvidia/bert_tf_ | 2 | Language | Tensorflow | FP16 | Oct 18, 2019 | unlocked | | tuning) - SQuAD | v1_1_base_fp16_ | | Modelling | | | | |
Para ver todas las versiones de un modelo, use el comodín *.
root@localhost:~# ngc registry model list nvidia/bert_for_tensorflow:*
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
| Version | Accuracy | Epochs | Batch Size | GPU Model | Memory | File Size | Owner | Status | Created Date |
| | | | | | Footprint | | | | |
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
| 1 | | 1000000 | 256 | V100 | 4011 | 3.77 GB | NVIDIA | UPLOAD_COMPL | Jun 13, 2019 |
| | | | | | | | | ETE | |
+---------+----------+---------+------------+-----------+-----------+-----------+--------+--------------+--------------+
Para ver información detallada sobre un modelo, puede especificar
el modelo
root@localhost:~# ngc registry model info nvidia/bert_for_tensorflow
Model Information
Name: bert_for_tensorflow
Application: Language Modelling
Framework: TensorFlow
Model Format: TF ckpt
Precision: FP16
Description:
# BERT Large(pre-training) for TensorFlow o la versión del modelo.
root@localhost:~# ngc registry model info nvidia/bert_for_tensorflow:1
Model Version Information
Id: 1
Batch Size: 256
Memory Footprint: 4011
Number Of Epochs: 1000000
Accuracy Reached:
GPU Model: V100
Owner Name: NVIDIA
Created Date: 2019-06-13T22:50:06.405Z
Description:
Pretrained weights for the BERT (pre-training) model.
Status: UPLOAD_COMPLETE
Total File Count: 3
Total Size: 3.77 GB Descargando un Modelo
Para descargar un modelo del registro a su disco local, especifique el nombre y la versión del modelo.
root@localhost:~# ngc registry model download-version nvidia/<model-name:version>
Ejemplo :Descargando un modelo al directorio actual.
root@localhost:~# ngc registry model download-version nvidia/bert_for_tensorflow:1 Downloaded 3.46 GB in 6m 22s, Download speed: 9.26 MB/s Transfer id: bert_for_tensorflow_v1 Download status: Completed. Downloaded local path: /root/bert_for_tensorflow_v1 Total files downloaded: 3 Total downloaded size: 3.46 GB Started at: 2019-10-30 18:14:23.667980 Completed at: 2019-10-30 18:20:46.313870 Duration taken: 6m 22s seconds
El modelo se descarga en una carpeta que corresponde al nombre del modelo en el directorio actual. Puede especificar otra ruta usando -d . opción.
root@localhost:~# ngc registry model download-version nvidia/bert_for_tensorflow:1 -d ./models
Ver información del modelo-script
Hay varios comandos para ver información sobre scripts modelo disponibles.
Para ver una lista de secuencias de comandos modelo proporcionadas por NVIDIA:
root@localhost:~# ngc registry model-script list +-----------------+-----------------+----------------+-----------------+------------+-----------+---------------+------------+ | Name | Registry | Latest Version | Application | Framework | Precision | Last Modified | Permission | +-----------------+-----------------+----------------+-----------------+------------+-----------+---------------+------------+ | BERT for | nvidia/bert_for | 3 | NLP | PyTorch | FPBOTH | Oct 19, 2019 | unlocked | | PyTorch | _pytorch | | | | | | | | BERT for | nvidia/bert_for | 4 | NLP | TensorFlow | FPBOTH | Oct 21, 2019 | unlocked | | TensorFlow | _tensorflow | | | | | | | | Clara Deploy | nvidia/clara_de | 4 | SEGMENTATION | TensorFlow | FPBOTH | Oct 21, 2019 | unlocked | | SDK | ploy_sdk | | | | | | | | Clara AI | nvidia/clara_tr | 1 | KUBEFLOW_PIPELI | TensorFlow | FP32 | Oct 19, 2019 | locked | | Medical Imaging | ain | | NE | | | | |
Para ver información detallada sobre un script modelo, puede especificar
el guión modelo
root@localhost:~# ngc registry model-script info nvidia/bert_for_pytorch
model-script Information
Name: bert_for_pytorch
Application: NLP
Training Framework: PyTorch
Model Format: PyTorch PTH
Precision: FP16, FP32 o la versión modelo-script.
root@localhost:~# ngc registry model-script info nvidia/bert_for_pytorch:3
model_script Version Information
Id: 3
Batch Size: 0
Memory Footprint: 0
Number Of Epochs: 0
Accuracy Reached: 0.0
GPU Model: V100 Descargando un Model-script
Para descargar un script modelo del registro a su disco local, especifique el nombre y la versión del script modelo.
root@localhost:~# ngc registry model-script download-version nvidia/<model-script-name:version>
Ejemplo :Descargando un modelo al directorio actual.
El siguiente es un ejemplo que muestra el resultado que confirma la finalización de la descarga:
root@localhost:~# ngc registry model-script download-version nvidia/bert_for_pytorch:1 Downloaded 275.69 KB in 6s, Download speed: 45.87 KB/s Transfer id: bert_for_pytorch_v1 Download status: Completed. Downloaded local path: /root/bert_for_pytorch_v1 Total files downloaded: 49 Total downloaded size: 275.69 KB Started at: 2019-10-30 18:34:24.956435 Completed at: 2019-10-30 18:34:30.970395 Duration taken: 6s seconds
El modelo se descarga en una carpeta que corresponde al nombre del modelo en el directorio actual. Puede especificar otra ruta usando -d . opción.
Ejemplo :Descarga de un script de modo a un directorio específico (/model-scripts).
root@localhost:~# ngc registry model-script download-version nvidia/bert_for_pytorch:1 -d ./model-scripts