GNU/Linux >> Tutoriales Linux >  >> Linux

Cómo Gzip archivos grandes (100GB+) más rápido en Linux

Los usuarios de Linux y los administradores de sistemas nunca dejarán de cruzarse con las rutinas de administración de archivos. A medida que el sistema Linux, los programas y los archivos de usuario crecen de megabytes a gigabytes, siempre existe la necesidad de comprimir o comprimir algunos de los archivos vinculados al sistema operativo.

[ También te puede interesar:Cómo crear un archivo grande de 1 GB o 10 GB en Linux ]

Las ventajas de comprimir o comprimir estos archivos son las siguientes:

  • Puedes ahorrar y crear espacio de almacenamiento adicional en tu máquina Linux.
  • Dado que Linux tendrá espacio de almacenamiento adicional para trabajar, su eficiencia mejorará.
  • Los archivos comprimidos son más fáciles de transferir a otros entornos y sistemas de máquinas.
  • Comprimir o comprimir sus archivos proporciona una ventaja de cifrado de datos.

La mayoría de los usuarios de Linux están familiarizados con Gzip como un medio eficaz para comprimir archivos grandes o crear archivos zip a partir de tamaños de archivo ligeramente mayores. Gzip viene preinstalado en casi todas las distribuciones del sistema operativo Linux.

Puede verificar su disponibilidad en su sistema Linux con el siguiente comando:

$ gzip --version

Cómo comprimir archivos usando Gzip en Linux

Para comprimir un archivo simple con Gzip , solo necesita ejecutar un comando similar al siguiente:

$ gzip linuxshelltips_v2.txt

Debe estar en la misma ruta con el archivo que necesita comprimirse o comprimirse al hacer referencia al gzip anterior. comando.

Cómo comprimir archivos grandes usando Gzip en Linux

Usando Gzip para comprimir archivos en Linux es rápido y eficiente hasta que comience a manejar archivos grandes. Comprimir 100 GB+ Los archivos a través de Gzip requieren horas innecesarias para que todo el proceso de compresión se complete con éxito, incluso cuando el hardware de la máquina tiene un rendimiento inferior al mínimo con especificaciones de CPU como Core (TM) i3-2350M CPU a 2,30 GHz. ¿Qué pasa si no tienes tanto tiempo libre?

Gzip está vinculado a una sola tarea, lo que significa que puede ejecutar perfectamente un solo trabajo de compresión de archivos a la vez. Solo se ocupa de archivos e ignorará la compresión de directorios.

A pesar de tales limitaciones, las aplicaciones no necesitan extraer archivos comprimidos con gzip antes de leerlos. Sin embargo, su dependencia de un solo núcleo de procesador hace que la compresión de archivos grandes tarde horas en completarse.

Alternativas de Gzip para alta compresión en Linux

Si bien el título de este artículo aborda la necesidad de comprimir rápidamente archivos grandes con alta compresión a través de Gzip , tuvimos que solucionar los inconvenientes de Gzip para que aceptes las mejores alternativas.

Pigz:comprime archivos de más de 100 GB con alta compresión

A diferencia de Gzip que está orientado a un solo núcleo, Pigz está orientado a múltiples núcleos y también comprimirá sus archivos de destino a un “.gz” extensión de archivo.

Tiene la ventaja de mejorar el tiempo de compresión cuando se trata de archivos de gran tamaño como 100 GB+ . Piensa en Pigz como una versión Gzip multihilo.

Instalar Pigz en Linux

Haga referencia a uno de los siguientes Pigz comandos de instalación en relación con la distribución de su sistema operativo Linux.

$ sudo apt-get install pigz     [On Debian, Ubuntu and Mint]
$ sudo yum install pigz         [On RHEL/CentOS/Fedora and Rocky Linux/AlmaLinux]
$ sudo emerge -a sys-apps/pigz  [On Gentoo Linux]
$ sudo pacman -S pigz           [On Arch Linux]
$ sudo zypper install pigz      [On OpenSUSE]    
Comprimir archivos de más de 100 GB con Pigz

Considere las siguientes estadísticas de archivos de más de 100 GB:

$ stat LinuxShellTipsBackup.iso

Dado que este archivo (LinuxShellTipsBackup.iso ) cumple con el criterio de ser 100GB+ , es decir, 164 GB , deberíamos intentar comprimirlo con Pigz .

El uso del comando debe ser similar al de Gzip.

$ Pigz -9 -k -p4 LinuxShellTipsBackup.iso

Las opciones de comando:

  • -9 :proporciona la mejor compresión (compresión alta).
  • -k :conserva el archivo original.
  • -p4 :Le dice a Pigz que use 4 núcleos de procesador ya que está orientado a múltiples núcleos.

Más núcleos de procesador hacen que el proceso de compresión sea más rápido. La cantidad de núcleos de procesador que elija usar debe depender de las propiedades del procesador de su máquina, p. Núcleo i3, Núcleo i5, Núcleo i7.

El tamaño de compresión del archivo resultante es 156 GB de los 164 GB originales . Si decidimos no conservar el archivo original, tendremos 8GB (164B-156GB ) de almacenamiento adicional.

Otra cosa buena es que todavía puede abrir y navegar por los archivos archivados sin necesidad de extraerlos.

$ stat LinuxShellTipsBackup.iso.gz

Para descomprimir o extraer sus archivos, use cualquiera de los siguientes comandos:

$ unpigz LinuxShellTipsBackup.iso.gz
or
$ pigz -d LinuxShellTipsBackup.iso.gz

Comparación de velocidad de compresión Pigz vs Gzip

Comparemos su velocidad de compresión con un archivo un poco más pequeño.

Para Pigz,

$ time pigz file.mp4

Para Gzip,

$ time gzip file.mp4

.

Pigz gana con un tiempo de compresión más rápido, incluso sin especificar la cantidad de núcleos de procesador que se usarán.

El notable truco de comprimir archivos grandes (100GB+ ) es asegurarse de que la aplicación de compresión que está utilizando admita el procesamiento multinúcleo o multihilo. Dichos programas (por ejemplo, Pigz ) limitan o reducen el efecto de cuello de botella asociado con la compresión de archivos de gran tamaño.


Linux
  1. Cómo cambiar el nombre de los archivos en Linux

  2. Cómo comprimir y descomprimir archivos en Linux

  3. Cómo encontrar archivos grandes de Linux con los comandos find y du

  4. Cómo comprimir varios archivos en Linux

  5. Cómo gzip un directorio en Linux

Cómo copiar una gran cantidad de archivos en Linux

Cómo instalar Pigz para comprimir archivos más rápido en Linux

Cómo usar más comandos en Linux para leer archivos de texto grandes

¿Cómo usar gzip en Linux?

Cómo comprimir un archivo en Linux

Cómo instalar y usar Pigz para comprimir archivos más rápido en Linux