¿Cuál es mejor para las herramientas de compresión de Linux gzip y pigz?

GZIP se utiliza principalmente para la compresión de archivos, y pigz es su versión de implementación paralela. Su velocidad de compresión es más rápida que la de gzip, y hace uso completo de los sistemas de multiprocesamiento y procesamiento múltiple. La siguiente serie le presentará pigz.

cerdo es Gesha cosas?

Introducción a la oración:

El código es el siguiente:

Una implementación paralela de gzip para máquinas modernas con múltiples procesadores y múltiples núcleos.

En pocas palabras, soporta gzip paralelo. No mucho sin sentido, empieza a probar.

pig por defecto es el número de cpu lógico actual para la compresión concurrente. Si no se puede detectar el número, entonces se ejecutan simultáneamente 8 hilos.

Primero, pruebe el archivo comprimido del paquete 1

El código es el siguiente:

Antes de la compresión

-rw-r - r-- 1 root root 2474772480 Dec 3 19:54 dbs.tar "/p" "p" 1, prueba de gzip

tiempo de compresión, CPU más alta: 101.6%

real 2m18.042s

usuario 2m10.204s

sys 0m6.876s "/p" "p" descompresión que consume mucho tiempo, CPU más alto: 101.6%

real 0m26.756s

usuario 0m20.175s

sys 0m6.580s "/p" "p" comprimido

-rw-r - r-- 1 raíz raíz 2349563863 3 de diciembre 19:54 dbs.tar.gz "/p "p" 2, prueba pigz

8 hilos concurrentes (predeterminado):

tiempo de compresión, CPU más alta: 832%

real 0m21.710s

usuario 2m31.229s

sys 0m9.101s "/p" "p" tiempo de descompresión, CPU más alto: 199%

real 0m13.239s

Usuario 0m11.791s

sys 0m12.426s "/p" "p" 4 hilos concurrentes:

Tiempo de compresión, máximo de CPU: 427.6%

0m38.299s real

Usuario 2m30.701s

sys 0m8.369s "/p" "p" descompresión que consume mucho tiempo, CPU más alto: 202%

real 0m13.294s

usuario 0m12. 154s

sys 0m11.862s "/p" "p" comprimidos

-rw-r - r-- 1 raíz raíz 2350161547 3 de diciembre 19:54 dbs.tar.gz /p "" p "Segundo, pruebe el archivo comprimido del paquete 2

antes de la compresión

-rw-r - r-- 1 raíz raíz 5248890880 3 de diciembre 20:26 mysql-5.5.28 -linux2.6-x86_64.tar "/p" "p" 1, prueba de gzip

tiempo de compresión, CPU más alto: 101%

real 6m20.524s

Usuario 6m2.466s

sys 0m7.410s "/p" "p" descompresión que consume mucho tiempo, CPU más alto: 101%

real 0m58.893s

usuario 0m46. 258s

sys 0m11.944s "/p" "p" comprimido

-rw-r - r-- 1 raíz raíz 1410045513 3 de diciembre 20:26 mysql-5.5.28- Linux2.6-x86_64.tar.gz "/p" "p" 2, prueba pigz

subprocesos concurrentes 8 (predeterminado):

tiempo de compresión, CPU más alto: 799%

real 1m11.908s

u Ser 6m36.717s

sys 0m9.860s "/p" "p" descompresión que consume mucho tiempo, CPU más alto: 179%

real 0m33.188s

usuario 0m38. 069s

sys 0m16.728s "/p" "p" 4 hilos concurrentes:

Tiempo de compresión, máximo de CPU: 418%

real 1m41.547s

usuario 6m36.782s

sys 0m9.806s "/p" "p" descompresión que consume mucho tiempo, CPU más alto: 179%

real 0m33.120s

Usuario 0m37.500s

sys 0m16.956s "/p" "p" comprimido

-rw-r - r-- 1 raíz raíz 1406061442 3 de diciembre 20:26 mysql-5.5 .28-linux2.6-x86_64.tar.gz

Conclusión:

1, el uso predeterminado de pigz (el hilo concurrente predeterminado es el número de CPU lógica) puede ser 5.3 veces más rápido que gzip, consumo de CPU Es 8 veces de gzip, la relación de compresión es bastante;

2, comparación de 8 hilos concurrentes 4 promoción de hilos: 41.2%, 16 hilos de comparación 8 hilos de promoción: 27.9%, 32 hilos de comparación 16 hilos de promoción: 3%;

3, en el escenario donde la eficiencia de compresión es alta, pero el consumo de CPU no se ve afectado en poco tiempo, Es muy adecuado usar pigz.

Lo anterior es la introducción de pigz en Linux. Es fácil ver en este artículo que la eficiencia de compresión de pigz es mayor, pero la pérdida de CPU también es mayor. En el caso de que la CPU no afecte, se recomienda usar el archivo comprimido de pigz. .