Lo hizo casi bien, simplemente ejecute el archivo tar en el host remoto en lugar de localmente. El comando debería ser similar a lo siguiente:
ssh remote_host tar cvfz - -T /directory/allfiles.txt > remote_files.tar.gz
¿Cómo copiar un archivo desde un servidor remoto a una máquina local?
¿Usar Scp para transferir un archivo del directorio local X al directorio remoto Y?
Cómo gzip un directorio en Linux
Qué tan estable es s3fs para montar un depósito de Amazon S3 como un directorio local
Cómo extraer el archivo filename.tar.gz
Cómo extraer (descomprimir) el archivo Tar Bz2
Cómo extraer (descomprimir) el archivo tar.xz
Cómo crear un archivo Tar Gz
Cómo hacer un archivo ejecutable en Linux
Cómo tar tipos de archivos específicos (extensiones) en un directorio
Cómo crear un archivo Tar gz