Puedes usar algunas herramientas adicionales como find y egrep :
find directory/ -type f -print | egrep -v '[0-9]+x[0-9X]+\.jpg' | tar cvfz directory.tar.gz -T -
El inconveniente del método mencionado anteriormente es que no funcionará para todos los nombres de archivo posibles. Otra oportunidad es utilizar la función de exclusión integrada de tar :
tar -czvf directory.tar.gz --exclude='*x*X*.jpg' directory
Desafortunadamente, el segundo método no funciona con expresiones regulares, sino solo con comodines.