Deshazte del inútil echo , el exit incorrecto y el redundante print :
awk 'FNR == 3' test*.csv
Deberías usar
awk 'FNR == 3 { print; nextfile }' test*.csv >> last_file.csv
El problema es que cuando usas exit , evita que awk procese la entrada por completo. El nextfile le dice a awk que deje de procesar el archivo actual y vaya al siguiente archivo. El echo el comando que está usando no es necesario.
Lea más aquí:
http://www.gnu.org/software/gawk/manual/html_node/Nextfile-Statement.html
Esto podría funcionar para usted (GNU sed):
sed -sn 3p test*.csv >> last_file.csv