Intente convertir hexadecimal a base64. Esta respuesta es una opción. Hay una serie de otras implementaciones.
¿Cómo puedo convertir de hexadecimal a base64?
Tal vez algo como:
echo mydata | sha1sum | xxd -r -p | base64
... resolvería tu problema.
Consulte https://unix.stackexchange.com/questions/82561/convert-a-hex-string-to-binary-and-send-with-netcat para una pregunta similar.