Yo también tuve este problema. Simplemente cambiar el nombre de CER a PEM fue suficiente :)
Como explica ssl.com, un archivo .cer puede estar en codificación der o pem. Si está en la codificación der, deberá realizar la conversión como lo ha intentado, pero si ya está en la codificación pem, no es necesaria la conversión y obtiene el error que tiene si lo intenta, y puede simplemente cambiar el nombre el archivo.
Si no está seguro, es bueno saber que .der es un formato binario, mientras que .pem es uno ascii. Si repite el contenido de su certificado, un archivo .pem se vería así:
-----BEGIN CERTIFICATE-----
MIIEuTCCA6G[snip lots of chars]
XmCpajQ==
-----END CERTIFICATE-----
Y un archivo .der se vería así:
0▒▒0▒▒▒@*▒H▒▒▒▒▒0
0▒▒1
0 UUS10U
VeriSign, Inc.10U
VeriSign Trust Network1:08U