Necesita otro argumento, espera leer un certificado de la entrada estándar. Probablemente quisiste agregar -new como un argumento de línea de comando, o necesita pasar un certificado existente en la entrada estándar.
Tuve el mismo problema al usar GitBash en Windows 7, después de horas de búsqueda, esto resolvió mi problema:
winpty openssl genrsa -out ../private.pem -aes256 4096
Podría darle una idea de lo que se necesita.