El usuario de Mac debe instalar XQuartz en lugar de Xming .
Y otra cosa importante:si instalas xquartz vía homebrew , debe volver a iniciar sesión en su macos o reiniciar.
Como dice la respuesta de los rackpas.
Ok, después de buscar más en Google, finalmente logré que este proceso funcionara, espero que ayude a alguien:
1) en el host remoto (VPS, Ubuntu 16.04) tuve que instalar el servidor X11, lo cual hice:
sudo apt-get install xorg
sudo apt-get install openbox
2) En el host remoto, tenía que asegurarme de que X11Forwarding esté habilitado en /etc/ssh/sshd_config
3) En la máquina Win10 local, tuve que instalar el servidor Xming y ejecutarlo con la configuración predeterminada.
4) En la máquina Win10 local, tuve que configurar Putty para usar el reenvío X11 (Conexión-> SSH -> Reenvío X11) con la configuración predeterminada y mantener la conexión abierta mientras ejecutaba PyCharm (parece que no hay ninguna opción en PyCharm para habilitar el reenvío x11, por lo que masilla debe estar ejecutándose en segundo plano)
5) En la máquina remota, tuve que verificar el número de pantalla (echo $DISPLAY); esto puede ser diferente para todos. Para mí fue localhost:10.0
6) En la configuración de PyCharm Run -> Variables de entorno tuve que agregar DISPLAY=localhost:10.0
Después de todos estos pasos y la ejecución de Putty+Xming en segundo plano, ¡pude ejecutar código remoto y recuperar el gráfico en mi PC con Windows 10!
PD:el proceso es realmente lento, tengo que esperar unos 10 segundos antes de que me devuelvan la imagen. No estoy seguro de por qué o cómo acelerarlo. Podría ser otra pregunta. (reducir la fuerza del chipher y habilitar la compresión no ayuda. Parece algún tipo de problema de inicialización con x11 remoto y local)