Bueno, resolví el problema usando el administrador de paquetes,
$ sudo apt-get install python-pyaudio
Aunque todavía no tiene idea de por qué falla easy_install.
Encontré una respuesta en https://groups.google.com/forum/#!msg/pyo-discuss/ptp_m39ACpI/XgKdK8YGNSoJ
sudo apt-get install portaudio19-dev