He tenido este mismo problema en máquinas ARM que usan Docker. En mi máquina, python3-pip proporcionó una distribución pip antigua (9.0.1). Entonces, para mí, actualizar pip y setuptools fue suficiente
pip3 install -U pip setuptools
Luego puede instalar el resto de sus dependencias normalmente.
Resolví esto actualizando el sistema operativo en el pi, luego usando el comando:
sudo apt-get install python3-pandas
Mis repositorios ahora son ligeramente diferentes al enlace de repositorios en la pregunta, están a continuación:
deb http://mirrordirector.raspbian.org/raspbian/ stretch main contrib non-free rpi
Si alguien está interesado, las especificaciones ahora son las siguientes:
PRETTY_NAME="Raspbian GNU/Linux 9 (stretch)"
NAME="Raspbian GNU/Linux"
VERSION_ID="9"
VERSION="9 (stretch)"
ID=raspbian
ID_LIKE=debian
HOME_URL="http://www.raspbian.org/"
SUPPORT_URL="http://www.raspbian.org/RaspbianForums"
BUG_REPORT_URL="http://www.raspbian.org/RaspbianBugs"
Finalmente, con el nuevo sistema operativo todavía no podía instalar pandas, lo dejé funcionando durante la noche sin éxito