Intenta configurar LIBRARY_PATH , en lugar de LD_LIBRARY_PATH .
Desde el gcc página man:
RUTA_BIBLIOTECA
El valor de LIBRARY_PATH es una lista de directorios separados por dos puntos, muy parecido a PATH. Cuando se configura como un compilador nativo, GCC prueba los directorios así especificados cuando busca archivos de enlazadores especiales, si no puede encontrarlos usando GCC_EXEC_PREFIX. La vinculación mediante GCC también utiliza estos directorios al buscar bibliotecas ordinarias para la opción -lo (pero los directorios especificados con -L vienen primero).
Asegúrate de exportar LD_LIBRARY_PATH después de modificarlo. De lo contrario, GCC no podrá ver la versión modificada.
LD_LIBRARY_PATH=/usr/lib/gcc/x86_64-redhat-linux/3.4.6:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH
gcc -o test test.c -lg2c