No me parece mala idea dejar conectados los 5 pines porque no sabes para que puedes necesitarlos en el futuro.
Podrías tener que conectar un magnetofon antiguo o un amplificador de cadena que llevaban ese tipo de conectores para las entradas y salidas de audio, por ejemplo.