No sé qué salida tiene ese generador de frecuencias, supongo que será mono (pero me habías despistado al decir "cable de auriculares"). Si con cable de auriculares te refieres a algo como:
, eso se llamaría cable con conexiones TS-TS, y es para llevar señal mono.
https://www.hispasonic.com/tutoriales/conexionado-soldadura/1948
Las entradas de inserción traseras son para añadir efectos a las señales de entrada de los canales 1 o 2 (página 5 del manual en español
http://www.dhmsonido.com.ar/index_htm_files/051212_FTPro_UG_ES01_V3.PDF). Por tanto, usa las entradas 1 o 2 delanteras.
Para que se oigan los monitores, cada uno de ellos debe estar conectado a una de las salidas traseras "TRS output" 1 o 2 (ahí puedes usar cable con conectores TS-TS como el de la foto, o TRS-TRS o TRS-XLR, depende de qué monitores tengas) o bien cada uno de ellos a una de las salidas 1 o 2 de tipo RCA traseras (esto también depende de qué monitor tengas; si es uno que sólo tenga entradas RCA, entonces casi mejor usar esas).
Para controlar en Nuendo qué señal de entrada y salida irá por los buses, mira VST
https://steinberg.help/cubase_pro_artist/v9/es/cubase_nuendo/topics/vst_connections/vst_connections_window_r.html. Para mí, la clave es entender que, tanto en entradas como en salidas, "Audio device" / "Dispositivo de audio" será el nombre del controlador ("driver") que permite a tu interfaz entenderse con el ordenador. Puede llamarse "M-Audio Fast Track Pro" o algo similar. Y, para cada caso, te permitirá seleccionar qué salidas ("Device port" o Puertos del dispositivo) de tu interfaz van a actuar. Por ejemplo, para un bus de salida estéreo, supongo que la Fast Track Pro tendrás las opciones: Output 1 y Output 2, y Output 3 y Output 4. Aunque la entrada sea mono, la salida puede ser estéreo, simplemente que se va a oír lo mismo por ambos canales (izquierdo y derecho), no es un estéreo real.