nib, el problema no es la latencia, el problema es el usuario (lo digo en forma general, no quiere decir que algo ande mal contigo, eso no lo sabemos aun, habrá que analizarte mas detenidamente
).
Todo proceso requiere tiempo, y por mucho que hoy en día tengamos procesadores con múltiples núcleos las cosas no se procesan todas al tiempo, cada instrucción debe esperar su turno. La producción musical en su etapa de grabación requiere que la respuesta sea en tiempo real (para efectos prácticos jamas será en tiempo real, pero si lo suficientemente rápido como para que no nos demos cuenta del retardo), si te fijas tienes 2 condiciones contradictorias, que los procesos requieren tiempo y que el audio al grabar lo necesitas en tiempo real, una condición jala la cuerda hacia un lado, y la otro jala en el sentido opuesto, por lo tanto, jamas obtendrás una condición donde anules una de las dos situaciones, siempre deberás moverte en la zona de equilibrio entre las dos condiciones.
Por lo tanto ni puedes cargar excesivamente con procesos, ni puedes colocar la latencia extremadamente baja, y digo que el problema es de usuario, por que estas 2 cosas dependen de la manera de trabajar que tenga el usuario.
Recomendación, graba en proyectos lo mas limpios posibles, al momento de mezclar hazlo solo con las pistas en audio, y el gran secreto de esto es que para mezclar no necesitas tener la latencia baja, para que si no es necesario que suene sincronizada la entrada con la salida, en la mezcla solo tienes salida, el gran error es que nos ponemos a grabar mientras mezclamos, no son un mismo proceso, primero se graba, luego se mezcla, como vas a mezclar si no tienes aun todas las pistas? es como ponerte a construir el segundo piso sin levantar antes el primero, lo primero es conseguir todas las pistas y de ahí te pones a mezclar que es en donde mas efectos necesitas.
Eso es parte de una metodología de trabajo, para emprender cualquier proyecto se requiere una planificación, si no la tienes los proyectos salen mal y trabajas el doble, en lugar de estar luchando contra la latencia deberías estar haciendo música, te desgastas innecesariamente por no saber como organizar tu trabajo.
Por cierto, el proceso de composición es otro proceso, es muy probable que estés haciendo todo al tiempo, componer, grabar, mezclar, en fin, esa metodología de trabajo no es eficiente, cámbiala si no quieres pasar rabias.