Te voy a decir cual es el problema el USB, este no tiene buffer dedicado, sino usa un buffer universal por lo que el teclado que tienes conectado directamente por USB los datos entran directamente al buffer universal, el que tienes por la interfaz entran a esta y los reenvia esto causa latencia por ello en el primero es menor que en el segundo, ahora hay un segundo problema con el buffer universal del USB todos los puertos del ordenador comparten ancho de banda y velocidad de transmisión de datos, por lo que el sistema operativo es el que decide que datos de los que le llegan por todos los puertos tienen prioridad, casi siempre los que le llegan directos por USB y baja la prioridad de los que esta de intermediaria la interfaz de audio y un tercer problema del buffer universal del USB si conectas periféricos con distintas denominaciones de USB (1.0,2.0,3.0) deben tener un orden de mayor a menor denominación en los puertos que normalmente también estan numerados del mas alejado al que conecta a la mother board (cercano al buffer universal), ya que se pueden crear cuellos de botella si primero hay un perferico USB 2.0 (que soporta un ancho de banda y velocidad de transmisión) y posteriormente un USB 1.0 (que soporta un menor ancho de banda y velocidad de transmisión) ya que a partir de ahí el sistema funcionara con las especificaciones de este aun que sea un USB 2.0 o 3.0 y esto hará que haya malos funcionamientos y hasta desconecciónes de los periféricos.
El USB esta muy extendido en los ordenadores moviles por ello es muy popular, pero no es el mas adecuado para audio y video por todos estos inconvenientes, mucho mejor PCIe o Thunderbolt que cuentan con buffer dedicado, o sea el puerto donde conectes el períferico tienes la seguridad que no compartirá ancho de banda, ni velocidad de transferencia con otros puertos, ira directo al buffer y de ahí al programa que utilices.
Cualquiera de estos inconvenientes del USB, puede estar generando la latencia con la interfaz de audio, lo mas recomendable es que utilices esta unicamente sin conectar mas periféricos a los puertos USB del ordenador para así obtener su máximo rendimiento o que esta sea la conectada al puerto USB mas cercano a la mother board para evitar los cuellos de botella.
RaulMX gracias por tan buena explicación, ahora si que comprendo el proceso que se lleva a cabo desde que oprimo una tecla en mi teclado, pasa por la interfaz a mi computadora y me devuelve el audio del VST que estoy usando, uno de los propósitos de mi pregunta era saber si es "normal" que una interfaz tenga esa latencia y ahora comprendo que si y por que un gran saludo y felicitaciones por tus conocimientos y voluntad de compartir con los que menos sabemos