si el audio no peta y no va a tirones... es decir mientras no experimentes ningún problema, reduce el buffer todo lo que puedas y obtendrás menos latencia.
si empiezas a notar que el ordenador va a tirones, aumenta el buffer, eso aumentará la latencia, le estarás dando mas tiempo a la CPU para que procese todo lo que le estás pidiendo.
eso es algo que tendrás que hacer independientemente de la frecuencia, salvo que con un mismo buffer, a mayor muestreo menos latencia y mas recursos pides, vamos que a mayor frecuencia antes te dirá el ordenador que no puede mas, pero tu mientras no diga nada no tienes por que subir el buffer