No hay mucho que entender, en realidad. Números menores, baja latencia, mayor demanda al procesador. Números altos, alta latencia, menor demanda al procesador (por ende, más efectos, más pistas, menos problemas con el audio, etc).
Por lo general, al grabar se necesita latencia baja, eso es entendible. Al mezclar o finalizar el proyecto (que no es en realidad masterizar, pero es similar), es mejor trabajar con números más altos (más "Buffer", más latencia), porque así el procesador tendrá menos carga, y será posible tener más pistas y efectos (dependiendo del poder del procesador y cantidad de memoria disponible) que si se usa baja latencia.
Entonces, calcula la cantidad dependiendo de lo que experimentes. Si notas que hay clicks o ruidos raros al tratar de ejecutar el proceso (mezclar, finalizar) ve subiendo hasta que desaparezcan y todo se escuche bien sin problemas. Todo sistema es diferente, pues depende de factores que varían, incluso de proyecto a proyecto. Por ejemplo, en mi caso, me es posible hacerlo sin problemas a 1024. Si esa cantidad no fuera suficiente, a 2048, pero nunca necesito más. Es más o menos una guía, pero no hay nada específico. Lo que funcione para tí, eso es. Experimenta.
Igual es ideal que tú mismo hagas la prueba. Ver qué ocurre colocando el buffer bajo y luego alto y sacar conclusiones de como impacta tu forma de trabajar.