Ve a Play>Setup>Playback Devices>Audio Engine Options... Allí tienes la opción de aumentar el tamaño del buffer y la ratio de sampleo para ajustar la capacidad de tu máquina al dispositivo virtual de sonido que uses.
En cualquier caso asegúrate de que no hay algún proceso activo que se coma la RAM de tu máquina. ES raro que con la capacidad que tienes, Sibelius de "trompicones"... ¿Quizá es que estás usando una librería externa pesada...? ¿O usas los sonidos incluidos en el programa?
Reformateé la computadora hace pocos días, es más le pasé Sibelius 7 hace poco y todo perfecto, anteayer empezó con éstos problemas, ni siquiera le instalé Sibelius Sounds.
De forma predefinida ya venía con 4096 muestras en Tamaño de búfer (lo menor posible)
En secuencia de muestreo venía con un valor intermedio y lo puse en 192000 Hz (lo máximo) y funcionó!
Gracias. La latencia está en 21.33