Es un problema de Word en realidad, que pone un filtro que baja la calidad de las imágenes (he probado insertar partituras desde varios orígenes).
Lo mejor es un editor de PDF en el que puedas redactar y allí insertar imágenes. Yo también he visto en varios libros, la imagen pixelada, pero es porque poca gente sabe editar texto y partituras en conjunto.
Lo que yo haría en tu caso, es editar el archivo de Word y dejar el espacio en blanco, guardarlo como PDF, abrir en Photoshop las hojas que tienen partituras de ejemplo.
Insertarlas con la función "colocar" y luego reemplazar las páginas (para reemplazar páginas necesitas una versión PRO de Adobe Acrobat, Foxit o Nitro...). Puede que el archivo te quede algo pesado, pero puedes ir variando la calidad de exportación de Phothoshop. Aunque el peso de los archivos hoy día no es tanto problema, menos si tu propuesta final es que el libro termine impreso.
Una 3era opción que se me ocurre, es que uses el editor de Blogger, que es muy similar al Office en lo que es texto, luego guardarlo en PDF o dejarlo Online según tus pretensiones.
Cualquier cosa consultame.