pues como imagino que tienes windows a 64 bit tienes que ejecutar el ejecutable del fl que dice fl extendend memory
FL Studio ya tiene versión 64 bits, simplemente usa esa versión y reconocerá toda la ram.
El FL Studio 11 tiene versión 64bits, si no la tienes es raro porque se instalan juntas la de 32 y la de 64.
Y no te han dicho compatible memory, te han dicho extended memory, es distinto.
Pero no hay mayor problema que buscar el ejecutable de FL Studio de 64 bits que está instalado junto al de 32 bits en la misma carpeta.
Otra solución sería que te actualizaces a FL Studio 12, como comprador de FL Studio sabrás que las actualizaciones de FL Studio son gratuitas de por vida.