La radio FM usa el cable de los auriculares como antena; por eso requieren auriculares conectados. Para que el audio salga SOLO por auriculares:
Si la app no tiene esa opción (algunas versiones TouchWiz), el audio SIEMPRE sale por altavoz y auriculares a la vez. Workaround: baja volumen de medios a 0 y sube volumen de auriculares (si el teléfono permite volúmenes separados) o usa app Spirit FM (root) o NextRadio (si chip FM desbloqueado).
La respuesta original ("desactivar altavoz en ajustes de radio") es correcta si la opción existe.