Android 版 Javafx 的音频性能（MediaPlayer 和 NativeAudioService）

我使用 JavaFX 创建了一个运行良好的桌面游戏（20000 Java 行）。由于它是一个游戏，实时约束很重要（玩家操作的响应时间）。

最终目标是在 Android 上运行该应用程序。我几乎已经完成了从PC到Android的“Java代码传输”，即使我遇到了一些实时麻烦。我想现在几乎所有的问题都已经解决了。

例如，我最大限度地减少了用于检测两个移动设备之间影响的 Shape 或 Rectangle.intersect(node1, node2) 调用的 CPU 时间（消耗）。这样，真实时间就被除以3了。太棒了！

为了测试这个 Android 版本，我使用 Eclipse + Neon2、JavaFX、JavaFXports + gluon 和我的手机 (Archos Diamond S)。

但是，对于 Android 手机，我遇到了与 MediaPlayer 和 NativeAudioSrvice 生成的声音相关的实时问题。

然而，我遵循了同步模式的建议：javafxports如何调用android原生媒体播放器

第一个问题：

这个 Mediaplayer 类是否存在异步模式？我认为这可以解决这个延迟问题？在实践中，我尝试了异步解决方案......但没有成功：由于 MediaPlayer 生成音频而导致的实时问题仍然存在：音频生成成本从 50 毫秒到 80 毫秒，而主循环处理每 110 毫秒运行一次。每个音频生成都会干扰主处理执行。

而且，在每个周期性任务（速率：110 毫秒）中，我可以播放几个这样的声音。并且，在一条轨迹中，有多达 6 个声音激活，总共需要大约 300 毫秒（而主要循环任务需要 110 毫秒）

问题：

如何提高 NativeAudio 类的性能（特别是 play() 方法及其调用会产生实时问题： setDataSource(...)、prepare() 和 start() ）？

解决方案

主要处理必须是“同步”方法，以确保完整的处理将运行，而不会出现任何音频中断。

此外，生成声音的每个完整处理都在专用线程下进行，并使用 Thread.MIN_PRIORITY 优先级进行定义。

现在，主处理每 110 毫秒运行一次，并且在开始时不会受到任何音频生成的干扰。显示屏非常“柔和”（不再有抖动现象）。

只有一个小问题：当音频seDataSource()、start()或prepare()方法开始时，似乎下一个主要处理应等待方法结束后再开始（TBC）

我希望这个解决方案可以帮助其他人。它适用于使用 MediaPlayer 生成音频的任何情况。

解决方案的JAVA代码

主要处理定义如下：

public static ***synchronized*** void mainProcessing() {
// the method handles the impacts, explosions, sounds, movings, ... , in other words almost the entiere game  .. in a CRITICAL SECTION
}

/****************************************************/

在实现“NativeAudioService”的NativeAudio类中：

    @Override
        public void play() {
            if (bSon) {
                Task<Void> taskSound = new Task<Void>() {

                @Override
                protected Void call() throws Exception {
                generateSound(); 
                return null;
                }}; 

              Thread threadSound = new Thread(taskSound);
              threadSound.setPriority(Thread.MIN_PRIORITY);
              threadSound.start();
            } 
        }


  /****************************************************/    
  private void generateSound() {
        currentPosition = 0;
        nbTask++;
        noTask = nbTask;
        try {
            if (mediaPlayer != null) {
                stop();
            }
            mediaPlayer = new MediaPlayer();

            AssetFileDescriptor afd = FXActivity.getInstance().getAssets().openFd(audioFileName);

            mediaPlayer.setDataSource(afd.getFileDescriptor(), afd.getStartOffset(), afd.getLength());      

            mediaPlayer.setAudioStreamType(AudioManager.STREAM_RING);

            float floatLevel = (float) audioLevel;
            mediaPlayer.setVolume(floatLevel, floatLevel);

            mediaPlayer.setOnCompletionListener(new OnCompletionListener() {
                @Override
                public void onCompletion(MediaPlayer mediaPlayer) {
                    if (nbCyclesAudio >= 1) {
                              mediaPlayer.start();
                          nbCyclesAudio--;
                        } else {
                        mediaPlayer.stop(); 
                        mediaPlayer.release(); // for freeing the resource - useful for the phone codec 
                        mediaPlayer = null;
                        }
                }
            });

            mediaPlayer.prepare();

            mediaPlayer.start();
            nbCyclesAudio--;

        } catch (IOException e) {
            }
      }

我对你的实现做了一些改变提及，假设您有一堆短音频文件要播放，并且您希望在很短的时间内按需播放它们。基本上我会创建AssetFileDescriptor所有文件一次，而且我将使用同一个MediaPlayer一直都有实例。

设计遵循 Charm Down 的图案library，所以你需要保留下面的包名称。

EDIT

根据 OP 的反馈，我更改了实现方式，为每个音频文件配备一个 MediaPlayer，这样您就可以随时播放其中任何一个。

1. 源码包/Java：

包裹：com.gluonhq.charm.down.plugins

AudioService界面

public interface AudioService {
    void addAudioName(String audioName);
    void play(String audioName, double volume);
    void stop(String audioName);
    void pause(String audioName);
    void resume(String audioName);
    void release();
}

AudioServiceFactory class

public class AudioServiceFactory extends DefaultServiceFactory<AudioService> {

    public AudioServiceFactory() {
        super(AudioService.class);
    }

}

2. Android/Java 包

包裹：com.gluonhq.charm.down.plugins.android

AndroidAudioService class

public class AndroidAudioService implements AudioService {

    private final Map<String, MediaPlayer> playList;
    private final Map<String, Integer> positionList;

    public AndroidAudioService() {
        playList = new HashMap<>();
        positionList = new HashMap<>();
    }

    @Override
    public void addAudioName(String audioName) {
        MediaPlayer mediaPlayer = new MediaPlayer();
        mediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC);
        mediaPlayer.setOnCompletionListener(m -> pause(audioName)); // don't call stop, allows reuse
        try {
            mediaPlayer.setDataSource(FXActivity.getInstance().getAssets().openFd(audioName));
            mediaPlayer.setOnPreparedListener(mp -> {
                System.out.println("Adding  audio resource " + audioName);
                playList.put(audioName, mp);
                positionList.put(audioName, 0);
            });
            mediaPlayer.prepareAsync();
        } catch (IOException ex) {
            System.out.println("Error retrieving audio resource " + audioName + " " + ex);
        }

    }

    @Override
    public void play(String audioName, double volume) {
        MediaPlayer mp = playList.get(audioName);
        if (mp != null) {
            if (positionList.get(audioName) > 0) {
                positionList.put(audioName, 0);
                mp.pause();
                mp.seekTo(0);
            }
            mp.start();
        }

    }

    @Override
    public void stop(String audioName) {
        MediaPlayer mp = playList.get(audioName);
        if (mp != null) {
            mp.stop();
        }
    }

    @Override
    public void pause(String audioName) {
        MediaPlayer mp = playList.get(audioName);
        if (mp != null) {
            mp.pause();
            positionList.put(audioName, mp.getCurrentPosition());
        }
    }

    @Override
    public void resume(String audioName) {
        MediaPlayer mp = playList.get(audioName);
        if (mp != null) {
            mp.start();
            mp.seekTo(positionList.get(audioName));
        }
    }

    @Override
    public void release() {
        for (MediaPlayer mp : playList.values()) {
            if (mp != null) {
                mp.stop();
                mp.release();
            }
        }

    }

}

3. Sample

我添加了五个短音频文件（来自here），并向我的主视图添加了五个按钮：

@Override
public void start(Stage primaryStage) throws Exception {

    Button play1 = new Button("p1");
    Button play2 = new Button("p2");
    Button play3 = new Button("p3");
    Button play4 = new Button("p4");
    Button play5 = new Button("p5");
    HBox hBox = new HBox(10, play1, play2, play3, play4, play5);
    hBox.setAlignment(Pos.CENTER);

    Services.get(AudioService.class).ifPresent(audio -> {

        audio.addAudioName("beep28.mp3");
        audio.addAudioName("beep36.mp3");
        audio.addAudioName("beep37.mp3");
        audio.addAudioName("beep39.mp3");
        audio.addAudioName("beep50.mp3");

        play1.setOnAction(e -> audio.play("beep28.mp3", 5));
        play2.setOnAction(e -> audio.play("beep36.mp3", 5));
        play3.setOnAction(e -> audio.play("beep37.mp3", 5));
        play4.setOnAction(e -> audio.play("beep39.mp3", 5));
        play5.setOnAction(e -> audio.play("beep50.mp3", 5));
    });

    Scene scene = new Scene(new StackPane(hBox), Screen.getPrimary().getVisualBounds().getWidth(), 
                        Screen.getPrimary().getVisualBounds().getHeight());
    primaryStage.setScene(scene);
    primaryStage.show();
}

@Override
public void stop() throws Exception {
    Services.get(AudioService.class).ifPresent(AudioService::release);
}

准备步骤在应用程序启动并实例化服务时发生，因此稍后播放任何音频文件时，不会有任何延迟。

我还没有检查在添加多个带有大音频文件的媒体播放器时是否存在任何内存问题，因为这不是最初的情况。也许缓存策略在这种情况下会有所帮助（请参阅 Gluon Charm Down 中的 CacheService）。