Android：音轨（流模式）在写入之间切换
Android: Audio Track (Stream-Mode) cuts between write
我的主要目标是能够将音频从一台设备流式传输到局域网中的另一台设备。我计划通过将 mp3 文件读入字节 []（我已经开始工作）并将其作为 udp 数据包发送到第二个设备并在那里播放（我告诉你这个以防万一这已经是错误的方法）。我目前坚持播放我的字节数组。我使用 mp3 中的 decoder(path, startMs, durationMs) 函数读取我的文件。目前我能够听到音频，但在每次滴答声后（这是我阅读文件的部分）我在几毫秒内什么都听不到，这导致了糟糕的聆听体验。我认为这与 Buffer-Size 有关并尝试使用它，但这并没有真正改变什么，以及添加 AudioTrack.WRITE_NON_BLOCKING。我还考虑过将每个 for() 循环放在不同的线程中，但这根本不起作用（这是有道理的）。我也已经尝试先读取文件并将我的 byte[] 放在 Arraylist 中，因为这可能是文件读取速度慢导致的问题，但仍然是相同的体验。了解 Log.e("DEBUG", "Length " + data.length); 仅在每个刻度显示，这也意味着写入也仅在每个刻度发生（这可能是问题所在）。我怎样才能去掉歌曲中的这些空白部分？
这是我在单击按钮时执行的代码：
song.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
Thread thrd = new Thread(new Runnable() {
@Override
public void run() {
try {
int tick = 1000;
int max = 9000;
int sampleRate = 44100;
int bufSize = AudioTrack.getMinBufferSize(sampleRate*4, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT);
byte[] data = decode(path, 0, tick);
AudioTrack track = new AudioTrack(AudioManager.STREAM_MUSIC,
44100, AudioFormat.CHANNEL_OUT_STEREO,
AudioFormat.ENCODING_PCM_16BIT, bufSize,
AudioTrack.MODE_STREAM, AudioTrack.WRITE_NON_BLOCKING);
track.play();
track.write(data, 0, data.length);
Log.e("DEBUG", "Length " + data.length);
for(int i = tick; i < max; i+=tick) {
data = decode(path, i, tick);
track.write(data, 0, data.length);
Log.e("DEBUG", "Length " + data.length);
}
} catch (IOException e) {
e.printStackTrace();
}
}
});
thrd.start();
}
});
我的 decode()-函数（基于 this tutorial）与 JLayer 1.0.1:
public static byte[] decode(String path, int startMs, int maxMs)
throws IOException {
ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);
float totalMs = 0;
boolean seeking = true;
File file = new File(path);
InputStream inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
try {
Bitstream bitstream = new Bitstream(inputStream);
Decoder decoder = new Decoder();
boolean done = false;
while (! done) {
Header frameHeader = bitstream.readFrame();
if (frameHeader == null) {
done = true;
} else {
totalMs += frameHeader.ms_per_frame();
if (totalMs >= startMs) {
seeking = false;
}
if (!seeking) {
SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);
if (output.getSampleFrequency() != 44100
|| output.getChannelCount() != 2) {
Log.w("ERROR", "mono or non-44100 MP3 not supported");
}
short[] pcm = output.getBuffer();
for (short s : pcm) {
outStream.write(s & 0xff);
outStream.write((s >> 8) & 0xff);
}
}
if (totalMs >= (startMs + maxMs)) {
done = true;
}
}
bitstream.closeFrame();
}
} catch (BitstreamException e) {
throw new IOException("Bitstream error: " + e);
} catch (DecoderException e) {
Log.w("ERROR", "Decoder error", e);
} finally {
inputStream.close();
}
return outStream.toByteArray();
}
我认为解码函数不是问题，因为返回的 byte[] 似乎相当不错。也许以后可以优化阅读过程，当我真正流式传输音频并总是阅读大约 10 毫秒的部分时，总是打开和关闭文件可能是个问题。
结果的根本原因是：您使用 decode() 函数的方式不是专门设计的。尽管看起来 decode() 可以让您以随机访问的方式解码 .mp3 流的任何部分，但实际上返回音频的前几毫秒 总是静音 ，无论您是从歌曲的开头还是中间开始。这种沉默导致 "gaps"。显然 decode() 功能更多的是为了 在随机位置重新开始 播放，例如由于用户 "seek".
decode() 之所以如此，是因为为了解码第 N 个压缩数据块，解码器需要块 N-1 和 块 N。解压缩与块 N 对应的数据将是好的，但块 N-1 的数据将具有这种 "fade in" 声音。这是 .mp3 解码器的一般特征，我知道它也适用于 AAC。同时，解码块 N+1、N+2、N+3 等是没有问题的，因为在每种情况下，解码器都已经有了前一个块。
一种解决方案是更改 decode() 函数：
private Decoder decoder;
private float totalMs;
private Bitstream bitstream;
private InputStream inputStream;
//call this once, when it is time to start a new song:
private void startNewSong(String path) throws IOException
{
decoder = new Decoder();
totalMs = 0;
File file = new File(path);
inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
bitstream = new Bitstream(inputStream);
}
private byte[] decode(String path, int startMs, int maxMs)
throws IOException {
ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);
try {
boolean done = false;
while (! done) {
Header frameHeader = bitstream.readFrame();
if (frameHeader == null) {
done = true;
inputStream.close(); //Note this change. Now, the song is done. You can also clean up the decoder here.
} else {
totalMs += frameHeader.ms_per_frame();
SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);
if (output.getSampleFrequency() != 44100
|| output.getChannelCount() != 2) {
Log.w("ERROR", "mono or non-44100 MP3 not supported");
}
short[] pcm = output.getBuffer();
for (short s : pcm) {
outStream.write(s & 0xff);
outStream.write((s >> 8) & 0xff);
}
if (totalMs >= (startMs + maxMs)) {
done = true;
}
}
bitstream.closeFrame();
}
} catch (BitstreamException e) {
throw new IOException("Bitstream error: " + e);
} catch (DecoderException e) {
Log.w("ERROR", "Decoder error", e);
}
return outStream.toByteArray();
}
该代码有点粗糙且准备就绪，需要一些改进。但是一般的方法是，decode() 每次使用 FSM 来解码更多的歌曲，而不是随机访问；多读一点文件，再发送几个块给解码器。因为解码器（和 bitstream）状态在每次调用 decode() 之间被保留，所以没有必要去寻找块 N-1。
UDP 和流媒体
UDP 方法的有效性取决于很多因素。您可能想寻找其他特别解决该问题的问题。 UDP 可以方便地向给定子网上的多个设备广播，但它无法帮助您确保按顺序接收数据包，或者根本无法确保接收到数据包。您可能需要 TCP。还要考虑是否要传输编码的 .mp3 块（由 bitstream.readFrame() 返回的块）或解压缩的音频块。还要考虑如何处理网络延迟、连接断开和缓冲。这里有许多困难的设计决定，每个选择都有利有弊。祝你好运。
我的主要目标是能够将音频从一台设备流式传输到局域网中的另一台设备。我计划通过将 mp3 文件读入字节 []（我已经开始工作）并将其作为 udp 数据包发送到第二个设备并在那里播放（我告诉你这个以防万一这已经是错误的方法）。我目前坚持播放我的字节数组。我使用 mp3 中的 decoder(path, startMs, durationMs) 函数读取我的文件。目前我能够听到音频，但在每次滴答声后（这是我阅读文件的部分）我在几毫秒内什么都听不到，这导致了糟糕的聆听体验。我认为这与 Buffer-Size 有关并尝试使用它，但这并没有真正改变什么，以及添加 AudioTrack.WRITE_NON_BLOCKING。我还考虑过将每个 for() 循环放在不同的线程中，但这根本不起作用（这是有道理的）。我也已经尝试先读取文件并将我的 byte[] 放在 Arraylist 中，因为这可能是文件读取速度慢导致的问题，但仍然是相同的体验。了解 Log.e("DEBUG", "Length " + data.length); 仅在每个刻度显示，这也意味着写入也仅在每个刻度发生（这可能是问题所在）。我怎样才能去掉歌曲中的这些空白部分？
这是我在单击按钮时执行的代码：
song.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
Thread thrd = new Thread(new Runnable() {
@Override
public void run() {
try {
int tick = 1000;
int max = 9000;
int sampleRate = 44100;
int bufSize = AudioTrack.getMinBufferSize(sampleRate*4, AudioFormat.CHANNEL_OUT_STEREO, AudioFormat.ENCODING_PCM_16BIT);
byte[] data = decode(path, 0, tick);
AudioTrack track = new AudioTrack(AudioManager.STREAM_MUSIC,
44100, AudioFormat.CHANNEL_OUT_STEREO,
AudioFormat.ENCODING_PCM_16BIT, bufSize,
AudioTrack.MODE_STREAM, AudioTrack.WRITE_NON_BLOCKING);
track.play();
track.write(data, 0, data.length);
Log.e("DEBUG", "Length " + data.length);
for(int i = tick; i < max; i+=tick) {
data = decode(path, i, tick);
track.write(data, 0, data.length);
Log.e("DEBUG", "Length " + data.length);
}
} catch (IOException e) {
e.printStackTrace();
}
}
});
thrd.start();
}
});
我的 decode()-函数（基于 this tutorial）与 JLayer 1.0.1:
public static byte[] decode(String path, int startMs, int maxMs)
throws IOException {
ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);
float totalMs = 0;
boolean seeking = true;
File file = new File(path);
InputStream inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
try {
Bitstream bitstream = new Bitstream(inputStream);
Decoder decoder = new Decoder();
boolean done = false;
while (! done) {
Header frameHeader = bitstream.readFrame();
if (frameHeader == null) {
done = true;
} else {
totalMs += frameHeader.ms_per_frame();
if (totalMs >= startMs) {
seeking = false;
}
if (!seeking) {
SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);
if (output.getSampleFrequency() != 44100
|| output.getChannelCount() != 2) {
Log.w("ERROR", "mono or non-44100 MP3 not supported");
}
short[] pcm = output.getBuffer();
for (short s : pcm) {
outStream.write(s & 0xff);
outStream.write((s >> 8) & 0xff);
}
}
if (totalMs >= (startMs + maxMs)) {
done = true;
}
}
bitstream.closeFrame();
}
} catch (BitstreamException e) {
throw new IOException("Bitstream error: " + e);
} catch (DecoderException e) {
Log.w("ERROR", "Decoder error", e);
} finally {
inputStream.close();
}
return outStream.toByteArray();
}
我认为解码函数不是问题，因为返回的 byte[] 似乎相当不错。也许以后可以优化阅读过程，当我真正流式传输音频并总是阅读大约 10 毫秒的部分时，总是打开和关闭文件可能是个问题。
结果的根本原因是：您使用 decode() 函数的方式不是专门设计的。尽管看起来 decode() 可以让您以随机访问的方式解码 .mp3 流的任何部分，但实际上返回音频的前几毫秒 总是静音 ，无论您是从歌曲的开头还是中间开始。这种沉默导致 "gaps"。显然 decode() 功能更多的是为了 在随机位置重新开始 播放，例如由于用户 "seek".
decode() 之所以如此，是因为为了解码第 N 个压缩数据块，解码器需要块 N-1 和 块 N。解压缩与块 N 对应的数据将是好的，但块 N-1 的数据将具有这种 "fade in" 声音。这是 .mp3 解码器的一般特征，我知道它也适用于 AAC。同时，解码块 N+1、N+2、N+3 等是没有问题的，因为在每种情况下，解码器都已经有了前一个块。
一种解决方案是更改 decode() 函数：
private Decoder decoder;
private float totalMs;
private Bitstream bitstream;
private InputStream inputStream;
//call this once, when it is time to start a new song:
private void startNewSong(String path) throws IOException
{
decoder = new Decoder();
totalMs = 0;
File file = new File(path);
inputStream = new BufferedInputStream(new FileInputStream(file), 8 * 1024);
bitstream = new Bitstream(inputStream);
}
private byte[] decode(String path, int startMs, int maxMs)
throws IOException {
ByteArrayOutputStream outStream = new ByteArrayOutputStream(1024);
try {
boolean done = false;
while (! done) {
Header frameHeader = bitstream.readFrame();
if (frameHeader == null) {
done = true;
inputStream.close(); //Note this change. Now, the song is done. You can also clean up the decoder here.
} else {
totalMs += frameHeader.ms_per_frame();
SampleBuffer output = (SampleBuffer) decoder.decodeFrame(frameHeader, bitstream);
if (output.getSampleFrequency() != 44100
|| output.getChannelCount() != 2) {
Log.w("ERROR", "mono or non-44100 MP3 not supported");
}
short[] pcm = output.getBuffer();
for (short s : pcm) {
outStream.write(s & 0xff);
outStream.write((s >> 8) & 0xff);
}
if (totalMs >= (startMs + maxMs)) {
done = true;
}
}
bitstream.closeFrame();
}
} catch (BitstreamException e) {
throw new IOException("Bitstream error: " + e);
} catch (DecoderException e) {
Log.w("ERROR", "Decoder error", e);
}
return outStream.toByteArray();
}
该代码有点粗糙且准备就绪，需要一些改进。但是一般的方法是，decode() 每次使用 FSM 来解码更多的歌曲，而不是随机访问；多读一点文件，再发送几个块给解码器。因为解码器（和 bitstream）状态在每次调用 decode() 之间被保留，所以没有必要去寻找块 N-1。
UDP 和流媒体
UDP 方法的有效性取决于很多因素。您可能想寻找其他特别解决该问题的问题。 UDP 可以方便地向给定子网上的多个设备广播，但它无法帮助您确保按顺序接收数据包，或者根本无法确保接收到数据包。您可能需要 TCP。还要考虑是否要传输编码的 .mp3 块（由 bitstream.readFrame() 返回的块）或解压缩的音频块。还要考虑如何处理网络延迟、连接断开和缓冲。这里有许多困难的设计决定，每个选择都有利有弊。祝你好运。