Android 播放从 Base64 String Slow Sounds 转换而来的 PCM 字节数组
Android Play PCM byte array from Converted from Base64 String Slow Sounds
正如很长的标题所暗示的那样,我无法播放通过 PubNunb 通过网络发送的音频中的音频。我所做的是在使用以下代码从 AudioRecord 录制时发送音频:
AudioConfig audioConfig = getValidSampleRates(AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
buffer = new byte[audioConfig.getBufferSize()];
recorder = new AudioRecord(MediaRecorder.AudioSource.MIC, audioConfig.getSampleSize(), AudioFormat.CHANNEL_IN_MONO, AUDIO_FORMAT, audioConfig.getBufferSize());
当用户按住按钮时发送记录的数据:
private class RecorderRunnable implements Runnable {
@Override
public void run() {
while(mRecording) {
Log.d("RECORDER_STATE", "Recording LOOP");
recorder.read(buffer, 0, buffer.length);
String base64EncodedBuffer = Base64.encodeToString(buffer, Base64.NO_WRAP);
pubnub.publish(MainActivity.CHANNEL_ID, base64EncodedBuffer, new Callback() {
@Override
public void successCallback(String channel, Object message) {
super.successCallback(channel, message);
}
});
}
}
}
接收码:
@Override
public void successCallback(String channel, final Object message) {
byte[] decodedBase64 = Base64.decode(message.toString(), Base64.NO_WRAP);
speaker.write(decodedBase64, 0, decodedBase64.length);
}
问题:
我得到了音频,但我听到的声音真的很慢。 "Hello" 听起来像:
"Hee-*static*-ll-*static*-oo"
为了排除可能的原因,我试过立即像这样播放音频(没有网络):
while(mRecording) {
Log.d("RECORDER_STATE", "Recording LOOP");
recorder.read(buffer, 0, buffer.length);
String base64EncodedBuffer = Base64.encodeToString(buffer, Base64.NO_WRAP);
byte[] decodedBase64 = Base64.decode(base64EncodedBuffer, Base64.NO_WRAP);
speaker.write(decodedBase64, 0, decodedBase64.length);
}
(注意:我故意转换为 base64 并返回字节数组。)
上面的代码(录制后直接播放)效果不错。所以我想知道在通过网络处理它时我做错了什么。
如有任何建议,我们将不胜感激。谢谢你。
编辑:2015 年 8 月 28 日
找到了对此 的一个很好的解释。但现在的问题是,使用我当前的实现处理网络 jitter/buffering 和数据包丢失的最佳方法是什么。
pubnub 通过 tcp (not udp) 传送数据。
http://www.pubnub.com/knowledge-base/discussion/263/does-pubnub-support-the-udp-protocol
您的应用程序中应该不需要处理数据包丢失。
您可能需要通过创建某种缓冲区来处理抖动。由于没有严格的实时约束,我将讨论一种方法而不是粘贴代码。
您可以使用队列创建缓冲区。我建议有两个线程。一份给您的 reader(您的播放器),一份给作者(网络流)。让写入器在让 reader 读取之前排队一些数据(可能是几秒钟的数据)。在纸面上,通过一个非常简单的概念证明,您不应该遇到同时读写的问题,因为写入者正在写入队列的末尾,而 reader 在队列的开头读取。
把它想象成一个半满的水桶。你把水倒进去,让水以同样的速度流出。
正如很长的标题所暗示的那样,我无法播放通过 PubNunb 通过网络发送的音频中的音频。我所做的是在使用以下代码从 AudioRecord 录制时发送音频:
AudioConfig audioConfig = getValidSampleRates(AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
buffer = new byte[audioConfig.getBufferSize()];
recorder = new AudioRecord(MediaRecorder.AudioSource.MIC, audioConfig.getSampleSize(), AudioFormat.CHANNEL_IN_MONO, AUDIO_FORMAT, audioConfig.getBufferSize());
当用户按住按钮时发送记录的数据:
private class RecorderRunnable implements Runnable {
@Override
public void run() {
while(mRecording) {
Log.d("RECORDER_STATE", "Recording LOOP");
recorder.read(buffer, 0, buffer.length);
String base64EncodedBuffer = Base64.encodeToString(buffer, Base64.NO_WRAP);
pubnub.publish(MainActivity.CHANNEL_ID, base64EncodedBuffer, new Callback() {
@Override
public void successCallback(String channel, Object message) {
super.successCallback(channel, message);
}
});
}
}
}
接收码:
@Override
public void successCallback(String channel, final Object message) {
byte[] decodedBase64 = Base64.decode(message.toString(), Base64.NO_WRAP);
speaker.write(decodedBase64, 0, decodedBase64.length);
}
问题: 我得到了音频,但我听到的声音真的很慢。 "Hello" 听起来像: "Hee-*static*-ll-*static*-oo"
为了排除可能的原因,我试过立即像这样播放音频(没有网络):
while(mRecording) {
Log.d("RECORDER_STATE", "Recording LOOP");
recorder.read(buffer, 0, buffer.length);
String base64EncodedBuffer = Base64.encodeToString(buffer, Base64.NO_WRAP);
byte[] decodedBase64 = Base64.decode(base64EncodedBuffer, Base64.NO_WRAP);
speaker.write(decodedBase64, 0, decodedBase64.length);
}
(注意:我故意转换为 base64 并返回字节数组。)
上面的代码(录制后直接播放)效果不错。所以我想知道在通过网络处理它时我做错了什么。
如有任何建议,我们将不胜感激。谢谢你。
编辑:2015 年 8 月 28 日
找到了对此
pubnub 通过 tcp (not udp) 传送数据。 http://www.pubnub.com/knowledge-base/discussion/263/does-pubnub-support-the-udp-protocol
您的应用程序中应该不需要处理数据包丢失。
您可能需要通过创建某种缓冲区来处理抖动。由于没有严格的实时约束,我将讨论一种方法而不是粘贴代码。
您可以使用队列创建缓冲区。我建议有两个线程。一份给您的 reader(您的播放器),一份给作者(网络流)。让写入器在让 reader 读取之前排队一些数据(可能是几秒钟的数据)。在纸面上,通过一个非常简单的概念证明,您不应该遇到同时读写的问题,因为写入者正在写入队列的末尾,而 reader 在队列的开头读取。
把它想象成一个半满的水桶。你把水倒进去,让水以同样的速度流出。