将从 android 设备接收到的数据输出为声音
Outputting data recieved from an android device as sound
目标： 我有一个小的 android 应用程序 运行，它通过麦克风接受输入并实时回传 - 我我正在尝试修改它，以便将数据流式传输到我 PC 上的 java 服务器。
问题： 我得到的只是一遍又一遍的"tappy"噪音，或者连续的"beep"声音（两种噪音会根据我读取服务器端数据的方式而变化。 PC 没有声音。我意识到这很可能与我播放声音的方式有关，因为在 android 设备上它能够准确地播放自己的声音。
代码：
在客户端和服务器端都只有一个 class.
服务器如何接收和尝试播放数据：
public static void main(String[] args) {
try {
ServerSocket x = new ServerSocket(6790);
try {
while (true) {
System.out.println("started");
Socket clientSocket = x.accept();
System.out.println("Connected" + clientSocket.getInetAddress());
InputStream y = clientSocket.getInputStream();
// ObjectInputStream in = new ObjectInputStream(y);
AudioFormat format = new AudioFormat(8000, 16, 1, true, true);
AudioInputStream audIn = new AudioInputStream(y, format, 1);
SourceDataLine speakers;
try {
byte[] data = new byte[32];
int numBytesRead;
int CHUNK_SIZE = 1024;
int bytesRead = 0;
DataLine.Info dataLineInfo = new DataLine.Info(SourceDataLine.class, format);
speakers = (SourceDataLine) AudioSystem.getLine(dataLineInfo);
speakers.open(format);
speakers.start();
while (bytesRead < 100000) {
numBytesRead = audIn.read(data, 0, 16); //y.read(data, 0, 16);
bytesRead += numBytesRead;
System.out.println(numBytesRead);
//for immediate playback
if (numBytesRead > 0) {
speakers.write(data, 0, 16);
System.out.println("writing data");
}
}
speakers.drain();
speakers.close();
} catch (LineUnavailableException e) {
e.printStackTrace();
}
}
} catch (Exception e1) {
e1.printStackTrace();
}
} catch (Exception e) {
e.printStackTrace();
}
}
我如何从客户端记录和发送：
public void run() {
try {
Log.i("Audio", "Running Audio Thread");
AudioRecord recorder = null;
AudioTrack track = null;
ObjectOutputStream out = new ObjectOutputStream(x.getOutputStream());
short[][] buffers = new short[256][160];
int ix = 0;
/*
* Initialize buffer to hold continuously recorded audio data, start recording, and start
* playback.
*/
int N = AudioRecord.getMinBufferSize(8000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
recorder = new AudioRecord(AudioSource.MIC, 8000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, N * 1);
track = new AudioTrack(AudioManager.STREAM_MUSIC, 8000, AudioFormat.CHANNEL_OUT_MONO, AudioFormat.ENCODING_PCM_16BIT, N * 1,
AudioTrack.MODE_STREAM);
recorder.startRecording();
track.play();
/*
* Loops until something outside of this thread stops it.
* Reads the data from the recorder and writes it to the audio track for playback.
*/
while (!stopped) {
Log.i("Map", "Writing new data to buffer");
short[] buffer = buffers[ix++ % buffers.length];
N = recorder.read(buffer, 0, buffer.length);
// ensure endianess
ByteBuffer bb = ByteBuffer.allocate(buffer.length * 2);
bb.order(ByteOrder.LITTLE_ENDIAN);
bb.asShortBuffer().put(buffer);
byte[] byteBuffer = bb.array();
track.write(buffer, 0, buffer.length);
out.write(byteBuffer);
}
/*
* Frees the thread's resources after the loop completes so that it can be run again
*/
recorder.stop();
recorder.release();
track.stop();
track.release();
Log.d("Exit", "Exiting thread");
} catch (Throwable x) {
Log.w("Audio", "Error reading voice audio", x);
}
}
我非常清楚 UDP 通常用于语音流，但这是唯一接近工作的代码集。在以前的版本中，我尝试过使用诸如 RTP 和 WebRTC 之类的东西，以及多个库，这是我能够获得 "live" 播放的唯一版本。
我已经尝试了很多不同的方法，例如使用 Clip 和 ObjectInputStream，但似乎没有任何效果。在这个版本中，我通过 ObjectOutputStream byte[] 通过 OutputStream 发送 short[]，并通过 AudioInputStream 读取，但我愿意发送和读取任何类型的数据只要它有效。我已经尝试将 short[] 转换为 byte[] 并播放它，但它似乎没有帮助。
错误：
不会报告任何实际错误（因为没有抛出异常）。 LogCat. 也没有任何问题（这不再正确；有关更多详细信息，请参阅编辑）
请注意，格式的唯一工作配置是：
AudioFormat format = new AudioFormat(8000, 16, 1, true, true); //louder
AudioFormat format = new AudioFormat(8000, 16, 1, true, false); //quieter
另外2种signed/unsigned + endian的组合抛出异常
我还可以确认数据实际上是通过连接发送的 - 我使用 wireshark 进入它，我可以清楚地看到源和目标，以及正在发送的数据。我肯定会发送到正确的端口。
如果需要更多代码，请询问，我会编辑并上传。
TLDR；如何播放从 android 设备发送到计算机 运行 和 java 服务器的声音？
编辑： 经过进一步调查和一些代码修改，声音仍然没有播放，但我发现了一些新问题。 Logcat 现在抛出异常，服务器不断读取流结束信号 (-1)。我通过将其打印到屏幕上来确认它。
LogCat 错误：
03-04 10:28:47.496: W/Audio(794): Error reading voice audio
03-04 10:28:47.496: W/Audio(794): java.net.SocketException: Socket closed
03-04 10:28:47.496: W/Audio(794): at libcore.io.Posix.sendtoBytes(Native Method)
03-04 10:28:47.496: W/Audio(794): at libcore.io.Posix.sendto(Posix.java:156)
03-04 10:28:47.496: W/Audio(794): at libcore.io.BlockGuardOs.sendto(BlockGuardOs.java:177)
03-04 10:28:47.496: W/Audio(794): at libcore.io.IoBridge.sendto(IoBridge.java:466)
03-04 10:28:47.496: W/Audio(794): at java.net.PlainSocketImpl.write(PlainSocketImpl.java:508)
03-04 10:28:47.496: W/Audio(794): at java.net.PlainSocketImpl.access0(PlainSocketImpl.java:46)
03-04 10:28:47.496: W/Audio(794): at java.net.PlainSocketImpl$PlainSocketOutputStream.write(PlainSocketImpl.java:270)
03-04 10:28:47.496: W/Audio(794): at java.io.OutputStream.write(OutputStream.java:82)
03-04 10:28:47.496: W/Audio(794): at com.javaorigin.rtpsender.MainActivity$Audio.run(MainActivity.java:126)
据我所知，我没有关闭与套接字或套接字本身（服务器端和客户端）相关的任何流。那么是什么导致了这个异常呢？仅当我 "stop" 录制时才会抛出此异常 - 在从 android 设备录制期间，回放工作正常。如果我删除 out.write()，我将返回接收完整的循环功能（例如，我可以对着设备说话，DEVICE 将播放它）。它还允许我在同一会话中多次 "start" 或 "stop"。不会抛出任何异常。将 out.write() 放回代码时，我无法 start/stop 多个会话。相反，在初始会话之后，抛出异常，下次我尝试 "start" 录音时，应用程序崩溃了。
乍一看，虽然我没有仔细检查您的代码或亲自尝试过您的代码，但我可以看出您正在用 ObjectOutputStream.writeObject() 编写数组，但将其作为原始字节读取。
这肯定会引起问题。 ObjectOutputStream.writeObject() 用于序列化 Java 个对象；它写入的不仅仅是原始数据，甚至是数组。它写入对象 class、签名和一些其他内容，以便它可以被另一端的 ObjectInputStream 反序列化（如果您好奇，请指定此格式 here）。
你有很多选择。我能想到的是：
不要使用 ObjectOutputStream.writeObject()。而是将原始数据直接写入套接字（具有正确的字节顺序等以匹配您的帧格式）。例如，您可以通过 ByteBuffer#asShortBuffer() 在 ByteBuffer 中缓冲您的数据（确保将字节顺序设置为匹配），然后将相应的字节数组写入套接字的输出流。这将是开销最低的方法。
创建一些 Serializable class 来保存您的短缓冲区作为成员。用 ObjectOutputStream 写入它并在另一端用 ObjectInputStream 读取它（您需要在客户端和服务器中使用相同的 class ）。不过，它不会像前面的选项那样直接用 AudioInputStream 读取。
您或许还能想到其他选择。如果 ByteBuffer 太难在你的代码中工作，那么你可以将每个 short 单独写成一对字节；相同的最终效果（请注意 ShortBuffer.array() 将允许您将缓冲区作为 short[] 访问，这可能有助于简化集成）。
将数据传输方法从 ObjectOutputStream 更改为使用 ByteBuffer 和普通流后（根据 Jason C 的回答中的建议），声音播放仍然没有变化。
如何解决声音的实际播放：
注意AudioInputStream audIn = new AudioInputStream(y, format, 1);中的最后一个参数是1；这意味着它只会读取 1 个样本帧的长度。 通过增加这个值，我能够开始实际播放声音。 （我通过将 audIn 的声明更改为 AudioInputStream audIn = new AudioInputStream(y, format, Integer.MAX_VALUE);
进行测试
我怀疑可以确认这仍然有长度限制。因此，解决方案是使它成为 "continuous stream" 而不是受长度限制的变通方法。有关如何制作连续流的更可靠的解决方案，请参阅 Java Length Unlimited AudioInputStream。
目标： 我有一个小的 android 应用程序 运行，它通过麦克风接受输入并实时回传 - 我我正在尝试修改它，以便将数据流式传输到我 PC 上的 java 服务器。
问题： 我得到的只是一遍又一遍的"tappy"噪音，或者连续的"beep"声音（两种噪音会根据我读取服务器端数据的方式而变化。 PC 没有声音。我意识到这很可能与我播放声音的方式有关，因为在 android 设备上它能够准确地播放自己的声音。
代码： 在客户端和服务器端都只有一个 class.
服务器如何接收和尝试播放数据：
public static void main(String[] args) {
try {
ServerSocket x = new ServerSocket(6790);
try {
while (true) {
System.out.println("started");
Socket clientSocket = x.accept();
System.out.println("Connected" + clientSocket.getInetAddress());
InputStream y = clientSocket.getInputStream();
// ObjectInputStream in = new ObjectInputStream(y);
AudioFormat format = new AudioFormat(8000, 16, 1, true, true);
AudioInputStream audIn = new AudioInputStream(y, format, 1);
SourceDataLine speakers;
try {
byte[] data = new byte[32];
int numBytesRead;
int CHUNK_SIZE = 1024;
int bytesRead = 0;
DataLine.Info dataLineInfo = new DataLine.Info(SourceDataLine.class, format);
speakers = (SourceDataLine) AudioSystem.getLine(dataLineInfo);
speakers.open(format);
speakers.start();
while (bytesRead < 100000) {
numBytesRead = audIn.read(data, 0, 16); //y.read(data, 0, 16);
bytesRead += numBytesRead;
System.out.println(numBytesRead);
//for immediate playback
if (numBytesRead > 0) {
speakers.write(data, 0, 16);
System.out.println("writing data");
}
}
speakers.drain();
speakers.close();
} catch (LineUnavailableException e) {
e.printStackTrace();
}
}
} catch (Exception e1) {
e1.printStackTrace();
}
} catch (Exception e) {
e.printStackTrace();
}
}
我如何从客户端记录和发送：
public void run() {
try {
Log.i("Audio", "Running Audio Thread");
AudioRecord recorder = null;
AudioTrack track = null;
ObjectOutputStream out = new ObjectOutputStream(x.getOutputStream());
short[][] buffers = new short[256][160];
int ix = 0;
/*
* Initialize buffer to hold continuously recorded audio data, start recording, and start
* playback.
*/
int N = AudioRecord.getMinBufferSize(8000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
recorder = new AudioRecord(AudioSource.MIC, 8000, AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, N * 1);
track = new AudioTrack(AudioManager.STREAM_MUSIC, 8000, AudioFormat.CHANNEL_OUT_MONO, AudioFormat.ENCODING_PCM_16BIT, N * 1,
AudioTrack.MODE_STREAM);
recorder.startRecording();
track.play();
/*
* Loops until something outside of this thread stops it.
* Reads the data from the recorder and writes it to the audio track for playback.
*/
while (!stopped) {
Log.i("Map", "Writing new data to buffer");
short[] buffer = buffers[ix++ % buffers.length];
N = recorder.read(buffer, 0, buffer.length);
// ensure endianess
ByteBuffer bb = ByteBuffer.allocate(buffer.length * 2);
bb.order(ByteOrder.LITTLE_ENDIAN);
bb.asShortBuffer().put(buffer);
byte[] byteBuffer = bb.array();
track.write(buffer, 0, buffer.length);
out.write(byteBuffer);
}
/*
* Frees the thread's resources after the loop completes so that it can be run again
*/
recorder.stop();
recorder.release();
track.stop();
track.release();
Log.d("Exit", "Exiting thread");
} catch (Throwable x) {
Log.w("Audio", "Error reading voice audio", x);
}
}
我非常清楚 UDP 通常用于语音流，但这是唯一接近工作的代码集。在以前的版本中，我尝试过使用诸如 RTP 和 WebRTC 之类的东西，以及多个库，这是我能够获得 "live" 播放的唯一版本。
我已经尝试了很多不同的方法，例如使用 Clip 和 ObjectInputStream，但似乎没有任何效果。在这个版本中，我通过 ObjectOutputStream byte[] 通过 OutputStream 发送 short[]，并通过 AudioInputStream 读取，但我愿意发送和读取任何类型的数据只要它有效。我已经尝试将 short[] 转换为 byte[] 并播放它，但它似乎没有帮助。
错误：
不会报告任何实际错误（因为没有抛出异常）。 LogCat. 也没有任何问题（这不再正确；有关更多详细信息，请参阅编辑）
请注意，格式的唯一工作配置是：
AudioFormat format = new AudioFormat(8000, 16, 1, true, true); //louder
AudioFormat format = new AudioFormat(8000, 16, 1, true, false); //quieter
另外2种signed/unsigned + endian的组合抛出异常
我还可以确认数据实际上是通过连接发送的 - 我使用 wireshark 进入它，我可以清楚地看到源和目标，以及正在发送的数据。我肯定会发送到正确的端口。
如果需要更多代码，请询问，我会编辑并上传。
TLDR；如何播放从 android 设备发送到计算机 运行 和 java 服务器的声音？
编辑： 经过进一步调查和一些代码修改，声音仍然没有播放，但我发现了一些新问题。 Logcat 现在抛出异常，服务器不断读取流结束信号 (-1)。我通过将其打印到屏幕上来确认它。
LogCat 错误：
03-04 10:28:47.496: W/Audio(794): Error reading voice audio
03-04 10:28:47.496: W/Audio(794): java.net.SocketException: Socket closed
03-04 10:28:47.496: W/Audio(794): at libcore.io.Posix.sendtoBytes(Native Method)
03-04 10:28:47.496: W/Audio(794): at libcore.io.Posix.sendto(Posix.java:156)
03-04 10:28:47.496: W/Audio(794): at libcore.io.BlockGuardOs.sendto(BlockGuardOs.java:177)
03-04 10:28:47.496: W/Audio(794): at libcore.io.IoBridge.sendto(IoBridge.java:466)
03-04 10:28:47.496: W/Audio(794): at java.net.PlainSocketImpl.write(PlainSocketImpl.java:508)
03-04 10:28:47.496: W/Audio(794): at java.net.PlainSocketImpl.access0(PlainSocketImpl.java:46)
03-04 10:28:47.496: W/Audio(794): at java.net.PlainSocketImpl$PlainSocketOutputStream.write(PlainSocketImpl.java:270)
03-04 10:28:47.496: W/Audio(794): at java.io.OutputStream.write(OutputStream.java:82)
03-04 10:28:47.496: W/Audio(794): at com.javaorigin.rtpsender.MainActivity$Audio.run(MainActivity.java:126)
据我所知，我没有关闭与套接字或套接字本身（服务器端和客户端）相关的任何流。那么是什么导致了这个异常呢？仅当我 "stop" 录制时才会抛出此异常 - 在从 android 设备录制期间，回放工作正常。如果我删除 out.write()，我将返回接收完整的循环功能（例如，我可以对着设备说话，DEVICE 将播放它）。它还允许我在同一会话中多次 "start" 或 "stop"。不会抛出任何异常。将 out.write() 放回代码时，我无法 start/stop 多个会话。相反，在初始会话之后，抛出异常，下次我尝试 "start" 录音时，应用程序崩溃了。
乍一看，虽然我没有仔细检查您的代码或亲自尝试过您的代码，但我可以看出您正在用 ObjectOutputStream.writeObject() 编写数组，但将其作为原始字节读取。
这肯定会引起问题。 ObjectOutputStream.writeObject() 用于序列化 Java 个对象；它写入的不仅仅是原始数据，甚至是数组。它写入对象 class、签名和一些其他内容，以便它可以被另一端的 ObjectInputStream 反序列化（如果您好奇，请指定此格式 here）。
你有很多选择。我能想到的是：
不要使用
ObjectOutputStream.writeObject()。而是将原始数据直接写入套接字（具有正确的字节顺序等以匹配您的帧格式）。例如，您可以通过ByteBuffer#asShortBuffer()在ByteBuffer中缓冲您的数据（确保将字节顺序设置为匹配），然后将相应的字节数组写入套接字的输出流。这将是开销最低的方法。创建一些
Serializableclass 来保存您的短缓冲区作为成员。用ObjectOutputStream写入它并在另一端用ObjectInputStream读取它（您需要在客户端和服务器中使用相同的 class ）。不过，它不会像前面的选项那样直接用AudioInputStream读取。
您或许还能想到其他选择。如果 ByteBuffer 太难在你的代码中工作，那么你可以将每个 short 单独写成一对字节；相同的最终效果（请注意 ShortBuffer.array() 将允许您将缓冲区作为 short[] 访问，这可能有助于简化集成）。
将数据传输方法从 ObjectOutputStream 更改为使用 ByteBuffer 和普通流后（根据 Jason C 的回答中的建议），声音播放仍然没有变化。
如何解决声音的实际播放：
注意AudioInputStream audIn = new AudioInputStream(y, format, 1);中的最后一个参数是1；这意味着它只会读取 1 个样本帧的长度。 通过增加这个值，我能够开始实际播放声音。 （我通过将 audIn 的声明更改为 AudioInputStream audIn = new AudioInputStream(y, format, Integer.MAX_VALUE);
我怀疑可以确认这仍然有长度限制。因此，解决方案是使它成为 "continuous stream" 而不是受长度限制的变通方法。有关如何制作连续流的更可靠的解决方案，请参阅 Java Length Unlimited AudioInputStream。