如何将图像（UIImage）从 SWIFT ios 客户端程序发送到 JAVA 服务器程序？

Question

我的问题：

如何从 ios swift 客户端应用程序正确地转换和发送图像到 java 服务器？（不使用太多外部sdks)
在 swift 中使用哪种 类型的套接字（我是 swift 的新手，找不到任何合适的套接字套接字）？

请给我一个示例代码，因为我一点也不精通 swift 语法和库。

我的程序的预期结果 - ios swift 应用程序应该有效地连接到我的 java 服务器并将视频帧图像实时发送到它。然后图像应在 Java 服务器 machine 上转换为 bufferedImage 并作为视频播放！

关于之前提出的问题 - 我只找到一个类似的问题，但答案不是很有用。

详情

所以，我在 mac 上编写了一个 Java 服务器程序，我想添加一个功能，用户应该能够从中发送实时视频源他的 iPhone(ios 设备) 到我的 Java 服务器程序。

ios 应用程序是在 swift 中编写的 xcode。

为了做到这一点，我从 swift 程序中的视频帧中捕获 CGImage 并且将其转换为 UIImage ；然后我将这个 UIImage 转换为 byte[] 数据，如下所示：-

let cgImage:CGImage = context.createCGImage(cameraImage, from: cameraImage.extent)! //cameraImage is grabbed from video frame image = UIImage.init(cgImage: cgImage) let data = UIImageJPEGRepresentation(image, 1.0)

然后使用 SwiftSocket/TCPClient（https://github.com/swiftsocket/SwiftSocket)

client?.send(data: data!)

这里的客户端是在swiftxcode中声明的TCPClient类型的对象，像这样：(https://github.com/swiftsocket/SwiftSocket/blob/master/Sources/TCPClient.swift)

client = TCPClient(address: host, port: Int32(port)) client?.connect(timeout: 10)

连接成功，Java 服务器程序生成一个 MobileServer 线程来处理此客户端。 DataInput 和OutputStreams 使用ServerSocket 打开。这是运行() 方法 os 由 Java 服务器生成的 MobileServer 线程（其中 "in" 是从 ServerSocket 派生的 DataInputStream）

public void run() { try{ while(!stop) { int count=-1; count = in.available(); if(count>0) System.out.println("LENGTH="+count); byte[] arr=new byte[count]; System.out.println("byte="+arr); in.read(arr); BufferedImage image=null; try{ InputStream inn = new ByteArrayInputStream(arr); image = ImageIO.read(inn); inn.close(); }catch(Exception f){ f.printStackTrace();} System.out.println("IMaGE="+image); if(image!=null) appendToFile(image); } }catch(Exception l){ l.printStackTrace(); } }

问题是我的 Java 服务器正在接收一些奇怪的字节序列，这些字节序列可能无法正确转换为 BufferedImage，因此在查看存储在文件中的 "Video" 时，我只能在 iPhone 捕捉正常时看到 "image" 的细条。（基本上图像没有从 ios 应用程序正确传输到我的服务器！）

整个 Swift 程序的 viewController.swift 视频捕获源自此 github 项目 (https://github.com/FlexMonkey/LiveCameraFiltering)

编辑 - 我已经找出问题所在并将其作为答案 pos 但这仍然只是一种解决方法，因为服务器视频源仍然挂起很多，我不得不 降低图像质量swift 客户端发送的字节数据。肯定有更好的做事方式，我请求人们分享他们的知识。

Answer 1

因此，我无法找到上述问题的完整且绝对完美的解决方案，但为了任何其他 swift 可能偶然发现类似跨语言客户端-服务器程序的初学者的利益基于问题，这是我的两分钱：

上述代码中第一个也是最重要的错误是这一行：

 let data = UIImageJPEGRepresentation(image, 1.0)

1) 在这里，我通过提供 1 的压缩因子将 UIImage 编码为尽可能高的质量。正如我后来检查的那样，这导致创建了计数超过 100000 的字节数组，因此非常漂亮很难通过 TCPClient 套接字轻松快速地发送如此大的数据。

2) 即使 TCPClient socket.It 有效地发送了这么大的数组，服务器端的 Java DataInputStream 也很难一次读取完整的数据。它可能一次只读取小块数据，因此在 java 服务器端生成的图像是局部的和模糊的。

3) 这一行是另一个问题：

   count = in.available();
   if(count>0) System.out.println("LENGTH="+count);
   byte[] arr=new byte[count];
   System.out.println("byte="+arr);
   in.read(arr);

in.available() 方法可能不会 return 已发送数据的 完整长度 由客户端。这会导致读取不完整的字节数据，从而导致不完整的图像。

solution/workaround(种)

我在 swift 客户端的 UIImageJPEGRepresentation() 方法中将压缩因子降低到大约 0.000005，这导致创建长度约为 5000 的字节数组（这是可管理的）
为了避免在服务器端读取不完整数据的问题，我将字节数组转换为 base64String，然后我简单地在该字符串的末尾添加了一个终止符“%”，在服务器端将标记一个 base64 字符串的结尾。
我将服务器端的 DataInputStream/DataOutputStream 更改为 InputStreamReader/OutputStreamWriter 因为我现在正在处理 characters/string.
Java 服务器的 InputStreamReader 将一次接收一个字符并从中形成一个字符串，直到它遇到终止字符“%”，然后这个 base64string 将被转换为字节数组：
```
imageBytes=javax.xml.bind.DatatypeConverter.parseBase64Binary(str); 
//str is a String formed by concatenating characters received by the InputStreamReader 
```
这个imageBytes数组然后被转换成一个BufferedImage，然后一个接一个地绘制在面板上从而再现原始的iPhone实时视频

已修改 Swift 代码（ios 客户端）

    func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!)
{


    var cameraImage: CIImage

    var image: UIImage ;
    let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
    cameraImage = CIImage(cvPixelBuffer: pixelBuffer!)
    let context:CIContext = CIContext.init(options: nil)
    let cgImage:CGImage = context.createCGImage(cameraImage, from: cameraImage.extent)!
    image = UIImage(cgImage: cgImage)
    DispatchQueue.main.async
        {



            self.imageView.image = image //live video captured from camera streamed to the device's own UIImageView


    }





    let thumbnail = resizeImage(image: image, targetSize: CGSize.init(width: 400, height: 400)) // snapshot image from camera resized 

    let data = UIImageJPEGRepresentation(thumbnail,0.000005) //the snapshot image converted into byte data
    let base64String = data!.base64EncodedString(options: Data.Base64EncodingOptions(rawValue: 0))  
    // byte image data is encoded to a base64String

    var encodeImg=base64String.addingPercentEncoding(withAllowedCharacters:  .urlQueryAllowed  )


    encodeImg = encodeImg! + String("%") // termination char % is added at the end
    var sendData = String("0%")
    if(live)
     {
    sendData = encodeImg!
     }
    client?.send(string: sendData!) //sent as a String using TCPClient socket



}

修改了Java服务器端运行() MobileServer线程的方法class

        public void run()
        {
          try{

               boolean access_granted=false;
               while(!stop)
               {

                 char chr=(char)in.read();


                 if(chr!='%')  // read and append char by char from the InputStreamReader "in" until it encounters a '%'
                 str+=Character.toString(chr);

                 else terminate=true;

                 if(terminate)

                 {


                  if(entry)
                  {
                    int a=str.indexOf('&');
                    int b=str.indexOf('#');
                    String username=str.substring(0,a);
                    String password=str.substring((a+1),b);
                    String ip=str.substring((b+1),str.length());
                    System.out.println("IP ADDRESS: \""+ ip+"\"");
                    String usernameA[]=convertToArray(username);
                    String passwordA[]=convertToArray(password);
                    String user=decrypt(usernameA,portt);
                    String pass=decrypt(passwordA,portt);


                    boolean accessGranted=false;
                    int response=dbManager.verify_clientLogin(user,pass);

                if(response==RegisterInfo.ACCESS_GRANTED) { 
                System.out.println("access granted"); 
                 accessGranted=true;
                }
                   int retInt=-1;
                   if(accessGranted) retInt=1;

                   out.write(retInt);

                   entry=false;
                   terminate=false;


                  }
                  else
                  {
                     terminate=false;



                     try {
                  // str includes the original single base64String produced by the swift client app which is converted back to a byte array                              

  imageBytes = javax.xml.bind.DatatypeConverter.parseBase64Binary(str); 
}catch(ArrayIndexOutOfBoundsException l){ exception=true; }
str="";
                      if(!exception)
                       {


         //this byte array image data is converted to a image and played on the videoPlayer, and serial images played would be visible as a video stream
                         vidPlayer.playImage(imageBytes);

                          ioexcep=false;


                        }


                        else exception=false;



                   }
             }






         }





         }catch(Exception l){ l.printStackTrace(); }















        }

这是正在播放的视频截图：
但是如您所见，因为图像是从 swift 客户端发送的，质量很差：制作的视频质量不如 well.Plus 视频仍然挂在中间..
我相信会有更好的方法从 swift 套接字发送更高质量的图像数据，市场上所有这些视频聊天应用程序都证明了这一点，如果任何人都可以了解一下实现高清图像传输所涉及的高级方法
一种方法是在客户端和服务器端缓冲字节数据以传输和播放更高质量的jpeg数据

如何将图像（UIImage）从 SWIFT ios 客户端程序发送到 JAVA 服务器程序？

How to send an image(UIImage) from a SWIFT ios client program to a JAVA server program?

java

client-server

video-streaming

uiimagejpegrepresentation

swift