清理格式错误的 UTF-8 数据

Question

背景

使用 Swift，我试图通过 URLSession 获取 HTML，而不是先将其加载到 WKWebView，因为我只需要 HTML 和 none 的子资源。我运行遇到某些页面的问题，这些页面在加载到 WKWebView 时可以正常工作，但是当通过 URLSession（甚至是简单的 NSString(contentsOf: url, encoding String.Encoding.utf8.rawValue)）加载时，UTF-8 转换失败.

如何重现

失败（打印 "nil"）：

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan")!, encoding: String.Encoding.utf8.rawValue))

但是把URL改成站点主页，成功了：

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp")!, encoding: String.Encoding.utf8.rawValue))

问题

如何 "clean" URL 返回的包含格式错误的 UTF-8 的数据？我想删除或替换格式错误的 UTF-8 中的任何无效序列，以便可以查看其余部分。 WKWebView 能够很好地呈现页面（并声称它也是 UTF-8 内容），您可以通过访问 URL: http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan

看到

Answer 1

这是一种从（可能）格式错误的文件中创建 String 的方法 UTF-8 数据：

将网站内容读入 Data 对象。
追加一个 0 字节使其成为 "C string"
使用String(cString:)进行转换。此初始化程序将格式错误的 UTF-8 代码单元序列替换为 Unicode 替换字符 ("\u{FFFD}")。
可选：删除所有出现的替换字符。

"cleaning" 流程示例：

var data = Data(bytes: [65, 66, 200, 67]) // malformed UTF-8

data.append(0)
let s = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in String(cString: p) }
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")

print(clean) // ABC

Swift 5:

var data = Data([65, 66, 200, 67]) // malformed UTF-8
data.append(0)
let s = data.withUnsafeBytes { p in
    String(cString: p.bindMemory(to: CChar.self).baseAddress!)
}
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")
print(clean) // ABC

当然这可以定义为自定义初始化方法：

extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in
            String(cString: p).replacingOccurrences(of: "\u{FFFD}", with: "")
        }
    }
}

Swift 5:

extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes{ p in
            String(cString: p.bindMemory(to: CChar.self).baseAddress!)
        }.replacingOccurrences(of: "\u{FFFD}", with: "")
    }
}

用法：

let data = Data(bytes: [65, 66, 200, 67])
let s = String(malformedUTF8: data) 
print(s) // ABC

使用transcode和

可以进行更多清洁"directly"

extension String {
    init(malformedUTF8 data: Data) {
        var utf16units = [UInt16]()
        utf16units.reserveCapacity(data.count) // A rough estimate

        _ = transcode(data.makeIterator(), from: UTF8.self, to: UTF16.self,
                      stoppingOnError: false) { code in
            if code != 0xFFFD {
                utf16units.append(code)
            }
        }

        self = String(utf16CodeUnits: utf16units, count: utf16units.count)
    }
}

这基本上就是 String(cString:) 做，比较 CString.swift 和 StringCreate.swift.

另一种选择是使用 UTF8 编解码器 decode() 方法并忽略错误：

extension String {
    init(malformedUTF8 data: Data) {
        var str = ""
        var iterator = data.makeIterator()
        var utf8codec = UTF8()
        var done = false
        while !done {
            switch utf8codec.decode(&iterator) {
            case .emptyInput:
                done = true
            case let .scalarValue(val):
                str.unicodeScalars.append(val)
            case .error:
                break // ignore errors
            }
        }
        self = str
    }
}

清理格式错误的 UTF-8 数据

Cleaning malformed UTF-8 data

unicode

utf-8

nsstring

ios

swift

背景

如何重现

问题