iOS coreML

之前一直被各种事缠着，今天终于静下心来学习了苹果的Core ML 。

WWDC2017，苹果推出了Core ML, 初入IOS开发，硬生生看完了苹果关于Core ML的介绍视频

被视频中的那个识别图片Demo吸引住，就去苹果官网https://developer.apple.com/machine-learning/下载了第四个机器学习模型VGG16。

在Xcode -beta中新建一个项目MyCoreMLDemo,把下载好的模型直接拖入项目中。

在这里说一下自己对机器学习模型的理解：我们可以把训练好的模型看作一个函数，关注模型的输入参数类型和输出参数类型。

VGG16的输入参数类型：image. ----一张224*224的图片(这个要特别注意，不然会报错：

Input image feature image does not match model description);

输出类型：classLabelProbsDictionary 和 classLable String

只要简单的三行代码，我们就可以使用VGG16模型：

一、建立模型对象

let model = VGG16.init()

二、输入数据

三、输出预测

研究VGG16的代码后发现，VGG16提供一个接口：

func prediction(image: CVPixelBuffer) throws -> VGG16Output {

let input_ = VGG16Input(image: image)

return try self.prediction(input: input_)

}

这个函数封装了输入，并返回预测结果。这样更简便，像这样调用：

let outPut = try? model.prediction(image: buffer(from: imageView.image!)!)

但要注意的是，输入参数类型为 CVPixeBuffer(像素数据),而我提供的是照片，因此需要将图片转换成像素数据,google了一下，找到了下面的转换函数：

func buffer(from image: UIImage) -> CVPixelBuffer? {

let attrs = [kCVPixelBufferCGImageCompatibilityKey: kCFBooleanTrue, kCVPixelBufferCGBitmapContextCompatibilityKey: kCFBooleanTrue] as CFDictionary

var pixelBuffer : CVPixelBuffer?

let status = CVPixelBufferCreate(kCFAllocatorDefault, Int(image.size.width), Int(image.size.height), kCVPixelFormatType_32ARGB, attrs, &pixelBuffer)

guard (status == kCVReturnSuccess) else {

return nil

}

CVPixelBufferLockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))

let pixelData = CVPixelBufferGetBaseAddress(pixelBuffer!)

let rgbColorSpace = CGColorSpaceCreateDeviceRGB()

let context = CGContext(data: pixelData, width: Int(image.size.width), height: Int(image.size.height), bitsPerComponent: 8, bytesPerRow: CVPixelBufferGetBytesPerRow(pixelBuffer!), space: rgbColorSpace, bitmapInfo: CGImageAlphaInfo.noneSkipFirst.rawValue)

context?.translateBy(x: 0, y: image.size.height)

context?.scaleBy(x: 1.0, y: -1.0)

UIGraphicsPushContext(context!)

image.draw(in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height))

UIGraphicsPopContext()

CVPixelBufferUnlockBaseAddress(pixelBuffer!, CVPixelBufferLockFlags(rawValue: 0))

return pixelBuffer

}

(得找个时间研究一下)

这样就可以玩玩VGG16了。