欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

如何使用C#将Tensorflow训练的.pb文件用在生产环境详解

程序员文章站 2023-12-04 16:29:10
前言 tensorflow是google开源的一款人工智能学习系统。为什么叫这个名字呢?tensor的意思是张量,代表n维数组;flow的意思是流,代表基于数据流图的计算...

前言

tensorflow是google开源的一款人工智能学习系统。为什么叫这个名字呢?tensor的意思是张量,代表n维数组;flow的意思是流,代表基于数据流图的计算。把n维数字从流图的一端流动到另一端的过程,就是人工智能神经网络进行分析和处理的过程。

训练了很久的tf模型,终于要到生产环境中去考研一番了。今天花费了一些时间去研究tf的模型如何在生产环境中去使用。大概整理了这些方法。

继续使用分步骤保存了的ckpt文件

这个貌似脱离不了tensorflow框架,而且生成的ckpt文件比较大,发布到生产环境的时候,还得把python的算法文件一起搞上去,如何和其他程序交互,可能还得自己去写服务。估计很少有人这么做,貌似性能也很一般。

使用tensorflow serving

tf serving貌似是大家都比较推崇的方法。需要编译tfserving,然后把模型导出来。直接执行tf serving的进程,就可以对外提供服务了。具体调用的时候,还得自己写客户端,使用人grpc去调用serving,然后再对外提供服务,听上去比较麻烦。而且我今天没太多的时间去研究grpc,网络上关于客户端很多都是用python写的,我感觉自己的python水平比较菜,没信心能写好。所以这个方式就先没研究。

生产.pb文件,然后写程序去调用.pb文件

生成了.pb文件以后,就可以被程序去直接调用,传入参数,然后就可以传出来参数,而且生成的.pb文件非常的小。而我又有比较丰富的.net开发经验。在想,是否可以用c#来解析.pb文件,然后做一个.net core的对外服务的api,这样貌似更加高效,关键是自己熟悉这款的开发,不用花费太多的时间去摸索。、

具体的思路

使用.net下面的tensorflow框架tensorflowsharp(貌似还是没脱离了框架).去调用pb文件,然后做成.net core web api 对外提供服务。

具体的实现

直接上代码,非常简单,本身设计到tensorflowsharp的地方非常的少

var graph = new tfgraph();
//重点是下面的这句,把训练好的pb文件给读出来字节,然后导入
var model = file.readallbytes(model_file);
graph.import(model);

console.writeline("请输入一个图片的地址");
var src = console.readline();
var tensor = imageutil.createtensorfromimagefile(src);

using (var sess = new tfsession(graph))
{
var runner = sess.getrunner();
runner.addinput(graph["cast_1"][0], tensor);
var r = runner.run(graph.softmax(graph["softmax_linear/softmax_linear"][0]));
var v = (float[,])r.getvalue();
console.writeline(v[0,0]);
console.writeline(v[0, 1]);
}

imageutil这个类库是tensorflowsharp官方的例子中一个把图片转成tensor的类库,我直接copy过来了,根据我的网络,修改了几个参数。

public static class imageutil
{
public static tftensor createtensorfromimagefile(byte[] contents, tfdatatype destinationdatatype = tfdatatype.float)
{
var tensor = tftensor.createstring(contents);

tfoutput input, output;

// construct a graph to normalize the image
using (var graph = constructgraphtonormalizeimage(out input, out output, destinationdatatype))
{
// execute that graph to normalize this one image
using (var session = new tfsession(graph))
{
var normalized = session.run(
inputs: new[] { input },
inputvalues: new[] { tensor },
outputs: new[] { output });

return normalized[0];
}
}
}
// convert the image in filename to a tensor suitable as input to the inception model.
public static tftensor createtensorfromimagefile(string file, tfdatatype destinationdatatype = tfdatatype.float)
{
var contents = file.readallbytes(file);

// decodejpeg uses a scalar string-valued tensor as input.
var tensor = tftensor.createstring(contents);

tfoutput input, output;

// construct a graph to normalize the image
using (var graph = constructgraphtonormalizeimage(out input, out output, destinationdatatype))
{
// execute that graph to normalize this one image
using (var session = new tfsession(graph))
{
var normalized = session.run(
inputs: new[] { input },
inputvalues: new[] { tensor },
outputs: new[] { output });

return normalized[0];
}
}
}

// the inception model takes as input the image described by a tensor in a very
// specific normalized format (a particular image size, shape of the input tensor,
// normalized pixel values etc.).
//
// this function constructs a graph of tensorflow operations which takes as
// input a jpeg-encoded string and returns a tensor suitable as input to the
// inception model.
private static tfgraph constructgraphtonormalizeimage(out tfoutput input, out tfoutput output, tfdatatype destinationdatatype = tfdatatype.float)
{
// some constants specific to the pre-trained model at:
// https://storage.googleapis.com/download.tensorflow.org/models/inception5h.zip
//
// - the model was trained after with images scaled to 224x224 pixels.
// - the colors, represented as r, g, b in 1-byte each were converted to
// float using (value - mean)/scale.

const int w = 128;
const int h = 128;
const float mean = 0;
const float scale = 1f;

var graph = new tfgraph();
input = graph.placeholder(tfdatatype.string);

output = graph.cast(
graph.div(x: graph.sub(x: graph.resizebilinear(images: graph.expanddims(input: graph.cast(graph.decodejpeg(contents: input, channels: 3), dstt: tfdatatype.float),
dim: graph.const(0, "make_batch")),
size: graph.const(new int[] { w, h }, "size")),
y: graph.const(mean, "mean")),
y: graph.const(scale, "scale")), destinationdatatype);

return graph;
}
}

搞定

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对的支持。