欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

DataVec/运算

程序员文章站 2022-03-01 19:12:21
...

使用

运算,就像一个函数,帮我们执行一个转换并加载数据到数据向量。运算的概念是很底层的,这意味着大多数时间你不需要关心它们。

 

加载数据到Spark如果你正在使用Apache Spark,函数将迭代数据集并加载它到一个Spark RDD里并把原始数据转换为一个Writable。

 

import org.datavec.api.writable.Writable;
import org.datavec.api.records.reader.impl.csv.CSVRecordReader;
import org.datavec.spark.transform.misc.StringToWritablesFunction;

SparkConf conf = new SparkConf();
JavaSparkContext sc = new JavaSparkContext(conf)

String customerInfoPath = new ClassPathResource("CustomerInfo.csv").getFile().getPath();
JavaRDD<List<Writable>> customerInfo = sc.textFile(customerInfoPath).map(new StringToWritablesFunction(rr));

以上代码加载一个CSV文件到一个  2D java RDD。一旦你的RDD被加载,你可以转换它,执行连接并使用缩减器以任何方式处理数据。

 

可用的运算


AggregableCheckingOp 可聚合检查运算

[源码]

Created by huitseeker on 5/8/17.


AggregableMultiOp 可聚合多运算

[源码]

 

在相同的列上以并行方式来执行一些降维运算

Created by huitseeker on 5/8/17.


ByteWritableOp

[源码]

支持转换为字节码运算

Created by huitseeker on 5/14/17.


DispatchOp

[源码]

Created by huitseeker on 5/14/17.


DispatchWithConditionOp 有条件分派运算

[源码]

 

Created by huitseeker on 5/14/17.


DoubleWritableOp

[源码]

支持转换为双精度类型运算

 

Created by huitseeker on 5/14/17.


FloatWritableOp

[源码]

支持转换为浮点类型运算

 

Created by huitseeker on 5/14/17.


IntWritableOp

[源码]

支持转换为整型运算

Created by huitseeker on 5/14/17.


LongWritableOp

[源码]

支持转换为长整型运算

 

Created by huitseeker on 5/14/17.


StringWritableOp

[源码]

 

支持转换为TextWritable运算

Created by huitseeker on 5/14/17.


CalculateSortedRank

[源码]

计算每个实例在排序之后的排名。例如,我们可能有一些数字“分数”列,并且我们想知道每个实例按列的排序。每个实例的排名将会添加到一个新的长整型列。从0开始索引;实列将有0到数据大小减一的值。当前CalculateSortedRank只能应用在一个标准的(非序列)数据上。此外当前的实现只能在一个列上排序。

 

 

transform
public Schema transform(Schema inputSchema) 
  • 参数newColumnName是新列的名称(将包括每个实例的排名)
  • 参数sortOnColumn是用来排序的列名
  • 参数comparator是用来排序实例的比较器
outputColumnName
public String outputColumnName() 

运算应用后的输出列名

  • 返回输出列名
columnName
public String columnName() 

输出列名,这通常与输入列名一样。

  • 返回输出列名

有任何问题请联系微信 

DataVec/运算
            
    
    博客分类: dl4j dl4jdeeplearning4jjava机器学习

如果您觉得我的文章给了您帮助,请为我买一杯饮料吧!以下是我的支付宝,意思一下我将非常感激!

DataVec/运算
            
    
    博客分类: dl4j dl4jdeeplearning4jjava机器学习