MaxCompute问答整理之12月 sqljava
程序员文章站
2022-07-11 08:12:36
...
问题一、MaxCompute内建日期函数，DATEPART函数命令格式为 bigint datepart(datetime date, string datepart)用于提取日期date中指定的时间单位datepart的值。DATETIME类型。如果输入为STRING类型会隐式转换为DATETIME类型后参与运算，其它类型抛异常。但是客户在使用函数的时候没有实现STRING类型隐式转换为DATETIME。报错信息：FAILED:ODPS-0130121:\[1,50\] Invalid type STRING of argument 1 for function datepart, expect DATETIME。如何解决？
打开新类型odps.sql.type.system.odps2=true时某些隐式类型转换会被禁用，包括STRING->BIGINT，STRING->DATETIME，DOUBLE->BIGINT，DECIMAL->DOUBLE，DECIMAL->BIGINT都是有精度损失或者报错的风险。这种情况可以通过cast函数做强制转换的方式来解决或者关掉新类型flag。 例如：select datepart(cast('2019-12-02 00:00:30' as datetime),'yyyy');
set odps.sql.type.system.odps2=false
问题二：MaxCompute中的数据通道Datahub 和 Tunnel 应用场景的区别是什么？
Datahub是阿里云上的实时消息队列服务，与MaxCompute紧密集成。用户可以将实时数据写入Datahub的topic，并通过Datahub的投递策略，定期将数据投递到MaxComptue表，满足实时数据准实时写入MaxCompute的需要。
Tunnel 用于批量上传数据到离线表里，适用于离线计算的场景。
可参考文档了解更多：[https://help.aliyun.com/document\_detail/51656.html](https://help.aliyun.com/document_detail/51656.html)
问题三：MaxCompute表如何设置自增序列？
可以使用ROW\_NUMBER函数去实现。例如：select ROW\_NUMBER() OVER(),\* from tablename;
可参考文档：[https://help.aliyun.com/document\_detail/34994.html](https://help.aliyun.com/document_detail/34994.html)
问题四：如何使用MaxCompute Java SDK设置SQL的Flag？
使用DataWorks或MaxCompute Console提交SQL时，通常需要设置SQL的Flag。如果需要使用MaxCompute新数据类型，通过Session级别方式开启，则需要在涉及新数据类型的SQL前加Set Flag语句：set odps.sql.type.system.odps2=true;。 使用SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL Query中执行。以Java SDK为例，设置Flag的正确方式如下。 // 构造SQLTask对象。SQLTask task = new SQLTask();task.setName("foobar");task.setQuery("select ...");// 设置flag。Map settings = new HashMap<>();settings.put("odps.sql.type.system.odps2", "true");... // 设置其它flags。task.setProperty("settings", new JSONObject(settings).toString()); // 这里是关键：将flags对应的json string设置到settings property中。Instance instance = odps.instances().create(task); // 执行。
问题五：MaxCompute SQL中运行分区表全表扫描后，为什么会费用增加？
全表扫描费用增加是因为输入量增加了，例如有一张表按时间（天）分区，存放了365个分区（365天）数据，全表扫描则输入量为365个分区的数据量，如果用分区裁剪只取某个分区（某天）数据，则输入量就只有那个分区的数据量。
问题六：MaxCompute中，select \* from sale\_detail order by region; 报错：Semantic analysis exception-ORDER BY must be used with a LIMET clause
ORDER BY 必须与limit共同使用。ORDER BY没有与limit共同使用时，报错返回。
可参考文档：[https://help.aliyun.com/document\_detail/73777.html](https://help.aliyun.com/document_detail/73777.html)
问题七：在 MaxCompute 中，一张表的分区的数量是否越多越好？
在 MaxCompute 中，一张表最多允许有 60000 个分区，同时每个分区的容量没有上限。但是分区数量过多，会导致统计和分析过程非常不方便。
MaxCompute 也会限制单个作业中最多不能超过一定数量的 instance，而作业中的 instance 和您输入的数据量和分区数量密切相关的。所以您需要根据业务需要，选择合适的分区策略。
问题八：如果一开始并没有分区字段，是否可以增加或更改分区？
您不可以在源表上直接增加或更改分区键，分区键一旦创建就不能更改。但您可以重新创建一张分区表，使用动态分区SQL把源表数据导入到新分区表。
可参考文档：[https://help.aliyun.com/document\_detail/73779.html](https://help.aliyun.com/document_detail/73779.html)
问题九：如何查看MaxCompute数据量？
1、针对全表，查看物理空间，您可以使用desc命令
2、如果要查看表的数据条数，需要使用SQL。例如select count() as cnt from iris;
问题十：在MaxCompute中，需要将一行转化为多行的时候，我们该如何解决？
Lateral View和split，explode等UDTF一起使用，它能够将一行数据拆成多行数据，并在此基础上对拆分后的数据进行聚合。
[原文链接](https://yq.aliyun.com/articles/741841?utm_content=g_1000099406)
本文为阿里云内容，未经允许不得转载。
打开新类型odps.sql.type.system.odps2=true时某些隐式类型转换会被禁用，包括STRING->BIGINT，STRING->DATETIME，DOUBLE->BIGINT，DECIMAL->DOUBLE，DECIMAL->BIGINT都是有精度损失或者报错的风险。这种情况可以通过cast函数做强制转换的方式来解决或者关掉新类型flag。 例如：select datepart(cast('2019-12-02 00:00:30' as datetime),'yyyy');
set odps.sql.type.system.odps2=false
问题二：MaxCompute中的数据通道Datahub 和 Tunnel 应用场景的区别是什么？
Datahub是阿里云上的实时消息队列服务，与MaxCompute紧密集成。用户可以将实时数据写入Datahub的topic，并通过Datahub的投递策略，定期将数据投递到MaxComptue表，满足实时数据准实时写入MaxCompute的需要。
Tunnel 用于批量上传数据到离线表里，适用于离线计算的场景。
可参考文档了解更多：[https://help.aliyun.com/document\_detail/51656.html](https://help.aliyun.com/document_detail/51656.html)
问题三：MaxCompute表如何设置自增序列？
可以使用ROW\_NUMBER函数去实现。例如：select ROW\_NUMBER() OVER(),\* from tablename;
可参考文档：[https://help.aliyun.com/document\_detail/34994.html](https://help.aliyun.com/document_detail/34994.html)
问题四：如何使用MaxCompute Java SDK设置SQL的Flag？
使用DataWorks或MaxCompute Console提交SQL时，通常需要设置SQL的Flag。如果需要使用MaxCompute新数据类型，通过Session级别方式开启，则需要在涉及新数据类型的SQL前加Set Flag语句：set odps.sql.type.system.odps2=true;。 使用SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL Query中执行。以Java SDK为例，设置Flag的正确方式如下。 // 构造SQLTask对象。SQLTask task = new SQLTask();task.setName("foobar");task.setQuery("select ...");// 设置flag。Map settings = new HashMap<>();settings.put("odps.sql.type.system.odps2", "true");... // 设置其它flags。task.setProperty("settings", new JSONObject(settings).toString()); // 这里是关键：将flags对应的json string设置到settings property中。Instance instance = odps.instances().create(task); // 执行。
问题五：MaxCompute SQL中运行分区表全表扫描后，为什么会费用增加？
全表扫描费用增加是因为输入量增加了，例如有一张表按时间（天）分区，存放了365个分区（365天）数据，全表扫描则输入量为365个分区的数据量，如果用分区裁剪只取某个分区（某天）数据，则输入量就只有那个分区的数据量。
问题六：MaxCompute中，select \* from sale\_detail order by region; 报错：Semantic analysis exception-ORDER BY must be used with a LIMET clause
ORDER BY 必须与limit共同使用。ORDER BY没有与limit共同使用时，报错返回。
可参考文档：[https://help.aliyun.com/document\_detail/73777.html](https://help.aliyun.com/document_detail/73777.html)
问题七：在 MaxCompute 中，一张表的分区的数量是否越多越好？
在 MaxCompute 中，一张表最多允许有 60000 个分区，同时每个分区的容量没有上限。但是分区数量过多，会导致统计和分析过程非常不方便。
MaxCompute 也会限制单个作业中最多不能超过一定数量的 instance，而作业中的 instance 和您输入的数据量和分区数量密切相关的。所以您需要根据业务需要，选择合适的分区策略。
问题八：如果一开始并没有分区字段，是否可以增加或更改分区？
您不可以在源表上直接增加或更改分区键，分区键一旦创建就不能更改。但您可以重新创建一张分区表，使用动态分区SQL把源表数据导入到新分区表。
可参考文档：[https://help.aliyun.com/document\_detail/73779.html](https://help.aliyun.com/document_detail/73779.html)
问题九：如何查看MaxCompute数据量？
1、针对全表，查看物理空间，您可以使用desc命令
2、如果要查看表的数据条数，需要使用SQL。例如select count() as cnt from iris;
问题十：在MaxCompute中，需要将一行转化为多行的时候，我们该如何解决？
Lateral View和split，explode等UDTF一起使用，它能够将一行数据拆成多行数据，并在此基础上对拆分后的数据进行聚合。
[原文链接](https://yq.aliyun.com/articles/741841?utm_content=g_1000099406)
本文为阿里云内容，未经允许不得转载。