欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

探究分析:快速对大量的数据转换为数组

程序员文章站 2022-04-15 14:44:09
一、需求描述 需求: 将如图所示的excel文件中,各个字段下的对应广告位以数组的形式呈现如下图锁所示: 二、HiveSQL的语句方案 注意, 1.利用HIVE的数据传输工具上传数据文件,并建表 2. 函数collect_set的用法 select 'country' ,country,collec ......

一、需求描述

需求:

探究分析:快速对大量的数据转换为数组

将如图所示的excel文件中,各个字段下的对应广告位以数组的形式呈现如下图锁所示:

探究分析:快速对大量的数据转换为数组

二、hivesql的语句方案

注意,

1.利用hive的数据传输工具上传数据文件,并建表

2. 函数collect_set的用法

select 'country' ,country,collect_set(placementid)

from 2019q2

group by country

 union all

select 'year' ,year,collect_set(placementid)

from 2019q2

group by year

 union all

select 'quarter' ,quarter,collect_set(placementid)

from 2019q2

group by quarter

三、mysql的语句方案

注意:

1.利用mysql客户端navicat for mysql批量导入excel文件,并建表

2.使用mysq函数group_concat的用法

select 'country' ,country,group_concat(placementid)

from 2019q2

group by country

 union all

select 'year' ,year,group_concat(placementid)

from 2019q2

group by year

 union all

select 'quarter' ,quarter,group_concat(placementid)

from 2019q2

group by quarter