spark命令行解析与找不到类scopt.OptionParser 博客分类： spark

问题一:解析spark-submit命令行参数的时候用到了第三方包scopt，该包需要引入

<dependency>
  <groupId>com.github.scopt</groupId>
  <artifactId>scopt_2.10</artifactId>
  <version>3.2.0</version>
</dependency>

，引入之后直接使用idea打包(build-build artifacts-rebuild)报错：找不到类scopt.OptionParser

然后意识到是依赖没有打入包

重新配置file-project structure将所有包加入，重新打包，依然报同样错误

然后试图使用maven打包

首先配置

<plugin>
  <artifactId>maven-assembly-plugin</artifactId>

  <configuration>
      <archive>
        <manifest>
          <mainClass>com.daojia.xing.SuYunSDK</mainClass>
        </manifest>
      </archive>
      <descriptorRefs>
        <descriptorRef>jar-with-dependencies</descriptorRef>
      </descriptorRefs>
    <descriptorRefs>
      <descriptorRef>jar-with-dependencies</descriptorRef>
    </descriptorRefs>
  </configuration>
</plugin>

点击最左下脚图标 弹出上拉框 单机maven project  左侧出现对话框 然后plugins 选择assembly:assembly

问题解决。

ps：

问题二：程序中用到hive.hiveContext类，需要引入，之前引入了错误的包，导致程序提示有错误

正确的引入如下：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-hive_2.10</artifactId>
  <version>1.6.1</version>
</dependency>

问题三：又是一个奇葩的问题，见识浅薄了，(String，String)不知道scala中这是个什么鬼，不是array，不是list，不是map，最后的最后发现scala有一个类型叫做元祖，在此纠结了好久，要加强学习

 

scala> val types=hiveContext.sql("select * from a_fin_account_day limit 10").dtypes
types: Array[(String, String)] = Array((work_date,StringType), (user_id,LongType), (account_id,LongType), (source,StringType), (sy_vip_flag,StringType), (sy_vip_account_type,StringType), (dk_bussiness,DoubleType), (balance,DoubleType), (recharge,DoubleType), (recharge_num,DoubleType), (consume,DoubleType), (consume_num,DoubleType), (order_balance_pay,DoubleType), (order_refund,DoubleType), (account_refund,DoubleType), (adjust,DoubleType), (is_new_charge,DoubleType), (dk_jz_consume,DoubleType), (dk_lr_consume,DoubleType), (bi_update_time,StringType))
scala> val line=types(0)
line: (String, String) = (work_date,StringType)
scala> line(0)
<console>:41: error: (String, String) does not take parameters
              line(0)
                ^
scala> line._1
res28: String = work_date