hive on spark 给你spark on hive区别,sparksql,Dataframespark on hive,hive on spark ,Spark sql ,Dataframespark on hive用hive的元数据表,用spark的计算引擎。把hive的conf文件夹中 core-site.xml, hive-site.xml放到spark的conf- 阅读剩余部分 -
自定义累加器累加器和普通的变量相比,会将executor端的结果,收集到driver端进行汇总def main(args: Array[String]): Unit = {
//创建spark并设置app名称
val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").s- 阅读剩余部分 -