博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
eclipse 开发spark程序找不到reduceByKey操作
阅读量:6123 次
发布时间:2019-06-21

本文共 682 字,大约阅读时间需要 2 分钟。

hot3.png

看下列代码。用eclipse 开发spark wordCount时找不到reduceByKey(_+_)操作是由于缺少 导入包

import org.apache.spark.SparkContext._  就可以解决了或者直接用 import org.apache.spark._ 也行

package com.scala.spark.wordcountimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._ object WordCount2 extends App {  val conf = new SparkConf().setAppName("WordCount").setMaster("");  val sc = new SparkContext(conf);   val lines = sc.textFile("/home/streamsadmin/data/WT06557-dex5sr");  // println(lines.count());  val b = lines.flatMap(_.split(","));  val c = b.map(x => (x, 1));  val d = c.reduceByKey(_ + _);  println(d.count())}

 

}

转载于:https://my.oschina.net/chiyong/blog/478464

你可能感兴趣的文章
[20170628]12C ORA-54032.txt
查看>>
除以2
查看>>
高可用集群原理解析
查看>>
Nginx配置URL转向tomcat
查看>>
极客Web前端开发资源大荟萃#001
查看>>
让div固定在某个位置
查看>>
Java开发环境Docker镜像
查看>>
从无到有,WebService Apache Axis2初步实践
查看>>
任务调度(一)——jdk自带的Timer
查看>>
UIKit框架(15)PCH头文件
查看>>
整理看到的好的文档
查看>>
Linux磁盘管理和文件系统管理
查看>>
从一个
查看>>
MongoDB 第三周作业——用java操作MongoDB之删除数组中的元素
查看>>
三、基于802.1x+AD+NPS+DHCP动态下发VLAN配置 (第3篇、添加角色NPS并设置)
查看>>
Windows开启SNMP服务----Win7
查看>>
体重档案应用客户端源码
查看>>
在linux中添加ftp用户,以及修改FTP默认端口号
查看>>
N26-第一周作业
查看>>
4月11日中高项作业
查看>>