1. 从官网下载Spark安装包，解压到自己的安装目录下（默认已经安装好JDK，JDK安装可自行查找）； spark官网：/downloads.html
2. 进入系统命令行界面，进入安装目录下，如"／安装目录／spark-1.6.0-bin-hadoop-2.6.0 "，输入命令"./bin/pyspark"验证pyspark能否运行，再输入命令“./bin/spark-shell”,查看scala环境能否运行。成功的话会显示Spark图形，并能输入python或scala命令行。如下图（python版）：
3. 对于python版，先下载pycharm，点击完成安装。新建一个工程，打开Edit configuration，找到Environment variables，点击后面的编辑框，在变量栏目中依次添加PYTHONPATH,值为spark目录／python，SPARK_HOMR，值为spark安装目录，点ok退出。
4. 如果是用python的话还要下载py4j包，用在命令行输入“easy_install py4j”命令就行。然后进入spark安装目录中的python文件夹下，打开lib文件夹，把里面的py4j压缩包复制到上一级python文件夹下，解压。
5. 在pycharm中写好demo，点击运行即可。demo示例如下：
"""SimpleApp.py"""
from pyspark import SparkContext
logFile = "/Spark/spark-1.6.0-bin-hadoop2.6/README.md" # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()
print("Lines with a: %i, lines with b: %i" % (numAs, numBs))
6. 如果用scala环境，那么需要下载IntelliJ IDEA，和Pycharm是同一个公司出品，直接去搜名字去官网下 免费版。在第一次打开时会提示安装插件，这时候选择安装scala插件，spark1.6对应scala2.10版本，大概47M。插件下载好之后就可以新建一个scala工程。
7. 单击Intellij IDE菜单栏上File选项，选择Project Structure，在弹出的对话框中单击左侧Libraries，之后单击中间上方绿色“＋”号，添加spark中的lib文件夹下的assembly jar包，点击应用。
8. 然后从Spark官网上找一个demo，把里面的spark路径换成自己的。打开Edit configuration，点击左上角加号，选择Application，进入设置运行配置的对话框，按照下图配置，其中Program arguments手动输入local，然后右键选择main 函数地址，系统会自动添加。VM options 的值是设置单机运行，不设置会报错。
9. 点击ok完成配置，运行程序即可。
基于Spark环境对比Python和Scala语言利弊
在数据挖掘中,Python和Scala语言都是极受欢迎的,本文总结两种语言在Spark环境各自特点. 本文翻译自 /article/Scala-vs-Py ...
Mac配置Gradle环境
下载Gradle 下载地址:/install 下载最新版本:gradle-3.3 (当前最新版2月8日) 配置Gradle环境 我的本机Gradle存放路 ...
Mac 配置adb环境变量（为了开Appium）亲测
1.启动终端Terminal. 2.进入当前用户的home目录. 在命令行输入echo $HOME 3.创建.bash_profile文件. 命令行输入touch .bash_profile 4.打开 ...
在win10环境下配置spark和scala
在这里配置的是在命令行下运行spark的环境用来学习,最后结果如下,可运行简单的代码. 0.jdk.scala和spark的版本问题 有关版本如官网所示,我想要强调的是spark至今并不支持jdk11 ...
Mac配置PHP环境
本文章来自:/wj_november/article/details/51417491 本人使用的是:MacOs 10.12.3,根据如上操作已经安装成功,感谢 ...
Mac配置Qt环境——Could not resolve SDK path for 'macosx10.8'
前言:解决在Mac端安装Qt后,出现的Could not resolve SDK path for 'macosx10.8'的配置信息. 首先,发现问题之前,先搜索一下.但是搜索的结果都是说,找到配置 ...
mac配置java环境
首先下载: 网址如下: /technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html 配 ...
MAC配置VIM环境
Ruby开发环境配置 ~/.vimrc set nocompatible " be iMproved, required filetype off " required set r ...
为MAC配置终端环境iTerm2+Zsh+oh-my-zsh
首先展示下我的终端吧. 这就是我们为什么要配置iTerm2+Zsh+oh-my-zsh环境的原因: 我们使用zsh解释器,当然等你使用 zsh时就会知道zsh与bash对比的强大之处了. 至于我们的g ...
随机推荐
【周年版】Cnblogs for Android
前言 扒衣见君节刚过去但是炎热夏天还在继续: 自8月推出博客园Android客户端以来,断断续续发了十几个后续版本,期间出现过各种问题,由于接口等诸多因素,每个模块的功能都可能随着时间和博客园主 ...
Java编写ArrayBasic制作一个简单的酒店管理系统
听老师讲了一些ArrayBasic的一些知识,让制作一个酒店管理系统,要求:显示酒店所有房间列表,预订房间.... 经过老师的指导写了一个代码,如下: import java.util.Scanner ...
java Clone()克隆
转自:/orangelizq/archive//10/17/153573.html 现在Clone已经不是一个新鲜词语了,伴随着“多莉”的产生这个 ...
LeetCode OJ 154. Find Minimum in Rotated Sorted Array II
Follow upfor "Find Minimum in Rotated Sorted Array":What ifduplicatesare allowed? Would ...
opentsdb
//01/22/all-things-opentsdb.html /bingjie1217/articl ...
keystone无法查看catalog并且用户无法申请令牌的解决方案
在运行openstack catalog list之后提示: Only an authorized user may issue a new token. #只有授权用户才能申请token opens ...
jenkins 邮件抄送
只需要在邮箱中发送列表Project Recipient List中加上cc即可
centos7 - mongodb3.6.5-配置文件
创建Linux管理员账号admin, 并加入wheel组,对mongodb, php等进行统一管理~ systemLog:destination: filelogAppend: truepath: / ...
live-server
live-server的安装与使用 初始化npm:npm init 安装live-server:cnpm install -g live-server 根目录启动live-server:live-se ...
jquery 中attr()的一个用法
html如下:
< ...
