window操作系统搭建Spark开发调试环境
来源:互联网 发布:sql数据库特点 编辑:程序博客网 时间:2024/05/25 08:12
2 安装配置jdk1.8;
3 安装配置scala2.11.18;
4 导入pom.xml中依赖jar;
5 下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录(http://hadoop.apache.org/releases.html下载);
6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下(https://github.com/srccodes/hadoop-common-2.2.0-bin下载,不用担心版本问题,Hadoop2.6.4、Hadoop2.8、Hadoop2.7.3 都用这个);
7 配置程序启动参数local ,再IDEA VMOPTION中 填写-Dspark.master=local[3],该模式所有的线程都在一个JVM里面,可以验证代码的逻辑错误,所有的日志也都在控制台打印;
8 启动。
注意:设置环境变量有两种方式
1.在系统中设置环境变量HADOOP_HOME和PATH,跟java设置类似(只需要设置一次,记得设置后要重启电脑才能生效,jdk这样设置环境变量就不用重启)
2.直接在程序里设置(这个好处是你不用重启电脑,但是你每写个小例子就得设置一下)
Configuration conf=new Configuration();
conf.set("hadoop_home", "H:\\publicQuoteJar\\hadoop-2.7.3");
IDEA服务器激活 http://www.iteblog.com/idea/key.php
参见http://blog.csdn.net/rickyit/article/details/51790069 本地激活方法,或者注册成为服务。
出现的问题以及解决方案:
当streaming设置chechpoint路径时,会 报java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
是因为 hadoop.dll 的版本问题,最后下载更新,下载路径 https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64,可以更新这个文件夹中的 文件,因为 hadoop的版本为2.8.1,更新之后 没有问题
注意:在win10操作系统上,winutils.exe采用https://github.com/srccodes/hadoop-common-2.2.0-bin 下载的文件,大小40K;
hadoop.dll采用https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64下载的文件,大小84K。
IDEA常用快捷键梳理
查询快捷键
CTRL+N 查找类
CTRL+SHIFT+N 查找文件
CTRL+SHIFT+ALT+N 查 找类中的方法或变量
CIRL+B 找变量的来源
CTRL+ALT+B 找所有的子类
CTRL+SHIFT+B 找变量的 类
CTRL+G 定位行
CTRL+F 在当前窗口查找文本
CTRL+SHIFT+F 在指定窗口查找文本
CTRL+R 在 当前窗口替换文本
CTRL+SHIFT+R 在指定窗口替换文本
ALT+SHIFT+C 查找修改的文件
CTRL+E 最 近打开的文件
F3 向下查找关键字出现位置
SHIFT+F3 向上一个关键字出现位置
F4 查找变量来源
CTRL+ALT+F7 选 中的字符 查找工程出现的地方
CTRL+SHIFT+O 弹出显示查找内容
SVN 管理
把SVN库添加到IDEA中 SETTING -> VERSION CONTROL -> VCS = SVBVERSION
自动代码
ALT+回车 导入包,自动修正
CTRL+ALT+L 格式化代码
CTRL+ALT+I 自 动缩进
CTRL+ALT+O 优化导入的类和包
ALT+INSERT 生成代码(如GET,SET方法,构造函数等)
CTRL+E 或者ALT+SHIFT+C 最近更改的代码
CTRL+SHIFT+SPACE 自动补全代码
CTRL+空格 代码提示
CTRL+ALT+SPACE 类 名或接口名提示
CTRL+P 方法参数提示
CTRL+J 自动代码
CTRL+ALT+T 把选中的代码放在 TRY{} IF{} ELSE{} 里
复制快捷方式
F5 拷贝文件快捷方式
CTRL+D 复制行
CTRL+X 剪 切,删除行
CTRL+SHIFT+V 可以复制多个文本
高亮
CTRL+F 选中的文字,高亮显示 上下跳到下一个或者上一个
F2 或SHIFT+F2 高亮错误或警告快速定位
CTRL+SHIFT+F7 高亮显示多个关键字.
其他快捷方式
CIRL+U 大小写切换
CTRL+Z 倒退
CTRL+SHIFT+Z 向 前
CTRL+ALT+F12 资源管理器打开文件夹
ALT+F1 查找文件所在目录位置
SHIFT+ALT+INSERT 竖 编辑模式
CTRL+/ 注释//
CTRL+SHIFT+/ 注释/*...*/
CTRL+W 选中代码,连续按会 有其他效果
CTRL+B 快速打开光标处的类或方法
ALT+ ←/→ 切换代码视图
CTRL+ALT ←/→ 返回上次编辑的位置
ALT+ ↑/↓ 在方法间快速移动定位
SHIFT+F6 重构-重命名
CTRL+H 显 示类结构图
CTRL+Q 显示注释文档
ALT+1 快速打开或隐藏工程面板
CTRL+SHIFT+UP/DOWN 代码 向上/下移动。
CTRL+UP/DOWN 光标跳转到第一行或最后一行下
ESC 光标返回编辑框
SHIFT+ESC 光 标返回编辑框,关闭无用的窗口
F1 帮助 千万别按,很卡!
CTRL+F4 非常重要 下班都用
一.找文件找代码找引用相关
1.双击shift
在项目的所有目录查找,就是你想看到你不想看到的和你没想过你能看到的都给你找出来
2.ctrl+f
当前文件查找特定内容
3.ctrl+shift+f
当前项目查找包含特定内容的文件
4.ctrl+n
查找类
5.ctrl+shift+n
查找文件
6.ctrl+e
最近的文件
7.alt+F7
非常非常频繁使用的一个快捷键,可以帮你找到你的函数或者变量或者类的所有引用到的地方
二.编辑相关
1.shift+enter
另起一行
2.ctrl+r
当前文件替换特定内容
3.ctrl+shift+r
当前项目替换特定内容
4.shift+F6
非常非常省心省力的一个快捷键,可以重命名你的类、方法、变量等等,而且这个重命名甚至可以选择替换掉注释中的内容
5.ctrl+d
复制当前行到下一行
6.ctrl+x
剪切当前行
7.ctrl+c \ ctrl+v
大家都懂的
8.ctrl+z
撤销
9.ctrl+shift+z
取消撤销
10.ctrl+k
提交代码到SVN
11.ctrl+t
更新代码
12.alt+insert
非常非常以及相当方便的一个组合键,不信您往下看
在类中使用:可以自动生成构造器、getter/setter等等常用方法
在项目目录上使用:可用于新建各种文件
PS:黄色警告编译可以通过,不影响程序的正常运行,一般都是一些对于代码优化的建议,我遇到过的有:
(1).can be simplify
代码可以简化
(2).Variable is never use
声明的变量从未被使用
(3)unnecessary boxing
不必要的声明包装
写个类实现某个接口,加上 implements Runnable 后你就会发现这条红色的波浪线
14.ctrl+alt+L
自动格式化代码,我已经养成了写完代码就来一发的习惯。
- window操作系统搭建Spark开发调试环境
- window+idea+spark+debug windows下spark开发调试环境搭建
- Window下spark开发环境搭建IDEA
- Spark开发-spark环境搭建
- spark 开发环境搭建
- 搭建spark开发环境
- 搭建spark开发环境
- Spark开发环境搭建
- Spark开发环境搭建
- spark开发环境搭建
- spark开发环境搭建
- Spark开发环境搭建
- Spark本地开发与远程调试环境搭建
- Spark Standalone Mode 在 Win10 下搭建开发调试环境
- 【Spark】在window下搭建spark开发环境(IntelliJ IDEA)
- spark windows开发调试环境
- ffmpeg开发环境搭建--(window)
- window单机开发环境搭建
- SElinux android 在hal下 如何获得对一个内核节点的访问权限
- Android内存优化
- 用JavaScript动态加载CSS和JS文件
- 导航按钮
- Unity Shader学习笔记:透明
- window操作系统搭建Spark开发调试环境
- 交叉编译GTK+2.x和libX,交叉编译xserver,一直GTK和X(或DirectFB)到i.MX6
- linux 下查看opencv的版本以及git本地仓库的check
- 网络判断+xlistview上拉加载、下拉刷新+Tablayout +图片拖拽缩放+数据库存储 3、案例完成思路要求: 模块一:用fragment+viewpager+Tablayout实现页面
- 浅析Linux命令之touch
- 利用JavaScript实现jqGrid指定背景色修改(方便查看、修改)
- eclipse安装Tomcat
- iOS 第三方库冲突的处理
- HashMap、HashTable、ConcurrentHashMap