linux 下spark的下载安装及问题解决
来源:互联网 发布:新疆教师网络研修 编辑:程序博客网 时间:2024/05/21 17:36
- 安装包下载
访问网址 http://spark.apache.org/downloads.html
点击红色方框区域直接下载,得到对应的压缩文件 - 解压缩并进入目录
tar -xf spark-2.2.0-bin-hadoop2.7.tgzcd spark-2.2.0-bin-hadoop2.7/
- 尝试打开shell,出现错误
原因是未安装java的jdk,而spark 是在java的虚拟机JVM上面运行的
我们查看Java的版本,系统确实提示未查到java的相关内容 - 按照提示安装jdk
却出现了错误,这是文件锁定错误
E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)E:unable to lock the administration directory (/var/lib/dpkg/),is another process using it
- 解决文件锁定错误问题
1.使用 ps 和 grep 命令并用管道组合来得到含有 apt的进程
2.根据上一步得到的进程号,将进程杀掉(命令中的9是 SIGKILL 的信号数,-9 换成 -SIGKILL 也可以)
3.删除锁定文件:
(锁定文件的作用:锁定的文件会阻止 Linux 系统中某些文件或者数据的访问,一旦你运行了 apt-get 或者 apt 命令,锁定文件将会创建/var/lib/apt/lists/、/var/lib/dpkg/、/var/cache/apt/archives/ 中。
这有助于运行中的 apt-get 或者 apt 进程能够避免被其它需要使用相同文件的用户或者系统进程所打断。当该进程执行完毕后,锁定文件将会删除。)
4.强制重新配置软件包 - 再次安装jdk
- 安装成功
- 重新尝试打开shell,但又出现了错误
xxxxxx@ubuntu:~/spark-2.2.0-bin-hadoop2.7$ ./bin/pysparkError: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.ArrayIndexOutOfBoundsException: 64 at java.util.jar.JarFile.match(java.base@9-internal/JarFile.java:983) at java.util.jar.JarFile.checkForSpecialAttributes(java.base@9-internal/JarFile.java:1017)……
- 问题解决
查阅了相关资料,大概是说刚刚安装的包不完整,最好重新安装oracle的jdk官方包
使用以下一组命令安装jre和jdk,并完成初始化(最后一步操作会自动配置环境变量)
sudo apt-get install default-jdk sudo add-apt-repository ppa:webupd8team/javasudo apt-get updatesudo apt-get install oracle-java8-installersudo apt-get install oracle-java8-set-default
- 成功进入shell
参考:
http://blog.csdn.net/i973635025/article/details/77863129
https://linux.cn/article-8040-1.html
阅读全文
0 0
- linux 下spark的下载安装及问题解决
- Linux下的Spark安装及使用
- Linux下的Spark安装及使用
- Linux下的mysql下载及安装
- Linux下的mysql下载及安装
- Linux 下Sqlite3 的下载及安装
- Linux下oracle10g的安装与配置及相关问题解决
- linux下redis 安装及遇到的问题解决
- Linux环境下mosquitto的安装及部分问题解决方法
- MySql下载安装及问题解决
- codeblocks下载安装及问题解决
- Linux下安装VMTools的问题解决
- linux下安装Loadrunner Generator手册及问题解决
- Linux下jdk1.5的安装及中文显示问题解决方案
- Linux下jdk1.5的安装及中文显示问题解决方案
- Linux下jdk1.5的安装及中文显示问题解决方案
- Linux下jdk1.5的安装及中文显示问题解决方案
- Linux下jdk1.5的安装及中文显示问题解决方案
- nodejs(express+mysql+jade)的增、删、改、查
- 网络请求加载Banner轮播的使用
- python numpy 学习一
- <Python核心编程 第二版> 第四章习题
- TOJ1036
- linux 下spark的下载安装及问题解决
- 图像特效之马赛克
- 连接到 Azure (Resource Manager) 上的 SQL Server 虚拟机
- 10月15日考试总结
- lambda表达式理解
- 实验十(课程资源)-DNS服务器配置与管理
- bzoj 1087(状压dp)
- 用get方法使用OkHppt
- find函数