spark.eventLog.dir和spark.history.fs.logDirectory的区别
来源:互联网 发布:读取股票数据 编辑:程序博客网 时间:2024/04/30 03:19
spark.eventLog.dir是记录Spark事件的基本目录,如果spark.eventLog.enabled为true。 在此基本目录中,Spark为每个应用程序创建一个子目录,并在此目录中记录特定于应用程序的事件。 用户可能希望将其设置为统一位置,如HDFS目录,以便历史记录服务器可以读取历史记录文件。
spark.history.fs.logDirectory用于为历史记录程序提供文件系统,包含要加载的应用程序事件日志的目录URL。 这可以是本地文件路径file://路径,HDFS路径hdfs://namenode:port /shared/spark-logs或Hadoop API支持的备用文件系统的路径。
spark.eventLog.dir用于生成日志,spark.history.fs.logDirectory是Spark History Server发现日志事件的位置。
0 0
- spark.eventLog.dir和spark.history.fs.logDirectory的区别
- Spark的spark.sql.warehouse.dir问题
- spark history-server的使用
- spark和hadoop的区别
- spark和hadoop的区别
- hadoop和spark的区别
- YARN, MR History Server和Spark History Server
- spark-06-spark:cluster与client的区别和联系
- Spark: Spark和Hadoop的区别--关于资源使用
- other: Spark-shell和Spark-submit提交程序的区别
- 【Spark】Spark中repartition和coalesce的区别
- Hadoop和Spark的联系和区别
- 配置Spark history server
- spark history server 配置
- spark history server学习
- Spark History Server配置
- Spark 配置History
- Spark的flatMap和Map的区别
- 图片轮播
- i春秋
- kvm vm运行
- 我的CSDN的第一天
- Jquery选择器-基本选择器
- spark.eventLog.dir和spark.history.fs.logDirectory的区别
- ccs元素定位
- python解决乱码问题-文件
- 如何判断一段程序是由C 编译程序还是由C++编译程序编译的?
- 到底什么是闭包
- PHP学习笔记【四】之《数据库抽象层PDO---PDO事务处理》
- Linux目录标准FHS介绍
- vue2.0 自定义指令
- 心情不好