flume加载问题整理
来源:互联网 发布:java string 存储大小 编辑:程序博客网 时间:2024/06/06 08:27
failed to start agent because dependencies were not found in classpath
flume-env.sh中需要同时设置JAVA_HOME和HCAT_HOME
failed to connecting to Endpoint
hive服务器没有启动bin/hive --service metastore & bin/hive --service hiveserver2 &
transaction property is not set on table
表transactions未设置,创建表时需要添加CREATE TABLE students5 (name VARCHAR(64), age INT, gpa DECIMAL(3, 2)) CLUSTERED BY (age) INTO 2 BUCKETS STORED AS ORC TBLPROPERTIES("transactional"="true");
transactionBatch txnIds=XXX on endPoint=XXX has been closed
分隔符设置问题:前一个双引号,后一个单引号agent1.sinks.alarmk2.serializer.delimiter=", "agent1.sinks.alarmk2.serializer.serdeSeparator =","
改成:
agent1.sinks.alarmk2.serializer.delimiter="\t"agent1.sinks.alarmk2.serializer.serdeSeparator ='\t'
This command is not allowed on an ACID table XXX with a non-ACID
transaction manager
问题出在:当设置成TBLPROPERTIES(“transactional”=”true”),hive中需要在配置文件中设置:Client Side
- hive.support.concurrency – true
- hive.enforce.bucketing – true (Not required as of Hive 2.0)
- hive.exec.dynamic.partition.mode – nonstrict
- hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
Server Side (Metastore)
- hive.compactor.initiator.on – true (See table below for more details)
- hive.compactor.worker.threads – a positive number on at least one instance of the Thrift metastore service
官网中有介绍:https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions
查看hive中数据出现”NULL“,行数据均作为一个属性填入数据库,其它属性默认为空
设置数据属性间用”\t“分割The channel is full, and cannot write data now
内存满
将channel的参数capacity、transactionCapacity调大
- flume加载问题整理
- 使用flume中遇见的问题整理
- Flume学习笔记(二)问题整理
- Flume相关知识整理
- Android动态加载APK问题整理
- Flume使用-问题总结
- Flume TailDirSource问题
- flume 崩溃问题
- 启动flume小问题
- Flume 丢失数据问题
- Flume开发问题记录
- Flume-ng禁用自动加载配置文件功能
- Flume-ng禁用自动加载配置文件功能
- flume+Hbase搭建问题详解
- Flume Spooldir 的一些问题
- linux安装flume及问题
- flume常用source问题总结
- Flume实时收集日志问题
- EditText:文本框编辑的浮动提示
- 文章标题
- mysql忘记密码修改方式5.7以上版本!
- 机器学习问题的可解性的变化,不可能的事情正在慢慢变成现实
- 数据结构(二)链表(一)单链表
- flume加载问题整理
- 根据Interceptor 分析 OkHttp(一)
- 【排序算法 】希尔排序 shell sort(插入类排序)
- 监听wifi热点连接状态变化
- NDK中C++标准库、STL的配置;Include其他头文件
- linux中驱动异步通知应用程序的方法
- Unity Shader:实现菲涅尔+色散效果以及相关原理解析
- Java截取特定两个标记之间的字符串
- 机器学习趋向于平民化