Ambari集成接入Elasticsearch服务(无网接入)
来源:互联网 发布:js获取当前系统时间 编辑:程序博客网 时间:2024/05/21 20:23
注明:个人从git上下载了Elasticsearch5.2版本,但脚本编写不完整,未发现slave相关的py脚本,需添加完善。
故暂时接入Elasticsearch 2.3.3版本
Github下载地址:
https://github.com/teamsoo/elasticsearch-ambari
1 环境配置
1.1 系统配置
关闭所有的swap files
sudo swapoff -a
配置/etc/security/limits.conf ,如下图所示(末尾追加):
执行命令:
ulimit -n 65536
ulimit -a
配置 /etc/sysctl.conf文件,添加行 vm.max_map_count=262144
并且执行命令: # sysctl -p
详细见链接:https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html
2 安装
创建目录(目录名一定要大写):
# mkdir -p /var/lib/ambari-server/resources/stacks/HDP/2.6/services/ELASTICSEARCH
将下载的elasticsearch-ambari-master.zip进行解压并拷贝
# unzip elasticsearch-ambari-master.zip
# cd elasticsearch-ambari-master
# cp -R * /var/lib/ambari-server/resources/stacks/HDP/2.6/services/ELASTICSEARCH/
重启ambari
# ambari-server restart
然后再从服务中添加安装Elasticsearch
2.1无网安装
因无网环境,个人首次安装失败,需手动下载:
https://www.elastic.co/downloads/past-releases/elasticsearch-2-3-3
确保每个节点已经安装wget
新建目录:/var/www/html/repo/local,将文件拷贝此目录下
使用createrepo创建索引
# yum install createrepo (如果未安装)
# createrepo /var/www/html/repo/local
观察,此时会自动生成repodata文件夹;
此步骤是将这安装包设置为本地仓库进行安装(无网络环境)
在/etc/yum.repos.d/目录下新增local.repo文件,内容如下:
(1)修改
/var/lib/ambari-server/resources/stacks/HDP/2.6/services/ELASTICSEARCH/package/scripts
目录下elastic_master.py中内容
(2)修改
/var/lib/ambari-server/resources/stacks/HDP/2.6/services/ELASTICSEARCH/package/scripts
目录下elastic_slave.py中内容:
注释掉如下内容:
(注明:需将配置文件/etc/yum.repos.d/local.repo传递到其他机器上)
各个机器上执行如下命令:
# yum clean all (清除缓存)
# yum makecache (建立新缓存)
重启Ambari server
# ambari-server restart
然后添加Elasticsearch服务进行安装
(注明:如果启动失败,查看日志cat /var/log/elasticsearch/elasticsearch.log)
个人修改了network_host参数:
Elasticsearch服务全部重启,添加服务成功后如下图所示:
如果修改配置中参数或自定义参数功能不生效(可能不完善),个人手动修改
# /etc/elasticsearch/elasticsearch.yml
# service elasticsearch restart
2.1 文件配置
注明:这是在手动安装es集群进行的配置,通过Ambari方式不需要进行如下操作,此处仅记录下个人配置;
在Elasticsearch目录下的config/elasticsearch.yml,将
Bootstrap . memory_lock: true 前的#去掉,保存。
个人配置如下(仅供参考):
配置文件config/jvm.options
将Xms8g 中的数字修改(根据实际情况调整)。
详细配置见链接:
https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html
如:
http.cors.enabled : true
http.cors.allow-origin : "*"
http.cors.allow-methods : OPTIONS, HEAD, GET, POST, PUT, DELETE
http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type, Content-Length
- Ambari集成接入Elasticsearch服务(无网接入)
- Ambari安装Presto服务(无网接入)
- 接入网(固网)
- Ambari集成Elasticsearch 5.x
- 接入网
- 极光推送服务接入
- NS3 LTE网络仿真程序,只含LTE无线接入网(无EPC)
- 腾讯浏览服务接入文档
- 接入微信短信服务
- 社区接入网主要有三种接入方式
- Heroku第三方服务接入指南(一)
- Heroku第三方服务接入指南(二)
- Heroku第三方服务接入指南(三)
- 如何接入阿里云短信服务 (完整指南)
- Android支付接入(五):机锋网
- Android支付接入(五):机锋网
- Android支付接入(五):机锋网
- Android支付接入(五):机锋网
- HDU-4899 Hero meet devil(DP套DP)
- mysql基本命令
- 希尔算法
- 记录一些开源软件
- Flume--failover sink processor
- Ambari集成接入Elasticsearch服务(无网接入)
- 用我们训练的MTCNN中o-net测试训练图片的landmark的mean error
- Python 中的类(中)
- P1125 笨小猴
- 分布式文件系统
- Android总结篇系列:Android广播机制 1.Android广播机制概述 Android广播分为两个方面:广播发送者和广播接收者,通常情况下,BroadcastReceiver指的就是广播接
- HBase WAL(Write-Ahead-Log)学习
- 笔记本电脑清灰注意事项
- Maven之(一)Maven是什么