mongo-connector同步mongoDB到ElasticSearch

来源:互联网 发布:西西软件乐园下载 编辑:程序博客网 时间:2024/05/16 10:14

1、mongoDB开启复制集
可以在启动时指定复制集名称,也可以在配置文件里声明

mongod --replSet "rs0" 

第一次使用复制集需要初始化

rs.initiate()       

2、安装ElasticSearch
解压缩后,运行bin下面的elasticsearch.bat,如果启动正确的话,用浏览器访问http://127.0.0.1:9200/,如果正常启动则显示json数据
在 config/elasticsearch.yml中可以配置elastic各种属性

3、安装kibana
1)解压缩,配置es地址
修改文件config/kibana.yml中的elasticsearch.url
2)运行bin\kibana.bat
3)访问地址 http://localhost:5601

4、安装python
下载64位executable installer,安装完成后,在环境变量的path中加入python根路径

5、安装mongo-connector
在python下Scripts下,执行下面命令:

pip install mongo-connectorpip install elastic-doc-manager

或者使用新版程序

pip install 'mongo-connector[elastic5]'pip install 'elastic2-doc-manager[elastic5]'

6、运行 mongo-connector:

要注意elastic绑定的IP地址

mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic_doc_manager

如何mongoDB需要用户名密码,使用下面的命令

mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -a username -p password -d elastic_doc_manager

-a mongodb用户名
-p mongodb密码

9200是 httpService
9300是 transportsService

7、重新同步数据
与conector同级有一个文件oplog.timestamp,这个是同步的标记文件。
如果要重新同步数据,就把这个文件删除。

0 0
原创粉丝点击