使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建
来源:互联网 发布:大庄家软件官网 编辑:程序博客网 时间:2024/03/29 19:33
今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。
Hadoop环境搭建,安装Hadoop1.2.1
(一)进入或者创建usr/local/hadoop文件夹中
(二)使用如下命令 ,获取hadoop-1.2.1.tar.gz
wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz(三)在Hadoop文件中 解压hadoop-1.2.1.tar.gz
tar -xzvf hadoop-1.2.1.tar.gz(四)修改目录权限:
sudo chmod 777 -R hadoop(五)创建/data/hadoop-data目录,在根目录下输入如下命令
mkdir data cd data mkdir hadoop-data(六)修改./conf/core-site.xml配置如下:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop-data/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property></configuration>(七)修改conf/hadoop-env.sh中的JAVA_HOME配置如下(根据自己):
export JAVA_HOME=/usr/java/jdk1.6(八)修改./conf/hdfs-site.xml配置如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>(九)修改./conf/mapred-site.xml配置如下:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property></configuration>
(十) 配置环境变量
export HADOOP_PREFIX=/usr/local/hadoop/hadoop-1.2.1export PATH=${HADOOP_PREFIX}/bin/:${PATH}(十一)格式化namenode
hadoop namenode -format(十二)启动hadoop
start-all.sh
(十三)检查hadoop是否正确启动
hadoop fs -ls / jps
PS :安装ssh
yum -y install openssh-server openssh-clients
阅读全文
0 0
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Nutch2.2.1
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之搭建solr4.9.1
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎抓取并测试搜索结果
- 利用nutch、hbase和solr搭建搜索引擎
- Nutch + Solr + Hadoop 搭建分布式搜索引擎详细教程
- [Nutch]Nutch2.3+Hadoop+HBase+Solr在Ubuntu环境搭建
- nutch/solr/lucene//hadoop/hbase 搜索引擎
- hadoop+nutch+solr搜索引擎配
- 【Nutch2.2.1基础教程之2.2】集成Nutch/Hbase/Solr构建搜索引擎之二:内容分析
- 【Nutch2.2.1基础教程之2.2】集成Nutch/Hbase/Solr构建搜索引擎之二:内容分析
- Nutch环境搭建+Solr的使用
- nutch搜索引擎的搭建
- 从零开始搭建nutch搜索引擎
- Hadoop之——hadoop1.2.1伪分布式搭建
- hadoop之HBase集群搭建及使用
- 搜索引擎框架之Solr服务的搭建
- 如何在SpringMVC中集成quartz
- python总结(更新中)
- jpa命名规范
- 懒省事的小明
- poj 1703 Find them, Catch them(种类并查集)
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建
- Mac版git的跳过登录注册方法
- C语言的伪随机数
- 卡尔曼滤波算法
- GET.DOCUMENT宏表函数说明
- table 中添加checkbox控件无法显示
- ansj_seg 学习,自定义词典加载
- 关于APUE 图8-30 nice函数的例子
- SSH中tomcat下中文名称图片不显示的问题