使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建

来源:互联网 发布:大庄家软件官网 编辑:程序博客网 时间:2024/03/29 19:33

    今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。

    Hadoop环境搭建,安装Hadoop1.2.1

    (一)进入或者创建usr/local/hadoop文件夹中
    (二)使用如下命令 ,获取hadoop-1.2.1.tar.gz      
    wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz
    (三)在Hadoop文件中 解压hadoop-1.2.1.tar.gz   
    tar -xzvf hadoop-1.2.1.tar.gz        
    (四)修改目录权限:
    sudo chmod 777 -R hadoop
    (五)创建/data/hadoop-data目录,在根目录下输入如下命令   
    mkdir data    cd data    mkdir hadoop-data
    (六)修改./conf/core-site.xml配置如下:  
<configuration>    <property>        <name>hadoop.tmp.dir</name>        <value>/data/hadoop-data/tmp</value>        <description>Abase for other temporary directories.</description>    </property>    <property>        <name>fs.default.name</name>        <value>hdfs://localhost:9000</value>    </property></configuration>
    (七)修改conf/hadoop-env.sh中的JAVA_HOME配置如下(根据自己):
    export JAVA_HOME=/usr/java/jdk1.6
    (八)修改./conf/hdfs-site.xml配置如下: 
<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration>
    (九)修改./conf/mapred-site.xml配置如下:
<configuration>    <property>        <name>mapred.job.tracker</name>        <value>localhost:9001</value>    </property></configuration>

    (十) 配置环境变量
export HADOOP_PREFIX=/usr/local/hadoop/hadoop-1.2.1export PATH=${HADOOP_PREFIX}/bin/:${PATH}
    (十一)格式化namenode
hadoop namenode -format
    (十二)启动hadoop 
    start-all.sh
    
   (十三)检查hadoop是否正确启动
    hadoop fs -ls /    jps




PS :安装ssh

yum -y install openssh-server openssh-clients

 

阅读全文
0 0
原创粉丝点击