拥抱大数据之——HDInsight安装篇

大数据是如此的真实，离我们越来越近，你不再需要繁复的Linux操作，拥抱Windows上的Hadoop——HDInsight吧。HDInsight是一个Windows平台上，100%兼容Apache Hadoop的实现。并且微软为其提供完全的技术支持，还等什么，我们一起来进入大数据的世界吧。

目前提供的HDInsight分两种版本：

On-Premises版，即HDInsight Server

Cloud版，即HDInsight Service

由于目前HDInsight Service还不是开放使用的，需要申请邀请，所以，我们用HDInsight Server来体验大数据的威力。

安装篇
=======================

目前，HDInsight的安装是通过Web Platform Installer来实现的，你不用关心所有的依赖关系，所有这些安装程序已经都替您做好了。有一点我们必须指出，事实上安装程序会安装两个主要的部件， Hortonworks Data Platform for Windows 和 Microsoft HDInsight，其余的必须组件如IIS等都会被安装程序自动安装。默认情况下，在一台干净的Windows Server 2012上安装HDInsight，会安装如下组件：

我们来分别讨论一下他们分别是什么：

Hortonworks Data Platform Installer

这个mis包含了Hadoop的核心实现（如Map/Reduce， HDFS），和一些在Hadoop生态系统中的其他Apache项目，下面是一个完整的列表：

·         Map Reduce

·         HDFS

·         Hive

·         Pig

·         HCatalog

每个项目都被分别打包成了一个zip文件，他们都会包含一个Powershell脚本用来完成相应的安装。

Microsoft HDInsight Installer

这个msi包含了微软的实现相关的一些组件，它目前包含：

·         HDInsight Dashboard

·         Sqoop

·         Isotope.js

·         Getting started content

这些组件的打包方式和上面的Hadoop项目组建的方式类似。并且，它提供了一个可以用来初始化安装的Powershell脚本，如用来启动Hadoop组件的服务等。

 

中国用户的安装特殊考量

您是否已经迫不及待的想试试安装程序了呢？请等等！由于目前还是Beta版本的关系，当前大家在微软网站上下载的HDInsight Server还有一些问题，可能会导致安装失败。如果大家在计算机默认情况用中文来解析non-unicode字符，那么安装完成之后，你不会看到任何Hadoop的service。笔者分析了安装日志后发现，在create user的时候失败了，但是为什么呢？在分析了大量的安装脚本之后，笔者发现由于安装脚本中存在的一个non-unicode字符，导致了安装的失败。在C:\HadoopInstallFiles\HadoopPackages\hdp-1.0.1-winpkg.zip\scripts中的Create_hadoop_user.ps1脚本中，可以看到如下行：

$export.PSObject.TypeNames.Insert(0,扙xportedPSCredential?

就是改行导致了安装无法继续。

正确的行应该是：

$export.PSObject.TypeNames.Insert(0,’ExportedPSCredential’)

为了能够成功的安装，建议大家将Windows服务器的Region Setting改成English (United Stats)

之后的安装就可以顺利安装完成了。

 

安装完成之后，大家就可以在桌面上看到下面的图标：

 

点击Microsoft HDInsight Dashboard，如果你看到如下的页面，那么恭喜您，安装成功了：

 

怎么样？动手试一下吧？

 

转自：http://blogs.msdn.com/b/apgcdsd/archive/2013/04/10/hdinsight.aspx