CloudSuite环境搭建
来源:互联网 发布:曦力音视频转换mac版 编辑:程序博客网 时间:2024/06/06 00:28
2016-4-13更新:
CloudSuite已经更新到3.0版本,安装方式发生了很大的变化,本文不再有效。
现在CloudSuite采用Docker镜像的方式分发,只需要安装Docker后docker pull几个镜像就可以运行了,十分简单。
Docker是利用Linux Kernel中的容器技术,做的轻量级虚拟化。和虚拟机的类似之处在于直接下载镜像文件即可运行。和虚拟机不同之处在于,性能损失非常小,但当前也做不到绝对的隔离。
1.http://parsa.epfl.ch/cloudsuite/cloudsuite.html CloudSuit是一套用于测试服务器云服务性能的工具,我们采用这套软件提供的测试工具进行测试,同时用Pin来记录对于内存的访问情况,以便进行后续的分析。
2.系统安装:Fedora 19,在数次进入安装的过程中遭遇黑屏重启后,意识到了Fedora19采用了GNOME3,很可能是显卡的问题。于是选择basic graphical mode,成功安装。(SSD果然神速)
3.系统配置:Fedora19虽然也用的是RPM包,但和OpenSUSE强大的YaST不同,我们需要用yum来进行包管理。yum的具体使用,查看man就能知晓不少,不过常用的也就update和install。/etc/yum.repos.d/下是所有的源的配置文件。显卡驱动一直是Linux用户的心病,所以就不强求了,有1024×768就够用了,虽然是1065×1028的显示器。(应该是这个分辨率)数次安装Nvidia的官方驱动,最终都以640*480的分辨率告败。
4.Benchmark 1:Data Analytics 采用Mahout提供的库,基于Hadoop,对Wikipedia的全部数据进行分析。
5.Hadoop配置:新建用户组,添加用户,修改密码;配置SSH,启用sshd服务,生成密钥,注意修改密钥的权限为只读;解压Hadoop,设置所属用户,修改配置文件;格式化HDFS;尝试启动和停止Hadoop。
6.Maven配置:Mahout需要使用Maven来进行编译安装;编译Maven;设置环境变量,加入到PATH中。
7.Java配置:OpenJDK对于很多软件存在兼容性问题,而且自带的只有JRE,没有开发环境;下载SunJDK的tar包,解压缩,放到合适的位置;设置.bashrc的JAVA_HOME、PATH和CLASSPATH;采用update-alternetives --config java(java -version)来查看配置是否成功。
8.Mahout配置:
mvn -DskipTests install;cd core;mvn -DskipTests compile;mvn -DskipTests install;cd ../examples;mvn -DskipTests compile其中-DskipTests是跳过测试,测试会耗费大量时间,大概在一个多小时左右,而直接编译安装只需要几分钟。
9.Run Benchmark 1:下载维基百科的数据,解压缩出XML文件,放到Mahout下的temp中;采用Mahout对数据进行分块
10.Benchmark 2:Data Caching 采用memcached做缓存服务器,使用loader来发起请求,twitter的数据作为测试数据,得到最大的rps(requst per second)
11.Server配置:安装Memcached;启动Memcached
12.Client配置:编译loader(保证依赖的库齐全)
13.Server Warm-Up:用twitter的unscaled data来生成因子为30的测试数据;同时预热服务器。
14.Run Benchmark 2:用loader来对服务器发起大量请求,通过不断调整rps来找到最大的rps。
15.内存访问记录:Pin,Intel的工具,记录进程对于寄存器、内存的访问;Pintools,基于Pin开发的一系列工具,此处我们用到Footprinter(不包含在默认的包里);loclab
- CloudSuite环境搭建
- CloudSuite之Web Search Benchmark环境搭建
- Cloudsuite WebServing deployement
- Cloudsuite套件使用方法
- CloudSuite之Graph Analytics集群安装
- 环境搭建
- 搭建环境
- 环境搭建
- 搭建环境
- 环境搭建
- 搭建环境
- 环境搭建
- 环境搭建
- 环境搭建
- 环境搭建
- 环境搭建
- 环境搭建
- 环境搭建
- Makefile debug的经验
- TQ2440开发板open ssh移植
- 安卓的简单开发应用
- 安卓开发之意图对象篇 比如打电话 发短信
- 腾讯2012实习
- CloudSuite环境搭建
- Java设计模式透析之 —— 适配器(Adapter)
- Container With Most Water
- android制作一个简单登入界面的部分代码
- 树链剖分
- Ruby设计模式透析之 —— 适配器(Adapter)
- 淘宝优惠信息公布要求
- redis的基础学习
- HDU 1177