云平台应用需求分析
来源:互联网 发布:c语言接口与实现 pdf 编辑:程序博客网 时间:2024/05/29 09:41
从使用传统的关系型数据库转到使用云存储,既要满足良好的数据运算性能,又要能够使数据管理像使用数据库一样方便,于是基于hadoop云架构的类数据库产品成为一个迫切的应用需求,我们这个云平台只从软件上面来分析,目的是使用软件平台来管理和解决硬件瓶颈问题。下面来说说我们云平台的具体需求:
第一:对硬件的需求
1、不能对硬件提过多的配置需求(比如CPU、内存、硬盘等)满足CPU≥2核,内存≥4G,硬盘≥500G的服务器都可以使用;
2、不能要求特定的硬件型号;
3、各节点之间的网络带宽≤10M;
4、节点线性扩展满足≥500;
第二:功能需求
1、此平台必需是标准化通用软件产品,具备完整的开发接口,有完善的API文档,方便第三方基于此进行二次开发;
2、支持常用数据库(oracle、mysql、mssql、db2等)数据的全量和增量的导入导出,文本数据(XML、TXT、EXCEL等)的导入导出;
3、支持结构化数据和非结构化数据的管理,支持数据的增删改查;
4、支持各类流媒体和各类文件的存储/更新/查询,支持基于文件内容的检索;
5、支持类数据库服务,数据仓库服务,实现基于SQL或者类SQL的操作;
6、支持JDBC连接访问;
7、支持DML(如insert、delete、update等)和DDL(如create table);
8、支持PB级数据的模糊查询、排序、分组、多表关联查询、子表关联查询等,支持索引;
9、支持分布式存储策略,支持文件系统的自动扩展;
10、支持分布式事务管理;
11、支持负载均衡,可以根据CPU使用率、内存大小、存储大小、I/O热度、TCP/IP连接数、网络带宽等配置均衡策略;
12、支持动态添加和删除节点;
13、支持系统节点环境的自动部署;
14、支持全文检索,支持分词,分词可以管理和扩展,并且支持全文索引的更新和删除;
第三:安全需求
1、支持用户名/口令的账户安全管理;
2、支持分角色、用户的权限控制,支持操作权限分配,支持库、表、字段(列)、访问时间段、访问IP段的权限控制;
3、所有操作均有完整的日志记录,日志随时可查(操作命令及参数、执行时间、执行总耗时、数据量);
4、必需保障数据的一致性要求,不能丢数据;
5、数据使用异常告警:防止数据被定时爬取;
6、支持数据备份策略配置管理;
7、支持节点负载检测和预警、故障检测和报警,实时查看节点状态(CPU、内存、存储、I/O、TCP/IP连接数、网络带宽等);
8、在宕机3个节点的情况下可以保证平台的可用性和数据的一致性;
第四:管理需求
1、支持图形化界面的节点管理、权限管理、用户管理、角色管理、日志管理等管理功能;
2、可以在图形化界面上执行操作命令,完成相关操作;
3、必要包含统计分析功能,比如分析系统的数据增量、数据总量、使用频度分析、使用用户分析、操作类型分析、预警分析、趋势分析、决策分析等;
第五:性能需求
1、数据加载:≥30万/秒
2、数据更新:≥10万/秒
3、数据删除:≥10万/秒
4、数据延迟:≤5分钟
5、单记录操作响应时间:≤1秒;
6、100亿级以内的数据查询操作响应时间:≤5秒;
以上技术实现方案:hadoop+mysql分布式数据库集群
- 云平台应用需求分析
- 高校云平台从需求分析说起
- 需求分析流程图应用
- 二次开发:主需求平台分析
- 短信平台接口需求分析
- 根据企业信息化应用需求来分析工作流平台(工作流引擎)的选型
- 根据企业信息化应用需求来分析工作流平台的选型
- 根据企业信息化应用需求来分析工作流平台的选型
- 应急平台系统需求分析的必要性
- 网上销售平台--需求分析(二)
- 需求分析方法和需求管理工具的应用
- UML在需求分析阶段的应用
- uml 在需求分析阶段的应用
- SWOT方法在需求分析中的应用
- 应用:超级猜图(需求分析)
- 移动办公应用的需求分析讨论
- 移动办公应用——需求分析
- 银行业容器云平台建设需求分析线上探索活动总结
- 巧妙的按键扫描程序,核心算法只有三行
- iOS开发技术分享协议与代理
- xml解析
- 利用ArcMap的2个功能来帮助学习ArcPy
- LNK2005与头文件中的全局常量
- 云平台应用需求分析
- struts2.xml中使用chain和redirectAction这两个类型结果(type-result)时,报检查错误(validation)
- DirectX 10 教程5:纹理
- asp.net 写入word 浏览器提示保存
- 关于java.lang.IllegalStateException: getOutputStream() has already been called for this response求解
- 最小生成树(kruskal) hdu 1233
- 万物负阴而抱阳
- 数据库的连接
- 排序算法之归并排序