4.虚拟化会导致性能下降　　Hadoop最初的设计只是运行实体上，然而随着云计算发展，许多企业都希望能作为云数据中心提供服务。之所以虚拟化Hadoop，企业首先要考虑管理基础设施的扩展性，认识到扩展计算资源，比如虚拟Hadoop节点在数据和计算分开时会对性能有所帮助，否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。　　5.Hadoop只可以在数据中心运行　　对于在SaaS云服务解决方案，许多云服务允许云端运行Hadoop、SQL，这无疑可以帮助企业省下数据中心建造投资的时间和金钱。特别是对于公有云情况下，Java开发者可以从Spring&Data&for&Hadoop以及一些其它的GitHub用例中获益。　　6.Hadoop对虚拟化无经济价值Hadoop对虚拟化无经济价值　　Hadoop被很多人认为，尽管在商用服务器上运行，添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益，但其实这个说法并没有考虑到数据和数据分析事实上都是动态的。虚拟化基础设施同样可以减少物理硬件数量，让CAPEX（资本支出）直接等于商用硬件成本，而通过自动以及高效利用共享基础设施同样可以减少OPEX（运营成本）。　　7.Hadoop不能运行在SAN或NAS上　　尽管Hadoop在本地磁盘上运行，对于中小型集群一样可以在一个共享的SAN环境下体现良好的性能表现，而高带宽比如10GB以太网、PoE以及iSCSI对性能同样有很好的支持。&&&&由此，大数据成为行业追逐的热点，以上七大有关大数据“误解”问题的客观看待。如同不同项目需求不同，Hadoop是一个工具来帮助企业更好的应对大数据问题。无论是面对数据网格的GemFire&或SQLFire，还是面向消息的RabbitMQ中间件，一个完整的SaaS解决方案如今比在Hadoop环境更容易实现。
提示：支持键盘“← →”键翻页为了搭建hadoop中更多节点，能否对机器进行虚拟化_百度知道
为了搭建hadoop中更多节点，能否对机器进行虚拟化
编写了一个基于hadoop的程序，想测试更多 节点下算法性能，现有三台PC机，可否将每台PC机虚拟话为两个节点，这样共有6个节点，是不是？
每台机器有两个核。小女子刚开始学习HADOOP。还请各位大侠帮忙解答。谢谢谢谢！
我有更好的答案
个人意见：hadoop也是一个应用，直接跟NLB一样操作即可谢谢采纳！
采纳率：26%
为您推荐：
其他类似问题
hadoop的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。关于举办“Hadoop与Spark大数据开发与案例分析”
实战培训班的通知
为贯彻落实党中央国务院“十三五”规划指导精神，实施网络强国战略，加快建设数字中国;构建高效信息网络，推进物联网发展;实施“互联网+”行动计划，促进多领域融合发展;实施国家大数据战略，加快政府数据开放;加强数据安全包含，全面保障信息系统安全;推进军民融合发展立法。要实施国家大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。加快政府数据开放共享，促进大数据产业健康发展。
现如今，大数据的应用并不仅存在于一些“理工类领域”，它已经渗透到我们生活的方方面面，将来，大数据在能源、金融、电信、汽车、消费等大多数行业都有用武之地，行业发展潜力巨大。去年，国内数据创业已是风起云涌，其实，2016才是真正意义上的大数据元年。据IDC预测，到2020年，大数据分析技术将成为所有国家经济增长的关键动力。大数据分析及其相关的市场的复合年增长率将达到26.4%，在2018年全球将发展到415亿美元的规模。同时，IDC认为，到2020年大数据分析技术将成为所有国家经济增长的关键动力。然而大数据架构最火热的莫过于Hadoop，Spark和Storm这三种
因此中国软件产业培训网决定举办“Hadoop与Spark大数据开发与案例分析”培训班。由北京中科软培科技有限公司与中联软博（北京）科技有限公司具体承办，望相关单位收到通知后积极参加。相关培训事宜如下:
一、培训时间和地点
2018年07月04日-07月08日 北京 (04日全天报到)
2018年07月18日-07月22日 杭州 (18日全天报到)
2018年08月08日-08月12日 深圳 (08日全天报到)
2018年08月22日-08月26日 北京 (08日全天报到)
二、培训对象
各地政府，院校云计算物联网产业相关负责人，各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员、技术总监、数据挖掘负责人、数据挖掘开发工程师等
三、课程目标
1、了解Hadoop与Spark的历史及目前发展的现状、以及Hadoop与Spark的技术特点，从而把握分布式计算框架及未来发展方向，在大数据时代能为企业的技术选型及架构设计提供决策参考。
2、全面掌握Hadoop与Spark的架构原理和使用场景，并通过贯穿课程的项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍，帮助学员为企业在利用大数据方面体现自身价值。
3、深入理解Hadoop与Spark技术架构,对Hadoop与Spark运作机制有清晰全面的认识，可以独立规划及部署生产环境的Hadoop与Spark集群，掌握Hadoop与Spark基本运维思路和方法，对Hadoop与Spark集群进行管理和优化。
四、师资介绍
张老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。　
五、培训特色
注重应用：分析国内实际情况，结合国际、国内成功经验。采用实战的项目，让学员在短时间内掌握Hadoop与Spark的搭建与配置。并进行高效的大数据清洗和分析。
形式灵活：互动课堂、免费技术沙龙、提供云计算项目建设咨询、大数据Hadoop平台的搭建。
六、颁发证书
参加相关培训并通过考试的学员，可以获得：
工业和信息化部全国网络与信息技术考试管理中心中心颁发的-“Hadoop与Spark大数据应用与开发”职业技能证书（等级高级）。该证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注：请学员带一寸彩照2张（背面注明姓名）、身份证复印件一张。
七、培训费用及须知
6800元/人（含教材、培训费、考证费以及学习用具等费用） 食宿统一安排，费用自理。
六、课程大纲（4天课程）
Hadoop在云计算技术的作用和地位
u传统大规模系统存在的问题
uHadoop概述
uHadoop分布式文件系统
uMapReduce工作原理
uHadoop集群剖析
Hadoop生态系统对一种新的解决方案的需求
Hadoop的行业应用案例分析
Hadoop在云计算和大数据的位置和关系
数据开放,数据云服务平台(DAAS)时代
Hadoop平台在数据云平台(DAAS)上的天然优势
数据云平台(DAAS 平台)组成部分
互联网公共数据大云(DAAS)案例
Hadoop构建构建游戏云(Web Game Daas)平台
Hadoop生态系统介绍和演示
uHadoop HDFS 和 MapReduce
uHadoop数据库之HBase
uHadoop数据仓库之Hive
uHadoop数据处理脚本Pig
uHadoop数据接口Sqoop和Flume，Scribe DataX
uHadoop工作流引擎 Oozie
u运用Hadoop自下而上构建大规模企业数据仓库
u暴风影音数据仓库实战解析
Hadoop组件详解
uHadoop HDFS 基本结构
uHadoop HDFS 副本存放策略
uHadoop NameNode 详解
uHadoopSecondaryNameNode 详解
uHadoop DataNode 详解
uHadoop JobTracker 详解
uHadoop TaskTracker 详解
uHadoop Mapper类核心代码
uHadoop Reduce类核心代码
uHadoop 核心代码
Hadoop安装和部署
uHadoop系统模块组件概述
uHadoop试验集群的部署结构
uHadoop 安装依赖关系
uHadoop 生产环境的部署结构
uHadoop集群部署
uHadoop 高可用配置方法
uHadoop 集群简单测试方法
uHadoop 集群异常Debug方法
uHadoop安装部署实验
uRed hat Linux基础环境搭建
uHadoop 单机系统版本安装配置
uHadoop 集群系统版本安装和启动配置
u使用 Hadoop MapReduce Streaming 快速测试系统
uHadoopcore-site，hdfs-site，mapred-site 配置详解
Hadoop集群规划
uHadoop 集群内存要求
uHadoop集群磁盘分区
u集群和网络拓扑要求
u集群软件的端口配置
u针对NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同组件需求推荐服务器配置
MapReduce 算法原理
uHadoop MapReduce 算法的原理和优化思想
u灵活运用MapReduce 实现算法
u运用MapReduce 构建数据库算法
uSelect Sort GrougBy Sum Count
uJoin 新进流失算法
u使用 Y-Smart 快速转换SQL 为MapReduce 代码
编写MapReduce高级程序
u使用 Hadoop MapReduce Streaming 编程
uMapReduce流程
u剖析一个MapReduce程序
u基本MapReduceAPI概念
u驱动代码 Mapper、Reducer
uAPI 使用Eclipse进行快速开发
u新MapReduce API
uMapReduce的优化
uMapReduce的任务调度
uMapReduce编程实战
u如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等
u满足解决实际数据分析问题的高级Hadoop API
uHadoop Streaming 和 Java MapReduce Api 差异。
uMapReduce 实现数据库功能
u利用Combiners来减少中间数据
u编写Partitioner来优化负载平衡
u直接访问Hadoop分布式文件系统（HDFS）
uHadoop的join操作
u辅助排序在Reducer方的合并
u定制Writables和WritableComparables
u使用SequenceFiles和Avro文件保存二进制数据
u创建InputFormats OutputFormats
uHadoop的二次排序
uHadoop的海量日志分析
u在Map方的合并
集成Hadoop到现有工作流
及Hadoop API深入探讨
u利用Sqoop从关系型数据库系统中导入数据到Hadoop
u利用Flume导入实时数据到Hadoop
uToolRunner介绍、使用MRUnit进行测试
u使用Configure和Close方法来进行Map/Reduce设置和关闭
u使用FuseDFS和Hadoop访问HDFS
u使用分布式缓存（Distributed Cache）
u直接访问Hadoop分布式文件系统（HDFS）
u利用Combiners来减少中间数据
u编写Partitioner来优化负载平衡
使用Hive和Pig开发及技巧
uHive和Pig基础
uHive的作用和原理说明
uHadoop仓库和传统数据仓库的协作关系
uHadoop/Hive仓库数据数据流
uHive 部署和安装
uHive Cli 的基本用法
uHQL基本语法
u运用Pig 过滤用户数据
u使用JDBC 连接Hive进行查询和分析
u使用正则表达式加载数据
uHQL高级语法
u编写UDF函数
u编写UDAF自定义函数
u基于Hive脚本内嵌Streaming 编程
Hbase安装和使用
uHbase 安装部署
uHbase原理和结构
uHbase 运维和管理
u使用Hbase+Hive 提供 OLAP SQL查询能力
u使用Hbase+Phoenix提供 OLTP SQL能力
u基于Hbase 的时间序列数据库 OpenTsDb 结构解析
Hadoop2.0 集群探索
uHadoop2.0 HDFS 原理
uHadoop2.0 Yarn 原理
uHadoop2.0 生态系统
u基于Hadoop2.0 构建分布式系统
Hadoop企业级别案例解析
uHadoop 结构化数据案例
uHadoop 非结构化案例
uHbase 数据库案例
uHadoop 视频分析案例
u利用大数据分析改进交通管理
u区域医疗大数据应用案例
u银联大数据数据票据详单平台
u广东移动省公司请账单系统
u上海电信网络优化
u某通信运营商全国用户上网记录
u浙江台州市智能交通系统
u移动广州详单实时查询系统
u跨区域实时视频监控系统
RedHadoop 企业版本
u运用RedHadoop快速构建服务集群
u运用RedHadoop DW 构建数据仓库
u基于RedHadoop Hive构建数据仓库平台
u灵活运用 Hive 加速游戏数据仓库
u基于Pig+OpenCV大规模图像人脸识别
Spark生态介绍
? Mapreduce、storm和spark模型的比较和使用场景介绍? Spark产生背景? Spark（内存计算框架）? SparkSteaming（流式计算框架）? Spark SQL（ad-hoc）? Mllib（MachineLearning）? GraphX（bagel将被代）? DlinkDB介绍? SparkR介绍
Spark安装部署
? Spark安装简介? Spark的源码编译? Spark Standalone安装? Spark应用程序部署工具spark-submit? Spark的高可用性部署
Spark运行架构和解析
? Spark的运行架构o 基本术语o 运行架构o Spark on Standalone运行过程o Spark on YARN 运行过程? Spark运行实例解析o Spark on Standalone实例解析o Spark on YARN实例解析
o 比较 Standalone与YARN模式下的优缺点
责任编辑：
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
今日搜狐热点大数据应用需要对Hadoop进行虚拟化吗_百度知道
大数据应用需要对Hadoop进行虚拟化吗
我有更好的答案
不需要的，因为虚拟化技术的核心是资源池化，借助池化资源的调度来充分使用资源，提高资源的利用回报，但CPU利用率已经达到70%-80%，虚拟化没有任何意义了。—柠檬学院大数据。
采纳率：69%
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。Hadoop虚拟化的性能对比和调优经验_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Hadoop虚拟化的性能对比和调优经验
来源：Linux社区&
作者：李欣慧
虚拟化为注入了前所未有的活力，从IT生产管理的角度，表现为以下几点：
&Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率；
&灵活的虚拟机操作使得用户可以动态的根据数据中心资源创建、扩展自己的Hadoop集群，也可以缩小当前集群、释放资源支持其他应用如果需要；
&通过与虚拟化架构提供的HA、FT集成，避免了传统Hadoop集群中的单点失败，再加之Hadoop本身的数据可靠性，为企业大数据应用提供了可靠保证。
基于这些原因，vSphere Big Data Extensions(BDE)为用户在虚拟化环境中灵活的部署和管理Hadoop集群提供了有效的支持。除却这些优势，虚拟化是否会伤害Hadoop运行的性能呢？为此，我们在同等规模上做了虚拟化部署和物理部署的Hadoop集群的性能对比和优化，实验表明虚拟化Hadoop集群可以很好地支持生产环境。
虚拟化环境和物理环境的性能对比
图1显示了性能调优试验的部署样式，一台物理服务器上只部署一台虚拟机，Tasktracker和Datanode一起跑在同一个节点中。因为每个虚拟节点可以使用全部的服务器资源，方便进行虚拟化和传统物理环境部署的Hadoop做性能对比和分析。试验结果在图2中显示，虚拟化Hadoop相对于物理环境的性能对比几乎是持平的。
图1：性能对比部署
图2：Apache Hadoop 1.2物理部署和虚拟化部署的性能对比
图3显示了更推荐生产环境使用的部署拓扑，一台物理服务器上部署多台虚拟节点。如图2所示，这种部署将增加资源利用率从而得到更高的性能。
图3：多虚拟机的部署
同时，我们把这些实验经验内嵌到vSphere BDE部署的Hadoop集群系统配置当中，屏蔽了性能优化的复杂性。虽然不同的数据中心设置和集群配置可能带来不同的表现，这里按照创建、配置、扩展Hadoop集群的顺序跟大家分享一些通用的经验：
相关阅读：
《Hadoop实战》中文版+英文文字版+源码【PDF】
Hadoop: The Definitive Guide【PDF版】
继续阅读本文的精彩内容请看第2页：
相关资讯 & & &
& (08/11/:18)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款