大数据发展趋势与应用_IT168文库_图文_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&10W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
大数据发展趋势与应用_IT168文库
阅读已结束，下载本文需要
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
加入VIP
还剩28页未读，
定制HR最喜欢的简历
你可能喜欢用户：**210717@qq.c**
用户：****
用户：**3823543@qq.**
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
用户：****
分享：9999+
课程顾问贴心解答
为你推荐精品课程，无论就业还是升职加薪，毫无压力。
名企定制紧随大流
量身打造紧贴企业需求的实用性课程。
系统教学把控效果
集学、测、练为一体的学习系统为你科学的安排学习进度，提高效率。
一线大师1对1指导
课程研发团队内一线资深讲师一对一指导，手把手教学，直到学会。
点播答疑完美结合
每周2-3次直播解答，保证学员日常学习问题能得到解决。
量身定制学习计划
告别杂乱的学习方式，我们会根据你的情况定制学习计划。
Hadoop是2013年最热门的技术之一，通过北风网robby老师、&两套课程的学习，普通Java开发人员可以在最快的时间内提升工资超过15000.成为一位完全精通Hadoop应用开发的高端人才。
Hadoop是什么，为什么要学习Hadoop?
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop带有用Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解，完全基于真实场景进行模拟现实
亮点一:技术先进，经典应用
新的课程采用了全新平台：Oracle VirtualBox + CentOs + 最新的Hadoop 1.x稳定版本，提供了更稳定，安全的平台，更加贴近企业级应用的真实环境。课程完整，详细的介绍并实现了多个Hadoop经典应用：搜索引擎自动推荐，好友智能推荐，最短路径算法，PageRank。他们代表了当前最成功，应用范围最广的Hadoop应用案例，特别是PageRank，更是Google赖以发家的法宝，直到如今，仍然是Google搜索引擎最为重要的技术。通过这些案例，对于学习如何开发成功的Hadoop应用有极大的帮助。
亮点二:内容实用，全面深入
非Java的MapReduce应用是Hadoop重要内容之一，Streaming和Pipes是将现有应用移植到Hadoop平台的重要技术。另外，Hadoop提供了海量数据的处理方案，但是如何进行原始数据收集，Apache Flume给出了答案，新的Apache Flume的解决方案，更加简单，实用和高效。课程还详细介绍了如何借助Hadoop提供的工具，对集群中的节点进行有效的管理，这些都是一个Hadoop管理人员必备知识。
亮点三:讲师丰富的电信集团云平台运作经验
讲师robby拥有丰富的电信集团工作经验，目前负责云平台的各方面工作，并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求，绝不纸上谈兵。
第1章节: （4课时）
搜索引擎自动推荐（4课时）
& 新平台搭建： 使用VirtualBox创建CentOs虚拟机，并使用RPM的方式安装和使用Hadoop
& 内存数据库Redis的安装和基本使用
& 搜索引擎自动推荐算法讲解
& 使用JqueryUI + Ajax + Redis搭建前后台框架
& 使用Map Reduce实现数据统计算法
& 定制Map Reduce输出，将数据直接写入Redis内存数据库
第2章节: (3课时）
好友智能推荐 (3课时）
& 应用背景和算法详细讲解
& Web框架搭建Struts2 + Redis
& 使用Map Reduce结合Redis实现潜在好友查找算法
& 完整的应用逻辑实现：前台好友关注，后台潜在好友查找，再到前台潜在好友推荐
第3章节:(2课时）
Hadoop Streaming(2课时）
& 非Java的Map Reduce实现
& 如何使用脚本语言实现一个Map Reduce任务
& 如何使用C语言实现一个Map Reduce任务
第4章节: (1课时）
Hadoop Pipes (1课时）
& 基于Hadoop Pipes，使用C++实现Map Reduce任务
第5章节: (2课时）
Apache Flume基础 (2课时）
& Apache Flume概述
& Flume Agent详细介绍及使用
& 深入Flume子模块: Source, Sink及Channel的使用
第6章节:& (3课时）
Flume实践及分布式应用 (3课时）
& 与搜索引擎自动推荐应用的结合
& 搭建分布式的flume应用
第7章节: (5课时）
最短路径算法的Hadoop实现(约5课时）
& 最短路径算法介绍
& 如何使用MapReduce实现最短路径算法
& 找到城市任意公交站点之间的最短路径
第8章节: (3课时）
Hadoop集群管理(约3课时）
& Hadoop的日志管理
& 动态添加和删除Hadoop节点
& Namenode和Datanode目录结构介绍
& HDFS的数据安全性：fsimage和editlog
& Hadoop管理工具dfsadmin和fsck的使用
第9章节:(5课时）
PageRank算法的Hadoop实现(约5课时）
& Google的成名之作：PageRank算法介绍
& 如何使用Hadoop实现PageRank算法
您暂未登录不能收藏！请登录后在进行课程的收藏！一份耕耘，一份收获，一份成长！
Hadopp 入门 基本概念（一）
近期开启Hadoop学习旅程，介CSDN博客记录自己的学习过程，希望能和大牛门多多指点。
记录的过程通过提问的方式进行，当然回答的准确性，逻辑性有待讨论。
hadoop是什么？
Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。Hadoop就是一个分布式计算的解决方案。Hadoop有分布式数据库Hbase。Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等。
hadoop 能做什么？
hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。
hadoop 使用场景？
大数据量存储：分布式存储日志处理: Hadoop擅长这个海量计算: 并行计算ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统机器学习: 比如Apache Mahout项目搜索引擎:hadoop + lucene实现数据挖掘：目前比较流行的广告推荐大量地从文件中顺序读。HDFS对顺序读进行了优化，代价是对于随机的访问负载较高。数据支持一次写入，多次读取。对于已经形成的数据的更新不支持。数据不进行本地缓存（文件很大，且顺序读没有局部性）任何一台服务器都有可能失效，需要通过大量的数据复制使得性能不会受到大的影响。用户细分特征建模个性化广告推荐智能仪器推荐一切以增加企业的商业价值为核心目的、最终目的。
没有更多推荐了，
(window.slotbydup=window.slotbydup || []).push({
id: '5865575',
container: s,
size: '300,250',
display: 'inlay-fix'大数据发展趋势与应用_图文_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&10W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
大数据发展趋势与应用
阅读已结束，下载本文需要
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
加入VIP
还剩28页未读，
定制HR最喜欢的简历
你可能喜欢实战：如何在Linux上安装与配置Hadoop
　作者: 陆嘉恒　编辑:
&&&&&&&&【IT168&技术】Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，网址为http://apache.etoak.com/hadoop/core/。　　Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，首先必须安装Cygwin以模拟Linux环境，然后才能安装Hadoop。　　在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此下面不会对其进行详细介绍。　　在Linux上安装与配置Hadoop　　在Linux上安装Hadoop之前，需要先安装两个程序：　　1. JDK 1.6或更高版本;　　2. SSH(安全外壳协议)，推荐安装OpenSSH。　　下面简述一下安装这两个程序的原因：　　1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。　　2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分布式中salve为localhost(即为自身)，所以对于伪分布式Hadoop，SSH一样是必须的。　　一、安装JDK 1.6　　安装JDK的过程很简单，下面以Ubuntu为例。　　(1)下载和安装JDK　　确保可以连接到互联网，输入命令：sudo apt-get install sun-java6-jdk　　输入密码，确认，然后就可以安装JDK了。　　这里先解释一下sudo与apt这两个命令，sudo这个命令允许普通用户执行某些或全部需要root权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么操作;同时sudo也提供了灵活的管理方式，可以限制用户使用命令。sudo的配置文件为/etc/sudoers。　　apt的全称为the Advanced Packaging Tool，是Debian计划的一部分，是Ubuntu的软件包管理软件，通过apt安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为&新立得&)，大家如果有兴趣也可以使用这个程序来安装所需要的软件。(如果大家想了解更多，可以查看一下关于Debian计划的资料。)　　(2)配置环境变量　　输入命令：sudo gedit /etc/profile　　输入密码，打开profile文件。　　在文件的最下面输入如下内容：#set Java Environmentexport JAVA_HOME= （你的JDK安装位置，一般为/usr/lib/jvm/java-<span style="color: #-sun）export CLASSPATH=&.:$JAVA_HOME/lib:$CLASSPATH&export PATH=&$JAVA_HOME/:$PATH&　　这一步的意义是配置环境变量，使你的系统可以找到JDK。　　(3)验证JDK是否安装成功　　输入命令：java -version　　查看信息：java version &<span style="color: #.6.0_14&Java(TM) SE Runtime Environment (build <span style="color: #.6.0_14-b08)Java HotSpot(TM) Server VM (build <span style="color: #.0-b16, mixed mode)
　　二、配置SSH免密码登录　　同样以Ubuntu为例，假设用户名为u。　　1)确认已经连接上互联网，输入命令sudo apt-get install ssh　　2)配置为可以无密码登录本机。　　首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有&.&，这是一个隐藏文件夹)，输入命令：ls -a /home/u　　一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建一个。　　接下来，输入命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa　　解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用于提供密语;-f指定生成的密钥文件。(关于密钥密语的相关知识这里就不详细介绍了，里面会涉及SSH的一些知识，如果读者有兴趣，可以自行查阅资料。)　　在Ubuntu中，~代表当前用户文件夹，这里即/home/u。　　这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的key里面去。　　输入命令：cat ~/.ssh/id_dsa.pub && ~/.ssh/authorized_keys　　这段话的意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。　　至此无密码登录本机已设置完毕。　　3)验证SSH是否已安装成功，以及是否可以无密码登录本机。　　输入命令：ssh -version　　显示结果：OpenSSH_5.1p1 Debian-<span style="color: #ubuntu2, OpenSSL <span style="color: #.9.8g <span style="color: # Oct <span style="color: #07Bad escape character 'rsion'.　　显示SSH已经安装成功了。　　输入命令：ssh localhost　　会有如下显示：The authenticity of host 'localhost (::1)' can't be established.RSA key fingerprint is 8b:c3:<span style="color: #:a5:2a:<span style="color: #:b7:<span style="color: #:<span style="color: #:9d:<span style="color: #:<span style="color: #:4f:<span style="color: #:f8:<span style="color: #.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'localhost' (RSA) to the list of known hosts.Linux master <span style="color: #.6.<span style="color: #-<span style="color: #-generic #<span style="color: #-Ubuntu SMP Fri Oct <span style="color: # <span style="color: #:<span style="color: #:<span style="color: # UTC <span style="color: #09 i686To access official Ubuntu documentation, please visit:http://help.ubuntu.com/Last login: Mon Oct <span style="color: # <span style="color: #:<span style="color: #:<span style="color: # <span style="color: #10 from masteradmin@Hadoop:~$　　这说明已经安装成功，第一次登录时会询问你是否继续链接，输入yes即可进入。　　实际上，在Hadoop的安装过程中，是否无密码登录是无关紧要的，但是如果不配置无密码登录，每次启动Hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑到一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH的无密码登录。
　　三、安装并运行Hadoop　　介绍Hadoop的安装之前，先介绍一下Hadoop对各个节点的角色定义。　　Hadoop分别从三个角度将主机划分为两种角色。第一，划分为master和slave，即主人与奴隶;第二，从HDFS的角度，将主机划分为NameNode和DataNode(在分布式文件系统中，目录的管理很重要，管理目录的就相当于主人，而NameNode就是目录管理者);第三，从MapReduce的角度，将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task，从这个角度不难理解它们之间的关系)。　　Hadoop有官方发行版与cloudera版，其中cloudera版是Hadoop的商用版本，这里先介绍Hadoop官方发行版的安装方法。　　Hadoop有三种运行方式：单节点方式、单机伪分布方式与集群方式。乍看之下，前两种方式并不能体现云计算的优势，在实际应用中并没有什么意义，但是在程序的测试与调试过程中，它们还是很有意义的。　　你可以通过以下地址获得Hadoop的官方发行版：　　http://www.apache.org/dyn/closer.cgi/Hadoop/core/　　下载Hadoop-0.20.2.tar.gz并将其解压，这里会解压到用户目录下，一般为：/home/[你的用户名]/。　　单节点方式配置：　　安装单节点的Hadoop无须配置，在这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。　　伪分布式配置：　　你可以把伪分布式的Hadoop看做是只有一个节点的集群，在这个集群中，这个节点既是master，也是既是NameNode也是DataN既是JobTracker，也是TaskTracker。　　伪分布式的配置过程也很简单，只需要修改几个文件，如下所示。　　进入conf文件夹，修改配置文件：Hadoop-env.sh:export JAVA_HOME=&你的JDK安装地址&　　指定JDK的安装位置：conf/core-site.xml:&configuration&&&&& &property&&&&&&&&& &name&fs.default.name&/name&&&&&&&&& &value&hdfs://localhost:<span style="color: #00&/value&&&&& &/property&&/configuration&　　这是Hadoop核心的配置文件，这里配置的是HDFS的地址和端口号。conf/hdfs-site.xml:&configuration&&&&& &property&&&&&&&&& &name&dfs.replication&/name&&&&&&&&& &value&<span style="color: #&/value&&&&& &/property&&/configuration&　　这是Hadoop中HDFS的配置，配置的备份方式默认为3，在单机版的Hadoop中，需要将其改为1。conf/mapred-site.xml:&configuration&&&&& &property&&&&&&&&& &name&mapred.job.tracker&/name&&&&&&&&& &value&localhost:<span style="color: #01&/value&&&&& &/property&&/configuration&　　这是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。　　需要注意的是，如果安装的是0.20之前的版本，那么只有一个配置文件，即为Hadoop-site.xml。　　接下来，在启动Hadoop前，需格式化Hadoop的文件系统HDFS(这点与Windows是一样的，重新分区后的卷总是需要格式化的)。进入Hadoop文件夹，输入下面的命令：bin/Hadoop NameNode -format　　格式化文件系统，接下来启动Hadoop。　　输入命令：bin/start-all.sh（全部启动）　　最后，验证Hadoop是否安装成功。　　打开浏览器，分别输入网址：　　http://localhost:50030 (MapReduce的Web页面)　　http://localhost:50070 (HDFS的Web页面)　　如果都能查看，说明Hadoop已经安装成功。　　对于Hadoop来说，安装MapReduce及HDFS都是必须的，但是如果有必要，你依然可以只启动HDFS(start-dfs.sh)或MapReduce(start-mapred.sh)。　　作者简介　　陆嘉恒，《Hadoop实战》作者，中国人民大学副教授，新加坡国立大学博士，美国加利福尼亚大学尔湾分校(University of California， Irvine) 博士后。
IT168企业级
扫一扫关注
行车视线文章推荐