Hadoop

HDFS

[toc] 1.介绍一句话(官方):分布式存储系统HDFS( Hadoop Distributed File System)。其实就是一个文件系统，类似于linux的文件系统。有目录，目录下可以...

YARN

[toc] 1.YARN 概述 YARN YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的...

安装与配置

[TOC] 来自 :https://www.aboutyun.com/forum.php?mod=viewthread&tid=20620 这节开始讲解集群搭建：这儿选用的linux环境是CentOS-7.0-1406-x86_64-GnomeLive.iso GNOME桌...

错误合集

[toc] 1.Datanode denied communication with namenode because hostname cannot be resolved( nameNode找不到dateNode**)** 大意是nameNode找不到dateNode, 原因: 暂未知其表现: 1....

介绍及原理

1.hadoop: lucene (全文检索) –>Nutch(搜索引擎) GFS(谷歌文件系统) —>HDFS hadoop分布式文件系统 MapReduce(数据的处理...

命令

hdfs namenode -format #第一次启动需要格式化namenode jps 可以查看java进程,以此来确定hadoop是否启动成功 sbin/start-dfs.sh # 启动hadoop分布式存储进程启动...