一、HDFS架构概述
1、HDFS定义2、HDFS组成3、HDFS文件块大小4、HDFS的优点5、HDFS的缺点6、HDFS读数据流程7、NameNode工作原理8、DataNode工作原理 二、YARN架构概述
1、yarn概述2、yarn构成组件 三、MapReduce
1、MapReduce优点：2、MapReduce缺点： 四、三者之间的关系 一、HDFS架构概述 1、HDFS定义
HDFS(Hadoop Distributed File System) 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
1、NameNode（nn）: 就是Master，它是一个主管、管理者。存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。(告诉在哪存储，储存什么内容)
管理HDFS的名称空间 ;
配置副本策略；
管理数据块（Block）映射信息；
处理客户端读写请求。
2、DataNode : 就是slave，NameNode下达命令，DataNode执行实际的操作。
存储实际的数据块；
执行数据块的读、写操作。
3、2nn：每隔一段时间对NameNode元数据备份
HDFS中的文件在物理上是分块存储（Block），块大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M,1.x版本是64M
结论：
（1）如果寻址时间约为10ms，即查找到目标block的时间为10ms
（2）寻址时间为传输时间的1%时，则为最佳状态。即：10ms/10%=1000ms
（3）而目前磁盘的传输速率普遍为100MB/s。因此块大小按最小单元设置为128M
（4）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
（5）HDFS的块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置的时间。导致程序在处理这块数据时，会非常慢。
1）高容错性：数据自动保存多个副本。它通过增加副本的形式，提高容错性。如果某个副本丢失以后，如果有机器，它可自动恢复。
2）适合处理大数据：
数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3）可构建在廉价机器上，通过多副本机制，提高可靠性。
1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
2）无法高效的对大量小文件进行存储。
存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息，这样是不可取的，因为NameNode的内存总是有限的。小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
3）不支持并发写入、文件随机修改。一个文件只能有一个写，不允许多个线程同时写；仅支持数据append（追加），不支持文件的随机修改。 6、HDFS读数据流程
（1）client创建文件对象，请求NameNode确认是否有权限以及NameNode是否存在client需要的内容，如果有NameNode将返回给client文件的元数据；
（2）client创建流去读DataNode的数据块，读取规则: 首先访问节点最近的block，其次保证负载均衡
（3）同时访问多个DataNode，数据是串行存储到client，即数据追加
（1）服务器启动之后，edits和fsimage 加载编辑日志和镜像文件到内存中；
（2）client 发起数据内容增删改请求对NameNode
（3）edits_inprogress 先记录需要操作的内容，更新滚动日志, 记录到fsimages
（4）操作内存进行数据的增删改
（5）2nn: checkPoint触发条件：
到了设置的定时时间；Edits中的数据满了
满足任一个条件，Secondary NameNode请求Namnode确实是否可同步，如果回应即可开始同步
（6）滚动正在写的Edits,为edits_inprogress_002,如果这个时间client正请求修改，将记录到edits_inprogress_002，完成之后修改名称为edits_001
（7）拷贝edits_001到2nn，并拉取镜像fsimages
（8）2nn加载edits_001和fsimages到内存，生成新得fsimages.chkpoint，并拷贝到NameNode上，并命名为fsimage.chkpoint, 保证数据是最新得
Fsimage 和 Edits概念：
NameNode格式化之后，将在以下目录下生成文件：
Fsimage文件：HDFS文件系统元数据得一个永久性得检查点，其中包括HDFS文件系统的所有目录和文件inode的序列化信息；Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。seen_txid：文件保存的是一个数据，就是最后一个edits_的数字
8、DataNode工作原理
（1）DataNode启动后向NameNode注册。
（2）NameNode上标记注册成功；
（3）DataNode每周期（6小时）上报所有块信息给NameNode
（4）心跳每3s/次，心跳返回结果带有NameNode给当前DataNode的命令
（5）超过10分钟+30秒没有收到DataNode2的心跳，则认为该节点不可用。NameNode将不会在存储数据到该节点。
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
2、yarn构成组件1、ResourceManager (RM) ：整个集群资源（内存、CPU等）的老大，通俗一点讲就是协调分配整个集群的内存和CPU。
处理客户端请求；
监控NodeManager
启动和监控ApplicationMaster
资源的分配和调度
2、NodeManager (NM) ：单个节点服务器资源老大。也就是单台机器该节点所需要的内存和cpu
管理单个节点上的资源
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
3、ApplicationMaster (AM)：单个任务运行的老大
为应用程序申请资源并分配给内部的任务
任务的监控与容错
4、Container：容器，相当一台独立的服务器，
container是Yarn中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
5、client就是客户端
文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block(块)
与NameNode交互，获取文件的位置信息；
与DataNode交互，读取或者写入数据；
Client提供一些命令来管理HDFS, 比如NameNode格式化。
Client可以通过一些命令来访问HDFS, 比如对HDFS增啥改查操作。
注意：
1、客户端client可以有多个
2、集群上可以运行多个ApplicationMaster
3、每个NodeManager上可以有多个Container
MapReduce进程：一个完整的MapReduce程序在分布式运行有三类实例进程：
MrAppMaster：负责整个程序的过程调度以及状态协调；MapTask：负责Map阶段整个数据处理流程ReduceTask:：负责Reduce阶段的整个数据处理流程
1、MapReduce优点：
易于编程。用户只关系业务逻辑，实现框架的接口。良好扩展性。可以动态增加服务器，解决计算资源不够问题高容错性。任何一台机器挂掉，可以将任务转移到其他节点。适合海量数据计算，几千台服务器共同计算。 2、MapReduce缺点：
不擅长实时计算。Mysql不擅长流式计算。Sparkstreaming flink不擅长DAG有向无环图计算。 四、三者之间的关系
客户端Client提交任务到资源管理器（ResourceManager）,资源管理器接收到任务之后去NodeManager节点开启任务（ApplicationMaster）, ApplicationMaster向ResourceManager申请资源, 若有资源ApplicationMaster负责开启任务即MapTask。开始干活了即分析任务，每个map独立工作，各自负责检索各自对应的DataNode，将结果记录到HDFS, DataNode负责存储，NameNode负责记录，2nn负责备份部分数据。
五 、面试题
1、常用端口
hadoop 3.x
HDFS NameNode 内部通常端口：8020/9000/9820
HDFS NameNode 对用户得查询端口：9870
Yarn查看任务运行情况：8088
历史服务器：19888
hadoop 2.x
HDFS NameNode 内部通常端口：8020/9000
HDFS NameNode 对用户得查询端口：50070
Yarn查看任务运行情况：8088
历史服务器：19888
2、常用的配置文件
3.x版本：
core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers
2.x版本：
core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves