鸿 网 互 联 www.68idc.cn

当前位置 : 服务器租用 > 数据库 > DB2 > >

三、HDFS相关概念

来源:互联网 作者:佚名 时间:2018-02-10 22:16
1、HDFS中NameNode的启动过程: 步骤1:namenode启动时,首先将fsimage(镜像)载入内存,并执行editlog日志的各项操作 步骤2:内存中建立起元数据映射,则创建一个新的fsimage和空的editlog 步骤3:等待datanode注册与发送数据块信息 2、HDFS中NameNode元数

1、HDFS中NameNode的启动过程:

步骤1:namenode启动时,首先将fsimage(镜像)载入内存,并执行editlog日志的各项操作

步骤2:内存中建立起元数据映射,则创建一个新的fsimage和空的editlog

步骤3:等待datanode注册与发送数据块信息

2、HDFS中NameNode元数据本地磁盘存储目录如何配置以及DataNode存储数据的本地磁盘目录如何配置

1)NameNode元数据存储目录配置

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/dfs/name</value>
</property>

2)DataNode元数据存储目录配置

<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/dfs/data</value>
</property>

3、存储在HDFS上的文件的存储机制及数据安全性如何保证

1)HDFS存储机制

hdfs采用主从架。namenode是元数据节点,该节点用来管理文件系统中的命名空间;datanode是数据节点,真正存储数据的地方,以数据块的形式进行存储,每个数据块大小默认为128M。

2)数据安全性

NameNode在启动的时候首先进入安全模式,如果 datanode 丢失的block达到一定的比例(默认为0.999),则系统会一直处于安全模式状态即只读状态,当超过这个阈值,才可以离开安全模式。

网友评论
<