學習資源

思科

網絡工程

華為

網絡工程

紅帽

系統運維

RHCSA

RHCE

RHCA

OpenStack

RHCVA

RHCSS

甲骨文

數據庫

OCA

OCP

OCM

MySQL

微軟

系統運維

MTA

MCSA

MCSE

軟件開發

編程設計

Java

Android

HTML5

其他

Python

學習文章

當前位置：首頁 > >學習文章 > >

HDFS架構

發布時間： 2022-11-24 16:51:12

HDFS架構，HDFS中的存儲單元（Block），一個文件會被切分成若干個固定大小Block（塊默認是64MB，可配置，若不足64MB，則單獨一個塊），存儲在不同結點上，默認每Block有三個副本（副本越多，硬盤利用率越低）, Block大小和副本數通過Client端上傳文件時設置，文件上傳成功后，副本數可變，Block Size不可變。

如一個200MB文件會被切成4塊，存在不同結點，如一臺機器出現故障后，會自動復制副本，恢復到正常狀態，只要三個機器不同時發生故障，數據不會丟失。

HDFS包含3種結點，NameNode（NN）、Secondary NameNode（SNN）、DataNode（DN）。以下分別介紹各個結點的功能，HDFS架構圖如圖1所示。

圖1 HDFS架構圖

1．NN結點功能

接收客戶端的讀寫請求，NN中保存文件的Metadata數據（元數據是最重要的，元數據丟失的話，DataNode也就丟失）包括除文件內容外的文件信息；文件包含哪些Block; Block保存在哪個DN上（由DN啟動時上報，因為這個可能隨時變化），為了提高客戶端查詢元數據速度，NN中的Metadata信息在啟動后會加載到內存，但是內存中的數據大小總是一定的，Metadata持久化存儲在硬盤的文件名為Fsimage, Block的位置信息不會保存到Fsimage, Edits日志文件記錄元數據Metadata的操作日志。例如，有一個插入文件的操作，Hadoop不會直接修改Fsimage，而是記錄到Edits日志記錄文件中。隔段時間后會合并Edits和Fsimage，生成新的Fsimage, Edits的機制和關系型數據庫事務的預提交是一樣的機制，合并的機制主要由下面SNN結點完成。

2．SNN結點功能

SNN結點的主要工作是幫助NN合并Edits Log，減少NN啟動時間，另一方面合并會有大量的I/O操作，但是NN最主要的作用是接收用戶讀寫服務，所以大量的資源不能用來進行合并操作。SNN不是NN的備份，但可以做一部分的元數據備份，而不是實時備份（不是熱備）。滿足合并時機后（合并時機：設置時間間隔FS.Checkpoint.Period，默認3600秒；或者配置Edit Log大小，最大64MB）,SNN會復制NN的Edits日志記錄文件和Fsimage元數據文件到SNN，可能會跨網絡復制，這時NN會創建一個新的Edits文件來記錄用戶的讀寫請求操作，然后SNN就會合并為一個新的Fsimage文件，然后SNN會把這個文件推送給NN，最后NN會用新的Fsimage替換舊的Fsimage，然后如此反復進行，如圖2所示。

圖2 Fsimage和Edits合并流程圖

3．DN結點功能

存儲數據，啟動DN線程的時候向NN匯報Block信息；通過向NN發送心跳保持與其聯系（3秒/次），如果NN10分鐘沒有收到DN心跳，則認為其Lost，并Copy其上的Block到其他DN。

副本存儲策略如下。

第一個副本：放置在上傳文件的DN；如果是集群外提交，則隨機挑選一臺硬盤不太滿，CPU不太忙的結點。

第二個副本：放置在與第一個副本不同的機架的結點上。

第三個副本：放置在與第二個副本相同的機架結點（一個機架電源相同，保證安全的同時提高速度）。

QQ空間新浪微博騰訊微博人人網微信更多

上一篇：物聯網的受限節點

下一篇：物聯網傳輸層協議

十九年老品牌

微信咨詢：gz_togogo 咨詢電話：18127429208 咨詢網站客服：在線客服

相關課程推薦

網絡技術

系統運維

數據庫

云計算

安全

大數據

人工智能

項目管理

軟件開發

其他

優選課程

高校合作

企業定制

考試中心

學習資源

關于我們

學習文章

HDFS架構

關于我們

聯系我們

最新文章

客服熱線

全國校區

友情鏈接

關注我們