<dd id="98sqm"></dd>

  • <dd id="98sqm"><track id="98sqm"></track></dd>
  • <rp id="98sqm"></rp>

    第一周, 總體概述, Hadoop , 想到鴻蒙的未來,還想大干一場

    2021-04-20 21:12:05

    2019-8-2    大數據班正式開課, 整天講解大數據的軟件構成和概念

    image.png



    Hadoop , 想到鴻蒙的未來,我還想大干一場

    image.png


    HDFS:


    Hadoop是Apache軟件基金會所開發的并行計算框架與分布式文件系統。

    Hadoop 最核心的模塊包括Hadoop Common、HDFS與MapReduce。


    HDFS是Hadoop分布式文件系統(Hadoop Distributed File System)的縮寫,

    為分布式計算存儲提供了底層支持。

    image.png


    采用Java語言開發,可以部署在多種普通的廉價機器上,以集群處理數量積達到大型主機處理性能。

    HDFS 架構原理HDFS采用master/slave架構。

    一個HDFS集群包含一個單獨的NameNode和多個DataNode。

    NameNode作為master服務,它負責管理文件系統的命名空間和客戶端對文件的訪問。

    NameNode會保存文件系統的具體信息,包括文件信息、文件被分割成具體block塊的信息、以及每一個block塊歸屬的DataNode的信息。

    HDFS通過NameNode對用戶提供了一個單一的命名空間。

    DataNode作為slave服務,在集群中可以存在多個。

    通常每一個DataNode都對應于一個物理節點。

    DataNode負責管理節點上它們擁有的存儲,它將存儲劃分為多個block塊,管理block塊信息,同時周期性的將其所有的block塊信息發送給NameNode。


    HDFS采用master/slave架構。一個HDFS集群是由一個Namenode和一定數目的Datanodes組成。

    Namenode是一個中心服務器,負責管理文件系統的名字空間(namespace)以及客戶端對文件的訪問。

    集群中的Datanode一般是一個節點一個,負責管理它所在節點上的存儲。

    HDFS暴露了文件系統的名字空間,用戶能夠以文件的形式在上面存儲數據。

    從內部看,一個文件其實被分成一個或多個數據塊,這些塊存儲在一組Datanode上。

    Namenode執行文件系統的名字空間操作,比如打開、關閉、重命名文件或目錄。

    它也負責確定數據塊到具體Datanode節點的映射。

    Datanode負責處理文件系統客戶端的讀寫請求。

    在Namenode的統一調度下進行數據塊的創建、刪除和復制。

    下圖為HDFS系統架構圖,主要有三個角色,Client、NameNode、DataNode。


    深圳塑膠模具廠,深圳市模具廠,深圳模具廠,深圳模具,深圳塑膠模具



    文件寫入時:Client向NameNode發起文件寫入的請求。

    NameNode根據文件大小和文件塊配置情況,返回給Client它所管理部分DataNode的信息。

    Client將文件劃分為多個block塊,并根據DataNode的地址信息,按順序寫入到每一個DataNode塊中。


    當文件讀?。篊lient向NameNode發起文件讀取的請求。

    NameNode返回文件存儲的block塊信息、及其block塊所在DataNode的信息。

    Client讀取文件信息。

    HDFS 數據備份HDFS被設計成一個可以在大集群中、跨機器、可靠的存儲海量數據的框架。

    它將所有文件存儲成block塊組成的序列,除了最后一個block塊,所有的block塊大小都是一樣的。

    文件的所有block塊都會因為容錯而被復制。

    每個文件的block塊大小和容錯復制份數都是可配置的。

    容錯復制份數可以在文件創建時配置,后期也可以修改。


    HDFS中的文件默認規則是write one(一次寫、多次讀)的,并且嚴格要求在任何時候只有一個writer。NameNode負責管理block塊的復制,它周期性地接收集群中所有DataNode的心跳數據包和Blockreport。心跳包表示DataNode正常工作,Blockreport描述了該DataNode上所有的block組成的列表。

    --------------------- 

    作者:Resines 

    來源:CSDN 

    原文:https://blog.csdn.net/genglei1022/article/details/89646714 

    版權聲明:本文為博主原創文章,轉載請附上博文鏈接!


    MapReduce: 

    image.png



    YARN:


    image.png



    標簽: 鴻蒙
    首頁
    產品
    新聞
    聯系
    高清一卡二卡三卡四卡视频在线观看,女生和男生在一起差差3,成片一卡二卡三卡动态图片,啦啦啦啦啦视频免费观看1,插曲的痛的视频30分钟日本 临朐县| 义乌市| 务川| 屏东市| 广州市| 乐陵市| 获嘉县| 苗栗县| 大悟县| 樟树市| 临沧市| 英超| 元朗区| 泰州市| 宁远县| 高碑店市| 乐安县| 旌德县| 衢州市| 准格尔旗| 海安县| 潮州市| 肥东县| 长垣县| 海宁市| 灵宝市| 库尔勒市| 万年县| 塔城市| 修文县| 平舆县| 泰来县| 衡山县| 沐川县| 泾阳县| 黑山县| 梁山县| 永修县| 黄冈市| 介休市| 玛纳斯县| 康马县| 乐业县| 荣昌县| 灵璧县| 富顺县| 嘉义市| 通辽市| 安远县| 阜平县| 尼勒克县| 乳源| 潼关县| 吉水县| 成都市| 汾西县| 湄潭县| 平乡县| 青州市| 大埔区| 渭源县| 苗栗市| 尼玛县| 大渡口区| 东城区| 衡阳县| 广灵县| 遵义县| 渑池县| 南华县| 乌兰察布市| 镇康县| 乌兰县| 称多县| 岐山县| 从化市| 丰顺县| 东山县| 宣化县| 河西区| 伊宁县| 施秉县|