更新時間:2019-02-13 11:08 來源:動力節點 瀏覽10459次
隨著數據的日益膨脹,面對海量數據存儲需求,傳統的存儲系統存在很多弊端,比如在容量和性能的擴展上存在瓶頸,從而應運而生出現了分布式文件系統;
文件系統是操作系統的重要組成部分,用來管理和存儲大量的文件信息,負責對文件的存儲空間進行分配和管理,并對其中的文件進行存儲和檢索,同時為用戶提供包括文件創建、刪除、重命名、讀寫、訪問控制等一系列功能。此外,文件系統還可以根據存取權限及訪問操作類型來指定用戶對文件的存取。
分布式文件系統除了具有本地文件系統的所有功能外,還必須管理整個系統中所有服務器上的文件資源,這些服務器節點通過網絡相連構成一個龐大的文件存儲服務器集群,這些服務器都用于存儲文件資源,通過分布式文件系統來管理這些服務器上的文件;
此外分布式文件系統還需要隱藏內部的實現細節,對用戶和應用程序屏蔽各個服務器節點底層文件系統之間的差異,以提供給用戶統一的訪問接口和方便的資源管理方式,同時分布式文件系統還需要充分考慮了冗余備份、負載均衡、線性擴容等機制,并注重高可用、高性能等指標,從而實現一套高性能的文件服務器集群提供文件的管理等服務;
在互聯網金融項目中,我們有大量的債權合同文件存儲需求,這些合同文件每天都會生成,隨著時間的推移,會生成大量的合同文件,每個文件都為pdf小文件,約2M左右,對此需求,我們選擇了FastDFS這樣一款輕量級的分布式文件系統軟件,實現對債權合同的管理。
FastDFS是一個開源的輕量級分布式文件系統,為互聯網應用量身定做,簡單、靈活、高效,采用C語言開發,整個文件系統由客戶端(Client)、跟蹤器(Tracker)和存儲節點(Storage)三部分組成。服務端有Tracker和Storage兩個角色,Tracker用來負責作業的調度和負載均衡,Storage則用于存儲文件,并負責管理文件。為支持大容量的數據存儲,Storage采用分卷或分組的數據組織方式,存儲系統可由一個或多個卷組成,一個卷可以由一臺或多臺存儲服務器構建。
同一個卷下的多臺存儲服務器中的數據文件都是相同的,卷與卷之間的文件則相互獨立,通過這種數據組織方式,可以很好地實現數據冗余備份以及系統負載均衡的目的。
高薪課程推薦:分布式文件系統FastDFS詳解; 分布式版本控制Git詳解
0基礎 0學費 15天面授
有基礎 直達就業
業余時間 高薪轉行
工作1~3年,加薪神器
工作3~5年,晉升架構
提交申請后,顧問老師會電話與您溝通安排學習