13518219792
這篇文章主要介紹了hive中merge小文件的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
成都創新互聯公司公司2013年成立，我們提供高端網站建設、微信小程序定制開發、電商視覺設計、成都APP應用開發及網絡營銷搜索優化服務，在傳統互聯網與移動互聯網發展的背景下，我們堅守著用標準的設計方案與技術開發實力作基礎，以企業及品牌的互聯網商業目標為核心，為客戶打造具商業價值與用戶體驗的互聯網+產品。
當Hive輸入由很多個小文件組成，由于每個小文件都會啟動一個map任務，如果文件過小，以至于map任務啟動和初始化的時間大于邏輯處理的時間，會造成資源浪費，甚至OOM。
為此，當我們啟動一個任務，發現輸入數據量小但任務數量多時，需要注意在Map前端進行輸入合并
當然，在我們向一個表寫數據時，也需要注意輸出文件大小
1. Map輸入合并小文件
對應參數：
set mapred.max.split.size=256000000; #每個Map最大輸入大小
set mapred.min.split.size.per.node=100000000; #一個節點上split的至少的大小
set mapred.min.split.size.per.rack=100000000; #一個交換機下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #執行Map前進行小文件合并
在開啟了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一個data node節點上多個小文件會進行合并，合并文件數由mapred.max.split.size限制的大小決定。
mapred.min.split.size.per.node決定了多個data node上的文件是否需要合并~
mapred.min.split.size.per.rack決定了多個交換機上的文件是否需要合并~
2.輸出合并
set hive.merge.mapfiles = true #在Map-only的任務結束時合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任務結束時合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #當輸出文件的平均大小小于該值時，啟動一個獨立的map-reduce任務進行文件merge
感謝你能夠認真閱讀完這篇文章，希望小編分享的“hive中merge小文件的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持創新互聯，關注創新互聯行業資訊頻道，更多相關知識等著你來學習!
