首页
/
每日頭條
/
圖文
/
列存儲與行存儲區别
列存儲與行存儲區别
更新时间:2026-08-27 16:54:10

目前大數據存儲有兩種方案可供選擇:行存儲(Row-Based)和列存儲(Column-Based)。

列存儲與行存儲區别(了解一下列存儲及其特點)1

什麼是列存儲

列式存儲(column-based)是相對于傳統關系型數據庫的行式存儲(Row-basedstorage)來說的。簡單的來說就是數據的存儲方式是按照列方向來存儲的。

列存儲與行存儲區别(了解一下列存儲及其特點)2

簡單來說兩者的區别就是如何從上圖可以看出行存儲數據條都是在一起的,列存儲中數據是分開存放的。

行存儲 VS 列存儲
  1. 按數據讀取方式

1)數據讀取時,行存儲通常将一行數據完全讀出,如果隻需要其中幾列數據的情況,就會存在冗餘列,出于縮短處理時間的考量,消除冗餘列的過程通常是在内存中進行的。

2)列存儲每次讀取的數據是集合的一段或者全部,不存在冗餘性問題。

3) 兩種存儲的數據分布。由于列存儲的每一列數據類型是同質的,不存在二義性問題。比如說某列數據類型為整型(int),那麼它的數據集合一定是整型數據。這種情況使數據解析變得十分容易。相比之下,行存儲則要複雜得多,因為在一行記錄中保存了多種類型的數據,數據解析需要在多種數據類型之間頻繁轉換,這個操作很消耗CPU,增加了解析的時間。所以,列存儲的解析過程更有利于分析大數據。

4)從數據的壓縮以及更性能的讀取來對比

列存儲與行存儲區别(了解一下列存儲及其特點)3

列存儲與行存儲區别(了解一下列存儲及其特點)4

  1. 按數據寫入方式

1)行存儲的寫入是一次完成。如果這種寫入建立在操作系統的文件系統上,可以保證寫入過程的成功或者失敗,數據的完整性因此可以确定。

2)列存儲由于需要把一行記錄拆分成單列保存,寫入次數明顯比行存儲多(意味着磁頭調度次數多,而磁頭調度是需要時間的,一般在1ms~10ms) ,再加上磁頭需要在盤片上移動和定位花費的時間,實際時間消耗會更大。所以,行存儲在寫入上占有很大的優勢。

3)還有數據修改,這實際也是一次寫入過程。不同的是,數據修改是對磁盤上的記錄做删除标記。行存儲是在指定位置寫入一次,列存儲是将磁盤定位到多個列上分别寫入,這個過程仍是行存儲的列數倍。所以,數據修改也是以行存儲占優。

列存儲使用場景

1)一般來說,一個OLAP類型的查詢可能需要訪問幾百萬甚至幾十億個數據行,且該查詢往往隻關心少數幾個數據列。例如,查詢今年銷量最高的前20個商品,這個查詢隻關心三個數據列:時間(date)、商品(item)以及銷售量(sales amount)。商品的其他數據列,例如商品URL、商品描述、商品所屬店鋪,等等,對這個查詢都是沒有意義的。

而列式數據庫隻需要讀取存儲着“時間、商品、銷量”的數據列,而行式數據庫需要讀取所有的數據列。因此,列式數據庫大大地提高了OLAP大數據量查詢的效率

OLTP OnLine TransactionProcessor 在線聯機事務處理系統(比如Mysql,Oracle等産品)

OLAP OnLine AnalaysierProcessor 在線聯機分析處理系統(比如Hive Hbase等)

2)很多列式數據庫還支持列族(column group,Bigtable系統中稱為locality group),即将多個經常一起訪問的數據列的各個值存放在一起。如果讀取的數據列屬于相同的列族,列式數據庫可以從相同的地方一次性讀取多個數據列的值,避免了多個數據列的合并。列族是一種行列混合存儲模式,這種模式能夠同時滿足OLTP和OLAP的查詢需求。

3)此外,由于同一個數據列的數據重複度很高,因此,列式數據庫壓縮時有很大的優勢。

總結

行式數據庫的特征如下:

①數據是按行存儲的。

②沒有索引的查詢使用大量I/O。比如一般的數據庫表都會建立索引,通過索引加快查詢效率。

③建立索引和物化視圖需要花費大量的時間和資源。

④面對查詢需求,數據庫必須被大量膨脹才能滿足需求。

列式數據庫的特性如下:

①數據按列存儲,即每一列單獨存放。

②數據即索引。

③隻訪問查詢涉及的列,可以大量降低系統I/O。

④每一列由一個線程來處理,即查詢的并發處理性能高。

⑤數據類型一緻,數據特征相似,可以高效壓縮。比如有增量壓縮、前綴壓縮算法都是基于列存儲的類型定制的,所以可以大幅度提高壓縮比,有利于存儲和網絡輸出數據帶寬的消耗。

,
Comments
Welcome to tft每日頭條 comments! Please keep conversations courteous and on-topic. To fosterproductive and respectful conversations, you may see comments from our Community Managers.
Sign up to post
Sort by
Show More Comments
推荐阅读
廣東最好的海島旅遊攻略(廣東最适合短途遊玩的10大海島)
廣東最好的海島旅遊攻略(廣東最适合短途遊玩的10大海島)
  清明小長假馬上就要到啦!   各位小夥伴是不是早就按捺不住   想去浪浪浪浪浪的心呐!   今天,最姐就給大家帶來   10條廣州周邊海島遊線路   總有一款适合你!      惠州 喜洲島   喜洲島又叫許洲,當地人稱“南丫島”   小島就在壩光村對面的海中   是一個無人管理的荒島   這裡比三亞安靜、比洱海多情            喜洲島的沙灘有...
2026-08-27
郭少芸 黎耀祥(一衆港星齊聚杭州吃麻辣火鍋)
郭少芸 黎耀祥(一衆港星齊聚杭州吃麻辣火鍋)
  7月17日,黎耀祥經紀人在社交網上分享了一段聚會視頻,并配文稱,來到杭州最開心,就是老友聚會。      曝光的畫面中,黎耀祥、郭少芸以及梁烈唯(已改名為梁競徽)齊聚杭州某餐廳吃麻辣火鍋,桌上擺滿了各種肉類以及蔬菜,相當豐盛,隔着屏幕都能讓人食指大動。      郭少芸率先出現在鏡頭裡,她穿着白色襯衫,一頭蓬松的頭發随意披散着,再配上精緻的妝容,打扮一如...
2026-08-27
商河美景圖(山東好景北緯37遇見商河之美)
商河美景圖(山東好景北緯37遇見商河之美)
     北緯37°是我國的一條經濟帶,有濟南“北大門”之稱的商河就在這條帶上。秋風吹拂,天高雲淡,途經商河,遇見北緯37°康旅示範小鎮,讓人眼前一亮。漫步小鎮,路邊鮮花盛開,湖水碧波蕩漾,徽派建築群錯落有緻,置身其中,恍若來到江南水鄉。商河北緯37°是山東省省級文旅項目,濟南市重點項目,已申報為國家4A級風景區。這裡以康養為核心,并集合教育、文旅、農業和地...
2026-08-27
15秒記一個單詞第455個(20秒記一個單詞第2127個)
15秒記一個單詞第455個(20秒記一個單詞第2127個)
     explode /ɪkˈspləʊd/ v. 勃然(大怒);大發(雷霆);突然發生(危險):點擊收聽音頻跟讀 ↓↓↓ ↓↓↓ ↓↓↓例句/詞組:Suddenly Jacky exploded with rage.   查爾斯勃然大怒。   英語解釋:to suddenly become very angry or dangerous   • 勃然(...
2026-08-27
夏洛特煩惱你不一定知道的細節(刷了N遍夏洛特煩惱後搜集了一些很有趣很贊的小細節)
夏洛特煩惱你不一定知道的細節(刷了N遍夏洛特煩惱後搜集了一些很有趣很贊的小細節)
  與同事閑聊到《夏洛特煩惱》的一些印象深刻的橋段,之後搜集整理了60多張圖片,盆兒友們注意流量哈~大家看看還有沒有可以補充的,我在評論區等你!   大春張揚運球打到裆。      2.大春!防他!!      3.大哥你的書包沒拉诶。。。  4.“有沒有人來看我啊?”“木有诶~”“你騙人!!”      5.魔性的校長。      6.出名了想吃烤串了咋整...
2026-08-27
Copyright 2023-2026 - www.tftnews.com All Rights Reserved