首页
/
每日頭條
/
圖文
/
列存儲與行存儲區别
列存儲與行存儲區别
更新时间:2026-05-08 15:54:39

目前大數據存儲有兩種方案可供選擇:行存儲(Row-Based)和列存儲(Column-Based)。

列存儲與行存儲區别(了解一下列存儲及其特點)1

什麼是列存儲

列式存儲(column-based)是相對于傳統關系型數據庫的行式存儲(Row-basedstorage)來說的。簡單的來說就是數據的存儲方式是按照列方向來存儲的。

列存儲與行存儲區别(了解一下列存儲及其特點)2

簡單來說兩者的區别就是如何從上圖可以看出行存儲數據條都是在一起的,列存儲中數據是分開存放的。

行存儲 VS 列存儲
  1. 按數據讀取方式

1)數據讀取時,行存儲通常将一行數據完全讀出,如果隻需要其中幾列數據的情況,就會存在冗餘列,出于縮短處理時間的考量,消除冗餘列的過程通常是在内存中進行的。

2)列存儲每次讀取的數據是集合的一段或者全部,不存在冗餘性問題。

3) 兩種存儲的數據分布。由于列存儲的每一列數據類型是同質的,不存在二義性問題。比如說某列數據類型為整型(int),那麼它的數據集合一定是整型數據。這種情況使數據解析變得十分容易。相比之下,行存儲則要複雜得多,因為在一行記錄中保存了多種類型的數據,數據解析需要在多種數據類型之間頻繁轉換,這個操作很消耗CPU,增加了解析的時間。所以,列存儲的解析過程更有利于分析大數據。

4)從數據的壓縮以及更性能的讀取來對比

列存儲與行存儲區别(了解一下列存儲及其特點)3

列存儲與行存儲區别(了解一下列存儲及其特點)4

  1. 按數據寫入方式

1)行存儲的寫入是一次完成。如果這種寫入建立在操作系統的文件系統上,可以保證寫入過程的成功或者失敗,數據的完整性因此可以确定。

2)列存儲由于需要把一行記錄拆分成單列保存,寫入次數明顯比行存儲多(意味着磁頭調度次數多,而磁頭調度是需要時間的,一般在1ms~10ms) ,再加上磁頭需要在盤片上移動和定位花費的時間,實際時間消耗會更大。所以,行存儲在寫入上占有很大的優勢。

3)還有數據修改,這實際也是一次寫入過程。不同的是,數據修改是對磁盤上的記錄做删除标記。行存儲是在指定位置寫入一次,列存儲是将磁盤定位到多個列上分别寫入,這個過程仍是行存儲的列數倍。所以,數據修改也是以行存儲占優。

列存儲使用場景

1)一般來說,一個OLAP類型的查詢可能需要訪問幾百萬甚至幾十億個數據行,且該查詢往往隻關心少數幾個數據列。例如,查詢今年銷量最高的前20個商品,這個查詢隻關心三個數據列:時間(date)、商品(item)以及銷售量(sales amount)。商品的其他數據列,例如商品URL、商品描述、商品所屬店鋪,等等,對這個查詢都是沒有意義的。

而列式數據庫隻需要讀取存儲着“時間、商品、銷量”的數據列,而行式數據庫需要讀取所有的數據列。因此,列式數據庫大大地提高了OLAP大數據量查詢的效率

OLTP OnLine TransactionProcessor 在線聯機事務處理系統(比如Mysql,Oracle等産品)

OLAP OnLine AnalaysierProcessor 在線聯機分析處理系統(比如Hive Hbase等)

2)很多列式數據庫還支持列族(column group,Bigtable系統中稱為locality group),即将多個經常一起訪問的數據列的各個值存放在一起。如果讀取的數據列屬于相同的列族,列式數據庫可以從相同的地方一次性讀取多個數據列的值,避免了多個數據列的合并。列族是一種行列混合存儲模式,這種模式能夠同時滿足OLTP和OLAP的查詢需求。

3)此外,由于同一個數據列的數據重複度很高,因此,列式數據庫壓縮時有很大的優勢。

總結

行式數據庫的特征如下:

①數據是按行存儲的。

②沒有索引的查詢使用大量I/O。比如一般的數據庫表都會建立索引,通過索引加快查詢效率。

③建立索引和物化視圖需要花費大量的時間和資源。

④面對查詢需求,數據庫必須被大量膨脹才能滿足需求。

列式數據庫的特性如下:

①數據按列存儲,即每一列單獨存放。

②數據即索引。

③隻訪問查詢涉及的列,可以大量降低系統I/O。

④每一列由一個線程來處理,即查詢的并發處理性能高。

⑤數據類型一緻,數據特征相似,可以高效壓縮。比如有增量壓縮、前綴壓縮算法都是基于列存儲的類型定制的,所以可以大幅度提高壓縮比,有利于存儲和網絡輸出數據帶寬的消耗。

,
Comments
Welcome to tft每日頭條 comments! Please keep conversations courteous and on-topic. To fosterproductive and respectful conversations, you may see comments from our Community Managers.
Sign up to post
Sort by
Show More Comments
推荐阅读
十大忌諱你知道哪些(用詞這樣百無晉忌)
十大忌諱你知道哪些(用詞這樣百無晉忌)
     “有醋可吃糠,無醋肉不香。”   —— 探員手記   歡迎加入遣詞造句1班(太原群),今天我們将教授四字詞語,零基礎同學也可以參加,晉言晉語,包教包會。   不用再擔心鍵盤上的H鍵被磨平棱角,聊天隻會發紅紅火火恍恍惚惚。   本期為你準備了太原文化人都在用的四字詞語,它們都有哪些?适合在什麼場合用?   快跟上節奏解鎖新技能,把它們打包進肚吧。  ...
2026-05-08
巨龍咆哮卡組(巨龍咆哮龍牧歸來)
巨龍咆哮卡組(巨龍咆哮龍牧歸來)
  新版本中,牧師大部分都以恩佐斯環牧和克蘇恩牧的形态征戰天梯,而最近歐服玩家用一套微調過的龍牧卡組成功登頂歐服第一,讓我們一起來看看吧~      【卡組詳情】      【卡牌選擇】   這套牌在傳統龍牧的基礎上增加了2張古神新卡,禁忌畸變和變幻之影。   禁忌畸變:很多人覺得這張卡随機性太大,但是相對的在龍牧卡組中這張牌能帶來更多的變化。當你手中卡着一...
2026-05-08
有話說随遇而安(小議随遇而安)
有話說随遇而安(小議随遇而安)
  #情感點評大賞#   文/王民官      《幽窗小記》中有這樣一副對聯:“寵辱不驚,閑看庭前花開花落。去留無意,漫随天外雲卷雲舒。”這句話的意思是說,為人做事能視寵辱如花開花落般平常,才能不驚;視職位去留如雲卷雲舒般變幻,才能無意。   看起來,人生雖然存滿了荊棘與挫折,教訓與失敗,但拿這句話一對照,就瞬時感覺天空飄來五個字:那都不叫事。“是事兒也就煩...
2026-05-08
田言嫁給誰了(究竟誰在套路誰)
田言嫁給誰了(究竟誰在套路誰)
  導語:在秦時明月最新的劇情當中,農家衆人集體上演了感人的一幕。原本農家六堂人多勢衆,在江湖上也算是基礎雄厚。可是六堂之人卻各自争鬥,每位堂主都對俠魁之位觊觎已久,因此,農家不得不分為兩大派。但随着劇情的發展,實力占優的田言這一派逐漸掌握了大局。因此心有不服的朱家也不得不審時度勢,将神農堂投向田言的懷抱,雙方彼此化解了往日的恩怨。      可事實上真的有...
2026-05-08
2米高的女兒牆可以用砌體施工麼(砌體女兒牆的限制)
2米高的女兒牆可以用砌體施工麼(砌體女兒牆的限制)
  什麼情況下可采用磚做女兒牆?有何構造要求?      《非結構構件抗震設計規範》JGJ 339-2015第4.4.2條,女兒牆高度超過0.5m時、人流出入口、通道處或9度時,出屋面砌體女兒牆應設置構造柱與主體結構錨固,構造柱間距宜取2.0m~2.5m;高層建築的女兒牆,不得采用砌體女兒牆。      22G614-1具體規定   1、砌體女兒牆頂部應采用...
2026-05-08
Copyright 2023-2026 - www.tftnews.com All Rights Reserved