首页
/
每日頭條
/
生活
/
mysql數據空洞問題
mysql數據空洞問題
更新时间:2026-06-03 15:11:33

因為公司是做網絡安全的,所以會對平時設備收到的日志以對應的規則集進行解析然後存入數據庫。涉及大數據,與數據庫的交互量大概是3000條/秒,所以如果設備持續收日志的話,一般兩天時間數據庫對應表的存放的數據量大概就有5、6億條。

有一天我突然發現後台的日志信息一直再報“隊列已滿”的錯誤信息,到數據庫查詢相應表的數據發現其入庫的數據量也是停留在之前的數量(此時該表的數據量已經有大概1億多條了,該信息是為下文作鋪墊的)。按照以往的經驗我将可能會出現的問題挨個排查了一遍,發現都沒有問題,最後我在對應的數據庫查看了一下該庫的 線程運行 情況,情況如下

mysql數據空洞問題(解決MySQL滿屏Waitingfor)1

入庫的insert語句一共有四條線程在執行,就報了四個“Waiting for the table metadata lock”的錯誤,表居然被鎖了,試着kill掉,可是死了馬上就活了,剛開始也不懂,看到表被鎖了就沒有繼續往下看(最關鍵的信息被忽略了),後問了一下公司的前輩,上圖的表中我遺漏了這麼一項重要的信息:

mysql數據空洞問題(解決MySQL滿屏Waitingfor)2

經過前輩講解我才恍然大悟。

原來在數據批量入庫的時候,組内的另一個哥們發現前台對于日志信息的查詢速度有點慢,所以他的想法就是給表中他要查的字段手動加索引“Alter table 'sim_event add index ...'”,可是他犯另一個大錯誤就是這個表現在差不多有1億多數據,要想成功添加得等到猴年馬月了,而對于MySQL而言,如果進行一些Alter table等DDL操作時,如果該表上有未提交的事務就會報Waiting for the table metadata lock的錯誤。

最後重新啟動數據庫,kill掉不必要的線程(其實重啟就好了),入庫就正常了!!!

,
Comments
Welcome to tft每日頭條 comments! Please keep conversations courteous and on-topic. To fosterproductive and respectful conversations, you may see comments from our Community Managers.
Sign up to post
Sort by
Show More Comments
推荐阅读
楊梅汁怎麼洗
楊梅汁怎麼洗
1、在沾到楊梅汁的位置,塗抹肥皂,然後用清水使勁搓洗。2、選擇一些去漬較強的洗衣粉,把衣服先用清水泡...
2026-06-03
發黑處理是什麼工藝
發黑處理是什麼工藝
發黑是化學表面處理的一種常用手段,原理是使金屬表面産生一層氧化膜,以隔絕空氣,達到防鏽目的。外觀要求不高時可以采用發黑處理,鋼制件的表面發黑處理,也有被稱之為發藍處理。常用方法:發黑處理常用的方法有傳統的堿性加溫發黑和出現較晚的常溫發黑兩種。但常溫發黑工藝對于低碳鋼的效果不太好。堿性發黑細分出來,又有一次發黑和兩次發黑的區别。發黑液的主要成分是氫氧化鈉和亞硝酸鈉。發黑時所需溫度的溫差不大,大概在1
2026-06-03
聚酯纖維面料能曬嗎
聚酯纖維面料能曬嗎
可以。聚酯纖維的熔點為255℃左右,耐受溫度約70℃,完全可以暴曬。聚酯纖維具有一系列優良性能,如斷裂強度和彈性模量高,回彈性适中,熱定型效果優異,耐熱和耐光性好。在廣泛的最終用途條件下形狀穩定,織物具有洗可穿性。聚酯纖維的使用特點:1、遮陽、透光、通風。既可消除多達86%的太陽輻射,又可保持室内空氣暢通,并能清晰看到室外景物。2、隔熱。聚酯纖維陽光面料具有其它面料所不具備的良好隔熱性能,大大減少
2026-06-03
貝的由來
貝的由來
貝,早期甲骨文像水生甲殼動物的外形。造字本義:有石灰質硬殼的水生軟體動物。這種軟體水生動物的外殼因其美觀、經久、難得,被古人視為珍奇,後發展為原始貨币。晚期甲骨文突出了水生動物的兩根觸須。金文承續甲骨文字形。篆文承續晚期甲骨文字形。楷書依據草書字形,省去正體楷書字形中保存的甲殼上的兩道花紋。貝:貝,漢語漢字,讀作bèi,最早見于甲骨文,其本義是牡蛎、蛤或其它軟體動物中腹足類和瓣鰓類的
2026-06-03
香精是什麼
香精是什麼
1、香精是一種由人工調配出來的含有兩種以上乃至幾十種香料(有時也含有合适的溶劑或載體),具有一定香氣...
2026-06-03
Copyright 2023-2026 - www.tftnews.com All Rights Reserved