@海量數據 / 博客 RSS 訂閱

Nov 22 2025

上海拔俗網絡 - AI智能問數系統：用大白話“聊”出數據答案

做業務的朋友都有過這樣的無奈：想要一份區域銷售數據，得找IT寫SQL查詢，等半天還可能因為表述不清拿錯結果；面對Excel裏的海量數據，想知道“為什麼新品銷量不如預期”，卻對着複雜函數無從下手。而AI智能問數系統，就像給數據裝了“聊天功能”，不用懂技術，用大白話提問就能秒獲答案，讓數據查詢不再卡殼。 這個系統能“聽懂人話”，核心靠的是自然語言處理（NLP）技術。背後的邏輯一點不玄乎：

it , 海量數據 , 數據 , NLP , 人工智能

收藏 評論

Nov 06 2022

songofhawk - Python + Sqlalchemy 對數據庫的批量插入或更新（Upsert）

本篇承接上一篇《Mysql 數據庫的批量插入或更新（Upsert）》的內容，來看看在 Python 中，怎麼實現大量數據的 upsert（記錄存在就更新，不存在則插入）。 由於不同數據庫對這種 upsert 的實現機制不同，Sqlalchemy 也就不再試圖做一致性的封裝了，而是提供了各自的方言 API，具體到 Mysql，就是給 insert statement ，增加了 on_duplicat

海量數據 , sqlalchemy , 數據庫 , 優化 , Python

收藏 評論

Dec 18 2020

冰河 - 冰河，能不能講講如何實現MySQL數據存儲的無限擴容？

寫在前面 隨着互聯網的高速發展，企業中沉澱的數據也越來越多，這就對數據存儲層的擴展性要求越來越高。當今互聯網企業中，大部分企業使用的是MySQL來存儲關係型數據。如何實現MySQL數據存儲層的高度可擴展性成為了互聯網企業必須要解決的問題。那麼，如何實現真正意義上的MySQL無限擴容呢？今天，冰河就來以實戰的角度為大家講講如何實現MySQL數據庫的無限擴容。 文章已收錄到：https://gi

海量數據 , mycat , 擴展 , MySQL , 分佈式

收藏 評論

Nov 21 2025

信息流星 - db2 刪除分區報錯 set integrity

海量信息即大規模數據，隨着互聯網技術的發展，互聯網上的信息越來越多，如何從海量信息中提取有用信息成為當前互聯網技術發展必須面對的問題。 在海量數據中提取信息，不同於常規量級數據中提取信息，在海量信息中提取有用數據，會存在以下幾個方面的問題： （1）數據量過大，數據中什麼情況都可能存在，如果信息數量只有20條，人工可以逐條進行查找、

海量數據 , 大數據 , 字符串 , 數據 , 算法 , 數據倉庫

收藏 評論

Dec 31 2024

百度Geek説 - 海量存儲的批量計算框架

導讀 本文介紹了百度針對海量存儲數據計算需求研發的HTAP表格存儲系統及計算調度架構。項目背景源於原有存儲系統難以滿足日益增長的OLAP業務需求，因此構建了集OLTP與OLAP於一體的HTAP系統，通過存算分離、Serverless設計等創新點提升IO訪問能力和資源利用率。同時，自研的計算與調度系統實現了任務開發的SQL化和數據處理的FaaS化，簡化了業務使用成本，提高了開發效率。整體方案在存儲成

海量數據 , 百度

收藏 評論