tag 大數據

標籤
貢獻412
512
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

developer-tianyiyun 頭像

天翼雲開發者社區 - 大數據產品線生產操作安全規約

本文分享自天翼雲開發者社區《大數據產品線生產操作安全規約》，作者：朱****靜 第一章 總 則 第一條為健全安全生產製度，落實安全生產責任,增強安全風險/隱患排查治理能力，促進安全生產長效機制建設,防止和減少生產安全事故，結合大數據產品線實際情況，特制定本生產操作安全管理辦法。 第二條本管理辦法適用於大數據產品線所有合同制員工、外協人員、廠商駐場人員。 第二章 組織職責 第三條本管理辦法説明了大數

大數據

收藏 評論

laoqing 頭像

張永清 - 《數據資產管理核心技術與應用》讀書筆記- 第七章- 數據權限與安全（一）

《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書，全書共分10章，第1章主要讓讀者認識數據資產，瞭解數據資產相關的基礎概念，以及數據資產的發展情況。第2～8章主要介紹大數據時代數據資產管理所涉及的核心技術，內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據權限與安全、數據資產管理架構等。第9～10章主要從實戰的角度介紹數據資產管理技術的應用實踐，包括如何對元

大數據

收藏 評論

developer-tianyiyun 頭像

天翼雲開發者社區 - flink on k8s的基本介紹

本文分享自天翼雲開發者社區《flink on k8s的基本介紹》，作者：l****n 一、背景介紹 Apache Flink 是一個流處理引擎，具有高效的流處理和批處理能力，以及良好的可伸縮性和容錯性。Kubernetes（簡稱 K8s）是一種容器編排系統，用於自動化容器部署、擴展和管理。將 Flink 部署在 K8s 上可以充分利用 Kubernetes 的優勢，實現流處理的高可用、高性能和高彈

大數據

收藏 評論

HunterCode 頭像

Hunter_Code - Ubuntu上進行Zookeeper集羣部署

目錄 1.zookeeper下載 2.zookeeper安裝與使用 3.zookeeper啓動 4.zookeeper是什麼？為什麼要用它？為什麼不用Hbase自帶的？ 1.zookeeper下載 版本無特別要求，一般最新穩定版即可。 這裏給出3.8.4的下載鏈接。（點擊即可直接下載） zookeeper官網：https://zookeeper.apache.or

大數據

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據源

在實時數據處理場景中，數據源（Source）是整個數據處理流程的起點。Flink作為流批一體的計算框架，提供了豐富的Source接口支持，其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心，帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程，掌握Flink Source的核心用法。 一、為什麼選擇Kafka作為Flink的數據源？

大數據

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：流批一體的執行模式

在大數據處理領域，批處理和流處理曾經被視為兩種截然不同的範式。然而，隨着Apache Flink的出現，這種界限正在逐漸模糊。Flink的一個核心特性是其批流一體的架構設計，允許用户使用統一的API和執行引擎處理有界數據（批處理）和無界數據（流處理）。本文將深入探討Flink的執行模式（Execution Mode），特別是在Flink 1.20.1版本中對批處理和流處理模式的支持和優化。 一、F

大數據

收藏 評論

vivotech 頭像

vivotech - vivo HDFS EC大規模落地實踐

作者：Gu Ruinan - 互聯網大數據團隊- Zhao Yongxiang Erasure Coding(簡稱EC)，是一種糾刪碼。EC編碼能夠對部分缺失的數據進行數據恢復，廣泛應用於存儲與通信領域。在Hadoop3.0版本中，作為一種新的冗餘存儲的方式引入進來。使用EC編碼的方式替代原來的三副本存儲，保證數據可靠性的同時可以節約存儲。相應地，付出的代價是讀取性能的下降，對於訪問頻率不高

大數據

收藏 評論

apacheiotdb 頭像

ApacheIoTDB - 時序數據庫 Apache IoTDB 等你“打卡”！2025 OSCAR 開源產業大會完整版議程揭曉

開源作為一種開放共享的新型生產模式，已成為數字經濟創新、開放、共享和可持續發展的核心驅動力。由中國通信標準化協會牽頭主辦，中國信息通信研究院具體承辦的 2025 OSCAR 開源產業大會將於 10 月 28 日在北京中關村國家自主創新示範區會議中心舉行。 大會現場設置開源集市，以面向參會者系統展示優秀開源項目成果，並促進開源主題交流，推動創新合作。時序數據庫 Apache IoTDB 受到邀請，在

大數據

收藏 評論

u_14152 頭像

feiry - 詳解Hive窗口函數及10道實戰練習

📑 目錄（Table of Contents） 一、示例數據 二、常見窗口函數詳解 1. ROW_NUMBER 2. RANK 3. DENSE_RANK 4. SUM OVER 5. AVG OVER 6. LAG 7. LEAD 8. FIRST

大數據 , 數據 , hive , 面試 , 窗口函數

收藏 評論

u_12195 頭像

jojo - 如何增加zotero檢索引擎

鄙人習慣 使用Zotero Connector來收集chrome瀏覽器中檢索到的文章 然後自動文章信息自動導入到本地Zotero客户端中 利用Foxit福晰閲讀器來閲讀下載的PDF格式文章 在Zotero中對應文章下建立markdown筆記，便於導出到博客 在Zotero中安裝markdownhere4zo

谷歌學術 , 經驗分享 , 大數據 , 數據倉庫 , 數據庫 , 如何增加zotero檢索引擎 , ci

收藏 評論

u_16213688 頭像

mob64ca14116c53 - QMS-雲質-企業數字化轉型-企業質量數字化案例_質量數碼化

一、數字化轉型背景下的質量管理挑戰 隨着工業4.0時代的深入推進，製造企業面臨的質量管理環境日益複雜。傳統依賴紙質記錄與Excel表格的管理模式存在顯著缺陷：數據完整性不足、人為錯誤頻發、信息孤島林立。據統計，一家中等規模的製造企業通常需要管理超過1萬種原材料，若持續採用人工記錄方式，不僅效率低下，更難以保障數據的準確性與可追溯性。例如，質量信息分散在研發、生產

spark , 大數據 , 數據 , 項目經理 , 質量管理

收藏 評論

u_16213702 頭像

mob64ca1414c613 - ubuntu硬盤vdb1 vdb2合併

參考：https://www.ibm.com/developerworks/cn/linux/l-tip-prompt/tip05/index.html 環境：ubuntu18.04 原硬盤:pcie 360g 新增硬盤：sata 1T 所需命令和文件 fdisk mk

命令行 , 大數據 , ubuntu硬盤vdb1 vdb2合併 , 配置文件 , 數據倉庫 , 重啓

收藏 評論

u_16213680 頭像

mob64ca140f67e3 - matlab解超靜定方程,超定方程和最小二乘法 | 學步園

對於稀疏的超定線性方程組 Ax = b（其中 A ∈ ℝᵐˣⁿ，m n，即方程個數多於未知數個數），由於通常不存在精確解，我們尋求最小二乘意義下的最優解： min ‖Ax - b‖₂² 當矩陣 A 是大型稀疏矩陣時，直接法（如QR分解、SVD）計算開銷大，因此常用迭代法或基於稀疏結構的優化算法。以下是幾種常用解法： 1. 正規方程法

最小二乘 , 稀疏矩陣 , 大數據 , 算法 , hadoop , 超定方程組 , 線性方程求解

收藏 評論

q_bit 頭像

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究_目錄（qbit學習記錄）

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 作者:孫建軍 等 出版社:南京大學出版社 出版時間: 2021年12月 ISBN:9787305252778 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果， 項目編號：12ZD221 孫建軍教授是該項目的首席專家。 內容簡介 書稿主要探討

大數據

收藏 評論

tecdat 頭像

拓端tecdat - 專題：2025中國醫療器械出海現狀與趨勢創新發展研究報告|附160+份報告PDF、數據、可視化模板彙總下載2025全球醫療器械報告-創新與效率平衡之道320+份彙總解讀|附PDF下載

2024年，中國醫療器械行業正站在“從本土領先到全球突圍”的關鍵節點——一邊是邁瑞醫療把監護儀賣到190多個國家，海外營收佔比超48%；一邊是不少企業卡在歐盟MDR認證環節，臨牀數據補了3次仍未通過。這種“一邊風光一邊難”的反差，本質是全球醫療需求擴張與國內競爭加劇的必然結果。 引言 從核心數據看，2024年全

大數據 , 數據 , 腦機接口 , pdf , 人工智能 , 前端開發 , Javascript

收藏 評論

u_16213570 頭像

藍色憂鬱花 - 數據倉庫數據傳輸模式 數據倉庫的三種模式

1、數據倉庫 數倉分層：ODS(Operational Data Store)直接存放原始數據，DWD(Data Warehouse Detail)對數據進行清洗 ，DWS(Data Warehouse Service)輕度彙總(存儲每天數據的彙總)，DWT(Data Warehouse Topic)重度彙總(存儲一段時間數據的彙總)，DIM維度層(事實表的描述信息，何人、

數據倉庫數據傳輸模式 , 數據挖掘 , 大數據 , 數據倉庫 , 數據庫

收藏 評論

u_14224 頭像

14224 - NLog中 maxArchiveDays的歸檔目錄怎麼設置

在所有的應用程序中，日誌功能是不可或缺的模塊，我們可以根據日誌信息進行調試、查看產生的錯誤信息，在ASP.NET Core中我們可以使用log4net或者NLog日誌組件來實現記錄日誌的功能，這裏講解如何在ASP.NET Core中使用NLog。 1、創建項目（這裏使用Core2.2）使用NLog 2、引用NLog動態庫 直接在N

code , 大數據 , 配置文件 , hive , xml

收藏 評論

u_16213604 頭像

mob64ca13fd559d - latex文中怎麼索引圖表

通常中國內地的朋友用TeX都使用Winedt編輯器，建議大家不要違背TeX開源的精神，購買Winedt正版再來使用，費用不高，普通用户也支付得起。 實際上開源的編輯器某些地方已經超過了Winedt，只不過用户使用起來還需自己配置才比較好用罷了。一般用户比較懶，也搞不清怎麼配置，這裏我截圖來講解下，TeXniccenter如何配置起來反向搜索和前向搜

大數據 , TeX , 數據倉庫 , latex文中怎麼索引圖表 , 好用 , 一般用户

收藏 評論

u_16213689 頭像

mob64ca1411a6fc - python實現實時監控_基於 Python 的交換機實時監控系統的設計與實現_weixin

內容:1.摘要 隨着大數據技術的快速發展，海量數據處理系統的複雜性日益增加，對系統運行狀態的實時監控提出了更高要求。本文設計並實現了一個基於Python Web的大數據系統監控平台，旨在提升系統可觀測性與運維效率。平台採用Flask作為Web框架，結合InfluxDB時序數據庫和Grafana可視化工具，實現了對Hadoop、Spark

經驗分享 , 大數據 , 數據 , 開發語言 , Css , 前端開發 , HTML , Python

收藏 評論

u_16272508 頭像

事辯天下 - 腎尚科技完成新一輪融資，加速慢性腎臟病（CKD）精準化管理閉環滲透

2025年12月，重慶腎尚科技宣佈完成逾千萬元新一輪融資，本輪投資方為合縱藥易購（300937）子公司四川藥易購科技集團有限公司與長春創芯協力企業管理中心（有限合夥）。 本輪融資資金將重點用於慢性腎臟病（CKD）數字療法的研發迭代、AI臨牀決策支持系統的建設，以及“醫+藥+險”閉環生態的進一步拓展。腎尚科技自2016年成立以來，深耕慢性病健康管理領

商業模式 , it , 大數據 , 數據倉庫 , 企業管理

收藏 評論

u_14691 頭像

lemon - linux hive 重定向到文件

1、數據流重定向：將某個命令執行後應該出現在屏幕上的數據，給它傳輸到其他地方去 2、(1)---標準輸入（stdin)：代碼為0，使用 或 ; （2）標準輸出(stdout)：代碼為1，使用或者 ; (3)標準錯誤輸出（stderr）：代碼為2，使用 2或者 2. 説明：1：以覆蓋的方法將 [正確的數據]輸出到指定的文件或者設備上； 　　 1：以累加的方法將

linux hive 重定向到文件 , 大數據 , 數據 , hive , 重定向 , 標準輸出

收藏 評論

u_16213566 頭像

雲端小仙童 - hadoo hive zk版本兼容 hadoop和hive版本

1 準備工作 1.1 軟件準備 Hive需要Hadoop的支持，在安裝Hive之前需要正確安裝Hadoop。目前Hive的最新版本為0.13.1，這個版本可在Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y下使用。本文采用Hadoop 1.x中最新版本1.2.1。Hadoop使用環境中必須由JDK，本文下載JDK 7較新版本。同時,Hive將

大數據 , hadoo hive zk版本兼容 , hive , hadoop , JAVA

收藏 評論

u_16099211 頭像

笑傲江湖求敗 - 數學建模筆記一數據標準化_數據標準化是對數值型數據嗎

大數據建模中的數據標準化：行業標準與自定義規範深度解析 一、引言：為什麼數據標準化是大數據的“地基”？ 在大數據時代，企業面臨的最大挑戰從來不是“數據太少”，而是“數據太亂”： 電商系統中，“用户ID”可能同時存在字符串（user_123）、數字（123）和UUID（e5a5-...）三種格式； 金融機構的“交易時間”

大數據 , 數據 , 自定義 , AI , 元數據 , 後端開發 , Python

收藏 評論

u_106065 頭像

laokugonggao - spark中的共享變量（廣播變量和累加器） - macy

1 核心概念：為什麼需要它們？ 在spark程序中，當一個傳遞給Spark操作(例如map和reduce)的函數在遠程節點上面運行時，Spark操作實際上操作的是這個函數所用變量的一個獨立副本。這些變量會被複制到每台機器上，並且這些變量在遠程機器上的所有更新都不會傳遞迴驅動程序。通常跨任務的讀寫變量是低效的，但是，Spark還是為兩種常見的使用模式提供了兩種有限的共享變量：

spark , List , 大數據 , 數據

收藏 評論