tag 大數據

標籤
貢獻412
469
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

u_16213709 頭像

mob64ca141677f9 - 3. CVUI 2.7.0 入門：使用 （官方文檔翻譯）

cvui 組件使用指南 cvui 是一個基於 OpenCV 繪圖原語的輕量級 UI 庫。 基本使用流程 #define CVUI_IMPLEMENTATION #include "cvui.h" #define WINDOW_NAME "Demo" int main() { cv::Mat frame = cv::Mat(600, 800,

spark , 大數據 , 滑塊 , define

收藏 評論

u_16436094 頭像

肥仔魚Liam - Hadoop、Cloudera CDP7、CDH5、CDH6 在華為鯤鵬 ARM 麒麟KylinOS做到無縫切換平緩遷移過程

Hadoop、Cloudera CDP7、CDH5、CDH6 在華為鯤鵬 ARM 麒麟KylinOS做到無縫切換平緩遷移過程 將 Cloudera CDH（Cloudera’s Distribution including Apache Hadoop）遷移到 CMP 7.13 平台（類 Cloudera CDP，如華為鯤鵬 ARM 版）。 這

風控 , cloudera , 大數據 , hive , hadoop

收藏 評論

u_16099302 頭像

技術極先鋒 - hive常用功能：Hive數據導入導出方式_51CTO博客

往hive導入數據的幾種方式 一、導入數據 1. LOAD DATA(最直接、最常用) -- 從 HDFS 導入（移動文件） LOAD DATA INPATH 'hdfs_path' [OVERWRITE] INTO TABLE table_name [PARTITION(part_col=value)]; -- 從本地文件系統導入（複製文件到 Hi

hdfs , 大數據 , hive

收藏 評論

u_16099341 頭像

智能開發藝術家 - 更新everything 索引

當我們用ASP執行修改數據庫記錄操作時常會遇到以下問題 錯誤類型： MicrosoftOLEDBProviderforODBCDrivers(0x80004005) [Microsoft][ODBCMicrosoftAccessDriver]操作必須使用一個可更新的查詢。

大數據 , 數據倉庫 , 右鍵 , 更新everything 索引 , 解決方法 , 選項卡

收藏 評論

u_16213591 頭像

mob64ca13fa2f9e - spark stream ui 頁面分析

Spark Streaming揭秘 Day14 State狀態管理 今天讓我們進入下SparkStreaming的一個非常好用的功能，也就State相關的操作。State是SparkStreaming中用來管理歷史數據的結構。目前主要提供了updateStateByKey和MapWithStateRDD兩個方法。 updateStateByKey 首先，讓

spark , 計算邏輯 , 大數據 , 數據 , 歷史數據

收藏 評論

kpaas 頭像

KPaaS集成擴展平台 - 主數據平台怎麼選？5個關鍵維度告訴你

引言：為什麼主數據管理（MDM）如此重要？ 在數字化轉型浪潮中，企業面臨着日益複雜的多系統環境—— ERP、CRM、SCM、PLM、OA 等業務系統彼此獨立，數據孤島現象嚴重。當“客户”在 CRM 和 ERP 中擁有不同的ID和屬性，當“物料”的描述和標準在不同部門間存在差異，不僅影響了業務流程的效率，更可能導致錯誤的決策。 主數據（Master Data），作為企業

主數據管理 , 大數據 , yyds乾貨盤點 , 數據孤島解決方案 , 數據倉庫 , 數據一致性 , etl , 數據集成與應用集成

收藏 評論

u_16099239 頭像

夢裏憂鬱 - SPARK 基因

基因變異普遍存在於同一物種內的不同個體中，如人與人之間的基因組是不完全一樣的（即是多態的），彼此之間都存在着一些差異，即使是和父母或是兄弟姐妹之間去比較。這種差異也是基因組多態性的來源，通過外在和內在特徵表現出來，比如頭髮和眼睛顏色，高矮胖瘦，抵抗力等。這些差異也是造成我們彼此之間不同的一個重要原因。 基因變異是一個相對的概念，只有在彼此的比較中才有存在意義。基因變異主要分

spark , 多態性 , 後綴 , 大數據 , 算法 , SPARK 基因 , ide

收藏 評論

u_17602582 頭像

mb69410ac31213c - 如何避免“大模型焦慮”？中小企業上AI，從“工作流編排”開始

在人工智能技術從實驗室走向產業界的進程中，存在一個顯著的“最後一公里”悖論：雖然通用大模型（LLM）展現了驚人的泛化能力，但在面對具體的企業級業務時，往往受限於幻覺問題、數據隱私以及高昂的推理成本。 數據顯示，預計到2027年，企業在AI領域的投入將突破5000億美元，其中核心訴求已從單純的模型訓練轉向效率提升與體驗優化 。這一趨勢表明，行業重心正從“大模型”向“智能體（A

大數據 , 數據 , 數據倉庫 , SQL , 生成式

收藏 評論

u_16099172 頭像

編程小天匠 - 助推應用場景多元化 訊飛星火認知大模型功能再升級

（Python 3.10 + PyCharm 環境 · 無需顯卡 · 支持 PDF/Word/Excel/圖片 · 含圖形界面、windows10 TLSC） 第一章：環境準備（30分鐘） 步驟 1：安裝 Tesseract OCR（10分鐘） • 下載安裝包 • 打開瀏覽器訪問：https://github.com/UB-Man

spark , 大數據 , 大模型應用 , 本地知識助手 , 分佈式

收藏 評論

dolphinscheduler 頭像

海豚調度 - 結項報告完整版 | 為 Apache DolphinScheduler 添加 gRPC 插件

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache DolphinScheduler 項目的最新進展。 接下來是關於為 Apache DolphinScheduler 添加 gRPC 插件這一項目的完整報告： 1. 項目目標 Dol

dolphinscheduler , 大數據 , 開源

收藏 評論

u_16213614 頭像

mob64ca13ffd0f1 - 《大數據管理：數據集成的技術、方法與最佳實踐》 - china

1.2.1.1.1 年度目標制定 基於指標的企業年度目標制定流程，核心是將公司戰略拆解為可量化、可落地、可監控的指標體系，覆蓋 “戰略對齊→指標拆解→可行性論證→目標分解→行動落地→監控覆盤” 全鏈路，確保年度目標既貼合業務方向，又具備實操性。以下是具體流程設計，含關鍵環節、工具方法及輸出物： 一、流程總框架：從 “戰略” 到 “指標

大數據 , 數據 , 運維 , 權重 , 後端開發 , 人工智能 , Python

收藏 評論

u_16213661 頭像

mob64ca140b0bc8 - snowstorm 粒子github

具體的粒子系統:雪，焰火,粒子槍 現在讓我們開始從PSystem製作幾個具體的粒子系統。這些系統已經做了簡單的説明和處理，不需要PSystem類那樣的靈活的屬性。我們實現雪，火焰和槍粒子系統。這些系統的命名漂亮的計算系統他們的模型。雪系統模型落下雪花，火焰系統發出火苗。粒子槍從攝影機位置在鍵盤按下，到火焰的位置；這是它看起來我們的火苗粒子子彈和在遊戲中使用基本的粒子系統。

snowstorm 粒子github , 粒子系統 , Storm , d3 , 大數據 , ci

收藏 評論

u_16099249 頭像

雲端築夢大師 - 理論篇~第一章 大數據數據倉庫架構

大數據數倉分層架構詳解 在大數據時代，企業每天產生海量的數據，如何高效地存儲、處理和分析這些數據，成為構建數據驅動決策系統的關鍵。數據倉庫（Data Warehouse, 簡稱“數倉”）作為企業核心的數據管理平台，承擔着整合、清洗、建模和提供分析服務的重要職責。為了提升數據處理的效率、可維護性和可擴展性，現代大數據數倉普遍採用分層架構設計。

使用場景 , 大數據 , data , 數據 , 數據倉庫 , 架構

收藏 評論

u_16099224 頭像

IT劍客之家 - gmail archive的郵件在哪裏能看到

Gmail 郵箱的Windows Outlook設置 手動配置您的客户端： 打開 Outlook 或 Outlook Express。 單擊"工具"菜單，然後選擇"帳户..."。 單擊"添加"，然後單擊"郵件..." 在"顯示名："字段中輸入您的姓名，然後單擊"下一步"。 在"電子郵件地址："字段中輸入您的完整 Gma

字段 , 服務器 , 大數據 , hive , Outlook

收藏 評論

u_15316473 頭像

阿里雲大數據AI技術 - StarRocks + Paimon： 構建 Lakehouse Native 數據引擎

繼去年StreamingLakehouseMeetup順利舉辦後，StreamingLakehouseMeetup·OnlineEP.2｜Paimon×StarRocks共話實時湖倉於12月10日重磅迴歸。在這場直播中，阿里雲計算平台事業部開發工程師張慶玉聚焦StarRocks與ApachePaimon的深度集成實踐，探討如何構建真正意義上的LakehouseNative數據引擎

大數據 , 阿里雲 , 人工智能 , starrocks , 數據分析 , paimon , 數據湖

收藏 評論

u_16099172 頭像

編程小天匠 - vue項目只能用yarn怎麼添加npm

需求是分享出去一個鏈接，打開後是一個頁面，頁面中的數據都是在前端的，只不過是只顯示一部分，根據用户的操作顯示相應的數據，比如説拖動滑動條改變年份，顯示不同年份的數據 之前是把頁面和樣式都放在後端，頁面中寫好處理邏輯，後端只需要往頁面中塞數據就行了，前端分享鏈接出去之後點開就能看， 但是現在服務器只能內網訪問，所以就需要把頁面放到前端，但數據又只能塞進頁面，不能通過接口

大數據 , yarn , 數據 , html頁面 , vue項目只能用yarn怎麼添加npm , HTML

收藏 評論

dolphinscheduler 頭像

海豚調度 - 新手教程：用外部 PostgreSQL 和 Zookeeper 啓動 Dolphinscheduler

本文將帶你一步步通過外部PostgreSQL和Zookeeper來啓動Apache DolphinScheduler。無論你是新手還是有經驗的開發者，都能輕鬆跟着這些步驟在Linux/Unix環境中完成安裝和配置。除了常見的安裝步驟，我們還會分享一些集羣部署的技巧，讓你輕鬆擴展系統規模。 當然，如果遇到數據庫連接、Zookeeper連接或者啓動服務的問題，不用擔心，文中也有詳細的排查方案，幫你輕

大數據 , zookeeper , postgresql , 開源 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育自適應學習系統中的學習效果評估指標體系構建與應用

(centerJava 大視界 -- Java 大數據在智能教育自適應學習系統中的學習效果評估指標體系構建與應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨兩點，北京海淀區某重點中學初三學生張曉陽完成了英語語法專項訓練。基於 Java 構建的智能教育系統，在 1.8 秒內完成了對其學習過程的深度解碼：通過分

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , flink

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 細胞培養必看：如何選擇適合的白介素進行實驗？

在細胞通訊的網絡中，白介素作為一類關鍵的細胞因子，承擔着傳遞信息、調控免疫反應的核心職責。這些由免疫細胞及其他多種細胞分泌的小分子蛋白質，是探索生命科學，尤其是免疫學、腫瘤學及幹細胞研究等領域不可或缺的工具分子。本文旨在從技術層面，系統梳理白介素家族的特性、功能機制及其在科學研究

大數據 , 細胞因子 , 重組蛋白 , 數據倉庫 , 免疫應答 , JAK-STAT , 科研試劑

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 基於Flink的配置化實時反作弊系統

導讀 本文詳細闡述了基於Flink構建的實時反作弊流式過濾系統，針對大流量場景下的複雜特徵計算、高頻策略熱更新、模擬過濾驗證及多場景數倉對接等核心挑戰，提出來多項解決方案，實現了秒級特徵計算的實時過濾功能，有效支撐高併發場景下的精準風控判定，並通過ClickHouse與圖靈雙鏈路數據輸出，滿足實時監控與離線分析的多樣化需求，為互聯網業務提供了高吞吐、低延遲、強穩定的實時反作弊解決方案。 01 簡介

大數據 , 配置 , flink

收藏 評論

secretflow 頭像

隱語SecretFlow - 隱語1.0正式發佈｜MVP部署體驗包、資源調度框架Kuscia全新亮相！

2023 年 7 月 ７ 日，在世界人工智能大會組委會辦公室指導下，隱語開源社區攜手螞蟻集團和機器之心共同主辦的數據要素與隱私計算論壇在上海世博會議中心舉行。論壇上，螞蟻集團隱私計算部總經理、隱語社區負責人王磊發佈了隱語 1.0 版本，並對隱語 1.0 版本框架拓展與升級進行了整體介紹。隱語 1.0 版本不僅進一步擴大了開源範圍，還對整體架構進行了調優拓展，核心內容涉及產品層、資源層、互聯互通等

大數據 , 隱私 , 人工智能 , 計算機科學

收藏 評論

u_16099353 頭像

漫步雲端的豬 - yarn ACCEPTED 優化

最近玩家爆炸性增長，使得原來設計的WS和數據庫那塊承受了更大的壓力，開始有點受不住了，於是理所當然的優化開始了。。。 這裏説幾個數據庫優化的建議和方法： 在數據庫優化工作中，使數據儘可能的小，使表在硬盤上佔據的空間儘可能的小，這是最常用、也是最有效的手段之一。因為縮小數據，相對來説可以提高硬盤的讀寫速度，並且在查詢過程中小表的內容處理時所

服務器 , 大數據 , yarn , 存儲 , 數據庫 , 工作 , yarn ACCEPTED 優化

收藏 評論

u_16099249 頭像

雲端築夢大師 - DB25需要驅動嗎

摘要：物聯網設備產生的數據是典型的時序數據，而時序數據庫是存儲時序數據的專業數據庫系統，因此數據壓縮對時序數據庫來説是一項必不可少的能力。 根據IDC的一份白皮書預測，到2025年全球數據總量將達到175ZB，其中物聯網設備將生成90ZB數據，佔比50%以上。以往物聯網數據基本上都是先存儲起來再處理，如今這一處理模式開始向“實時處理”模式轉型。即便如此，數

DB25需要驅動嗎 , 大數據 , 數據 , 數據壓縮 , 數據倉庫 , 壓縮算法

收藏 評論