tag 數據處理

標籤
貢獻35
124
12:06 AM · Oct 27 ,2025
chunzhendegaoshan 頭像 elhix0bg 頭像 jeecg 頭像 writers 頭像 daimajiangxin 頭像 njwutong 頭像 teayear 頭像 jamesfancy 頭像 u_16213639 頭像 u_16993624 頭像 u_16099296 頭像 u_16213650 頭像

@數據處理 / 博客 RSS 訂閱

chunzhendegaoshan 頭像

RestCloud - Kingbase與ETL：如何實現金融級數據庫的安全數據同步

在當今的數字化時代，金融行業面臨着數據安全與數據孤島的雙重挑戰，需要將分散在不同系統和數據庫中的數據進行安全且高效的整合，以實現數據的統一管理和深度分析。Kingbase作為一款金融級數據庫，以其卓越的安全性和穩定性為企業提供了可靠的數據存儲解決方案。而ETL數據集成技術則是實現數據同步與整合的關鍵手段。本文將詳細介紹如何通過ETL技術實現從Kingbase數據庫到Greenplum同步。 —、E

數據同步 , 數據庫 , etl , 數據處理 , 數據傳輸

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 通義實驗室基於MaxCompute進行大模型數據管理及處理

本文根據9月25日雲棲大會--《通義基於MaxCompute進行大模型數據管理及處理》演講整理而成，演講信息如下： 演講人：曾劍元通義實驗室系統研發總監 主要內容： _AI數據的特點，跟傳統大數據的區別_ _通義實驗室為什麼基MaxCompute來構建我們的數據平台_ _通義實驗室的大模型的數據平台架構_ AI數據區別於傳統數據的三個特點 第一個特點是數據組織的無標準。像傳統大數據基本上是一個大寬

通義千問 , 阿里雲 , 數據處理 , 大模型

收藏 評論

chunzhendegaoshan 頭像

RestCloud - SaaS 系統越來越多，為什麼需要一個 iPaaS 來統一管理？

近年來，企業數字化轉型加速，SaaS應用如雨後春筍般涌現。從客户關係管理（CRM）的 Salesforce，到人力資源管理（HRM）的 Workday；從國內協同辦公的釘釘、飛書，到財務系統的金蝶雲、用友雲；企業不再依賴單一系統，而是廣泛採用多個垂直領域的 SaaS 工具來提升效率。 然而，SaaS 帶來的“便利”背後，隱藏着數據孤島的情況出現。 一、SaaS 爆發：便利與複雜並存 當企業同時使用

saas , API , ipaas , 數據處理 , 數據傳輸

收藏 評論

jeecg 頭像

JEECG低代碼平台 - GitHub Star 排名靠前的 AI 開源項目推薦（Java 版）

隨着人工智能（AI）技術的快速發展，Java 作為企業級應用開發的重要語言，也涌現出許多優秀的 AI 開源項目。這些項目涵蓋了從自然語言處理、對話系統、大模型集成，到 AI 工作流編排和低代碼平台等多個領域，極大地便利了開發者構建智能應用的過程。本文將為你盤點 GitHub 上最受歡迎且實用的十大 Java AI 開源項目，助力你在 AI 領域的開發之路。 1. JeecgBoot — AI

jeecg-boot , ai開發 , 自然語言處理 , 開源 , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 如何通過API網關保障企業的數據安全

本次我們來講述下如何利用API網關作為核心安全組件，系統性地構建、部署和運維企業級API數據安全防護體系。將涵蓋安全架構、關鍵功能的技術實現、交付實踐以及運維監控，確保安全策略能夠有效落地。 一、為什麼是API網關？ 在微服務架構和數字化轉型背景下，API已成為數據交換的核心通道，也因此成為攻擊者的首要目標。API網關作為所有API流量的唯一入口，為實現統一的安全治理提供了絕佳的戰略位置。 技術價

API , 數據安全 , ipaas , 數據處理 , 數據傳輸

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 一文講清楚如何提升企業API管理能力

在數字化時代，API（應用程序編程接口）已成為企業連接服務、數據與創新的核心紐帶，是驅動業務增長和構建生態系統的關鍵資產。有效的API管理能力，決定了企業能否安全、高效、規模化地利用這一資產。本文旨在系統性地闡述提升企業API管理能力的核心要素、實施步驟與最佳實踐，為企業數字化轉型提供清晰路徑。 一、 理解API管理的核心價值 API管理遠不止於技術部署，它是一套涵蓋API的設計、開發、部署、運維

API , 數據安全 , ipaas , 數據處理 , 數據傳輸

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 深入剖析iPaaS與API網關的融合應用

本文檔旨在超越理論層面，從實施和交付的實戰視角，深入剖析集成平台即服務（iPaaS）與企業級API網關的融合應用模式。文檔將清晰界定兩者的角色邊界，闡述融合架構的核心價值，並提供詳盡的部署模式對比、實施路線圖以及最佳實踐，旨在為企業構建現代化、高效且安全的集成與API交付能力提供 actionable 的指導方案。 一、核心概念界定：分工與協作 在融合架構中，iPaaS和API網關並非替代關係，而

API , ipaas , 網關 , 數據處理 , 數據傳輸

收藏 評論

chunzhendegaoshan 頭像

RestCloud - PostgreSQL的數據集成之路：ETL+CDC實現實時多源聚合

在企業數據架構中，PostgreSQL憑藉其強大的擴展性、事務一致性以及對JSON、GIS、時序數據的原生支持，已成為常見的開源數據庫之一。然而，真正的挑戰並非PostgreSQL本身的性能，而是如何高效、實時地將MySQL、TiDB、SQL Server、API等多源數據聚合到PostgreSQL中，構建統一、可信、可分析的數據資產。ETLCloud通過"ETL+CDC（Change Data

數據同步 , postgresql , etl , 數據處理 , 數據傳輸

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ETLCloud-重塑製造業數據處理新範式

在製造業數字化轉型浪潮中，數據已成為核心生產要素。然而，系統割裂、數據滯後、開發運維成本高等問題，卻像頑固的 “數據枷鎖”，阻礙着企業發展。ETLCloud與 CDC功能，以創新技術為利刃，精準破除這些難題，為企業打造高效、智能的數據處理體系。 一、ETLCloud與 CDC 功能深度解析 1.ETL 功能：全流程數據治理專家 RestCloud ETLCloud 具備全流程數據處理能力。從數據抽

數據同步 , API , etl , 數據處理 , 數據傳輸

收藏 評論

ruanjiankaifa_xiaofanya 頭像

軟件部長 - 還在手動解析JSON？掌握低代碼開發的JSON 工具：輕鬆應對多種數據處理場景

JSON 工具是一個用於處理 JSON 數據格式的配置化組件。它通過可視化配置可以實現數據的初始化、解析、轉換和傳遞，能有效降低直接操作代碼的門檻和出錯概率。 常見的應用場景 1、外部系統接口集成與數據轉換 在與外部系統（比如第三方服務、合作伙伴API、遺留系統）進行數據交互時： • 解析外部返回數據: 當調用外部接口獲取到JSON格式的響應後，你可以用這個組件來解析。通過“結構定義”

規則引擎 , 低代碼 , 低代碼開發平台 , 數據處理 , Json

收藏 評論

njwutong 頭像

吳大同 - 從兼容到極致性能——qData數據中台商業版核心指標解讀

在數字化轉型的背景下，企業對數據中台的要求越來越高——既要兼容信創環境，又要在性能上經得起大規模業務的考驗。qData 數據中台商業版針對這些關鍵問題，設定了一系列清晰的技術指標和性能指標。 一、技術指標 1. 架構與兼容 信創適配：核心模塊已在國產 X86 CPU、國產操作系統及達夢數據庫環境下完成兼容性驗證。 多引擎支持：批處理（Spark）與流處理（Flink）雙引擎共存，可按業務場

大數據 , 開源軟件 , 數據中台 , 數據處理 , 數據治理平台

收藏 評論

u_16175512 頭像

mob649e81673fa5 - aigc 拓撲數據分析

在當今數據驅動的時代，“AIGC 拓撲數據分析”已經成為企業洞察數據規律、優化資源配置的重要工具。通過利用拓撲數據分析（TDA）技術，我們能夠從複雜的數據中提取潛在的模式和結構，從而助力決策和業務發展。 問題背景 隨着業務的發展，我們的數據庫規模不斷擴大，數據量達到 $N = 10^6$ 條用户記錄，結構複雜度超過 $D = 100$ 維，這對數據分析的實時性和準確性提出了挑戰。

數據 , aigc , 解決方案 , 數據處理

收藏 評論

u_16213425 頭像

mob64ca12eee07b - phidata llama

在現代數據分析與處理領域，"phidata llama" 是一個頻繁出現的問題，主要涉及數據集成、處理與分析的複雜性。本文促使我們記錄學習和解決這一問題的整個過程，以幫助團隊及相關領域的從業者更好地應對類似挑戰。以下是針對這個問題的詳細覆盤記錄。 問題背景 在某大型數據業務的運作中，用户對數據分析的處理需求日益增加，尤其是對實時數據處理的要求。在一個複雜的數據流架構中，團隊經歷了

System , aigc , Processing , 數據處理

收藏 評論

u_16099199 頭像

數據俠客行 - 用python批量提取excel單元格圖片並保存

一、快速掌握excel分析技能 1、excel學習 excel教程不要太多，如何快速學習excel，我之前也回答過，反正就是逮住一本教程，照着練： 把一本體系化的excel教程吃透了，就足以應對業務工作所需的數據分析了。 2、excel實操 好用的函數能讓你數據分析時，如有神助，下面是我在數據分析時

python做excel數據分析統計服 , 數據 , 後端開發 , 數據分析 , 數據處理 , Python

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Oracle數據庫數據集成：ETL 與 CDC 的國產化最佳實踐

在數字經濟加速滲透的當下，企業數據資產的價值釋放成為核心競爭力的關鍵。作為全球企業級數據庫領域的 “標杆產品”，Oracle 數據庫承載着金融、能源、製造等關鍵行業的核心業務數據。然而，隨着國產化替代浪潮的推進，如何在保障數據安全與業務連續性的前提下，實現 Oracle 數據庫與國產 IT 體系的數據無縫流轉，成為企業數字化轉型的重要課題。其中，ETL與 CDC兩大技術，憑藉各自的優勢成為 Ora

oracle , 數據同步 , etl , 數據處理 , 數據傳輸

收藏 評論

u_16213635 頭像

mob64ca1404baa2 - ELK日誌分析

ELK 企業級日誌分析系統框架流程工作圖 [日誌源] │ ├─ [系統日誌] → Filebeat/Fluentd → [Logstash] → [Elasticsearch] → [Kibana] ├─ [應用日誌] └─ [安全日誌] 關鍵組件交互流程 數據採集層

倒排索引 , elastic , 後端開發 , elk , 數據處理 , Python

收藏 評論

u_16099257 頭像

編程小匠人 - 我“對地觀測大數據應對全球變化”獲聯合國獎項 - 靈玖lingjoin的個人空間 -

在當今的石油與天然氣勘探開發中，隨鑽測井技術已成為提高鑽井效率、降低開發風險和實現複雜油氣藏精準開採的核心利器。其中，定向測斜功能如同給鑽頭裝上了“GPS導航”，實時指引其在地層中穿行。而動態旋轉定向傳感器，正是這項功能中一項革命性的技術突破，它徹底改變了傳統的測量模式，將定向鑽井的精準性與效率提升到了全新高度。 一、 核心功能：從“靜態瞄準”到“動態鎖定”

陀螺儀 , 文心一言 , 數據 , aigc , 數據處理

收藏 評論

u_16213650 頭像

mob64ca14085c24 - JavaScript插件化開發教程 （一）_javascript技巧

f(x)是一款強大的終端JSON查看器和處理器，其核心優勢在於可擴展的JavaScript處理能力。作為專業的JSON數據處理工具，f(x)允許開發者通過自定義插件和函數來擴展其功能，滿足各種複雜的數據處理需求。 為什麼需要f(x)插件開發？ f(x)內置了豐富的JavaScript處理功能，但實際業務場景往往需要定製化的數據處理邏輯。通過插件開發，你可以：

插件開發 , 後端開發 , 數據處理 , Json , Python

收藏 評論

u_16970152 頭像

求知上進 - Python 數據結構：集合推導式

Python 集合推導式是一種強大的特性，能夠簡化代碼，提高可讀性，同時為複雜的數據處理任務提供靈活和高效的解決方案。在這篇文章中，我們將深入探討集合推導式，從其基本語法、應用場景到高級技巧，以確保你能夠在實際編程中自如地運用它。 一、集合推導式的概念與語法 1.1 什麼是集合推導式？ 集合推導式是在一個可迭代對象（如列表、元組、字符串等）上進行迭代，並通過一個

數據 , 人工智能 , 深度學習 , 數據處理 , 迭代

收藏 評論

teayear 頭像

學技術贏未來 - Ascend C賦能醫療健康：從技術突破到臨牀價值落地

在醫療健康領域，精準診斷、高效治療、智能運維的需求日益迫切，而這一切都離不開底層算力與編程框架的支撐。Ascend C作為華為昇騰全棧AI基礎軟件的核心編程接口，以“極致性能、極簡開發、全場景適配”為核心優勢，正在打破醫療數據處理、AI模型部署等環節的技術瓶頸，推動醫療健康產業向智能化、精準化方向升級。本文將從Ascend C的技術特性出發，深入剖析其在醫療影像分析、基因測序、智能監護等

數據 , 後端開發 , JAVA , 開發者 , 數據處理

收藏 評論

u_16213669 頭像

mob64ca140ce312 - 互聯網百萬級應用的大數據處理問題 - 虎子 -

告別卡頓：Fathom Lite如何高效處理百萬級訪問數據 你是否曾因網站分析工具加載緩慢而錯失關鍵決策時機？當用户訪問量突破百萬級，傳統工具常常陷入數據處理的泥潭。本文將揭示Fathom Lite如何通過精妙的狀態管理與性能優化，讓大數據分析像瀏覽網頁一樣流暢。讀完你將掌握：輕量級架構的優勢、實時數據處理機制、內存優化技巧以及生產

數據 , postgresql , 數據處理 , 前端開發 , Javascript

收藏 評論

writers 頭像

思否編輯部 - 從引擎創新到生態協同，VeloxCon China 2025 在京順利舉辦

2025 年 12 月 13 日，VeloxCon China 2025 在北京成功舉辦。作為 Velox 項目首次在中國舉辦的線下技術大會，匯聚了來自Meta、IBM、螞蟻集團、阿里雲、騰訊、小米、小紅書等企業的數十位核心貢獻者與一線工程師。 大會通過 18 場演講將 Velox 置於真實業務場景之中，系統展示了其在架構演進、AI 數據處理、湖倉加速、流批融合等方向的最新實踐。這些分享不僅直面性

架構設計 , 人工智能 , 開發者 , 數據處理

收藏 評論

u_16099296 頭像

mob6454cc73e9a6 - python標準庫pathlib常見操作

文章目錄 1 pathlib 庫簡介 1.1 為什麼要使用 pathlib？ 2 基本操作介紹 2.1 路徑操作 2.1.1 導入和創建 Path 對象 2.1.2 路徑拼接和解析 2.1.3 路徑判斷和解析

pathlib , 開發語言 , 後端開發 , 人工智能 , 數據處理 , harmonyos , Python

收藏 評論

u_16993624 頭像

長腿大壯 - H2 數據庫中的字符串與數值處理關鍵字

H2 數據庫中的字符串與數值處理關鍵字 在 H2 數據庫的日常數據處理中，字符串和數值是最常見的數據類型，一批專門處理這類數據的關鍵字，就像精準的 “數據加工器”，能快速完成格式轉換、內容提取、數值計算等操作，讓數據處理既高效又精準。 字符串處理關鍵字 字符串處理關鍵字能對文本數據進行各種加工，CONCAT、SUBSTRING、TRIM、LOWER、UPPER是其中的常用成員

oracle , 取整 , 字符串 , 數據庫 , 數據處理

收藏 評論