tag 大數據

標籤
貢獻412
481
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

u_16213653 頭像

mob64ca14092155 - PGSQL 外部表能加索引嗎

　　1.SQL不是用來生成報表的語言，所以不建議用它來進行格式轉換； 　　2.必要時考慮用外連接或者CASE表達式來解決問題； 　　3.生成嵌套式表側欄時，如果先生成主表的笛卡爾積再進行連接，很容易就可以完成； 　　4.從行數來看，表連接可以看成乘法。因此，當表之間是一對多的關係時，連接後行數不會增加； 　　5.外連接的思想和集合運算很像，使用外連接可以實

運算符 , 大數據 , 數據倉庫 , 一對一 , 外連接 , PGSQL 外部表能加索引嗎

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組蛋白是什麼？從基因到功能蛋白的技術原理解析

在生命科學研究中，蛋白質是執行生物功能的核心分子，而重組蛋白則是科研中最常見、最標準化的蛋白來源之一。所謂重組蛋白，是指通過基因工程手段，將編碼目標蛋白的基因導入異源宿主細胞中，由宿主的生物合成體系表達並獲得的外源蛋白。與天然提取蛋白相比，重組蛋白的遺傳背景清晰、組成一致性高，能夠滿足科研實驗對可重複性和可控性的基本要求。 從技術層面看，重組蛋白並不是單一

蛋白表達 , 基因克隆 , 大數據 , 重組蛋白 , 數據倉庫 , 外源蛋白 , 轉錄翻譯

收藏 評論

u_16213683 頭像

mob64ca14101b2f - yarn 接口返回正在運行的任務信息

HTTP 狀態碼負責表示客户端 HTTP 請求的返回結果、標記服務器端的處理是否正常、通知出現的錯誤等工作。 狀態碼告知從服務器端返回的請求結果 狀態碼的職責是當客户端向服務器端發送請求時，描述返回的請求結果。藉助狀態碼，用户可以知道服務器端是正常處理了請求，還是出現了錯誤。 狀態碼如 200 OK，以 3 位數字和原因短語組成。 數字中的第一位指

大數據 , yarn , yarn 接口返回正在運行的任務信息 , 服務器端 , 客户端 , 狀態碼

收藏 評論

u_15654855 頭像

此星光明 - LBA-ECO ND-07 Microbial Biomass in Cerrado Soils, Brasilia, Brazil

巴西利亞塞拉多土壤中的 LBA-ECO ND-07 微生物生物量 簡介 本數據集報告了巴西利亞塞拉多（Cerrado，一種林地-稀樹草原地區）土壤樣品中的微生物生物量。微生物生物量以磷脂脂肪酸（PLFA）的總濃度來衡量。土壤樣品（0-5 釐米）採集於 2000 年 6 月至 2001 年 6 月，地點為塞拉多兩個原生區域，這兩個區域經歷了不同

數據挖掘 , 大數據 , MySQL , 數據庫 , NASA , Python

收藏 評論

u_12960863 頭像

wx59290cd7bb11a - 拆解大模型“心臟”：BERT與GPT的相愛相殺（架構師進階指南）

本文價值提示： 很多轉型AI的大數據工程師，會調用 API，會寫 Prompt，但一旦遇到“為什麼這個任務跑得這麼慢？”或者“為什麼提取實體總是出錯？”時就懵了。 本文不講複雜的數學公式，而是用架構師的視角，帶你鑽進大模型的“黑盒”內部，看懂 Transformer 的三種形態，並附贈一份**2025年主流模型選型清單（含國產之光）**。 👋 大家好，我是你們的

大數據 , google , 數據倉庫 , AI , 架構師

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據轉換的藝術

在實時數據處理流程中，數據轉換（Transformation）是連接數據源與輸出結果的橋樑，也是體現計算邏輯的核心環節。Flink提供了豐富的數據轉換操作，讓開發者能夠靈活地對數據流進行各種處理和分析。本文將以Flink DataStream API為核心，帶你探索Flink數據轉換的精妙世界，並結合之前文章中的Kafka Source實現一個完整的數據處理流程。 一、數據轉換概覽 數據轉換是指將

大數據處理 , 大數據 , JAVA , flink , 後端

收藏 評論

u_16099331 頭像

墨色天香 - mkstorm鍵盤驅動

sep0718 key driver. * * Changelog: * 1-June-2010 LSF Initial version * * * * This program is free software; you can redistribute it and/or modify * it under the terms of the GNU Gener

Storm , 大數據 , include , Linux , mkstorm鍵盤驅動 , define

收藏 評論

u_16099325 頭像

數據小築 - 關於數據中台建設，“新舊”兩種思路對比_51CTO博客

🔥🔥 AllData大數據產品是可定義數據中台，以數據平台為底座，以數據中台為橋樑，以機器學習平台為中層框架，以大模型應用為上游產品，提供全鏈路數字化解決方案。 杭州奧零數據科技推出的AIIData數據中台，以“商業版+開源版雙選擇”模式，為企業提供了一條低成本、高靈活性的數字化轉型路徑。 一、開源版+商業版雙模式 1.商業版：穩定

spark , 鏈路 , 大數據 , 數據 , 架構 , 開源

收藏 評論

u_16773655 頭像

向量檢索 - 如何通過HTTP API插入或更新Doc

本文介紹如何通過HTTP API向Collection中插入或更新Doc。 説明 若調用本接口時Doc Id已存在，則等同於更新Doc；Doc Id不存在，則等同於插入Doc。 若調用本接口時不指定DocId，則等同於插入Doc，DashVector會自動生成Doc Id，並在返回結果中攜帶id信息。

向量檢索 , 大數據 , yyds乾貨盤點 , 數據倉庫 , AI , 數據庫 , 人工智能 , 大模型

收藏 評論

u_12897 頭像

jordana - 滴滴怎麼用storm sniffer

標題：登錄流程 1、用户登錄： 1.1、判斷用户名、密碼、type（區別是員工登錄還是用户登錄）是否為空 1.2、判斷用户名是否存在，不存在 拋出：用户名不存在，請註冊 1.3用户名存在，判斷密碼是否一致 1.3.1、由於數據庫中密碼是通過MD5進行加密過，而前端傳入過來的密碼

微信 , 滴滴怎麼用storm sniffer , Spring Boot , Storm , 大數據 , JAVA , 用户名

收藏 評論

u_15844731 頭像

阿森CTO - C++異常處理

@TOC C++異常處理：底層邏輯、實操方法與實戰技巧 一、背景知識 1.1 C語言的錯誤處理侷限 C語言處理錯誤的核心方式僅有兩種，且都存在顯著短板： 直接終止程序：像assert斷言這類方式，一旦檢測到非法條件（比如數組越界、空指針訪問）就直接終止程序。這種方式對用户極不友好，比如僅因一個參數錯誤就導致整個應用崩潰，完全沒有容錯

大數據 , yyds乾貨盤點 , 拋出異常 , 數據倉庫 , 緩存 , 錯誤碼

收藏 評論

u_17585479 頭像

Tob市場觀測員 - TOB企業如何突破獲客瓶頸：基於數據驅動與智能觸達的技術架構實踐

在當前的商業環境中，TOB（企業服務）領域的競爭日趨白熱化。與TOC業務不同，TOB企業的決策鏈條長、客户畫像複雜、單客價值高，傳統的廣撒網式營銷和單一的銷售漏斗模型日益顯得力不從心。市場部投入大量預算獲取的線索，往往因為無法精準識別其意向度或缺乏有效的持續培育機制，最終沉澱為“死數據”，導致獲客成本（CAC）居高不下，成為制約企業增長的核心瓶頸。如何從海量數據中精準定位高價值潛

大數據 , 數據 , 數據倉庫 , 技術架構 , crm

收藏 評論

u_19261 頭像

戀上一隻豬 - pycharm搭建spark環境 - jackmanwu的個人空間 -

本教程使用所有軟件版本：pycharm 25.2 ，spark 3.4.2 ，hadoop 3.3.3 一 確認虛擬環境中已安裝pyspark source /home/hadoop/.virtualenvs/PythonProject1/bin/activate pip show pyspark 運行結果如圖：

spark , 大數據 , pycharm , ide

收藏 評論

u_16099183 頭像

數據科學家 - 將vue項目的npm遷移到yarn

作者：李小成 vue-cli腳手架模板是基於node下的npm來完成安裝，這篇文章主要介紹了vue-cli腳手架的安裝教程圖解 ,需要的朋友可以參考下 vue-cli腳手架模板是基於node下的npm來完成安裝，下面給大家介紹vue-cli腳手架的安裝，具體內容如下所述： https://github.com/vuej

大數據 , yarn , app , 安裝教程 , 將vue項目的npm遷移到yarn , Git

收藏 評論

u_16213658 頭像

mob64ca140a59b0 - deepseek v3商用

一筆4.6億的資金，剛剛流向自動駕駛重卡賽道，融資方：DeepWay深向，這是由百度和獅橋聯合發起的自動駕駛卡車公司。 A輪投後，DeepWay估值已達到30億元。 2022年當下這個時間點，大環境並不理想，一家才成立不久的自動駕駛公司，在這樣一個玩家已經很多的賽道上，憑什麼獲得認可？ 尤其是在幹線物流自動駕駛卡車賽道，已有圖森未來這樣被視作範例的頭部企

大數據 , deepseek v3商用 , 編程語言 , aigc , 人工智能 , JAVA , bard

收藏 評論

u_17602582 頭像

mb69410ac31213c - 華為雲Flexus AI智能體：重塑企業智能化路徑，一站式解鎖效率革命

在數字化浪潮席捲全球的今天，企業對智能化轉型的需求愈發迫切，但開發能力有限、上線週期漫長、數據安全擔憂等痛點，成為阻礙多數企業擁抱AI的“攔路虎”。華為雲基於開源Dify智能體開發平台打造的Flexus AI智能體，以“一站式免費體驗、部署、發佈、監控”為核心，攜20+款貼近業務的智能體模板重磅登場，為非互聯網、技術資源薄弱的企業提供零門檻AI解決方案，用技術賦能業務提質增效，開

大數據 , 數據倉庫 , 官網 , 解決方案 , 調優

收藏 評論

u_15844731 頭像

阿森CTO - vector模擬實現與核心機制

@TOC 📝基本框架 我們先定義自己的命名空間倆封裝自定義的vector類，這樣可以避免與標準庫中的 vector 發生命名衝突。隨即，我們定義模版類vector，三個成員變量都是迭代器，而vector迭代器又是原生指針，所以我們將指針取別名為iterator 框架代碼： namespace self { templateclass

大數據 , yyds乾貨盤點 , 初始化 , 迭代器 , 數據倉庫 , 構造函數

收藏 評論

wl_68521de393432 頭像

WL - hadoop大數據學習01(基礎環境準備)

環境準備 下載centos7 鏡像文件 https://mirrors.aliyun.com/centos/7/isos/x86_64/ 選擇最小安裝版 CentOS-7-x86_64-Minimal-2009.iso 安裝完成之執行下面的命令更新鏡像源: 直接輸入curl -o /etc/yum.repos.d/CentOS-Ba

大數據 , hadoop , JAVA , 後端

收藏 評論

u_12960863 頭像

wx59290cd7bb11a - 別再用 Java 多線程思維寫 Python 了！Asyncio 才是 LLM 高併發的王道

💎 本文價值提示 ​思維重塑​：幫你徹底打破 Java/Spark 的“多線程/多進程”固有思維，理解 Python 獨特的“單線程 + 事件循環”模型。 ​實戰落地​：手把手教你用 Asyncio + httpx 構建一個生產級的 LLM 高併發請求器。 ​避坑指南​：揭秘 90% 轉行工程師都會踩的“阻塞陷阱”和“CPU 密集型誤區”。 ​適用人羣​：

AI轉型 , 大數據 , 數據倉庫 , JAVA , ci , 架構師 , Python

收藏 評論

u_14767244 頭像

u_14767244 - 森馬服飾從 Elasticsearch 到阿里雲 SelectDB 的架構演進之路

森馬引入阿里雲 SelectDB 替換原 Elasticsearch + 業務庫混合架構，統一分析 16+ 核心業務，打通 BI 組件，大幅簡化數據同步鏈路和分析系統架構。實現複雜查詢 QPS 提升 400%，響應時間縮短至秒級，億級庫存流水聚合查詢縮短至 8 秒內的顯著收益，有效驅動森馬全渠道運營效率持續增長與業務創新。 早期架構面臨挑戰 浙江森馬服飾股份有限公司

大數據 , 數據 , elastic , 數據倉庫 , 數據分析

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰

(centerJava 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄攜手探索技術前沿的旅程中，我們一同見證了 Java 大數據在多個領域的輝煌成就。 如今，教育領域正面臨着新的挑戰與機遇，傳統

spark , 大數據 , yyds乾貨盤點 , Java大數據 , AI , JAVA , 智能教育

收藏 評論

tdengine 頭像

TDengine濤思數據 - TDengine IDMP 1.0.9.0 上線：數據建模、分析運行與可視化能力更新一覽

在 TDengine IDMP 持續迭代的過程中，有一類問題會越來越早地出現：不是“能不能實現”，而是“以後用起來會不會變複雜”。 當數據規模開始擴大、模型開始變多、分析邏輯開始演進時，一些看似細節的能力就變得重要起來——比如單位是否統一、分析能否複用、視圖是否可以保存、規則調整後歷史數據如何處理。 TDengine IDMP 1.0.6.0–1.0.9.0 這一階段的更新，正是

異常檢測 , 大數據 , 數據倉庫 , 時序數據庫 , 人工智能 , tdengine

收藏 評論

u_16565911 頭像

南大通用GBase - 南大通用GBase 8a集羣業務及資源使用情況分析方法總結

分析思路 重點從集羣任務、系統資源、集羣狀態及變量三方面進行分析。 1、集羣任務分析： 重點對併發任務數較高、資源使用率較高的集羣進行分析； 定期抽取集羣任務趨勢數據、審計日誌，分析任務數趨勢、重點觀察高併發任務數時點及趨勢，分析不同類型/用户等維度的任務分佈情況、任務總體的耗時情況； 定期對TOP任務(超時SQL、大SQL)進行分析優化； 不

GBase 8a , 高併發 , 大數據 , 數據倉庫 , SQL , 系統資源

收藏 評論

u_16213686 頭像

mob64ca1410eb61 - 幾何檢查無法找到空間索引

在舊版UE4中，幾何體的BSP有“添加”與“挖空型”，也就是新版UE4(4.24.3)的“添加”與“減去”。 無法正常挖空，可能是因為 BSP畫刷的排序有錯 其中一點就是BSP畫刷出場的順序可能會影響到正常減去。 這其實有點類似PS中的圖層順序：先出來的“挖空型”(“減去”)是無法對後出來的幾何體

圖層 , 大數據 , 幾何檢查無法找到空間索引 , 舊版 , 數據倉庫 , unreal

收藏 評論