tag 大數據

標籤
貢獻412
444
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

u_16272508 頭像

事辯天下 - 沃飛長空完成數億元C輪融資，加速商業化進程

近日，沃飛長空宣佈完成數億元人民幣C輪融資。 本輪融資由杭州市實業投資集團有限公司 (簡稱杭實集團)、Prosperity7 Ventures (簡稱P7)、鬆禾資本共同投資，藴盛資本、翱翔天行等老股東追加投資。 此次融資匯聚了國內外頂尖產業資源，其背後是市場對沃飛長空硬實力的高度認可和對eVTOL全球化前景的共識。依託杭實集團深耕本土的產業根基，能助力企業更精

商業模式 , it , 大數據 , 數據倉庫 , 人工智能

收藏 評論

u_16099280 頭像

編程小達人之心 - 302狀態碼搜索引擎

官方解釋： 301 redirect: 301 代表永久性轉移(Permanently Moved) 302 redirect: 302 代表暫時性轉移(Temporarily Moved ) 共同點： 301和302狀態碼都表示重定向，就是説瀏覽器在拿到服務器返回的這個狀態碼後會自動跳轉到一個新的URL地址，這個地址可以從響應的Loc

搜索引擎 , 302狀態碼搜索引擎 , 大數據 , google , 數據倉庫 , 重定向

收藏 評論

u_16213643 頭像

mob64ca14068b0b - macos全局安裝了yarn 找不到命令

Homebrew安裝，換源，安裝出現的問題等 一、Homebrew簡介 　　Homebrew是Mac OS平台下的一個軟件安裝包管理器，使用brew命令可以很方便的進行Mac OS的軟件包安裝、更新、卸載等。 二、Homebrew安裝 　　在終端輸入以下命令： /usr/bin/ruby -e "$(curl -fsSL https

大數據 , yarn , 臨時文件 , bash , Git

收藏 評論

ITEvan 頭像

智慧園區探索者 - 大數據技術簡史：十年演化，萬象歸流

“以史為鏡，可以明得失。 如果你站在2010年，看着MapReduce把TB級別的日誌壓進Hadoop，然後花上幾個小時跑出一個分析報告，你或許會覺得：這，就是“數據處理”的終極形態了。 如果你站在2015年，看着Spark用內存計算把作業時延從小時壓到分鐘級，你會驚歎：這才是真正的“快”。 如果你站在2020年，看着Kafka、Flink、ClickHouse

大數據 , 數據 , hadoop , 前端開發 , Javascript

收藏 評論

u_15316473 頭像

阿里雲大數據AI技術 - EMR Serverless Stella 1.0 技術分享：StarRocks企業級版本內核重大突破

在今年雲棲大會上，EMRServerlessStella1.0正式發佈，這是一款面向企業級場景深度優化的高性能數據分析引擎。阿里雲開源大數據平台OLAP引擎負責人周康系統性地分享了Stella在存算分離架構、Lakehouse場景以及全文檢索等三大核心場景下的深度優化經驗，為業界提供了大規模OLAP系統工程化實踐的寶貴參考。Stella引擎的發佈將為企業級用户提供更加專業、高效的

大數據 , 數據倉庫 , 阿里雲 , Lakehouse , starrocks , Stella , olap

收藏 評論

u_16213634 頭像

mob64ca14048514 - hive 根據ipv4地址計算客户

首先説結論—— 網絡地址是IP地址子網網段的開始 廣播地址=該IP所在的下一跳-1 例題： 已知IP地址是192.72.20.111，子網掩碼是255.255.255.224，求網絡地址和廣播地址 要知道下一跳就需要先求出網段間隔，網段間隔=256-子網掩碼=256-224=32 可以劃分成8個子網：32，64，96，128，160

廣播地址 , 網絡地址 , 大數據 , hive 根據ipv4地址計算客户 , ip , hive

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據源

在實時數據處理場景中，數據源（Source）是整個數據處理流程的起點。Flink作為流批一體的計算框架，提供了豐富的Source接口支持，其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心，帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程，掌握Flink Source的核心用法。 一、為什麼選擇Kafka作為Flink的數據源？

大數據 , JAVA , flink

收藏 評論

u_16213562 頭像

技術極客傳奇 - 搜索引擎爬蟲導致網站流量飆升如何解決

教程一：Python爬蟲學習系列教程 這個博主的這個爬蟲學習系列教程，很詳細啊，從入門到實戰、進階等都有詳細的文檔介紹，對爬蟲感興趣的小夥伴推薦一看。 教程二：學習網站上的爬蟲教程 實驗樓的爬蟲教程不是太多，但是都有詳細的講解和代碼，而且有在線開發環境，對於學習者是非常不錯的。其中最喜歡的就是那個 爬豆瓣熱門電影的教程 ，因為我自己超喜

知乎 , 大數據 , 數據倉庫 , 反爬蟲 , 搜索引擎爬蟲導致網站流量飆升如何解決 , Python

收藏 評論

datadowell 頭像

五度易鏈 - 破解多源異構數據難題：五度易鏈在產業監測、風控場景中的技術賦能案例

產業數據的精準性、實時性與智能化應用水平，直接決定了政府產業調控與企業戰略佈局的成效。然而，海量多源異構的產業數據散落於不同主體、不同系統之中，“數據孤島”“標準不一”“價值難挖”等問題，讓高效整合、精準分析並賦能決策成為政府與企業共同面臨的核心課題。深耕產業數據服務領域多年的“五度易鏈”，精準把握行業痛點與發展趨勢，聚焦戰略新興產業與未來產業賽道，通過行業研究、大數據與人工智能技術的深度融合，依

大數據

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD1DF40V1H-ASEMI可直接替代安世PMEG3010EGW

編輯：ll SBD1DF40V1H-ASEMI可直接替代安世PMEG3010EGW ASEMI首芯半導體可替代安氏半導體功率器件 型號：SBD1DF40V1H 品牌：ASEMI 封裝：SOD-123FL 特性：肖特基二極管 正向電流：1A 反向耐壓：40V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片

ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , SBD1DF40V1H , 肖特基二極管

收藏 評論

u_16213689 頭像

mob64ca1411a6fc - MongoDB安裝，使用教程（圖文）_51CTO博客

MongoDB入門教程：5分鐘學會安裝和基本操作 MongoDB作為當今最流行的NoSQL數據庫之一，以其高性能、靈活的數據模型和強大的水平擴展能力而聞名。無論你是開發者還是數據分析師，掌握MongoDB都能為你的項目帶來巨大價值。本文將為你提供完整的MongoDB安裝指南和基礎操作教程，讓你在5分鐘內快速上手這個強大的文檔數據庫。

大數據 , 數據 , 數據模型 , hadoop , 數據庫

收藏 評論

u_15591410 頭像

我就是不長肉而已 - 2N7002K-ASEMI智能家居控制專用2N7002K

編輯：LL 2N7002K-ASEMI智能家居控制專用2N7002K 型號：2N7002K 品牌：ASEMI 封裝：SOT-23 RDS(on):5.0Ω 批號：最新 引腳數量：3 封裝尺寸：如圖 特性：N溝道MOS管 工作結温：-55℃~150℃ 當 “小而精” 遇上 “高可靠”，2N7002K 重新定義中低壓

ASEMI , 大數據 , hadoop , MOS管 , 在51CTO的第一篇博文 , 2N7002K

收藏 評論

u_106065 頭像

laokugonggao - 離線數倉數據採集用户行為hive沒有

一、概述 隨着地理信息數字化的發展，大數據時代的到來。海量數據的傳輸和安全性給我們帶來巨大的困難。海量數據的傳輸受到互聯網技術和硬件的限制，佔用着較多的在線資源和線下存儲空間，產生了能源、空間、人力的成本浪費，而在傳輸數據和存儲過程中，不規範的操作造成的數據泄露，更是數據安全更須要保證或要解決的問題。 2015 年全國

大數據 , 數據 , 谷歌衞星地圖 , 離線 , hive , 離線數倉數據採集用户行為hive沒有

收藏 評論

u_14767244 頭像

u_14767244 - 從 Flink 到 Doris 的實時數據寫入實踐——基於 Flink CDC 構建更實時高效的數據集成鏈路

Flink-Doris-Connector 作為 Apache Flink 與 Doris 之間的橋樑，打通了實時數據同步、維表關聯與高效寫入的關鍵鏈路。本文將深入解析 Flink-Doris-Connector 三大典型場景中的設計與實現，並結合 Flink CDC 詳細介紹了整庫同步的解決方案，助力構建更加高效、穩定的實時數據處理體系。 一、Apache Doris 簡介 A

數據同步 , 大數據 , 數據 , 數據倉庫 , apache

收藏 評論

u_14767244 頭像

u_14767244 - 深入理解 Doris Variant：如何讓 JSON 查詢性能追平列存，還能承載萬列索引字段？｜Deep Dive

摘要：在如 Snowflake、ElasticSearch、ClickHouse.... 等傳統系統中，對於 JSON 的處理往往面臨靈活性及性能無法兼得的困境，而 Apache Doris 的 VARIANT 類型，通過動態子列、稀疏列存儲、延遲物化和路徑索引等能力，實現了靈活結構 + 列存性能的平衡。本文將對該能力的實現一一講解，全面展示其優勢。 在大數據時代，JSON 已

大數據 , 數據 , 數據倉庫 , 結構化 , Json

收藏 評論

u_15879876 頭像

Aloudata - 企業級 VS 個人級：智能問數的“集團軍”與“單兵作戰”的差異解析

智能問數正迅速成為企業數據消費的新入口。從初創公司到世界 500 強，眾多組織嘗試通過“一句話問數”的方式，降低數據分析門檻、提升決策效率。理想很豐滿，但現實很骨感，“問不準”、“不靈全”、“問不深”成為大量嚐鮮用户的普遍感受。 表面上看，這類失敗常被歸因於技術瓶頸——例如模型準確性不足、SQL 生成錯誤、響應延遲等。但深入剖析後不難發現，問題的根

大數據 , 數據倉庫 , 智能歸因 , 智能報告 , 數據分析 , 智能問數 , chatbi

收藏 評論

u_16099253 頭像

數據解碼者 - spark 被壓

因特殊業務場景，如大促、秒殺活動與突發熱點事情等業務流量在短時間內劇增，形成巨大的流量毛刺，數據流入的速度遠高於數據處理的速度，對流處理系統構成巨大的負載壓力，如果不能正確處理，可能導致集羣資源耗盡最終集羣崩潰，因此有效的反壓機制(backpressure)對保障流處理系統的穩定至關重要。 Storm和SparkStreaming都提供了反

spark , Streaming , spark 被壓 , 大數據 , 數據 , 執行過程

收藏 評論

u_16213580 頭像

雲端行者 - hadoop二版本增加了什麼 hadoop2.7.6

Hadoop2.7.6學習 Hadoop的發展史 Google 爬取全球的網站，然後計算頁面的PageRank 要解決網站的問題： a：這些網站怎麼存放 b：這些網站應該怎麼計算 發佈了三篇論文 a：GFS(Google File System) b：MapReduce(數據計算方法)

大數據 , 數據 , hadoop , hadoop二版本增加了什麼 , apache

收藏 評論

u_16213620 頭像

mob64ca1401464d - yarn配置文件修改

文件配置： 在配置php支持yaf的時候，可以設置一個參數yaf.environ：把本地開發設置成develop、測試環境配置成test、生產環境配置成product。 [yaf] extension=yaf.so yaf.use_namespace=1 yaf.environ=develop 通過設置運行環境，在項目中可以通過ini_get(

實例化 , 大數據 , yarn , 配置文件 , 運行環境 , yarn配置文件修改

收藏 評論

u_15444077 頭像

u_15444077 - 從random隨機數看驗證碼重複數字

本文分享自天翼雲開發者社區《從random隨機數看驗證碼重複數字》.作者：王****淋 ## 推導： 1. 有6個不同數字 - (0個重複數字: 1+1+1+1+1+1): $$p(6) = C_{10}^6 * 6! \div 10^6$$ 2. 有5個不同數字 - (某個數字重複了2次: 1+1+1+1+2): $$p(5) = (\

大數據 , 數據倉庫

收藏 評論

dtstack 頭像

袋鼠雲數棧 - AIWorks四大核心能力煥新！打造高性能 AI 應用開發底座

近期，智能應用開發平台 AIWorks 進行了四大板塊的內容升級，以提升開發效率、增強靈活性、優化檢索體驗和強化安全保障為核心目標，通過工作流畫布的革新、自定義工具能力的突破、知識庫檢索的升級以及平台權限的精細化管控，為開發者打造了一個高效、智能、安全的開發環境，更好助力開發者應對複雜業務挑戰，加速AI智能應用的落地進程。以下是AIWorks四大升級亮點詳細內容： 一、工作流畫布更新 本次迭代的核

大數據 , 算法 , 開發 , 數據庫 , 人工智能

收藏 評論

u_13303 頭像

colddawn - DB where 字段 is null 會走索引嘛

1.對查詢進行優化，要儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在 where 子句中對字段進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如： select id from t where num is null 最好不要給數據庫留NULL，儘可能的使用NO

字段 , 大數據 , 存儲過程 , 數據倉庫 , bc

收藏 評論

u_106065 頭像

laokugonggao - spark sql 不包含元素

SQL操作全集 下列語句部分是Mssql語句，不可以在access中使用。 SQL分類： DDL—數據定義語言(CREATE，ALTER，DROP，DECLARE) DML—數據操縱語言(SELECT，DELETE，UPDATE，INSERT) DCL—數據控制語言(GRANT，REVOK

spark , 表名 , spark sql 不包含元素 , 大數據 , 數據庫 , SQL

收藏 評論

u_14767244 頭像

u_14767244 - Apache Doris 在小米統一 OLAP 和湖倉一體的實踐

小米早在 2019 年便引入 Apache Doris 作為 OLAP 分析型數據庫之一，經過五年的技術沉澱，已形成以 Doris 為核心的分析體系，並基於 2.1 版本異步物化視圖、3.0 版本湖倉一體與存算分離等核心能力優化數據架構。本文將詳細介紹小米數據中台基於 Apache Doris 3.0 的查詢鏈路優化、性能提升、資源管理、自動化運維、可觀測等一系列應用實踐。

大數據 , 數據 , 運維 , 數據倉庫 , 物化視圖

收藏 評論