tag hadoop

標籤
貢獻123
201
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 u_17558081 頭像 a_yu_super 頭像 kamier 頭像 u_16099326 頭像 u_16213702 頭像 u_16099336 頭像 u_16213673 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

kamier 頭像

kamier - 【Hadoop】HDFS架構解析

一、HDFS簡介 HDFS（Hadoop Distributed File System）是一個分佈式文件系統，它的主要設計目標是為了解決‌存儲和處理大規模數據的挑戰‌，尤其針對‌低成本硬件集羣‌和‌高吞吐量批處理‌場景。其有以下幾個主要特性： 跨平台（底層由Java開發，天然支持跨平台部署） 高容錯（數據冗餘存儲，數據塊默認有3個副本） 高吞吐（並行讀取或寫入多個數據塊，且是順序讀寫，流

hdfs , 大數據 , hadoop

收藏 評論

u_15444 頭像

gulaotou - QT和C#究竟選哪個_c#和qt

C# 桌面框架與 Qt 對比分析 本文主要是豆包生成，本人根據實際情況有所修改 一、文檔簡介 本文圍繞 C# 生態主流桌面框架（MAUI、Avalonia、WinUI 3）與 Qt（C++ 跨平台框架）展開對比，從開發效率、跨平台能力、界面生態等核心維度分析差異，為不同場景下的框架選擇提供參考。適用人羣為桌面應用開發者、技術選型負責人，

控件 , 大數據 , qt , 開發語言 , hadoop , c

收藏 評論

u_15591410 頭像

我就是不長肉而已 - B5819W-ASEMI可直接替代安世PMEG4010CEGW

編輯：ll B5819W-ASEMI可直接替代安世PMEG4010CEGW ASEMI首芯半導體可替代安氏半導體功率器件 型號：B5819W 品牌：ASEMI 封裝：SOD-123 正向電流：1A 反向電壓：40V 正向壓降：0.44V~0.47V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10u

ASEMI , 大數據 , B5817W , hadoop , 在51CTO的第一篇博文 , 二極管

收藏 評論

u_16213662 頭像

mob64ca140b466e - Windows Hadoop版本下載

相關內容：hadoop2.5.2彙總：新增功能最新編譯 32位、64位安裝、源碼包、API、eclipse插件下載Hadoop2.5 Eclipse插件製作、連接集羣視頻、及hadoop-eclipse-plugin-2.5.0插件下載hadoop2.5.1彙總：最新編譯 32位、64位安裝、源碼包、API下載及新特性等新手指導：hadoop官網介紹及如何下載hadoop（2.4

大數據 , hadoop , Windows Hadoop版本下載 , apache

收藏 評論

u_14499 頭像

coolfengsy - YOLOv8 深度解析！一文看懂，快速上手實操（附實踐代碼）

摘要 當前大多數研究主要側重於使用大型模型來提高實驗精度，卻常常忽視了部署的挑戰。在某些遙感設備上，對輕量級算法的需求日益增長。此外，遙感圖像（RSIs）通常包含大量小而密集分佈的目標，這給檢測帶來了巨大挑戰。為了解決這些問題，我們對YOLOv8s網絡進行了改進，開發了一種基於多尺度特徵融合與上下文信息（MFFCI-YOLOv8）的輕量級遙感目標檢

卷積 , v8 , 大數據 , hadoop , 1024程序員節 , 池化

收藏 評論

u_16213673 頭像

mob64ca140dc73b - Doris淺略介紹 +部署+使用_doris部署

Apache Doris 4.0 的 AI 功能（LLM 函數 + 向量索引）與 Cloudera CDP 7.3（或類 CDP 的 CMP 7.13 平台，如華為鯤鵬 ARM 版）在銀行信信用卡的操作指南和腳本 針對 國有商業銀行 場景下，Apache Doris 4.0（ARM64 鯤鵬環境）與華為 Cloud Data AI CMP 7.13

大數據 , hive , hadoop , zookeeper , flink , kafka

收藏 評論

u_16099343 頭像

編程夢想編織者 - 兩主三從 分佈式hadoop

分佈式系統中的主從複製基本原理 分佈式系統中的主從複製基本原理 複製指在多台機器上保存相同數據的副本，通過數據的複製，人們希望達到以下目的： 使用户使用物理上離他們更近的的數據，降低訪問延遲。 部分組件出現故障，系統仍然可以繼續工作，提高可用性。 擴展至多台機器以令他們同時提供數據訪問服務，提高讀吞吐量。 本文只討論一些簡

觸發器 , 兩主三從 分佈式hadoop , 大數據 , 數據 , 關係型數據庫 , hadoop

收藏 評論

u_16099271 頭像

代碼魔術師之手 - Dubbo基本原理

目錄 1. 為什麼需要DefaultFuture機制？ 1.1 單一長連接的挑戰 1.2 示例場景 2. DefaultFuture的核心設計 2.1 關鍵組件 2.2 響應匹配流程 2.3 超時處理 3. DefaultFuture的線程安全與

服務端 , 大數據 , hadoop , 客户端 , JAVA

收藏 評論

u_16099242 頭像

網線小遊俠 - 深入理解Golang之Map_golang map

好傢伙, 在遊戲開發，尤其是後端服務的構建過程中，我們常常從一個簡單的想法或原型開始。 代碼直接、功能明確，一切看起來都很好。但隨着項目複雜度的提升，最初的“簡潔”設計往往會變成“僵化”的枷鎖。 0.需求分析 我想我需要一張地圖,作用如下: 1.記錄所有人的位置, 2.快速的拿到某個角色的信息 3.快速拿到某個位

大數據 , 初始化 , hadoop , Layout , Json

收藏 評論

u_16099280 頭像

編程小達人之心 - SQL小白學習路徑

SQL（Structured Query Language）作為數據庫查詢語言，是每個數據分析師、後端工程師和數據庫管理員的必備技能。但是，光看理論不夠，只有通過大量練習才能真正掌握SQL。今天就為大家推薦幾個優質的SQL練習平台，幫助你從零基礎到熟練掌握。 一、適合入門的平台 1. SQLZoo - 最適合零基礎 推

大數據 , 學習 , hadoop , 數據庫 , 官網 , SQL

收藏 評論

u_87634 頭像

新新人類 - Spark大數據分析技術 spark 大數據

Apache Spark最初在2009年誕生於美國加州大學伯克利分校的APM實驗室，並於2010年開源，如今是Apache軟件基金會下的頂級開源項目之一。Spark的目標是設計一種編程模型，能夠快速地進行數據分析。Spark提供了內存計算，減少了IO開銷。另外Spark是基於Scala編寫的，提供了交互式的編程體驗。經過10年的發展，Spark成為了炙手可熱的大數據處理平台，目前

spark , Spark大數據分析技術 , 大數據 , 搜索 , 應用程序 , hadoop

收藏 評論

a_yu_super 頭像

企業任務調度平台 - Cloudera Hue實戰：如何高效利用這款數據查詢工具

Hue 的介紹 HUE 是一個開源的 Apache Hadoop UI 系統，早期由 Cloudera 開發，它是基於 Python Web 框架 Django 實現，後來貢獻給開源社區。它包括 3 個部分 hue ui，hue server， hue db。通過使用 Hue 我們可以通過瀏覽器方式操縱 Hadoop 集羣，查看修改 hdfs 的 文件，管理 hive 的元數據，運行 Sqoop，

hue , 集羣管理系統 , 大數據處理 , cloudera , hadoop

收藏 評論

u_16099181 頭像

數碼悟透 - HDFS兩種操作方式：命令行和Java API

一、引言 Hadoop 分佈式文件系統（HDFS）作為大數據生態的核心存儲組件，憑藉高容錯性、高擴展性及海量數據存儲能力，成為分佈式數據處理場景的基石。本文聚焦 HDFS 的三種核心客户端操作模式 —— 命令行客户端（client1）、9870 端口 Web UI 客户端（client2）與 Java API 客户端（client3），將系統拆解每

hdfs , hadoop , 後端開發 , 前端 , Python , ui

收藏 評論

a_yu_super 頭像

企業任務調度平台 - Spark與Hive的完美結合：如何在Spark上部署Hive

主要記錄如何安裝配置 Hive on Spark，在執行以下步驟之前，請先確保已經安裝 Hadoop 集羣，Hive，MySQL，JDK，Scala，具體安裝步驟不再贅述。 背景 Hive 默認使用 MapReduce 作為執行引擎，即 Hive on mr。實際上，Hive 還可以使用 Tez 和 Spark 作為其執行引擎，分別為 Hive on Tez 和 Hive on Spark。由於

spark , cloudera , yarn , hive , hadoop

收藏 評論

wl_68521de393432 頭像

WL - hadoop大數據學習01(基礎環境準備)

環境準備 下載centos7 鏡像文件 https://mirrors.aliyun.com/centos/7/isos/x86_64/ 選擇最小安裝版 CentOS-7-x86_64-Minimal-2009.iso 安裝完成之執行下面的命令更新鏡像源: 直接輸入curl -o /etc/yum.repos.d/CentOS-Ba

大數據 , hadoop , JAVA , 後端

收藏 評論

u_16213624 頭像

mob64ca140234eb - 2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -

一、HDFS的Shell操作 （一）、進程啓停管理 1.一鍵啓停腳本 （1）$HADOOP_HOME/sbin/start-dfs.sh,一鍵啓動HDFS集羣 注：輸入後可能會出現如下情況 c.輸入後顯示連接出現問題，只需將其他兩個虛擬機（node2，node

hdfs , 大數據 , hadoop , 後端開發 , Python

收藏 評論

mirrorship 頭像

鏡舟科技 - 用户行為分析：從概念到實踐的全面指南

在數字化轉型浪潮中，用户行為分析已成為企業決策的核心驅動力。 用户行為分析本質上是對用户與產品交互過程中產生的各類行為數據進行系統性收集、處理和分析，從而揭示用户偏好、預測行為趨勢並指導業務決策的過程。它包含三層核心要素：行為軌跡捕捉、場景歸因分析和價值轉化實現。 用户行為分析已從可選工具演變為企業數字化轉型的必爭之地，它通過數據驅動的方式，幫助企業深入理解用户、優化產品體驗並最終提升業務價值。

數字化轉型 , hadoop , starrocks , 分析 , olap

收藏 評論

u_16213655 頭像

mob64ca1409970a - find_element最新用法

find是一個強大的文本搜索工具,有很多選型可以根據用户,時間,尺寸,路徑,權限,文件類型等選項查找,也可以指定路徑,最後還能對找到的文件進行處理 . 下面主要介紹find的四個方面: 一:find與locate的比較 二:find的常見用法及其語法

find_element最新用法 , 機器學習 , 文件名 , find命令 , hadoop , 人工智能

收藏 評論

u_17558081 頭像

饕餮大數據 - 【Ambari開啓Kerberos】Knox 接入 Trino web-ui 解決方案

一、問題背景：Kerberos 開啓後 Trino Web UI 發生了什麼變化 代碼已經提交到github：Ttbigdata 在 未開啓 Kerberos 的情況下，Trino Web UI 使用的是傳統的 Form 登錄模式，瀏覽器直接訪問即可完成認證並進入 UI 頁面。 但在 開啓 Kerberos 之後，Trino 的 We

大數據 , yyds乾貨盤點 , Trino , hadoop , Knox , Ambari

收藏 評論

u_15831703 頭像

wei_shuo - GLM-4.7 & MiniMax M2.1 限免上線！工程級 Agent 模型正式接入 AI Ping

前言：從"能生成"到"能長期跑"的工程級大模型 大模型產業落地階段，工程交付穩定性與長時 Agent 運行效率成為核心衡量標準，GLM-4.7 與 MiniMax M2.1 作為國產模型兩條差異化成熟路線的代表，跳出單輪生成質量侷限，聚焦真實場景長期穩定運行能力。AI Ping 平台整合多供應商資源，實現兩款旗艦模型免費開放與統一調度，通過標準化測試、可視化看板與智

大數據 , API , hadoop , 3d , Max

收藏 評論

u_16213704 頭像

mob64ca14154457 - E2.在shell中正確退出當前表達式

Shell Daily 2025-12-19: 優雅退場 (Trap) 寫腳本時，我們通常會在末尾寫上一句 rm /tmp/data_export.tmp 來清理現場。但如果腳本執行中途報錯退出了？或者用户不耐煩按了 Ctrl+C 強行終止？那行清理代碼永遠不會執行，垃圾文件就會日積月累。 要想寫出“死得體面”、不留垃圾的健壯腳本，你不能只關注開始，更要關注結束。這時

大數據 , 刪除文件 , hadoop , 臨時文件 , shell

收藏 評論

wl_68521de393432 頭像

WL - hadoop 大數據學習03（hadoop生態以及非高可用集羣搭建）

hadoop 大數據主要生態組成架構圖以及描述 HDFS 高吞吐量的分佈式文件系統 YARN 用於任務調度和資源管理及分配的框架 MapReduce 運行與YARN之上，用於並行處理大數據的框架 Zookeeper 高性能的分佈式應用協調服務 Flume 日誌收集服務，用於將大量日誌數據衝不同的來源收集、聚合、最終移動到一個具體中心進行存續 Sqoop 用於將關係型數據庫與hado

hdfs , 大數據 , yarn , hadoop

收藏 評論

u_16213651 頭像

mob64ca14089531 - hadoop設置map併發數

1、Mapper的key排序方式默認為快速排序，合併切片文件時用的是歸併排序，繼承Mapper類 * 驅動類關聯map：job.setMapperClass(WordcountMapper.class); 2、Reducer需要繼承Reducer類，重寫reduce(key, values, context)

數據傾斜 , 大數據 , hadoop設置map併發數 , hadoop , 自定義

收藏 評論

daimajiangxin 頭像

代碼匠心 - Lambda架構：實時與批處理的完美融合

引言 在當今數據爆炸的時代，企業面臨着前所未有的數據處理挑戰——如何同時滿足海量歷史數據的批處理分析需求和實時數據的低延遲查詢需求？2014年，Storm的作者Nathan Marz提出了一種革命性的架構模式——Lambda架構，為解決這一矛盾提供了優雅的解決方案。 Lambda架構通過巧妙地將數據處理分解為批處理層(Batch Layer)、加速層(Speed Layer)和服務層(Servin

大數據處理 , 大數據 , hadoop , flink

收藏 評論