tag hadoop

標籤
貢獻123
200
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 u_17558081 頭像 a_yu_super 頭像 kamier 頭像 u_16099326 頭像 u_16213702 頭像 u_16099336 頭像 u_16213673 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_16099334 頭像

AI領域佈道師 - hadoop兩個服務器遷移方案

隨着Apache Hadoop的起步，雲客户的增多面臨的首要問題就是如何為他們新的的Hadoop集羣選擇合適的硬件。 儘管Hadoop被設計為運行在行業標準的硬件上，提出一個理想的集羣配置不想提供硬件規格列表

大數據 , 運維 , hadoop , hadoop兩個服務器遷移方案 , 數據庫 , 人工智能

收藏 評論

u_17558081 頭像

饕餮大數據 - 【Knox編譯】webhdfs-test 依賴收斂衝突問題處理

一、問題背景 代碼已經提交到github,完整代碼請參考：Ttbigdata 在 Bigtop 編譯 Apache Knox 2.1.0 的過程中，構建流程推進到測試相關模塊： gateway-test-release / webhdfs-test 前置模塊（webhdfs-kerb-test）已經成功，但在 webhd

大數據 , 私藏項目實操分享 , 運維 , hadoop , Knox , Ambari

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54C-ASEMI可直接替代安世BAT54C

編輯：ll BAT54C-ASEMI可直接替代安世BAT54C ASEMI首芯半導體可替代安氏半導體功率器件 型號：BAT54C 品牌：ASEMI 封裝：SOT-23 特性：肖特基二極管 正向電流：0.2A 反向耐壓：30V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌電流：1

ASEMI , 大數據 , BAT54C , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD3DF40V1H-ASEMI可直接替代安世PMEG4005EJ

編輯：ll SBD3DF40V1H-ASEMI可直接替代安世PMEG4005EJ 型號：SBD3DF40V1H 品牌：ASEMI 封裝：SOD-323 正向電流：1A 反向電壓：40V 正向壓降：0.44V~0.47V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns

ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , SBD3DF40V1H , 肖特基二極管

收藏 評論

u_11659620 頭像

爾等氏人 - PostgreSQL外部數據包裝器

引言 在現代數據生態系統中，數據往往分散在不同的存儲系統中——關係數據庫、NoSQL數據庫、API接口、文件系統等。如何有效地整合這些異構數據源，為用户提供統一的數據訪問接口，成為了一個重要挑戰。PostgreSQL通過外部數據包裝器(Foreign Data Wrapper, FDW)機制，提供了一種優雅的解決方案，使得用户可以像訪問本地表一樣訪問外部數據源中的數據。這種能力不僅簡

外部表 , 大數據 , 數據 , hadoop , SQL

收藏 評論

u_16213679 頭像

mob64ca140f29e5 - 高可用,完全分佈式Hadoop集羣HDFS和MapReduce安裝配置指南_51CTO博客

📋 第一步：系統檢查 # 檢查操作系統版本 cat /etc/os-release # 檢查內核版本 uname -r # 檢查Java是否安裝 java -version 運行結果示例： user@server:~$ cat /etc/os-release PRETTY_NAME="Ubuntu 24

大數據 , hadoop , xml , 後端開發 , mapreduce , Python

收藏 評論

u_16099336 頭像

浪人小風光 - LangChain 系列教程（一）：掌握基礎概念，為大型語言模型應用奠定基礎_VIP

目錄 前言 1. PromptTemplate 概述 1.1 什麼是 PromptTemplate 1.2 為什麼需要模板化提示 2. PromptTemplate 的參數與用法 2.1 主要參數説明 2.2 支持多種模板語法 3. 與 LLMC

大數據 , hadoop , 數據可視化 , 複用 , 硬編碼

收藏 評論

fanudekaixinguo 頭像

kexb - HDFS 單節點安裝

HDFS 單節點安裝指南 (Debian/Linux) 環境準備 sudo apt update sudo apt install -y ssh openjdk-11-jdk 防火牆配置 sudo ufw allow 9870/tcp # NameNode sudo ufw allow 9864/tcp # DataNode sudo ufw allow 9000/tcp # RPC 1.創

hadoop

收藏 評論

u_16099199 頭像

數據俠客行 - C++——繼承（單繼承、多繼承、菱形繼承）&&虛繼承&&虛基類

目錄 前言： 一、派生類的默認成員函數專題 1.1實現一個不可繼承類實現 1.1.1 間接實現：【C++98】構造函數私有的類不能被繼承 1.1.2 直接實現：final關鍵字修改基類 1.1.3 代碼實現 4.4.4final關鍵字 二、繼承體系中的友元關係 2.1 友元與繼承的關係特性

大數據 , hadoop , 派生類 , 靜態成員 , 多繼承

收藏 評論

u_14844 頭像

definitely - 《消息隊列高手課》筆記（1） - r1

消息隊列解耦天外客前後端通信 在“天外客”這類高互動、強實時的現代應用裏，你有沒有遇到過這樣的尷尬？——用户剛點了個按鈕，頁面卡住3秒才彈出“操作成功”，後台卻還在默默處理積分發放、日誌記錄、推薦更新……🤯 更糟的是，一到活動高峯期，服務器直接502，運維兄弟連夜改配置。 問題出在哪？ 前端等後端，後端壓不過來，系統全綁在一起。

RabbitMQ , redis , 大數據 , 解耦 , hadoop , 消息隊列

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據交換引擎Sqoop

Sqoop是SQL To Hadoop的簡稱，它是一款開源的工具，主要用於在Hadoop（Hive）與傳統的數據庫（Oracle、MySQL等）間進行數據的傳遞。通過使用Sqoop可以將一個關係型數據庫中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據庫中。Sqoop是基於MapReduce完成數據的交換，因此在使用Sqoop之前需要部署Hadoop環境；另一方面，由於

hdfs , 大數據 , hadoop , etl , sqoop

收藏 評論

u_16099203 頭像

網絡安全守衞 - “雙碳”目標，數字化的新陣地

用數據“掘地三尺”，為零碳排放找出一條最靠譜的路 ——Echo_Wish 的大數據隨想錄 要我説，“零碳排放”這四個字，看着挺玄乎，但真正落地的時候，其本質就一句話：用數據把浪費揪出來，把效率拉上去，把決策變聰明。 你別看很多企業喊着“雙碳目標”，但真正能做到落地推進的，幾乎都是數字化程度高、數據驅動意識強的團隊 —— 因為碳排

單例模式 , 大數據 , 數據 , 開發語言 , hadoop , JAVA

收藏 評論

a_yu_super 頭像

企業任務調度平台 - 項目實施｜Kafka集羣升級方案，我們踩過的不少坑

項目背景 我們團隊負責維護的 Kafka 集羣承載了公司大部分實時數據的收集與傳輸任務。然而，目前存在一些問題，嚴重影響了集羣的穩定性、用户體驗以及管理員的運維效率： 當前集羣版本較低，且低版本的 bug 頻繁出現，導致集羣穩定性受到威脅。例如，violet 集羣最近因觸發 bug 而出現不可用的情況。 多個集羣版本不一致，用户在使用時受到版本限制，管理員需要關注不同版本之間的差異，增加了問

集羣管理系統 , 大數據處理 , cloudera , hadoop , kafka

收藏 評論

u_16213705 頭像

mob64ca14157da7 - 熟練掌握HDFS的Shell訪問和JavaAPI訪問

以下是一個關於HDFS操作的技術文章大綱，主題聚焦於三種客户端操作方式：命令行操作、網頁界面操作（通過9870端口）和Java代碼操作。 1. 引言 介紹Hadoop分佈式文件系統（HDFS）的基本概念和重要性。 概述三種操作方式：命令行（client1）、網頁界面（client2）和Java API（client3）。

hdfs , hadoop , JAVA , 前端開發 , 前端 , Javascript

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD521S-30-ASEMI可直接替代安世1PS79SB10

編輯：ll SBD521S-30-ASEMI可直接替代安世1PS79SB10 型號：SBD521S-30 品牌：ASEMI 封裝：SMAF 正向電流：0.2A 反向電壓：30V 正向壓降：0.55V~0.95V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns 浪涌電流

ASEMI , 大數據 , SBD521S-30 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16213669 頭像

mob64ca140ce312 - 2分鐘讀懂Hadoop和Spark的異同

從數據處理流程看 Hadoop 與 Spark：批處理、流處理的實現差異 Hadoop 和 Spark 都是大數據處理框架的核心技術，但它們在數據處理流程（包括批處理和流處理）的實現上存在顯著差異。下面我將從數據處理流程的角度（數據輸入、處理引擎、數據輸出）逐步分析這些差異，幫助您理解各自的優勢和適用場景。回答基於真實技術原理，確保可靠。 1

spark , 大數據 , 數據 , hadoop , 前端開發 , Javascript

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - 【大數據內核解密】HDFS 架構與數據模型：從理論到實戰全解析

作為 Hadoop 生態系統的基石，HDFS (Hadoop Distributed File System)為大數據應用提供了高吞吐量、高容錯性和高可用性的存儲解決方案。本文將深入剖析 HDFS 的核心架構、數據模型和關鍵機制，帶你全面瞭解這個分佈式文件系統的內部工作原理。 一、HDFS 主從架構：NameNode 與 DataNode 的協作機制 HDFS 採用典型的主從架構設計，由一個 Na

hdfs , 大數據 , hadoop , 後端

收藏 評論

u_16213598 頭像

mob64ca13fbd761 - （I）Banach空間和不動點定理 4: Schauder 不動點及其應用

本節的主要內容在於lambda函數和let函數，通過兩種新的函數形式減少了定義的使用，對過程設計進行了簡化。 lambda函數用於減少define的使用，使得過程的編制更加符合直覺，通過lambda(x)（fx)的形式可以減少很多函數體外的定義過程。 let函數更多用於定義局部變量，通過let體內的定義可以直接完成局部變量的運算，但需要注意區分

d3 , 大數據 , hadoop , 函數體 , 局部變量

收藏 評論

u_16099267 頭像

雲端創新夢想家 - 人工智能+智能製造--中國製造未來方向_人工智能製造

引言 人工智能（AI）正在全球範圍內迅速發展，並深刻影響各行各業。尤其在製造業，AI技術的應用已成為提升生產力、優化供應鏈、減少成本和提升產品質量的重要工具。智能製造是工業4.0的核心，而人工智能無疑是這一進程的核心驅動力。AI的引入不僅僅是為了實現自動化，更在於通過數據驅動的智能決策來提升生產效率和響應市場需求的能力。 本文將探討人工智能在

機器學習 , spark , 大數據 , 數據 , hadoop , 人工智能

收藏 評論

u_16213619 頭像

mob64ca14010a69 - 數據倉庫工具–Hive(歸納第一部分)

可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，將 SQL 語句轉換為 MapReduce/Tez/Spark 任務運行。 SQL接口：使用 HiveQL（類似 SQL）進行查詢 大數據處理：處理 PB 級別的數據 數據倉庫：適合離線批處理和數據倉庫建設 擴展性：可自定義 UDF、UDAF

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

u_14344 頭像

冷月星 - hadoop商用價格

無論國內外，大公司對數據都有着無窮無盡的渴望，隨着業務開展，數據來源越來越多，數據格式多樣，體量也越來越大，因此基於結構化數據的關係型數據庫很快趨於瓶頸。公司們都在思考着如何尋找一個合適的工具來解決大數據量下的計算和存儲問題。你可能會想到超算和HPC，但只有幾個巨頭玩得起，中小企業基本很難承擔其自建費用。後來，谷歌連發了3篇關鍵性的論文：GoogleFS, MapReduce和B

hadoop商用價格 , 大數據 , 數據 , 微服務 , hadoop

收藏 評論

u_12897 頭像

jordana - 權限控制_多租户系統設計之權限控制_weixin

Uberi/speech_recognition多租户架構：隔離與資源分配方案 在企業級語音識別應用中，多租户（Multi-Tenancy）架構面臨着數據隔離、資源競爭和識別精度平衡的核心挑戰。Uberi/speech_recognition作為一款支持多引擎的Python語音識別庫，通過模塊化設計和靈活配置機制，為構建多租户系統提供了基礎

多租户 , 大數據 , hadoop , 語音識別 , Git

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | RDD編程

一、RDD操作 1、創建操作 ①從文件創建 文件的一行對應RDD的一個元素： a.從本地文件創建 //格式：sc.textFile("file://本地文件絕對路徑") valrdd =sc.textFile("file

spark , 大數據 , hive , hadoop , Scala

收藏 評論