一、任務背景

在Hadoop項目中，我們通常需要通過不同的客户端操作方式來管理和處理數據。本文將詳細介紹三種常見的客户端操作方式：命令行操作、網頁界面操作（通過9870端口）和Java代碼操作。通過這些操作方式，我們可以有效地進行Hadoop集羣的管理、數據的存儲與分析。

二、任務1：client1——hdaf操作

1. 環境準備
  • 系統環境：Linux Ubuntu 20.04
  • 依賴工具：Hadoop（版本3.3.4）
2. 操作步驟
# 啓動Hadoop集羣
start-dfs.sh
start-yarn.sh

# 查看集羣狀態
jps

# 創建HDFS目錄
hdfs dfs -mkdir /user/hadoop/data

# 上傳本地文件到HDFS
hdfs dfs -put localfile.txt /user/hadoop/data/

# 運行MapReduce程序
hadoop jar /path/to/hadoop-mapreduce-examples.jar wordcount /user/hadoop/data /user/hadoop/output

# 查看輸出結果
hdfs dfs -cat /user/hadoop/output/part-r-00000
3. 注意事項
  • 確保Hadoop環境變量已正確配置。
  • 在執行命令前，檢查HDFS是否已啓動並正常運行。

三、任務2：client2——9870網頁交互

1. 網頁地址

Hadoop NameNode Web UI: http://localhost:9870/

2. 操作步驟

  1. 打開瀏覽器，訪問上述地址。
  2. 在Web界面中，可以查看HDFS的狀態、存儲容量、節點信息等。
  3. 通過Web界面的“Utilities”菜單，可以瀏覽文件系統、查看日誌等。
  4. 在“Browse the file system”中，可以查看HDFS上的文件和目錄，進行文件的上傳、下載、刪除等操作。

3. 注意事項

  • 確保NameNode已啓動，並且9870端口未被佔用。
  • Web界面提供了直觀的操作方式，適合進行簡單的文件管理和集羣監控。

四、任務3：Java代碼操作（Hadoop Java API）

1. 功能描述

使用Hadoop Java API進行文件的讀寫操作。

2. 核心代碼

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.io.OutputStream;

public class HadoopJavaClient {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            FileSystem fs = FileSystem.get(conf);

            // 寫入文件
            String filePath = "/user/hadoop/data/hello.txt";
            FSDataOutputStream outputStream = fs.create(new Path(filePath));
            outputStream.writeBytes("Hello, Hadoop!");
            outputStream.close();

            // 讀取文件
            FSDataInputStream inputStream = fs.open(new Path(filePath));
            BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
            String line;
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }
            reader.close();
            fs.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3. 編譯與運行

# 編譯Java程序
javac -classpath $(hadoop classpath) HadoopJavaClient.java

# 運行Java程序
java -classpath .:$(hadoop classpath) HadoopJavaClient

五、總結與後續計劃

通過上述三種客户端操作方式，我們可以靈活地進行Hadoop集羣的管理、數據的存儲與分析。命令行操作適合進行批量處理和自動化腳本編寫；網頁界面操作提供了直觀的操作方式，適合進行簡單的文件管理和集羣監控；Java代碼操作則適合進行復雜的業務邏輯處理和數據操作。

後續計劃：

  • 將三種操作方式整合為一條自動化流水線。
  • 引入調度系統（如Airflow或Quartz）進行任務調度。
  • 增加異常告警機制（釘釘/郵件通知）。

附錄

  • 參考文檔：
  • Hadoop官方文檔
  • Hadoop Java API文檔