ThreadPoolExecutor線程池內部處理淺析 | 京東物流技術團隊詳情 - 後端,java,threadpoolexecutor,線程池京東雲開發者博客

我們知道如果程序中併發的線程數量很多，並且每個線程都是執行一個時間很短的任務就結束時，會因為頻繁創建線程而大大降低系統的效率，因此出現了線程池的使用方式，它可以提前創建好線程來執行任務。本文主要通過java的ThreadPoolExecutor來查看線程池的內部處理過程。

1 ThreadPoolExecutor

java.uitl.concurrent.ThreadPoolExecutor類是線程池中最核心的一個類，下面我們來看一下ThreadPoolExecutor類的部分實現源碼。

1.1 構造方法

ThreadPoolExecutor類提供瞭如下4個構造方法

// 設置線程池時指定核心線程數、最大線程數、線程存活時間及等待隊列。
// 線程創建工廠和拒絕策略使用默認的（AbortPolicy）
public ThreadPoolExecutor(int corePoolSize,
                          int maximumPoolSize,
                          long keepAliveTime,
                          TimeUnit unit,
                          BlockingQueue<Runnable> workQueue) {
    this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
         Executors.defaultThreadFactory(), defaultHandler);
}

// 設置線程池時指定核心線程數、最大線程數、線程存活時間、等待隊列及線程創建工廠 
// 拒絕策略使用默認的（AbortPolicy）
public ThreadPoolExecutor(int corePoolSize,
                          int maximumPoolSize,
                          long keepAliveTime,
                          TimeUnit unit,
                          BlockingQueue<Runnable> workQueue,
                          ThreadFactory threadFactory) {
    this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
         threadFactory, defaultHandler);
}

// 設置線程池時指定核心線程數、最大線程數、線程存活時間、等待隊列及拒絕策略
// 線程創建工廠使用默認的
public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              RejectedExecutionHandler handler) {
        this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
             Executors.defaultThreadFactory(), handler);
   }
// 設置線程池時指定核心線程數、最大線程數、線程存活時間、等待隊列、線程創建工廠及拒絕策略
public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              ThreadFactory threadFactory,
                              RejectedExecutionHandler handler) {
        if (corePoolSize < 0 ||
            maximumPoolSize <= 0 ||
            maximumPoolSize < corePoolSize ||
            keepAliveTime < 0)
            throw new IllegalArgumentException();
        if (workQueue == null || threadFactory == null || handler == null)
            throw new NullPointerException();
        this.acc = System.getSecurityManager() == null ?
                null :
                AccessController.getContext();
        this.corePoolSize = corePoolSize;
        this.maximumPoolSize = maximumPoolSize;
        this.workQueue = workQueue;
        this.keepAliveTime = unit.toNanos(keepAliveTime);
        this.threadFactory = threadFactory;
        this.handler = handler;
    }

通過觀察上述每個構造器的源碼實現，我們可以發現前面三個構造器都是調用的第四個構造器進行的初始化工作。

下面解釋一下構造器中各個參數的含義：

corePoolSize：核心池的線程個數上線，在創建了線程池後，默認情況下，線程池中並沒有任何線程，而是等待有任務到來才創建線程去執行任務。默認情況下，在創建了線程池後，線程池中的線程數為0，當有任務來之後，就會創建一個線程去執行任務，當線程池中的線程數目達到corePoolSize後，就會把到達的任務放到緩存隊列當中。
maximumPoolSize：線程池最大線程數，這個參數也是一個非常重要的參數，它表示在線程池中最多能創建多少個線程。
keepAliveTime：表示線程沒有任務執行時最多保持多久時間會終止。默認情況下，只有當線程池中的線程數大於corePoolSize時，keepAliveTime才會起作用，直到線程池中的線程數不大於corePoolSize，即當線程池中的線程數大於corePoolSize時，如果一個線程空閒的時間達到keepAliveTime，則會終止，直到線程池中的線程數不超過corePoolSize。但是如果調用了allowCoreThreadTimeOut(boolean)方法，在線程池中的線程數不大於corePoolSize時，keepAliveTime參數也會起作用，直到線程池中的線程數為0。
unit：參數keepAliveTime的時間單位。
workQueue：一個阻塞隊列，用來存儲等待執行的任務，這個參數的選擇也很重要，會對線程池的運行過程產生重大影響；
threadFactory：線程工廠，主要用來創建線程；
handler：表示當拒絕處理任務時的策略。有以下四種取值：ThreadPoolExecutor.AbortPolicy:丟棄任務並拋出RejectedExecutionException異常。 ThreadPoolExecutor.DiscardPolicy：也是丟棄任務，但是不拋出異常。 ThreadPoolExecutor.DiscardOldestPolicy：丟棄隊列最前面的任務，然後重新嘗試執行任務（重複此過程）ThreadPoolExecutor.CallerRunsPolicy：由調用線程處理該任務。

1.2 核心方法

在ThreadPoolExecutor類中，最核心的任務提交方法是execute()方法，雖然通過submit也可以提交任務，但是實際上submit方法裏面最終調用的還是execute()方法。

 public void execute(Runnable command) {
        // 判斷提交的任務command是否為null，若是null，則拋出空指針異常；
        if (command == null)
            throw new NullPointerException();
        // 獲取線程池中當前線程數
        int c = ctl.get();
        // 如果線程池中當前線程數小於核心池大小，進入if語句塊
        if (workerCountOf(c) < corePoolSize) {
            // 如果以給定的命令啓動一個核心線程執行任務成功，直接返回
            if (addWorker(command, true))
                return;
            c = ctl.get();
        }
        // 如果當前線程池處於RUNNING狀態，則將任務放入任務緩存隊列
        if (isRunning(c) && workQueue.offer(command)) {
            int recheck = ctl.get();
            // 如果線程池不處於運行狀態並且移除剛加入的任務成功則執行拒絕策略
            if (! isRunning(recheck) && remove(command))
                reject(command);
            // 如果當前線程數為0，則在線程池裏增加一個線程，保證隊列裏的任務不會沒有線程執行
            else if (workerCountOf(recheck) == 0)
                addWorker(null, false);
        } 
        // 嘗試啓動核心線程之外的線程，如果不滿足，則執行對應的拒絕策略
        else if (!addWorker(command, false))
            reject(command);
    }

主要方法addWorker。

private boolean addWorker(Runnable firstTask, boolean core) {
        retry:
        for (;;) {
            int c = ctl.get();
            int rs = runStateOf(c);

            // 如果線程池狀態大於SHUTDOWN或者線程池狀態等於SHUTDOWN，firstTask不等於null
            // 或者線程池狀態等於SHUTDOWN,任務隊列等於空時，直接返回false結束。
            if (rs >= SHUTDOWN &&
                ! (rs == SHUTDOWN &&
                   firstTask == null &&
                   ! workQueue.isEmpty()))
                return false;

            for (;;) {
                int wc = workerCountOf(c);
                // 如果線程數量大於等於最大數量或者大於等於上限
                //（入參core傳true,取核心線程數，否則取最大線程數），直接返回false結束。
                if (wc >= CAPACITY ||
                    wc >= (core ? corePoolSize : maximumPoolSize))
                    return false
                // CAS操作給工作線程數加1，成功則跳到retry處，不再進入循環。
                if (compareAndIncrementWorkerCount(c))
                    break retry;
                c = ctl.get();  // Re-read ctl
                // 如果線程池狀態與剛進入時不一致，則跳到retry處，再次進入循環
                if (runStateOf(c) != rs)
                    continue retry;
                // else CAS failed due to workerCount change; retry inner loop
            }
        }

        boolean workerStarted = false;
        boolean workerAdded = false;
        Worker w = null;
        try {
            // 新建一個線程
            w = new Worker(firstTask);
            final Thread t = w.thread;
            if (t != null) {
                final ReentrantLock mainLock = this.mainLock;
                mainLock.lock();
                try {

                    int rs = runStateOf(ctl.get());
                    // 如果線程池狀態在SHUTDOWN之前或者
                    // 線程池狀態等於SHUTDOWN並且firstTask等於null時，進入處理。
                    if (rs < SHUTDOWN ||
                        (rs == SHUTDOWN && firstTask == null)) {
                        // 如果要執行的線程正在運行，則拋異常
                        if (t.isAlive()) // precheck that t is startable
                            throw new IllegalThreadStateException();
                        workers.add(w);
                        int s = workers.size();
                        if (s > largestPoolSize)
                            largestPoolSize = s;
                        workerAdded = true;
                    }
                } finally {
                    mainLock.unlock();
                }
                if (workerAdded) {
                    // 啓動線程
                    t.start();
                    workerStarted = true;
                }
            }
        } finally {
            // 如果線程添加失敗，則將新增的對應信息刪除
            if (! workerStarted)
                addWorkerFailed(w);
        }
        return workerStarted;
    }

1.3 任務執行run方法

在上述addWorker中，當調用線程的start方法啓動線程後，會執行其中的run方法。

public void run() {
            runWorker(this);
        }

final void runWorker(Worker w) {
        Thread wt = Thread.currentThread();
        Runnable task = w.firstTask;
        w.firstTask = null;
        w.unlock(); // allow interrupts
        boolean completedAbruptly = true;
        try {
            // 如果任務不為空或者新獲取到的任務不為空
            while (task != null || (task = getTask()) != null) {
                w.lock();
                // 當線程池狀態，大於等於 STOP 時，保證工作線程都有中斷標誌。
                // 當線程池狀態，小於STOP時，保證工作線程都沒有中斷標誌。
                if ((runStateAtLeast(ctl.get(), STOP) ||
                     (Thread.interrupted() &&
                      runStateAtLeast(ctl.get(), STOP))) &&
                    !wt.isInterrupted())
                    wt.interrupt();
                try {
                    beforeExecute(wt, task);
                    Throwable thrown = null;
                    try {
                        // 執行任務
                        task.run();
                    } catch (RuntimeException x) {
                        thrown = x; throw x;
                    } catch (Error x) {
                        thrown = x; throw x;
                    } catch (Throwable x) {
                        thrown = x; throw new Error(x);
                    } finally {
                        afterExecute(task, thrown);
                    }
                } finally {
                    task = null;
                    w.completedTasks++;
                    w.unlock();
                }
            }
            completedAbruptly = false;
        } finally {
            processWorkerExit(w, completedAbruptly);
        }
    }

2 整體處理過程

通過上述源碼分析，我們可以得出線程池處理任務的過程如下：

3 總結

本文從源碼層面主要分析了線程池的創建、運行過程，通過上述的分析，可以看出當線程池中的線程數量超過核心線程數後，會先將任務放入等待隊列，隊列放滿後當最大線程數大於核心線程數時，才會創建新的線程執行。

作者：京東物流管碧強

來源：京東雲開發者社區自猿其説Tech 轉載請註明來源

京東雲開發者博客

京東雲開發者博客

博客 / 詳情