第六十章 貓臉檢測實驗
1）實驗平台：正點原子DNESP32S3開發板
2）章節摘自【正點原子】ESP32-S3使用指南—IDF版 V1.6
3）購買鏈接：https://detail.tmall.com/item.htm?&id=768499342659
4）全套實驗源碼+手冊+視頻下載地址：http://www.openedv.com/docs/boards/esp32/ATK-DNESP32S3.html
5）正點原子官方B站：https://space.bilibili.com/394620890
6）正點原子DNESP32S3開發板技術交流羣：132780729
貓臉檢測與人臉檢測一樣，也是基於數字圖像中查找和識別貓臉。本章，我們使用樂鑫AI庫來實現貓臉檢測功能。
本章分為如下幾個部分：
60.1 硬件設計
60.2 軟件設計
60.3 下載驗證
60.1 硬件設計
1.例程功能
本章實驗功能簡介：使用樂鑫官方的ESP32-WHO AI庫對OV2640和OV5640攝像頭輸出的數據進行貓臉檢測。
2.硬件資源
1）LED燈
LED-IO1
2）XL9555
IIC_INT-IO0（需在P5連接IO0）
IIC_SDA-IO41
IIC_SCL-IO42
3）SPILCD
CS-IO21
SCK-IO12
SDA-IO11
DC-IO40（在P5端口，使用跳線帽將IO_SET和LCD_DC相連）
PWR- IO1_3（XL9555）
RST- IO1_2（XL9555）
4）CAMERA
OV_SCL-IO38
OV_SDA- IO39
VSYNC- IO47
HREF- IO48
PCLK- IO45
D0- IO4
D1- IO5
D2- IO6
D3- IO7
D4- IO15
D5- IO16
D6- IO17
D7- IO18
RESET-IO0_5（XL9555）
PWDN-IO0_4（XL9555）
3.原理圖
本章實驗使用的KPU為ESP32-S3的內部資源，因此並沒有相應的連接原理圖。
60.2 軟件設計
60.2.1 程序流程圖
程序流程圖能幫助我們更好的理解一個工程的功能和實現的過程，對學習和設計工程有很好的主導作用。下面看看本實驗的程序流程圖：
圖60.2.1.1 程序流程圖
60.2.2 程序解析
在本章節中，我們將重點關注兩個文件：esp_cat_detection.cpp和esp_cat_detection.hpp。其中，esp_cat_detection.hpp主要聲明瞭esp_cat_detection函數，其內容相對簡單，因此我們暫時不作詳細解釋。本章節的核心關注點是esp_cat_detection.cpp文件中的函數。
接下來，我們將詳細解析esp_cat_detection_ai_strat函數的工作原理。
TaskHandle_t camera_task_handle;
TaskHandle_t ai_task_handle;
QueueHandle_t xQueueFrameO = NULL;
QueueHandle_t xQueueAIFrameO = NULL;
/**
* @brief 攝像頭圖像數據獲取任務
* @param arg：未使用
* @retval 無
*/
static void esp_camera_process_handler(void *arg)
{
arg = arg;
camera_fb_t *camera_frame = NULL;
while (1)
{
/* 獲取攝像頭圖像 */
camera_frame = esp_camera_fb_get();
if (camera_frame)
{
/* 以隊列的形式發送 */
xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);
}
}
}
/**
* @brief 攝像頭圖像數據傳入AI處理任務
* @param arg：未使用
* @retval 無
*/
static void esp_ai_process_handler(void *arg)
{
arg = arg;
camera_fb_t *face_ai_frameI = NULL;
CatFaceDetectMN03 detector(0.4F, 0.3F, 10, 0.3F);
while(1)
{
/* 以隊列的形式獲取攝像頭圖像數據 */
if (xQueueReceive(xQueueFrameO, &face_ai_frameI, portMAX_DELAY))
{
std::list<dl::detect::result_t> &detect_results =
detector.infer((uint16_t *)face_ai_frameI->buf,
{(int)face_ai_frameI->height, (int)face_ai_frameI->width, 3});
if (detect_results.size() > 0)
{
ESP_LOGE("Camera", "Cat Face detected");
/* 此處是在圖像中繪畫檢測效果 */
draw_detection_result((uint16_t *)face_ai_frameI->buf,
face_ai_frameI->height,
face_ai_frameI->width,
detect_results);
}
else
{
ESP_LOGE("Camera", "Cat Face not detected");
}
/* 以隊列的形式發送AI處理的圖像 */
xQueueSend(xQueueAIFrameO, &face_ai_frameI, portMAX_DELAY);
}
}
}
/**
* @brief AI圖像數據開啓
* @param 無
* @retval 1：創建失敗；0：創建成功
*/
uint8_t esp_cat_face_detection_ai_strat(void)
{
/* 創建隊列及任務 */
xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
xTaskCreatePinnedToCore(esp_camera_process_handler,
"esp_camera_process_handler", 4 * 1024, NULL,
5, &camera_task_handle, 1);
xTaskCreatePinnedToCore(esp_ai_process_handler, "esp_ai_process_handler",
6 * 1024, NULL, 5, &ai_task_handle, 1);
if (xQueueFrameO != NULL
|| xQueueAIFrameO != NULL
|| camera_task_handle != NULL
|| ai_task_handle != NULL)
{
return 0;
}
return 1;
}
首先，我們創建了兩個消息隊列和兩個任務。這兩個消息隊列的主要功能是傳輸圖像數據，它們的區別在於一個用於傳輸原始圖像數據，另一個用於傳輸經過AI處理後的圖像數據或者未檢測到的圖像數據（原始圖像數據）。而這兩個任務則分別負責圖像數據的獲取和AI處理。在AI處理任務中，無論檢測是否成功，我們都會使用消息隊列將AI處理後的圖像數據或未檢測到的圖像數據（原始圖像數據）發送到LCD上進行顯示。
60.3 下載驗證
程序下載成功後，如果在檢測過程中發現貓臉，該系統會將此幀的圖像數據發送給貓臉檢測API進行處理。處理成功後，此幀的圖像將被顯示在LCD上，如下圖所示。
圖60.4.1 貓臉檢測效果圖
