寫在前面
無論博客還是公號，我都很久不寫東西了，去年、今年兩年發生了太多的事，我沒法梳理，也不想梳理了，本能的想着用時間來沖淡一切的一切，但是現實就是無法如願。
自然文章、博客也就停滯了，相應的閲讀量和粉絲也嚴重下滑了，也在學着接受了現實的一切，更多的是和自己和解的過程吧。
為什麼寫這篇文章
可能是靈感來了吧， 説實話，這篇文章應該產出在好幾個月之前的吧，現在的我看來只能算是餘温尚存吧，也許再過個把月，也就忘了，算是記錄下筆記用。
事情起因
廢話文學部分結束，下面進入正題。
時間可以追溯到MCP突然爆火那段時間，也學着參考官方demo，天氣預報的例子，順便加了個學生管理的工具，大改搞明白了這東西是咋回事，唯一難得就是需要一個支持tools和function call這種的模型，無奈真窮，先告一段落。
從此，大模型在心裏紮根了，總有一種躍躍欲試的感覺。
終於，一次偶然的機會，之前開發的插件，用户在使用過程遇到了不兼容的情況，導致無法被程序識別處理。
我就在想，"要是能把眼睛附加在識別程序上，那該多酷呀！"
於是，我便想到了大模型，從此入坑了大模型開發了。
由於公司有自己部署的大模型，按照上面的思路，我的應用得有眼睛和思考功能。
所以優先考慮了多模態模型，也就是要有視覺識別、圖像推理、有關圖像的處理的能力，這裏我選用的是Llama-4。
整體思路：大模型視覺識別圖像 - > 圖像推理 - > 給出判斷 -> 執行對應邏輯
遇到的問題
很快，我將LLM接入應用，同樣，也遇到了很多問題！
現將遇到的問題記錄如下：
- 同一個圖片，大模型返回結果不一致
- 整體處理時間延長三倍以上
- 針對特殊位置的圖片識無法識別
- 機器學習覆蓋率低
- 記憶庫無法命中實時圖片，badcase越來越多
- 緩存雖能提速降本，但因語義誤判、上下文丟失和信息過時等問題易導致準確性下降。
- 很多大模型沒有置信度那個字段返回，硬頭皮寫也沒意義
解決方案
1、同一個圖片，大模型返回結果不一致
優化提示詞，使用提示詞路由來區分，分層管理提示詞，即專業的人辦專業的事，方便維護管理。
2、整體處理時間延長三倍以上
性能範疇，大模型的優化，使用緩存技術，一定程度可以降低大模型調用壓力及返回提速
3、針對特殊位置的圖片識無法識別
採用記憶庫感知哈希標記特殊圖片
4、機器學習覆蓋率低，記憶庫無法命中實時圖片，badcase越來越多
機器學習訓練數據覆蓋有限，泛化能力弱，難以應對用户上傳的各種奇葩圖片，容易誤判，棄用該方案。
5、緩存雖能提速降本，但因語義誤判、上下文丟失和信息過時等問題易導致準確性下降。
本質是為了解決大模型調用返回慢，併發調用會出現調用失敗和返回錯誤問題，而且使用緩存會影響大模型的返回結果，該方案棄用。
6、很多大模型沒有置信度那個字段返回，硬頭皮寫也沒意義
目前絕大多數大模型 API（如 GPT、通義、文心等）不會返回置信度字段，強行在應用層“硬寫”一個置信度，屬於自欺欺人，無實際意義，該方案棄用。
最後解決方案
由於用户上傳圖片極為多樣，100張訓練圖片無法覆蓋所有情況，小模型方案不適合我的業務場景，因此機器學習方案棄用！
大模型雖然能力強，但性能和穩定性不達標，準去率上不去，魯棒性差，無法作為主力方案，因此大模型這條路也堵死了！
得出結論
OpenCV直接對圖片做特徵提取和規則判斷是當前最優解，可通過不斷優化規則和特徵檢測，覆蓋絕大多數場景，且性能高、成本低、易於維護。
對極端異常圖片，採用人工審核，但不作為主流程。
寫在最後
在打開文章草稿箱才發現，這篇文章寫於一個多月前，而且還沒寫完！
隔着屏幕都感受到我多尷尬了，主要是寫文章的思路和感覺都斷了，可能會讓讀的人，叔你寫的文章，好隨意呀！
抱歉，歲數大了，我後面注意，儘量一氣呵成！
本文旨在記錄一次大模型開發的真實感受，雖然，最終未採用大模型技術，但還是體驗了一把大模型開發的感覺，也算值了！
正應了那句，沒有條件創造條件也要上，哈哈！
用文字記錄成長，我還是要勤奮一些的，後面還是爭取多一些分享，如文章對你有幫助，幫我點個贊即可，謝謝啦！
