博客 RSS 訂閱

mob6454cc73e9a6 - KEDA從CNCF沙箱升級成為孵化項目 -

01- 什麼是 KEDA ? KEDA(Kubernetes Event-driven Autoscaling)是一個輕量級的開源組件,用於在 Kubernetes 中實現事件驅動的自動擴縮容。 該項目於 2020.3 被 CNCF 接收,2021.8 開始孵化,最後在 2023.8 宣佈畢業,目前已經非常成熟,可放心在生產環境中使用。

Deployment , Pod , 雲計算 , 自定義 , Linux , 雲原生

收藏 評論

feiry - 詳解Hive窗口函數及10道實戰練習

📑 目錄(Table of Contents) 一、示例數據 二、常見窗口函數詳解 1. ROW_NUMBER 2. RANK 3. DENSE_RANK 4. SUM OVER 5. AVG OVER 6. LAG 7. LEAD 8. FIRST

大數據 , 數據 , hive , 面試 , 窗口函數

收藏 評論

歲月如歌甚好 - linux(centos8):配置docker的cgroup driver為systemd

在 Docker 容器化部署中,資源限制是保障容器集羣穩定的核心能力,無論是限制容器的 CPU 使用率、內存上限,還是塊設備 I/O 吞吐量,本質上都依賴 Linux 內核的 Cgroups(Control Groups)機制。而 Docker 與 Cgroups 的交互,需要通過 “Cgroup Driver(Cgroup 驅動)” 作為中間接口:目前 Docker 支持兩種主

雲計算 , Docker , 資源管理

收藏 評論

人類新新 - 大數據技術之_27_電商平台數據分析項目_03

目錄 實現步驟: 1、Hive數倉建模 2、執行Hive建表腳本 3、業務分析 ①基礎驗證腳本 ②業務分析腳本 4、提交到git倉庫(對應自己的文件) 案例小結 實現步驟: 1、Hive數倉建模 在scripts目錄創建 HQL 腳本,定義兩層表結構,直接關聯 HDFS 清洗後的數

User , 數據挖掘 , 大數據 , hive , 數據分析

收藏 評論

戀上一隻豬 - pycharm搭建spark環境 - jackmanwu的個人空間 -

本教程使用所有軟件版本:pycharm 25.2 ,spark 3.4.2 ,hadoop 3.3.3 一 確認虛擬環境中已安裝pyspark source /home/hadoop/.virtualenvs/PythonProject1/bin/activate pip show pyspark 運行結果如圖:

spark , 大數據 , pycharm , ide

收藏 評論

mob64ca13fa6a3c - RabbitMQ的死信隊列和延遲隊列

死信隊列(Dead-Letter Queue,DLQ)是 RabbitMQ 處理無法正常消費消息的核心機制,但隊頭阻塞(Head-of-Line Blocking) 是其高頻踩坑點——隊列中首個無法被消費的消息會阻塞後續所有消息的處理,即使後續消息本身是合法可消費的。本文從成因、場景、危害、解決方案全維度解析該問題。 一、核心概念鋪墊

服務器 , 優先級 , rabbitmq , 延遲隊列 , 分佈式 , 死信隊列

收藏 評論

雲端創新夢想家 - 【HBZ分享】數倉裏面的概念-寬表-維度表-事實表概念講解_維表 事實表 寬表

引言 在數據倉庫(Data Warehouse)設計中,事實表(Fact Table)和 事實寬表(Wide Fact Table)是兩種常見的存儲度量數據的表格。它們在結構、查詢效率、存儲方式等方面有所不同,選擇合適的設計模式對於提高查詢性能、減少存儲開銷以及滿足業務需求至關重要。本文將詳細介紹事實表與事實寬表的定義、區別及應用場景,並通過實際的

spark , 大數據 , 數據 , 數據倉庫 , 外鍵

收藏 評論

u_14767244 - 5 倍性能提升,Apache Doris TopN 全局優化詳解|Deep Dive

在日常的數據分析和業務報表中,TopN 查詢幾乎無處不在:無論是尋找銷量最高的前十件商品,還是篩選訪問量最多的前幾條日誌,開發者和數據分析師都在頻繁處理“前 N 條數據”。然而,當表的列數達到百餘或更多時,一個看似簡單的 SELECT \* … ORDER BY … LIMIT N 查詢,背後可能隱藏着巨大的性能瓶頸。儘管我們只關心某一列的前 N 條結果,數據庫依然可能掃描整張表的所有列

大數據 , Doris , 數據 , 數據倉庫 , 數據訪問 , SQL , apache

收藏 評論

程序員鋒仔 - 2025-12-31 GitHub 熱點項目精選

🌟 2025-12-31 GitHub Python 熱點項目精選(15個) 每日同步 GitHub Trending 趨勢,篩選優質 Python 項目,助力開發者快速把握技術風向標~ 📋 項目列表(按 Star 數排序) 1. timescale/pg-aiguide 一個為PostgreSQL提供AI優化的工具,幫助AI編碼工具生成更好的PostgreSQL代碼,支持語義搜索、AI優化

資訊 , 程序員 , 後端 , Python

收藏 評論

lulight - 【Azure Bot Service】在機器人服務中如何調用LLM來回答問題呢?

問題描述 使用Azure Bot Service來部署機器人服務,如何把大模型嵌入其中呢? 比如在對話消息時候,能讓大模型來提供回答? 問題解答 其實很簡單,在Bot代碼中添加大模型的調用就行。 以Python代碼為例, 首先是準備好調用LLM的請求代碼 ## 示例中使用的是Azure OpenAI的模型 imp

雲計算 , azure , 雲服務 , Json , Python

收藏 評論

數據探索家 - SseEmitter後端主動推送消息給前端

概述: SseEmiter 是 Spring Framework 提供的一個類,用於支持服務器發送事件(Server-Sent Events,SSE)。SSE 是一種基於 HTTP 的協議,允許服務器向客户端推送實時數據,而不需要客户端不斷地輪詢服務器。SSE 特別適用於需要實時更新數據的場景,例如實時通知、實時數據流等。

服務器 , 客户端 , Nginx

收藏 評論

哥布林學者 - 吳恩達深度學習課程四:計算機視覺 第四周:卷積網絡應用 (二) 圖像風格轉換

此分類用於記錄吳恩達深度學習課程的學習筆記。 課程相關信息鏈接如下: 原課程視頻鏈接:[雙語字幕]吳恩達深度學習deeplearning.ai github課程資料,含課件與筆記:吳恩達深度學習教學資料 課程配套練習(中英)與答案:吳恩達深度學習課後習題與答案 本篇為第四課的第四周內容,4.6到4.11的內容,同時也是本篇理論部分的最後一篇。 本週為第四課的第四周內容,這一課所有

AI

收藏 評論

mb6953211237c25 - 在知識的海洋中探索成長的軌跡

在知識的浩瀚海洋裏遨遊,每一次的學習都是一場奇妙的冒險。於我而言,學習不僅僅是為了獲取知識,更是一段不斷探索自我、實現自我價值的旅程。 學生時代,學習是按部就班地跟隨老師的節奏,在課本的字裏行間尋找答案。課堂上,我全神貫注地聆聽老師的講解,如同乾涸的海綿貪婪地吸收着知識的甘霖。課後,我認真完成作業,通過不斷地練習鞏固所學的內容。那時候,學習的目標很明確,就是在考試中取得優異

文心一言 , 成長 , aigc , 探索

收藏 評論

SAP蝦客 - SAP Clean Core下如何實現採購訂單相關的增強?

SAP Clean Core下如何實現採購訂單相關的增強? SAP傳統技術架構下,如果要實現特殊需求,可以在相關業務單據的創建事務代碼裏找到user-exit或者BAPI/Function Module, 通過在User-exit裏增加代碼或者在相關BAPI的import parameter裏傳入相關參數,以實現特殊業務需求。這在很多項目裏都是常見做法。 近些年SAP提出了Clean C

企業信息化

收藏 評論

南清風 - 數據人狂喜!這款Oracle導出工具,效率直接拉滿!

前陣子做項目時,甲方突然需要導出一大批數據庫數據,並且以後還有經常有這種需求,還明確要求以表格形式呈現,方便他們逐一核實數據信息。找了一圈同類工具,要麼導出速度慢,要麼格式不兼容,情急之下就自己開發了一款小軟件,沒想到用下來效果超驚豔,索性優化後分享給大家! 這款全能數據導出 / 導入工具不僅解決了當時的緊急需求,還新增了多格式支持、多線程加速、錯誤兼容等實用功能,不管是日常辦公還是技術開發,都能

操作系統

收藏 評論

北京辰輝創聚生物 - GST Tag標籤技術系統解析:重組蛋白親和純化與檢測應用全指南

在重組蛋白研究與應用過程中,融合標籤技術是提升實驗可控性與操作一致性的關鍵工具。作為應用歷史較長且技術體系成熟的蛋白標籤之一,GST tag(Glutathione S-transferase tag)在科研實驗中被廣泛用於蛋白親和純化、檢測分析及相互作用研究。本文將從科研試劑和實驗技術角度,對 GST 標籤的分子特性、應用原理及其在常規實驗流程中的角色進行系統性介紹。

抗GST抗體 , 大數據 , 重組蛋白 , GST標籤 , 數據倉庫 , 谷胱甘肽親和層析 , 親和純化

收藏 評論

祝你今天愉快 - C/C++進階學習(十三)結構體和結構體指針(一)

一、結構體的定義和使用 char* 不算基本數據類型 結構體(struct)是什麼 結構體:把不同類型的數據組合成一個整體。 struct Person { char name[20]; int age; float height; }; struct Person 是類型名

指尖人生 , 移動開發 , 初始化 , include , Android , JAVA

收藏 評論

SAP蝦客 - 2025年終總結之入門SAP EWM

2025年終總結之入門SAP EWM 年初筆者加入R項目以後,驚喜的發現R項目上有啓用SAP EWM系統來管理物料的庫存。這使得筆者有機會接觸項目級的SAP EWM系統,使得筆者有機會通過項目實踐來學習和玩轉SAP EWM系統,使得筆者有機會通過R項目的實施來擴展和更新自己的專業知識結構。應該説入門SAP EWM是筆者在2025年度在專業方面最大的收穫了。 筆者早就意識到自己的知識結構有

企業信息化

收藏 評論

wx59290cd7bb11a - 拒絕“膠水代碼”!大數據轉型 AI 架構師的 Python 進階心法:流式響應與切面編程

本文價值提示: 💡 面向人羣:擁有 Java/Scala/Spark 背景,正在向 AI Agent/RAG 架構轉型的後端或大數據工程師。 🎯 核心收穫: 思維重構:如何用 Spark 的“惰性求值”思維理解 Python 生成器。 架構解耦:如何用 Spring AOP 的“切面”思維掌握 Python 裝飾器。 實戰落地:手把手構建一

大數據 , 數據 , 數據倉庫 , AI , 生成器 , 架構師 , Python

收藏 評論

Coding茶水間 - 基於深度學習的輪船分類檢測系統演示與介紹(YOLOv12/v11/v8/v5模型+Pyqt5界面+訓練代碼+數據集)

視頻演示 基於深度學習的輪船分類檢測系統 1. 前言​ 隨着航運業與海洋經濟的不斷髮展,船舶類型的快速、準確識別在港口管理、海上交通監控、安全巡檢及環境保護等領域具有重要作用。傳統船舶分類多依賴人工判讀或基於 AIS 數據的分析,在視頻監控、無人機航拍、衞星影像等非結構化場景中,人工識別易受天氣、光照和拍攝角度等因素干擾,效率低且難以滿足實時性需求。 近年來,深度學習目標檢測技術取得顯著進展,YO

AI

收藏 評論

wx6953b3319ffb2 - 計算機科學導論學習實踐:從理論到實操的成長之路

計算機科學導論學習實踐:從理論到實操的成長之路 在《計算機科學導論》的學習中,“實踐”是貫穿始終的關鍵詞。這門課程並非單純的理論灌輸,而是引導我們從“知道”走向“做到”。近期我通過完成計算機硬件組裝和簡單程序邏輯設計兩項實操任務,將課堂上學到的硬件原理、編程思維落地,不僅解決了實際問題,更讓我對計算機科學的“實踐性”有了全新認知。 一、計算機硬件組裝:拆解與重組中理解

大數據 , 計算機硬件 , 數據 , 數據倉庫 , 計算機科學

收藏 評論

wx6953b3319ffb2 - 從計算機導論到職業賽道:我的技術成長規劃書

《計算機科學導論》的學習讓我完成了從“計算機使用者”到“計算機學習者”的身份轉變,也讓我對這個行業的職業方向有了清晰的認知。結合自身興趣和學科特點,我制定了一份從“入門到深耕”的職業規劃,希望能在計算機領域找到屬於自己的賽道,一步步實現從“技術新人”到“行業專才”的蜕變。 一、職業方向的選擇:聚焦軟件開發與AI應用 經過課程學習和自我探索,我將職業方向鎖定在軟件開發和人工智

應用開發 , 大數據 , 軟件開發 , 數據倉庫 , 人工智能

收藏 評論

wx6953b3319ffb2 - 計算機導論學習:在基礎中窺見學科的深邃

接觸《計算機科學導論》這門課程前,我對計算機的認知僅停留在“會用軟件、能上網”的淺層階段,總覺得這門學科只是冰冷的代碼和複雜的機器。但經過一學期的系統學習,我不僅搭建起計算機學科的基礎框架,更在一個個知識點的探索中,體會到這門學科背後的邏輯之美與創新之力,也對“如何學習計算機”有了全新的感悟。 課程的開篇從計算機的發展歷程講起,從圖靈提出的抽象計算

大數據 , 數據倉庫 , 人工智能 , 計算機科學 , Python

收藏 評論

HuiZhu - 代碼考古學:如何讓你的代碼不再是“未解之謎”?

你有沒有經歷過這種“靈魂出竅”的時刻: 盯着一段三個月前自己親手寫的代碼,感覺像是在看外星文明留下的天書。邏輯極其精妙,變量名簡寫得極其瀟灑,但你就是死活想不起來——這玩意兒到底是用來幹嘛的? 如果説寫代碼是構建一座宏偉的宮殿,那麼寫註釋就是給這座宮殿繪製“導遊圖”。遺憾的是,在趕進度的修羅場裏,我們往往只顧着添磚加瓦,卻忘了留下任何文字線索。 最終,項目變成了一座“數字迷宮”。新來的同事在裏面暈

AI

收藏 評論