博客 RSS 訂閱

vivo互聯網技術 - Spark on K8s 在vivo大數據平台的混部實戰

作者:vivo 互聯網大數據團隊- Qin Yehai 在離線混部可以提高整體的資源利用率,不過離線Spark任務部署到混部容器集羣需要做一定的改造,本文將從在離線混部中的離線任務的角度,講述離線任務是如何進行容器化、平台上的離線任務如何平滑地提交到混部集羣、離線任務在混部集羣中如何調度的完整實現以及過程中的問題解決。 一、在離線業務差異 互聯網數據業務服務一般可以分為在線服務和離線任務兩

spark , 容器 , 大數據

收藏 評論

Swift社區 - 【前沿聚焦】機器學習的未來版圖:從自動化到隱私保護的技術突破

摘要 本文聚焦機器學習領域的前沿技術趨勢,包括自動化機器學習(AutoML)、多模態學習和聯邦學習等熱門方向。文章將詳細解析這些技術的基本原理、應用場景及潛在突破點,並通過可運行的代碼示例進行實踐,幫助開發者理解這些技術並規劃未來學習路徑。 引言 近年來,機器學習技術取得了顯著進步。然而,伴隨技術的發展,新的問題和需求不斷涌現,例如模型自動化、多模態數據處理和隱私保護。本文將圍繞這些挑戰,探討三大

機器學習 , 自動化

收藏 評論

百度Geek説 - 名列前茅!百度文心大模型4.5及X1在中國信通院“方升”大模型基準測試中表現優異

中國人工智能產業發展聯盟(以下簡稱“AIIA”)緊密跟蹤大模型和智能體的技術發展與行業應用動態,構建併發布了“方升”(FactTesting)大模型基準測試體系,自2024年以來已對國內外開源與閉源大模型開展了6輪能力監測,累計測試了200餘個大模型,持續跟蹤其技術演進與表現,為行業技術選型與能力評估提供了重要依據。2025年,評測範圍進一步擴展至多模態理解、文生圖、文生視頻等領域,並率先開展智能

百度

收藏 評論

kamier - 【Hadoop】Yarn資源管理調度

一、Yarn產生背景 Yarn(全稱為Yet Another Resource Negotiator,譯為"另一個資源協調者")在Hadoop2.0版本中引入,其誕生是為了解決 Hadoop 1.x 架構中 MapReduce 的資源管理和計算框架耦合 的問題。簡而言之,就是之前MapReduce的資源管理和計算框架是耦合在一起的,為了解耦而設計出了Yarn。 Yarn是一種新的 Hadoop 資

大數據 , yarn , hadoop

收藏 評論

奔放的炒粉 - 提示詞工程師自白:我如何用一個技巧解放自己的生產力

自從新的生產範式誕生以來,我的工作中多了一項新身份——提示工程師。 在不同的大語言模型之間穿梭,尋求同頻共振,研究了各種提示詞範式,從 few-shot、COT、self-consistency 到動態提示詞輪番嘗試。曾經還裝了一把x給公司做了個提示詞工程的培訓,嘗試把寫提示詞的痛苦幸福轉接給大家。 然而,周旋了一段時間後我發現,人和大模型之間依然有語言壁壘——真是君不識我,我亦不識君。 咱們平時

比特幣

收藏 評論

sysin - Windows Server 2019 OVF (2025 年 4 月更新) - VMware 虛擬機模板

Windows Server 2019 OVF (2025 年 4 月更新) - VMware 虛擬機模板 Windows Server 2019 Datacenter x64 OVF, updated Apr 2025 (sysin) 請訪問原文鏈接:https://sysin.org/blog/windows-server-2019-ovf/ 查看最新版。原創作品,轉載請保留出處。 作者主頁:

windows-server

收藏 評論

觀測雲 - Zookeeper 可觀測性最佳實踐

Zookeeper 介紹 ZooKeeper 是一個開源的分佈式協調服務,用於管理和協調分佈式系統中的節點。它提供了一種高效、可靠的方式來解決分佈式系統中的常見問題,如數據同步、配置管理、命名服務和集羣管理等。本文介紹通過 DataKit 採集 Zookeeper 指標,幫助監控 Zookeeper 運行情況。 主要功能: 配置管理:集中管理分佈式系統的配置信息,便於動態更新和同步。 命名服

zookeeper

收藏 評論

TechubNews - 後牛市時代的冷思考:市場洗牌下,加密貨幣行業各賽道將如何發展

作者:Techub 精選編譯 撰文:Joel John 編譯:Yangz,Techub News 譯者按:在特朗普關税政策搖擺不定、全球貿易局勢動盪的背景下,加密貨幣市場正經歷着顯著的降温。本文作者從 16 個維度剖析了當前加密貨幣市場的結構性變化。在這個宏觀政策與市場機制雙重作用的特殊時期,加密貨幣行業或將迎來一場深刻的價值重構——這既是殘酷的洗牌過程,更是行業走向成熟的必經之路。

區塊鏈 , 比特幣 , web3

收藏 評論

架構師專欄 - 安裝了 zsh-syntax-highlighting 插件

正確安裝並配置 zsh-syntax-highlighting 插件,以便在 zsh 中高亮顯示命令。 步驟 1:確保安裝了 zsh-syntax-highlighting 插件 打開終端,確保 zsh-syntax-highlighting 插件安裝在 ~/.oh-my-zsh/custom/plugins/zsh-syntax-highlighting 目錄下。你可以使用以下命令來安裝插件

zsh

收藏 評論

xcmd - x-cmd install | Toolong - 終端日誌分析的瑞士軍刀

還在為繁雜的日誌文件抓耳撓腮?還在 SSH 會話裏用着原始的 tail、less 和 grep 組合?是時候升級你的日誌分析工具了!Toolong,一款強大的終端日誌查看器,讓你告別低效,擁抱高效! Toolong 是一款專為開發者打造的終端應用,旨在簡化和加速日誌文件的查看、分析和搜索。它不僅僅是一個簡單的日誌查看器,更是一個集成了多種實用功能的瑞士軍刀。 核心功能,一應俱全 實時追蹤 (

日誌分析 , 系統管理 , Python

收藏 評論

架構師專欄 - 如何配置 Homebrew 使用國內源的教程

由於 Homebrew 默認的源是國外的,有時會導致下載速度較慢,特別是在中國大陸。為了提高下載速度,可以將 Homebrew 切換到國內鏡像。 以下是如何配置 Homebrew 使用國內源的教程。 1. 備份 Homebrew 的默認源 在更改 Homebrew 的源之前,最好先備份一份默認源的配置,以防需要恢復。您可以通過以下命令備份配置文件: cp -r /usr/local/Homebre

homebrew

收藏 評論

架構師專欄 - 如何在 macOS 上安裝 Oracle JDK 24 的詳細步驟

如何在 macOS 上安裝 Oracle JDK 24 的詳細步驟,包括從下載、安裝到配置環境變量的完整流程。 1. 下載 JDK 安裝包 打開你的瀏覽器,訪問 Oracle JDK 下載頁面。 https://www.oracle.com/cn/java/technologies/downloads/#jdk24-mac 點擊下載鏈接,下載適合 macOS 的 jdk-24_macos

JDK

收藏 評論

異常君 - 【大數據內核解密】HDFS 架構與數據模型:從理論到實戰全解析

作為 Hadoop 生態系統的基石,HDFS (Hadoop Distributed File System)為大數據應用提供了高吞吐量、高容錯性和高可用性的存儲解決方案。本文將深入剖析 HDFS 的核心架構、數據模型和關鍵機制,帶你全面瞭解這個分佈式文件系統的內部工作原理。 一、HDFS 主從架構:NameNode 與 DataNode 的協作機制 HDFS 採用典型的主從架構設計,由一個 Na

hdfs , 大數據 , hadoop , 後端

收藏 評論

NocoBase - 如何部署 NocoBase 才更快

原文鏈接:https://www.nocobase.com/cn/tutorials/how-to-deploy-nocobase-...。 很多朋友在部署 NocoBase 時可能會覺得訪問速度不夠理想。很多時候是由於網絡環境、配置或服務架構的影響。今天,我和大家聊聊那些只需調整部署設置就能顯著提升訪問速度的技巧: I. 網絡和基礎設施優化 1. HTTP 協議版本:輕鬆擁抱 HTTP/2 【前

部署 , 開發工具 , 低代碼 , 教程 , 開源

收藏 評論

刊wo - 2025 年 3 個最佳 WordPress 本地快速部署工具測評

在 WordPress 建站領域,本地部署工具的效率和易用性直接影響開發者的工作流程。無論是個人開發者還是團隊,選擇一款合適的工具能大幅縮短環境配置時間,降低技術門檻。本文基於 2025 年最新技術趨勢,測評三款兼具創新性和實用性的工具,其中包含備受矚目的 Websoft9 運維面板,助您快速搭建高性能 WordPress 站點。 工具一:WordPress Studio —— 官方力推的輕量化開

wordpress , 部署 , 運維

收藏 評論

雲輕雨細 - 非凡雲公測體驗報告

我在過去3個月裏通過非凡云云服務器搭建了個人博客,這段體驗讓我對這家新興雲服務商有了個大概的認識。現在非凡雲正式開業,因此分享這份體驗報告,也給觀望中的同好一些參考。 初識非凡雲 第一次登錄非凡雲的控制枱時,簡潔的界面讓我有些意外——沒有複雜的專業術語,常用功能都在顯眼位置。創建實例的過程異常順暢,從選擇配置到SSH連接成功,整個過程不到三分鐘。 我的博客選用了基礎配置:1核CPU、

wordpress , 雲服務器 , 博客搭建

收藏 評論

tantudafangdepaobuxie - 智能交付時代:十大CI/CD工具對比與國內首選方案揭秘

隨着DevOps的普及,持續集成與持續交付(CI/CD)工具成為企業提升開發效率的關鍵。本文結合當前技術趨勢與工具特性,為您推薦十大CI/CD工具,並重點介紹國內優秀代碼託管平台Gitee的CI/CD解決方案。 1、Gitee CI/CD 特點: 國內代碼託管平台Gitee的內置CI/CD服務,專注本地化需求。 核心優勢: 數據合規與速度: 服務器部署於國內,構建速度提

自動化部署 , cicd , 自動化測試 , 敏捷交付 , 團隊協作

收藏 評論

刊wo - 2025 年 5 個最佳WordPress主機託管推薦

在2025年,WordPress仍然是全球最受歡迎的建站系統之一,選擇合適的主機託管方案和工具能大幅提升網站性能、安全性和管理效率。本文綜合行業測評和用户反饋,推薦以下 5個雲平台主機服務 和 Websoft9託管軟件 的組合方案,覆蓋不同預算、地域和技術需求。以下內容僅供參考學習。 一、雲平台主機推薦 Bluehost • 核心優勢:WordPress官方推薦主機商,提供一鍵安裝、

部署 , 運維

收藏 評論

JackJiang - 一年擼完百萬行代碼,企業微信的全新鴻蒙NEXT客户端架構演進之路

本文由企業微信客户端團隊黃瑋分享,原題“在流沙上築城:企微鴻蒙開發演進”,下文進行了排版優化和內容修訂。 1、引言 當企業微信團隊在2024年啓動鴻蒙Next版開發時,我們面對的是雙重難題: 1)在WXG小團隊模式下,如何快速將數百萬行級企業應用移植到全新操作系統? 2)在鴻蒙API 還是Preview的初期,如何保持業務代碼的穩定,在API快速更新的浪潮中巋然不動? DataList

im , 網絡編程 , 即時通訊

收藏 評論

刊wo - 2025 年 3 個最佳 WordPress 託管平台推薦

在2025年,隨着WordPress生態的持續發展,選擇一個高效、穩定且易用的託管平台對網站的成功至關重要。本文結合性能、安全性、價格及用户反饋,推薦以下三個最佳WordPress託管平台:WebSoft9、Hostinger和Bluehost,並深入解析其核心優勢及適用場景。 一、WebSoft9:企業級開源應用託管的專業之選 核心功能與優勢 WebSoft9以其開源應用深度優化和全生命週期安全

部署 , 運維

收藏 評論

mylxsw - 讀了《認知覺醒》這本書,我學到了什麼

《認知覺醒》是一本融合腦科學、認知心理學與個人成長方法論的作品,深入剖析了我們日常生活中常見的焦慮、拖延、慾望膨脹等問題背後的心理機制,並提供了系統的解決路徑。這本書讓我意識到:真正的成長不是靠雞血灌輸,而是靠認知的升級、行為的改變和系統的實踐。以下是我從書中提煉出的七大收穫。 一、大腦機制:認清“自己”是誰 我們常以為自己做決定時是理性的,實際上,絕大多數行為都是被“潛意識”主導的。本書用“

讀書筆記

收藏 評論

阿里雲大數據AI - 阿里雲 AI 搜索開放平台新功能發佈:大模型聯網能力上線

在數字化轉型的浪潮中,高效、智能的搜索技術正成為企業提升競爭力的關鍵。為了滿足用户對更智能、更精準搜索體驗的需求,阿里雲 AI 搜索開放平台此次新增了大模型聯網能力,通過集成大語言模型(LLM)和聯網搜索技術,為用户提供更智能、更全面的搜索體驗。以下是此次更新的核心功能詳情: 一、大模型聯網能力 提供聯網搜索 API,當私有知識庫無法滿足用户需求時,可拓展互聯網信息,結合大語言模型生成更豐富的

llm , 雲計算 , 搜索 , 阿里雲 , 人工智能

收藏 評論

一隻會飛的旺旺 - 不花錢看遍全網?扒一扒免費視頻站和“資源大佬”的秘密生意(彩蛋在文末)

平時上網衝浪,誰還沒點過幾個號稱“全網資源免費看”的視頻網站?不用VIP,不用等廣告(或者説,只需忍受另一種廣告),最新的電影、熱播的劇集,唰唰唰就給你安排上了。看着愛奇藝、騰訊視頻那邊會員費蹭蹭漲,這邊卻一片“歲月靜好”,是不是覺得特神奇?這些小網站,沒版權、沒金主,它們到底是怎麼活下來的?又靠什麼更新那麼多資源的? 別急,今天就來一次“內部揭秘”,把這水面下的冰山撈起來看看。 首先

互聯網

收藏 評論

何棄療 - 你真的會封裝Dialog彈窗嗎?

經常做CRUD的人對彈窗一定不陌生,新增、編輯、查看和Table列操作,均會伴隨着彈窗封裝,彈窗內包含表單和底部的確認、取消操作,總的來説,這塊的業務都挺簡單的,但是哪怕接觸100個項目,多多少少,不規範封裝彈窗引起的問題還是佔據了很大百分比。 常見問題 二次打開,上次保留的數據還在; 表單自動校驗; 新增和編輯狀態的多重量子糾纏 重置表單無法置空 問題拆解 第一個問題,彈窗關閉一般的

表單 , dialog , 彈窗 , 前端

收藏 評論