博客 RSS 訂閱

Datenlord - 相約這個夏天|達坦科技邀您參加2023開源之夏

開源之夏(英文簡稱“OSPP”)是中科院軟件所“開源軟件供應鏈點亮計劃”指導下的系列暑期活動。達坦科技自開源之夏創辦首期起每年參與,積極鼓勵在校學生積極參與開源軟件的開發維護,培養和發掘更多優秀的開發者。今年,DatenLord一如既往帶着對開源的熱忱與初心,攜旗下軟硬件開源項目第四次參與開源之夏。 開源之夏為什麼值得參加? 參與開源之夏,給你的編程能力加個buff。 結識志同道合的小夥伴,

比賽 , 開源軟件 , 開源硬件 , 開源 , 開源項目介紹

收藏 評論

hxd_ - go 協程操作map導致的數據競爭及解決方法

原文鏈接:何曉東 博客 場景 有個查詢結果集的操作,無可避免的需要在循環獲取數據,然後將結果集放到 map 中,這個操作在壓測的時候,沒出現問題,發佈到生產環境之後,開始偶現 fatal error: concurrent map read and map write 錯誤,導致容器重啓了。 原因 多個協程同時對 map 進行讀寫操作,導致數據競爭 測試環境壓測未復現是因為單個 pod 常規

race-condition , goroutine , channel , map , go

收藏 評論

京東雲開發者 - Netty服務端開發及性能優化 | 京東雲技術團隊

作者:京東物流 王奕龍 Netty是一個異步基於事件驅動的高性能網絡通信框架,可以看做是對NIO和BIO的封裝,並提供了簡單易用的API、Handler和工具類等,用以快速開發高性能、高可靠性的網絡服務端和客户端程序。 1. 創建服務端 服務端啓動需要創建ServerBootstrap對象,並完成初始化線程模型,配置IO模型和添加業務處理邏輯(Handler) 。在添加業務處理邏輯時,調用的是ch

服務端 , 性能優化 , netty入門 , netty

收藏 評論

阿里雲開發者 - 從青銅到王者,揭秘 Serverless 自動化函數最佳配置

背景介紹 全託管的 Serverless 計算平台能給用户帶來更少的運維代價、更強的穩定性和更快的彈性能力。Serverless 的目標之一是免運維,但仍舊存在一些障礙,在 Serverless 場景特有的一些關鍵服務配置比如“併發度”、“最小實例數”、“最大實例數”,如何配置參數才是最合適的?怎麼確定自己配置的參數是否合理?仍舊一直是讓用户頭痛的事情。 本文介紹了函數計算團隊在自動化推薦 Ser

函數 , 配置 , 自動化部署 , 自動化 , serverless

收藏 評論

程序員伍六七 - Reactor 第九篇 WebFlux重構個人中心,效果顯著

1 重構背景 原有的開發人員早已離職,代碼細節沒人知道,經過了一段時間的維護,發現有以下問題: 個人中心繫統的特徵就是組裝各個業務的接口,輸出個人中心業務需要的數據,整個系統調用了幾十個第三方業務線的接口,如果編排不合理,可能會導致響應時間急劇上漲,尤其是彈窗業務,新的彈窗會不斷接入,整個接口可能會不可用。 2 整體架構 service:是最小的業務編排單元,request方法對infrast

響應式編程 , JAVA , 併發編程 , 重構 , 後端

收藏 評論

前端早早聊 - 【Node 連載 5/9】如何用 Node 建設企業級應用網關

本文是 2021 年 12 月 26 日,第三十五屆 - 前端早早聊【前端搞 Node.js】專場,來自塗鴉的大前端基礎建設團隊 —— 龍野的分享。感謝 AI 的發展,藉助 GPT 的能力,最近我們終於可以非常高效地將各位講師的精彩分享文本化後,分享給大家。(完整版含演示請看錄播視頻和 PPT):https://www.zaozao.run/video/c35 正文如下 大家好,我是塗鴉智能的龍野

node.js , 前端框架 , koa , 網關 , 前端

收藏 評論

小小張説故事 - 從零開始學習 Python 網絡爬蟲:使用 Beautiful Soup 解析網頁

在這篇文章中,我們將介紹如何使用 Python 編寫一個簡單的網絡爬蟲,以獲取並解析網頁內容。我們將使用 Beautiful Soup 庫,它是一個非常強大的庫,用於解析和操作 HTML 和 XML 文檔。讓我們開始吧! 一. 安裝 Beautiful Soup 首先,您需要安裝 Beautiful Soup。在終端或命令提示符中運行以下命令: pip install beautifulsoup4

beautifulsoup , 爬蟲 , Python

收藏 評論

zandy - 【畫圖理解】信息在計算機中的表示

信息在計算機中的表示:https://www.edrawmax.cn/online/share.html?code=25b9520ce72311... 包含的內容: 字節序 字符的表示,UTF-8編碼

二進制 , utf-8 , 字符編碼 , 字節序

收藏 評論

阿里雲開發者 - 構建集羣runner併發數在哪裏設置呢?

在雲效中,構建集羣的 Runner 併發數可以在構建集羣的設置中進行配置。具體操作步驟如下: 登錄雲效控制枱,進入構建集羣頁面。 找到需要配置的構建集羣,點擊其對應的“管理”按鈕。 在構建集羣的設置頁面中,可以看到“Runner 併發數”設置項。 在“Runner 併發數”設置項中,可以設置該構建集羣中 Runner 的最大併發數。默認情況下,該值為 1,即每次只能執行一個構建任務。 完整內容請點

構建工具 , 雲計算 , 阿里雲 , 集羣

收藏 評論

阿里雲開發者 - 鎖的優化策略

鎖的優化策略有以下幾種: 減少鎖的粒度:將原本粗粒度的鎖細化為更細的鎖,這樣就能減少競爭和衝突。但是這種策略需要考慮細粒度鎖的實現和維護成本,以及可能會帶來的更多的上下文切換。 避免鎖的使用:嘗試使用無鎖數據結構、樂觀鎖或無鎖算法替代鎖,這樣可以避免鎖帶來的性能損失,但也需要考慮其適用性和正確性。 鎖分離:在使用鎖的情況下,嘗試將不同的鎖分離,避免不同的鎖之間的競爭和衝突。這種策略需要考慮鎖

雲計算 , , 阿里雲 , 阿里雲開發者

收藏 評論

哈希肯 - 在 Docusaurus v2 中使用 Algolia DocSearch搜索功能

前言: Algolia 是什麼? Algolia 是一個搜索、推薦服務平台,可以通過簡單的配置來為站點添加全文檢索功能 基本原理: 通過爬蟲對目標網站的內容創建 Records (記錄), 在用户搜索時調用接口返回相關內容 一. 需求描述 為網站添加 實時搜索, 採用 Docusaurus2 官方支持的 Algolia DocSearch Docsearch 每週一次爬取

github-actions , github , docusaurus , blog

收藏 評論

嘿嘿不務正業 - Mac M1(arm 系列芯片)如何安裝 Chromium | Puppeteer

最近寫個腳本用到 puppeteer,然後安裝 Chromium 出現一點問題,這裏記錄一下解決方案。 Puppeteer 自動安裝失敗 在 Puppeteer 安裝時會自動安裝 Chromium,然而卻總是報錯 502 導致下載失敗,直接下載可以下載,命令行 wget 也可以,猜測是因為 Puppeteer 開啓了新的 process 來安裝導致環境變量丟失,然後就科學上網失敗了。 這會回頭看了

puppeteer , 前端

收藏 評論

Zeran - 如何選擇一款適合自己應用的垃圾收集器呢?

垃圾收集器選型因素 應用程序的主要關注點是什麼?如果是數據分析、科學計算類的任務,目標是儘快算出結果,那吞吐量就是主要關注點;如果是SLA應用,那停頓時間直接影響服務質量,嚴重的甚至會導致事物超時,這樣延遲就是主要的關注點;而如果是客户端應用或者嵌入式應用,那垃圾收集的內存佔用則是側重點。 運行應用的基礎設施如何?譬如硬件規格,要設計的系統時x86-32/64、SPARC還是ARM/Aarc

jvm , 垃圾回收

收藏 評論

龔正陽 - jwt身份認證概述

JWT全稱JSON Web Token 應用流程 客户端使用用户名和密碼請求登錄,服務端收到請求 驗證用户名和密碼正確後,後端通過JWT機制,將用户數據作為JWT的Payload,同時在前面拼接上一個JWT Header之後進行Base64編碼,並進行簽名,生成一個token,格式為header.payload.signature,返回給客户端 客户端後續的每次請求都需要攜帶token,攜

跨域 , 認證授權 , Jwt

收藏 評論

阿里雲開發者 - MSE標籤路由支持JDK 11嗎?

mse標籤路由在jdk 11中是受支持的。因此,您可以在使用jdk 11時使用mse標籤路由。但是,請注意確保您的實現版本與您使用的jdk兼容,以獲得最佳性能和穩定性。 完整內容請點擊下方鏈接查看: https://developer.aliyun.com/ask/498334 版權聲明:本文內容由阿里雲實名註冊用户自發貢獻,版權歸原作者所有,阿里雲開發者社區不擁有其著作權,亦不承擔相應法律責任。

mse , 阿里雲 , 兼容性 , 雲原生 , jdk11

收藏 評論

程序員小杜 - Golang WaitGroup 底層原理及源碼詳解

0 知識背景 在進入正文前,先對 WaitGroup 及其相關背景知識做個簡單的介紹,這裏主要是 WaitGroup 的基本使用,以及系統信號量的基礎知識。對這些比較熟悉的小夥伴可以直接跳過這一節。 0.1 WaitGroup WaitGroup 是 Golang 中最常見的併發控制技術之一,它的作用我們可以簡單類比為其他語言中多線程併發控制中的 join(),實例代碼如下: package ma

源碼分析 , 原理 , 併發 , go

收藏 評論

阿里雲開發者 - 現在支持對maxcompute的odpssql節點執行結果進行檢查嗎,比如檢查select 得到的數

我們可以通過編寫Python腳本來實現對odpssql節點執行結果的檢查。 具體的實現方式為,我們可以將odpssql節點執行結果導出到本地設備中的.csv或.xlsx文件中,然後使用Python的pandas庫讀取這些文件,在讀取的過程中進行數據的校驗,包括數據類型、數值範圍、空值等等。如果數據不符合預期,我們可以通過Python的日誌模塊將錯誤信息輸出到日誌文件中,並觸發告警系統。 下面是一個

csv , 腳本 , 阿里雲 , pandas , Python

收藏 評論

阿里雲開發者 - Java中活鎖是什麼啊?

活鎖是與死鎖對應的,是説雙方沒有互相等待而無法進行,都可以動,但是動完以後仍是死鎖狀態。 完整內容請點擊下方鏈接查看: https://developer.aliyun.com/ask/463993?groupCode=learning 版權聲明:本文內容由阿里雲實名註冊用户自發貢獻,版權歸原作者所有,阿里雲開發者社區不擁有其著作權,亦不承擔相應法律責任。具體規則請查看《阿里雲開發者社區用户服務協

, 阿里雲 , 技術 , JAVA , Javascript

收藏 評論

看見了 - 【node】如何在ES modules中導入JSON文件

Node 14開始,開始支持ES module語法。 JSON模塊工作在Node.js版本=17.1中,也可以使用--experimental-json-modules標誌啓用Experimental JSON模塊 /* Experimental JSON import in Node.js $ node index.mjs */ // An import assertion in a

node.js , es-modules , import , Json

收藏 評論

極狐GitLab - 提交代碼「前置處理」,向前一小步,效率提升「億點點」

💡如何巧用 Git Hook,解決代碼提交中的代碼規範性、衝突和錯誤以及工作流程問題? 近日,在極狐Tech Talk 直播上,極狐(GitLab) 後端工程師田魯分享了自己的實踐經驗。以下內容整理自本次直播,你也可以點擊文末「閲讀原文」觀看視頻回放。Enjoy~ 在開發過程中,開發人員提交代碼後,需要繼續做很多工作,因此我們不由萌生一個問題:是否可以把一些工作前置處理,減少等待時間?

devops , git-hook , hook , 代碼規範 , Git

收藏 評論

樹莓派開發者 - 「樹莓派」「上海晶珩」「EDATEC」Raspberry Pi 鏡像如何備份

這是一個用於備份Raspberry Pi操作系統的腳本,由leomichalski編寫,儲存庫的鏈接是 https://github.com/leomichalski/drone-delivery/tree/0bf5d975d7672ac6221276f42e54ecfa2ecad3b8 如何使用這個腳本 它需要一張SD卡或一個存儲設備。 在帶有桌面的操作系統中,設備可能會自動安裝到/med

嵌入式 , 物聯網 , raspberry-pi

收藏 評論

京東雲開發者 - Nginx常用配置及和基本功能講解 | 京東雲技術團隊

作者:京東物流殷世傑 Nginx已經廣泛應用於J-one和Jdos的環境部署上,本文對Nginx的常用的配置和基本功能進行講解,適合Nginx入門學習。 1 核心配置 找到Nginx安裝目錄下的conf目錄下nginx.conf文件,Nginx的基本功能配置是由它提供的。 Nginx的配置文件(conf/nginx.conf)整體上分為如下幾個部分: : 區域 職責

nginx-config , Nginx , 反向代理 , 後端

收藏 評論

京東雲開發者 - 一些常見的字符串匹配算法

作者:京東零售李文濤 一、簡介 1.1 Background 字符串匹配在文本處理的廣泛領域中是一個非常重要的主題。字符串匹配包括在文本中找到一個,或者更一般地説,所有字符串(通常來講稱其為模式)的出現。該模式表示為p=p[0..m-1];它的長度等於m。文本表示為t=t[0..n-1],它的長度等於n。兩個字符串都建立在一個有限的字符集上。 一個比較常見的字符串匹配方法工作原理如下。在一個大小通

字符串 , 算法 , 匹配 , 字符串函數

收藏 評論

HuggingFace - 如何生成文本: 通過 Transformers 用不同的解碼方法生成文本

簡介 近年來,隨着以 OpenAI GPT2 模型 為代表的基於數百萬網頁數據訓練的大型 Transformer 語言模型的興起,開放域語言生成領域吸引了越來越多的關注。開放域中的條件語言生成效果令人印象深刻,典型的例子有: GPT2 在獨角獸話題上的精彩續寫,XLNet 以及 使用 CTRL 模型生成受控文本 等。促成這些進展的除了 transformer 架構的改進和大規模無監督訓練數據外,更

人工智能 , transform , huggingface

收藏 評論