博客 RSS 訂閱

songofhawk - Python + Sqlalchemy 對數據庫的批量插入或更新(Upsert)

本篇承接上一篇《Mysql 數據庫的批量插入或更新(Upsert)》的內容,來看看在 Python 中,怎麼實現大量數據的 upsert(記錄存在就更新,不存在則插入)。 由於不同數據庫對這種 upsert 的實現機制不同,Sqlalchemy 也就不再試圖做一致性的封裝了,而是提供了各自的方言 API,具體到 Mysql,就是給 insert statement ,增加了 on_duplicat

海量數據 , sqlalchemy , 數據庫 , 優化 , Python

收藏 評論

瞿小凱 - 小凱15天快速講完c語言-簡單學習第五課

0. 複習 0.1 循環 while(表達式) { } do { }while(表達式); for(初始化循環變量;判斷條件;循環變量的變化) { } 一般比較明確循環次數的時候,使用for 不太明確循環次數的時候,一般使用while 兩個控制語句: break: 跳出循環,只能跳出當前循環(只能跳出一層循環) continue: 直接開始下一輪循環 表達式的真假問題

函數 , 學習 , 指針 , c , 學習資料

收藏 評論

二毛erma0 - frida-rpc實現某一短視頻刷邀請

目標APP:某一短視頻 之前發過一篇文章,app升級算法之後還沒來得及更新,文章就被舉報404了,悲哀,今天更新寫一下新版,這裏就不貼源碼了,文章最後放github,需要自取,我看老六還怎麼舉報。 工具準備 HTTP Debugger Professional v9.11 雷電模擬器9綠色去廣告版 算法助手(通用hook插件) 用到的工具及配置好的雷電模擬器系統備份在release頁

hook , 逆向工程 , Python

收藏 評論

瞿小凱 - 小凱15天快速講完c語言-簡單學習第四課

這節課筆記的排版有點問題,感覺是markdown語法有問題,當然不排除思否社區的排版問題,哈哈哈,已反饋官方啦,大家湊合看。 0. 複習 0.1 運算符 1.賦值 注意的點: // 定義變量的時候,給的值 這時叫做初始化。 int a = 0; int b = 10; int c = 0; // 定義完變量,再去給值,這個就叫賦值 a = 100; //正

學習 , 學習方法 , 學習筆記 , c , 學習資料

收藏 評論

songxianling1992 - 使用nodejs修改項目package.json版本號

背景:自己的項目在部署上傳之前需要更新版本號才能成功部署 代碼 詳細代碼如下(nodejs簡陋); 註釋了自動創建分支+提交動作;可根據需求自行使用 //build.js文件 var exec = require('child_process').exec // 異步子進程 var fs = require('fs') var packageJSON = require('./package.j

vue.js , version , node.js , 小程序 , package.json

收藏 評論

coding進階 - 安裝或卸載Anaconda後Windows自帶的cmd命令行窗口會閃退

問題現象 Anaconda初次安裝或者重裝後,如果打開Windows系統自帶的cmd命令行窗口,會馬上閃退。 Win + R,輸入cmd就閃退。 Win + R,輸入cmd /d可以正常打開。 解決方案 網上很多給出的解決方案是: 按Win + R,輸入regedit打開註冊表編輯器,頂部輸入: 計算機\HKEY_CURRENT_USER\SOFTWARE\Microsoft\Command Pr

anaconda , cmd , Python

收藏 評論

鳩摩智首席音效師 - 如何在 Debian 11 系統中安裝 VirtualBox ?

VirtualBox 是一款用於桌面級的免費開源虛擬化軟件。它適用於 Linux 和 Windows 操作系統。VirtualBox 允許創建多個不同操作系統的虛擬機。通過創建虛擬機,在筆記本電腦或桌面電腦上設置測試環境。 必備條件 Pre-Installed Debian 11 User with sudo rights Internet connectivity 添加 Virtual

Debian , virtualbox

收藏 評論

江南一點雨 - 體驗一把 Flowable 三種常見網關

Flowable 中網關類型其實也不少,常見的主要有三種類型,分別是: 排他網關 並行網關 包容網關 這三個裏邊最常用的當然就是排他網關了,今天鬆哥就來和小夥伴們聊一聊這三種網關,一起來體驗一把這三種網關各自的特徵。 1. 排他網關 首先就是排他網關了,這個也叫互斥網關,長得像下圖這樣: 排他網關可以有 N 個入口,但是隻有一個有效出口。 鬆哥舉一個例子: 假設我有一個請假流程,請假

workflow , spring , java-ee , springboot , JAVA

收藏 評論

openKylin - 攜手共建中國操作系統根社區,openKylin單位會員破百家!

開放、協作、共享的開源模式已成為全球軟件技術和產業創新的主導,也為信息技術國產自主化提供了強大助力。據不完全統計,超過90%的廠商在使用開源軟件。2021年,開源首次寫入“十四五”規劃,在軟件定義未來世界,開源決定軟件未來的當下,開源理念在國內已被足夠重視。6月24日,中國首個桌面操作系統開源根社區openKylin正式發佈,以聚焦桌面操作系統根技術為核心、以孵化相關領域關鍵項目為目標、以佈道開源

emacs , github , 人工智能 , 深度學習 , Git

收藏 評論

zhanle_huang - highchart滾動條使用--highcharts/highstock

highchart滾動條使用--highcharts/highstock 使用目的 1. 需要固定圖例和y軸,但是x軸需要滾動的情況 引入 1. 不能像普通表格一樣引入highcharts,只需要引入highcharts/highstock 2. 使用import HighStock from 'highcharts/highstock' 替換 import HighStock from 'hig

vue.js , highcharts , 前端 , Javascript

收藏 評論

zhanle_huang - highchart的draggable-points.js依賴實現圖表的動態拖拽操作

highchart的draggable-points.js依賴實現圖表的動態拖拽操作 需求 實現一個曲線圖,能夠通過鼠標去拖拽點,來進行修改圖表 實現 例子基於vue來實現,如果是jq的按照官網的例子即可,配置列表鏈接.,例子 // 引入依賴 import Highcharts from 'highcharts/highcharts.js'; import dragg

vue.js , highcharts , 前端 , Javascript

收藏 評論

瞿小凱 - 小凱15天快速講完c語言-簡單學習第二課

複習上一課 0.1 如何將一個十進制數轉為二進制數? 整數部分:逆序取餘 小數部分:正向取整 例題:20.28 整數部分: 20/2 10 0 10/2 5 0 5/2 2 1 2/2 1 0 1/2 0 1 小數部分: 0.28*2 0.56 0 0.56*2 1.12 1 0.12*2..... 結果就是:10100

學習 , c++ , 學習方法 , c , 學習資料

收藏 評論

GVenusLeo - [數據結構] 01 - 數據結構導論

1 什麼是數據結構 1.1 數據結構基本概念 數據(data) 是對客觀事物的符號表示,在計算科學中是指所有能輸入到計算機中並被計算機程序處理的符號的總稱問題。圖像、聲音等都可以通過編碼從而歸入到數據的範疇。 數據元素(data element) 是數據的基本單位,在計算機中通過作為一個整體進行考慮和處理。一個數據元素可以由若干個數據項(data item)組成。 數據對象(data object

數據結構 , 數據結構與算法

收藏 評論

飄雪的浮雲 - debian10+Nginx+Flask+uWSGI+uWSGI Emperor配置流程

之前寫過 debian8 和 debian9 的配置文章,現在升級到了 debian10,那就重新調整一下安裝過程. debian9+flask+uWSGI+uWSGI Emperor 配置流程 Debian8 + Flask + Nginx + uWSGI + uWSGI Emperor 基本配置文件注意事項 查看系統相關信息 debian版本號 cat /etc/issue pytho

uwsgi , flask , Debian , Nginx

收藏 評論

大數據王小皮 - Mac 安裝多版本 protoc / protobuf

一、單版本安裝 # 1) brew安裝 brew install protobuf # 查看安裝目錄 $ which protoc /opt/homebrew/bin/protoc # 2) 配置環境變量 vim ~/.zshrc # protoc (for hadoop) export PROTOC="/opt/homebrew/bin/protoc" source ~/.zsh

protobuf , macos

收藏 評論

晚上11點睡覺 - Linux-Crontab計劃任務

我們經常使用的是crontab命令是cron table的簡寫,它是cron的配置文件,也可以叫它作業列表 常用命令 #服務開啓 service crond start #編輯計劃任務 crontab -e -u 用户名 #查看計劃任務 crontab -l -u 用户名 #刪除計劃任務: crontab -r -u 用户名 相關文件 我們可以在以下文件夾內找到相關配置文件:

crontab , 運維 , Linux

收藏 評論

zhanle_huang - 一張base64圖片格式的圖片,將其轉化成blob然後上傳到服務器

一張base64圖片格式的圖片,將其轉化成blob然後上傳到服務器 需求描述 一張base64圖片格式的圖片,將其轉化成blob然後上傳到服務器,後台跟接收表單文件上傳一樣的方式去處理改圖片 實現 // url 表示base64的字符串, name表示文件名,附加到blob上的那麼、上 uploadFile(url, name) { // 以逗號劃分類型和內容

base64 , blob , HTML , 前端 , Javascript

收藏 評論

alps2006 - Mac Osx終端顯示圖片

如果喜歡使用終端應用的朋友, 肯定存在一個需求, 就是在終端界面上顯示圖片. 可能有時候需要顯示一個本地磁盤的圖片, 也有可能在使用 w3m 時需要顯示網頁的圖片. 現在我們就基於這兩個點, 如何實現在 osx 進行顯示圖片. 終端顯示本地磁盤圖片 viu 命令行客户端 viu 是一個很好用的終端圖片顯示工具, 兼容多種終端協議, 比如 iterm2 和 kitty , 在這些終端下可以顯示出全真

Linux , terminal

收藏 評論

龍智DevSecOps - 半導體初創公司如何加速成功?

據市場研究公司MarketsandMarkets預測,到2024年,半導體IP市場將從2017年的47億美元增長到65億美元。許許多多的初創公司在半導體領域涌現,試圖分一杯羹。如何才能從初創公司中脱穎而出?您需要比別人更早一步實施IP生命週期管理。 龍智作為DevSecOps研發安全運營一體化解決方案供應商、Perforce授權合作伙伴,持續關注研發生命週期管理領域動態與發展,為您提高最新洞察與最

生命週期 , 版本控制

收藏 評論

茶無味的一天 - 原生拖拽太拉跨了,純JS自己手寫一個拖拽效果,縱享絲滑

前言 提到元素拖拽,通常都會先想到用 HTML5 的拖拽放置 (Drag 和 Drop) 來實現,它提供了一套完整的事件機制,看起來似乎是首選的解決方案,但實際卻不是那麼美好,主要是它的樣式太過簡陋,無法實現更高級的用户體驗: 這是瀏覽器默認的拖拽效果,點住拖拽任意圖片或文字都會產生。 筆者因為之前有個小項目需要經常參考稿定設計,一直有留意其元素拖拽的效果(如下圖),所以接下來我將以這種效果為藍

css3 , 拖拽 , 前端 , html5 , Javascript

收藏 評論

songofhawk - mysql 大數據表的分頁性能優化

最近的工作中實現了一個定時統計功能:需要按指定順序,從源表中取出數據,經過分組合並,插入目標表。 源表數據量相當大,有幾千萬行,顯然不適合一次性取出(如果是一次性的腳本,在大內存的機器上也是可以考慮的,但定時任務每次啓動都佔用數十GB內存就太誇張了),需要分頁查詢。 但最初的實現中,採用了一個封裝好的分頁庫,單純的全表查詢,純粹依賴limit子句限制結果集窗口,構成的SQL語句類似這樣: sele

大數據 , sqlalchemy , MySQL , 查詢優化 , Python

收藏 評論

yangrd - 用lisp寫一個 柯里化(curry)的宏

curry.lisp (define-macro curry (lambda (fn) ( (define curry0 (lambda (args body) ( (if (nil? args) (body) ( `(lambda ((,(car args))) (,(

rust , currying , lisp ,

收藏 評論

海生 - go精通protobuf連載三:protobuf使用示例,深入瞭解protoc命令

一、protobuf的使用分兩步 需要使用者在.proto文件中定義消息類型。 使用protoc編譯器根據.proto文件生成相應語言的代碼。 二、定義proto消息類型 目前protobuf官方文檔最新是v3版本,我們使用也是v3版本。 https://developers.google.com... 對應的go語言官方教程地址為 https://developers.goo

protobuf , go

收藏 評論

海生 - go精通protobuf連載二:理解protobuf中protoc與protoc-gen-go的關係

一、protobuf 介紹 Protobuf全稱是Google Protocol Buffer,是一種高效輕便的結構化數據存儲方式,如同xml,json常用來序列化數據,用來存儲以及傳輸。 相當於json和xml,Protobuf佔用的寬帶更小,序列化更快。目前在grpc等服務中,越來越流行。 二、protoc protoc是 protocol compiler,是protocol 編譯器。

protobuf , go

收藏 評論