代碼匠心 -
從零開始學Flink:數據源
在實時數據處理場景中,數據源(Source)是整個數據處理流程的起點。Flink作為流批一體的計算框架,提供了豐富的Source接口支持,其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心,帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程,掌握Flink Source的核心用法。
一、為什麼選擇Kafka作為Flink的數據源?
大數據
收藏
評論
代碼匠心 -
從零開始學Flink:流批一體的執行模式
在大數據處理領域,批處理和流處理曾經被視為兩種截然不同的範式。然而,隨着Apache Flink的出現,這種界限正在逐漸模糊。Flink的一個核心特性是其批流一體的架構設計,允許用户使用統一的API和執行引擎處理有界數據(批處理)和無界數據(流處理)。本文將深入探討Flink的執行模式(Execution Mode),特別是在Flink 1.20.1版本中對批處理和流處理模式的支持和優化。
一、F
大數據
收藏
評論
vivotech -
vivo HDFS EC大規模落地實踐
作者:Gu Ruinan - 互聯網大數據團隊- Zhao Yongxiang
Erasure Coding(簡稱EC),是一種糾刪碼。EC編碼能夠對部分缺失的數據進行數據恢復,廣泛應用於存儲與通信領域。在Hadoop3.0版本中,作為一種新的冗餘存儲的方式引入進來。使用EC編碼的方式替代原來的三副本存儲,保證數據可靠性的同時可以節約存儲。相應地,付出的代價是讀取性能的下降,對於訪問頻率不高
大數據
收藏
評論
LiuZijian -
Redis數據結構之String
1.概述
String是最常用的數據類型,一個key對應一個value。
String是二進制安全的,可以包含任何數據(例如圖片和序列化對象),支持序列化。
單個Value最大512MB。
2.常見操作
2.1 SET/GET
語法:
[ ]是可選的參數
SET key value [NX | XX] [GET] [EX seconds | PX milliseconds | E
nosql
收藏
評論
Vcats -
Redis核心數據結構全解析
動態字符串SDS
字符串是Redis中最常用的一種數據結構
Redis中的Key是字符串
value往往是字符串或者字符串的集合
C語言字符串的缺點
Redis沒有直接用C語言中的字符串,因為C語言字符串存在一些問題:
獲取長度:需要\(O(n)\)遍歷數組
非二進制安全:以\0為結束符,則字符串中不能包含\0,不能保存像圖片、音頻、視頻文化這樣的二進制數據
操作不便:不可修改。進
nosql
收藏
評論
huangSir-devops -
Redis介紹及6.2.x版本安裝
概述
Redis官網:https://redis.io/
Redis 是完全開源免費的,遵守BSD協議,是一個高性能(NOSQL)的key-value數據庫,Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫,並提供多種語言的API。
什麼是BSD協議?
BSD是"Berkeley Software Distributio
nosql
收藏
評論
huangSir-devops -
Redis配置文件詳解
概述
Redis 配置文件的官網地址:https://redis.io/topics/config
GitHub地址:https://github.com/redis/redis/blob/unstable/redis.conf
本文主要是根據Redis6.0.x版本的配置文件講解,其它版本的也可以當做一個參考。
Redis配置説明
基礎配置
# 綁定的IP地址(默認綁定127.0.0.1,
nosql
收藏
評論
huangSir-devops -
Redis持久化機制
概述
Redis是基於內存的nosql數據庫,數據一般是存儲於內存中,想讓內存數據保存到磁盤中,我們需要利用Redis的持久化機制。
Redis的持久化機制用於將內存中的數據保存到磁盤,以便在重啓後恢復數據。
Redis 提供了兩種主要的持久化方式:
RDB(Redis Database)快照
AOF(Append Only File)日誌
在Redis4.0版本之後,引入了混合持久
nosql
收藏
評論
張佔嶺 -
redis~多行語句的原子性_事務性
高併發下 Redis 事務的原子性分析
1. 代碼結構分析
redisTemplate.execute(new SessionCallbackObject() {
@Override
public String, Long Object execute(RedisOperationsString, Long operations) {
operations.mult
nosql
收藏
評論
huangSir-devops -
Redis主從複製詳解
概述
Redis 的主從複製(Master-Slave Replication)是實現數據備份、讀寫分離和水平擴展的核心機制之一。通過主從複製,一個主節點(Master)可以將數據同步到多個從節點(Slave),從節點還可以級聯創建自己的從節點,從而形成樹狀結構。
注意,Redis的主從複製是實現高可用的核心機制,並不能實現高可用
Redis主從複製作用
數據冗餘:
主從複製實現了數據的熱備份,是
nosql
收藏
評論
junjunyi -
關於redis的原子性簡要介紹
Redis 的原子性是指 Redis 在執行命令時能夠保證操作的完整性,即在執行過程中不會被其他操作打斷。
Redis 的原子性體現在以下幾個方面:
1. 單個命令的原子性
Redis 的每個命令都是原子性的,這意味着當一個命令在執行時,它不會被其他命令中斷。例如,當你執行一個 INCR 命令時,Redis 會完整地執行這個命令,不會在中途被其他命令插入。
INCR myCounter
在這個例
nosql
收藏
評論
sevencoding -
Redis支持事務嗎?瞭解Redis的持久化機制嗎?
Redis 支持事務嗎?與關係型數據庫事務的區別?
Redis 支持事務,但它的事務與 MSQL中的事務有所不同,MSOL中的事務主要支持 ACID 的特性,而 Redis中的事務主要保證的是多個命令執行的原子性,即所有的命令在一個原子操作中執行,不會被打斷。還有一個很重要的點,就是 MySQL 中的事務是支持回滾的,而 Redis 中的事務是不支持回滾的。
Redis事務是指將多條命令加入隊列,
nosql
收藏
評論
即興隨緣 -
Redis安裝部署(Windows環境)
一、Redis簡介:
Redis 是一個開源的使用 ANSI C 語言編寫、遵守 BSD 協議、支持網絡、可基於內存、分佈式、可選持久性的鍵值對(Key-Value)存儲數據庫,並提供多種語言的 API。
Redis通常被稱為數據結構服務器,因為值(value)可以是字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等類型。
二、下載R
nosql
收藏
評論
雨花閣 -
登錄認證-下篇:基於 Redis 實現共享session登錄
將驗證碼 (session.setAttribute("code", code));用户信息 (session.setAttribute("user", userDTO))改為存入redis中
將隨機生成的token作為登錄憑證,放在請求頭中的authorization字段
並設置兩層攔截器,解決狀態登錄刷新的問題
業務流程圖1
業務流程圖2
具體實現:
UserServiceI
nosql
收藏
評論
雨花閣 -
redis實現分佈式鎖1
在集羣下的併發問題:
業務流程:
具體實現:
ILock
點擊查看代碼
package com.hmdp.utils;
public interface ILock {
// 獲取鎖
boolean tryLock(long timeoutSec);
// 釋放鎖
void unlock();
}
SimpleRedisLock
點擊查看代
nosql
收藏
評論
極限實驗室 -
Easysearch 冷熱架構實戰
在之前的文章中,我們介紹瞭如何使用索引生命週期策略來管理索引。如果要求索引根據其生命週期階段自動在不同的節點之間遷移,還需要用到冷熱架構。我們來看看具體如何實現。
冷熱架構
冷熱架構其實就是在 Easyearch 集羣中定義不同屬性的節點,這些節點共同組成冷熱架構。比如給所有熱節點一個 hot 屬性,給所有冷節點一個 cold 屬性。在 Easyearch 中分配節點屬性是通過配置文件(easys
nosql
收藏
評論
benpaodeqishui -
巧用IP地址定位使企業利潤正向增長
企業的核心目標是實現利潤增長。降低成本、提升客單價是常見增長利潤的方法,輔於訂單量的不斷增加可以讓這些策略發揮最大效能——新客户的精準拓展,正是撬動增長的關鍵支點。
如今,線上渠道已成為企業觸達用户的主要途徑,網站訪客的每一次點擊、每一次停留都藴藏着珍貴的信息。如何將訪客數據轉化為實實在在的銷售額?IP地址庫正是有效選擇之一。
https://www.ipdatacloud.com/?
ip查詢
,
ip
,
ip地址
收藏
評論
追極 -
Windows 系統安裝 OpenGauss 指南
Windows 系統安裝 OpenGauss 指南
由於 OpenGauss 是主要針對 Linux 系統設計的數據庫,官方並不直接提供 Windows 版本,但您可以通過以下方法在 Windows 上運行 OpenGauss:
方法一:使用 Docker
這是最簡單的方法,適合開發和測試環境。
1. 安裝 Docker Desktop
下載並安裝Docker Desktop fo
postgresql
收藏
評論
且行且碼 -
PostGIS 介紹(1)--數據管理
PostGIS 是 PostgreSQL 的擴展,允許將 GIS(地理信息系統)對象存儲在數據庫中。 PostGIS 支持基於 GiST 的 R 樹空間索引,並可以分析和處理 GIS 對象;本文主要介紹 PostGIS 的數據管理。
1、空間數據模型
1.1、OGC 幾何
開放地理空間聯盟(OGC)制定了簡單要素訪問標準(SFA),為地理空間數據提供模型。它定義了基本的空間類型幾何,以及操作和轉換
postgresql
收藏
評論
jingkunliu -
PostgreSQL數據備份方式
1、數據目錄文件備份
此方式最為簡單直接,備份之前需要先停止數據庫,然後備份整個data數據目錄,恢復數據庫時候直接恢復文件數據即可。
這種方式因為是備份整個PG庫,因此非常適合於數據庫遷移,需要保證前後安裝的pg庫版本一致。
2、SQL轉儲方式備份
本質上就是使用PG庫提供的pg_dump和pg_dumpall命令進行數據庫備份,可以通過pgAdmin、Navicat等界面工具或者直接在命令窗口
postgresql
收藏
評論
且行且碼 -
PostGIS 介紹(2)--PostGIS 參考
本文主要介紹PostGIS 中的常用函數。
1、PostGIS 數據類型
數據類型轉換可以是顯式的,這意味着必須使用 CAST(myval As sometype) 或 myval::sometype 語法指定轉換。顯式轉換避免了歧義轉換的問題。所有數據類型都可以轉換為 text,因此無需顯式指定。
geometry — 表示具有平面座標系的空間要素的類型。
geography — 表示具有
postgresql
收藏
評論
認真就輸 -
ORA-01555系列:二、ORA-01555的場景分析與解決方案
我們的文章會在微信公眾號IT民工的龍馬人生和博客網站( www.htz.pw )同步更新 ,歡迎關注收藏,也歡迎大家轉載,但是請在文章開始地方標註文章出處,謝謝!
由於博客中有大量代碼,通過頁面瀏覽效果更佳。
本章將深入探討ORA-01555的四種核心觸發場景,為每種場景提供兩個詳細的案例分析,並附上針對性的優化建議,助你從根源上解決問題。
2.1 場景一:長事務與長查詢
場景描述
oracle
收藏
評論
lfree -
[20250714]使用or_expand提示遇到的疑惑.txt
[20250714]使用or_expand提示遇到的疑惑.txt
--//生產系統遇到的問題,使用or_expand提示,通過例子説明問題。
1.環境:
SCOTT@book01p @ver2
==============================
PORT_STRING : x86_64/Linux 2.4.xx
VERSION : 21.0.0.0.0
BANNER :
oracle
收藏
評論