博客 RSS 訂閱

代碼匠心 - 從零開始學Flink:數據源

在實時數據處理場景中,數據源(Source)是整個數據處理流程的起點。Flink作為流批一體的計算框架,提供了豐富的Source接口支持,其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心,帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程,掌握Flink Source的核心用法。 一、為什麼選擇Kafka作為Flink的數據源?

大數據

收藏 評論

代碼匠心 - 從零開始學Flink:流批一體的執行模式

在大數據處理領域,批處理和流處理曾經被視為兩種截然不同的範式。然而,隨着Apache Flink的出現,這種界限正在逐漸模糊。Flink的一個核心特性是其批流一體的架構設計,允許用户使用統一的API和執行引擎處理有界數據(批處理)和無界數據(流處理)。本文將深入探討Flink的執行模式(Execution Mode),特別是在Flink 1.20.1版本中對批處理和流處理模式的支持和優化。 一、F

大數據

收藏 評論

vivotech - vivo HDFS EC大規模落地實踐

作者:Gu Ruinan - 互聯網大數據團隊- Zhao Yongxiang Erasure Coding(簡稱EC),是一種糾刪碼。EC編碼能夠對部分缺失的數據進行數據恢復,廣泛應用於存儲與通信領域。在Hadoop3.0版本中,作為一種新的冗餘存儲的方式引入進來。使用EC編碼的方式替代原來的三副本存儲,保證數據可靠性的同時可以節約存儲。相應地,付出的代價是讀取性能的下降,對於訪問頻率不高

大數據

收藏 評論

ApacheIoTDB - 時序數據庫 Apache IoTDB 等你“打卡”!2025 OSCAR 開源產業大會完整版議程揭曉

開源作為一種開放共享的新型生產模式,已成為數字經濟創新、開放、共享和可持續發展的核心驅動力。由中國通信標準化協會牽頭主辦,中國信息通信研究院具體承辦的 2025 OSCAR 開源產業大會將於 10 月 28 日在北京中關村國家自主創新示範區會議中心舉行。 大會現場設置開源集市,以面向參會者系統展示優秀開源項目成果,並促進開源主題交流,推動創新合作。時序數據庫 Apache IoTDB 受到邀請,在

大數據

收藏 評論

LiuZijian - Redis數據結構之String

1.概述 String是最常用的數據類型,一個key對應一個value。 String是二進制安全的,可以包含任何數據(例如圖片和序列化對象),支持序列化。 單個Value最大512MB。 2.常見操作 2.1 SET/GET 語法: [ ]是可選的參數 SET key value [NX | XX] [GET] [EX seconds | PX milliseconds | E

nosql

收藏 評論

Vcats - Redis核心數據結構全解析

動態字符串SDS 字符串是Redis中最常用的一種數據結構 Redis中的Key是字符串 value往往是字符串或者字符串的集合 C語言字符串的缺點 Redis沒有直接用C語言中的字符串,因為C語言字符串存在一些問題: 獲取長度:需要\(O(n)\)遍歷數組 非二進制安全:以\0為結束符,則字符串中不能包含\0,不能保存像圖片、音頻、視頻文化這樣的二進制數據 操作不便:不可修改。進

nosql

收藏 評論

huangSir-devops - Redis介紹及6.2.x版本安裝

概述 Redis官網:https://redis.io/ Redis 是完全開源免費的,遵守BSD協議,是一個高性能(NOSQL)的key-value數據庫,Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫,並提供多種語言的API。 什麼是BSD協議? BSD是"Berkeley Software Distributio

nosql

收藏 評論

huangSir-devops - Redis配置文件詳解

概述 Redis 配置文件的官網地址:https://redis.io/topics/config GitHub地址:https://github.com/redis/redis/blob/unstable/redis.conf 本文主要是根據Redis6.0.x版本的配置文件講解,其它版本的也可以當做一個參考。 Redis配置説明 基礎配置 # 綁定的IP地址(默認綁定127.0.0.1,

nosql

收藏 評論

huangSir-devops - Redis持久化機制

概述 Redis是基於內存的nosql數據庫,數據一般是存儲於內存中,想讓內存數據保存到磁盤中,我們需要利用Redis的持久化機制。 Redis的持久化機制用於將內存中的數據保存到磁盤,以便在重啓後恢復數據。 Redis 提供了兩種主要的持久化方式: RDB(Redis Database)快照 AOF(Append Only File)日誌 在Redis4.0版本之後,引入了混合持久

nosql

收藏 評論

張佔嶺 - redis~多行語句的原子性_事務性

高併發下 Redis 事務的原子性分析 1. 代碼結構分析 redisTemplate.execute(new SessionCallbackObject() { @Override public String, Long Object execute(RedisOperationsString, Long operations) { operations.mult

nosql

收藏 評論

huangSir-devops - Redis主從複製詳解

概述 Redis 的主從複製(Master-Slave Replication)是實現數據備份、讀寫分離和水平擴展的核心機制之一。通過主從複製,一個主節點(Master)可以將數據同步到多個從節點(Slave),從節點還可以級聯創建自己的從節點,從而形成樹狀結構。 注意,Redis的主從複製是實現高可用的核心機制,並不能實現高可用 Redis主從複製作用 數據冗餘: 主從複製實現了數據的熱備份,是

nosql

收藏 評論

junjunyi - 關於redis的原子性簡要介紹

Redis 的原子性是指 Redis 在執行命令時能夠保證操作的完整性,即在執行過程中不會被其他操作打斷。 Redis 的原子性體現在以下幾個方面: 1. 單個命令的原子性 Redis 的每個命令都是原子性的,這意味着當一個命令在執行時,它不會被其他命令中斷。例如,當你執行一個 INCR 命令時,Redis 會完整地執行這個命令,不會在中途被其他命令插入。 INCR myCounter 在這個例

nosql

收藏 評論

sevencoding - Redis支持事務嗎?瞭解Redis的持久化機制嗎?

Redis 支持事務嗎?與關係型數據庫事務的區別? Redis 支持事務,但它的事務與 MSQL中的事務有所不同,MSOL中的事務主要支持 ACID 的特性,而 Redis中的事務主要保證的是多個命令執行的原子性,即所有的命令在一個原子操作中執行,不會被打斷。還有一個很重要的點,就是 MySQL 中的事務是支持回滾的,而 Redis 中的事務是不支持回滾的。 Redis事務是指將多條命令加入隊列,

nosql

收藏 評論

即興隨緣 - Redis安裝部署(Windows環境)

一、Redis簡介: Redis 是一個開源的使用 ANSI C 語言編寫、遵守 BSD 協議、支持網絡、可基於內存、分佈式、可選持久性的鍵值對(Key-Value)存儲數據庫,並提供多種語言的 API。 Redis通常被稱為數據結構服務器,因為值(value)可以是字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等類型。 二、下載R

nosql

收藏 評論

雨花閣 - 登錄認證-下篇:基於 Redis 實現共享session登錄

將驗證碼 (session.setAttribute("code", code));用户信息 (session.setAttribute("user", userDTO))改為存入redis中 將隨機生成的token作為登錄憑證,放在請求頭中的authorization字段 並設置兩層攔截器,解決狀態登錄刷新的問題 業務流程圖1 業務流程圖2 具體實現: UserServiceI

nosql

收藏 評論

雨花閣 - redis實現分佈式鎖1

在集羣下的併發問題: 業務流程: 具體實現: ILock 點擊查看代碼 package com.hmdp.utils; public interface ILock { // 獲取鎖 boolean tryLock(long timeoutSec); // 釋放鎖 void unlock(); } SimpleRedisLock 點擊查看代

nosql

收藏 評論

極限實驗室 - Easysearch 冷熱架構實戰

在之前的文章中,我們介紹瞭如何使用索引生命週期策略來管理索引。如果要求索引根據其生命週期階段自動在不同的節點之間遷移,還需要用到冷熱架構。我們來看看具體如何實現。 冷熱架構 冷熱架構其實就是在 Easyearch 集羣中定義不同屬性的節點,這些節點共同組成冷熱架構。比如給所有熱節點一個 hot 屬性,給所有冷節點一個 cold 屬性。在 Easyearch 中分配節點屬性是通過配置文件(easys

nosql

收藏 評論

benpaodeqishui - 巧用IP地址定位使企業利潤正向增長

企業的核心目標是實現利潤增長。降低成本、提升客單價是常見增長利潤的方法,輔於訂單量的不斷增加可以讓這些策略發揮最大效能——新客户的精準拓展,正是撬動增長的關鍵支點。 如今,線上渠道已成為企業觸達用户的主要途徑,網站訪客的每一次點擊、每一次停留都藴藏着珍貴的信息。如何將訪客數據轉化為實實在在的銷售額?IP地址庫正是有效選擇之一。 https://www.ipdatacloud.com/?

ip查詢 , ip , ip地址

收藏 評論

追極 - Windows 系統安裝 OpenGauss 指南

Windows 系統安裝 OpenGauss 指南 由於 OpenGauss 是主要針對 Linux 系統設計的數據庫,官方並不直接提供 Windows 版本,但您可以通過以下方法在 Windows 上運行 OpenGauss: 方法一:使用 Docker 這是最簡單的方法,適合開發和測試環境。 1. 安裝 Docker Desktop 下載並安裝Docker Desktop fo

postgresql

收藏 評論

且行且碼 - PostGIS 介紹(1)--數據管理

PostGIS 是 PostgreSQL 的擴展,允許將 GIS(地理信息系統)對象存儲在數據庫中。 PostGIS 支持基於 GiST 的 R 樹空間索引,並可以分析和處理 GIS 對象;本文主要介紹 PostGIS 的數據管理。 1、空間數據模型 1.1、OGC 幾何 開放地理空間聯盟(OGC)制定了簡單要素訪問標準(SFA),為地理空間數據提供模型。它定義了基本的空間類型幾何,以及操作和轉換

postgresql

收藏 評論

jingkunliu - PostgreSQL數據備份方式

1、數據目錄文件備份 此方式最為簡單直接,備份之前需要先停止數據庫,然後備份整個data數據目錄,恢復數據庫時候直接恢復文件數據即可。 這種方式因為是備份整個PG庫,因此非常適合於數據庫遷移,需要保證前後安裝的pg庫版本一致。 2、SQL轉儲方式備份 本質上就是使用PG庫提供的pg_dump和pg_dumpall命令進行數據庫備份,可以通過pgAdmin、Navicat等界面工具或者直接在命令窗口

postgresql

收藏 評論

且行且碼 - PostGIS 介紹(2)--PostGIS 參考

本文主要介紹PostGIS 中的常用函數。 1、PostGIS 數據類型 數據類型轉換可以是顯式的,這意味着必須使用 CAST(myval As sometype) 或 myval::sometype 語法指定轉換。顯式轉換避免了歧義轉換的問題。所有數據類型都可以轉換為 text,因此無需顯式指定。 geometry — 表示具有平面座標系的空間要素的類型。 geography — 表示具有

postgresql

收藏 評論

認真就輸 - ORA-01555系列:二、ORA-01555的場景分析與解決方案

我們的文章會在微信公眾號IT民工的龍馬人生和博客網站( www.htz.pw )同步更新 ,歡迎關注收藏,也歡迎大家轉載,但是請在文章開始地方標註文章出處,謝謝! 由於博客中有大量代碼,通過頁面瀏覽效果更佳。 本章將深入探討ORA-01555的四種核心觸發場景,為每種場景提供兩個詳細的案例分析,並附上針對性的優化建議,助你從根源上解決問題。 2.1 場景一:長事務與長查詢 場景描述

oracle

收藏 評論

lfree - [20250714]使用or_expand提示遇到的疑惑.txt

[20250714]使用or_expand提示遇到的疑惑.txt --//生產系統遇到的問題,使用or_expand提示,通過例子説明問題。 1.環境: SCOTT@book01p @ver2 ============================== PORT_STRING : x86_64/Linux 2.4.xx VERSION : 21.0.0.0.0 BANNER :

oracle

收藏 評論