tag hive

標籤
貢獻103
176
05:15 PM · Oct 25 ,2025
u_17365737 頭像 u_16436094 頭像 u_14535797 頭像 u_16213716 頭像 u_16213673 頭像 zhaoqianglaoshi 頭像 dataanalysis 頭像 u_15702012 頭像 u_16099326 頭像 u_106065 頭像 u_16099302 頭像 u_11659620 頭像

@hive / 博客 RSS 訂閱

u_16213619 頭像

mob64ca14010a69 - 數據倉庫工具–Hive(歸納第一部分)

可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，將 SQL 語句轉換為 MapReduce/Tez/Spark 任務運行。 SQL接口：使用 HiveQL（類似 SQL）進行查詢 大數據處理：處理 PB 級別的數據 數據倉庫：適合離線批處理和數據倉庫建設 擴展性：可自定義 UDF、UDAF

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | 一文明晰：什麼是等級保護制度？

一、等級保護制度的由來 最早在1994年，國務院頒佈《中華人民共和國計算機信息系統安全保護條例》，規定計算機信息系統實行安全等級保護。 2003年，《國家信息化領導小組關於加強信息安全保障工作的意見》明確指出“實行信息安全等級保護”。 2007年6月，四部門（公安部、國家保密局、國家密碼管理局、國務院信息工作辦公室）聯合出台《信息安全等

安全等級 , 大數據 , hive , 物聯網

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - file時出現current ar archive

1.mysqlclient 目前不支持高版本python3 django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3. 原因是由於 mysqlclient 目前不支持高版本python，出現這個錯誤之後可以根

大數據 , MySQL , hive , django , Python

收藏 評論

dataanalysis 頭像

蔣點數分 - 【SQL週週練】一句 SQL 如何幫助 5 個人買到電影院最好的座位？

大家好，我是“蔣點數分”，多年以來一直從事數據分析工作。從今天開始，與大家持續分享關於數據分析的學習內容。 本文是第 3 篇，也是【SQL 週週練】系列的第 3 篇。該系列是挑選或自創具有一些難度的 SQL 題目，一週至少更新一篇。後續創作的內容，初步規劃的方向包括： 後續內容規劃 1.利用 Streamlit 實現 Hive 元數據展示、SQL 編輯器、 結合Docker 沙箱實現數據分析 Ag

hive , 面試 , 筆試 , 數據分析 , SQL

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | RDD編程

一、RDD操作 1、創建操作 ①從文件創建 文件的一行對應RDD的一個元素： a.從本地文件創建 //格式：sc.textFile("file://本地文件絕對路徑") valrdd =sc.textFile("file

spark , 大數據 , hive , hadoop , Scala

收藏 評論

u_11288266 頭像

痛而不覺 - 達夢數據庫 時間字段添加默認值

ALTER TABLE "TEST"."t_expert_archives" MODIFY "t_period_date" DATE DEFAULT TO_DATE('1900-01-01', 'YYYY-MM-DD') NULL; 本文包含：--> -->

服務器 , hive , 數據庫 , JAVA , Css , 前端開發 , HTML

收藏 評論

u_16213599 頭像

mob64ca13fc220d - hive group by cube函數

Cube授權/明細等操作 Cube明細查看 Cube是從星型模式的Hive表中獲取的預計算數據集，供用户探索、管理所有cube的網頁管理頁面。由菜單欄Model進入cube頁面，系統中所有可用的cube將被列出。 點擊已經創建好的cube, 展開cube明細。 SQL 視圖 (Hive查詢讀取數據

訪問權限 , 大數據 , 用户權限 , hive , 數據存儲

收藏 評論

u_12947 頭像

lazihuman - hive取上季度最後一天

今日內容: 1) 分桶表的相關優化 -- 理解 2) 建模分層操作 -- 需要操作 3) 全量流程的統計分析: -- 需求操作 (嘗試自己實現) 數據的

字段 , 大數據 , 數據 , hive , hive取上季度最後一天

收藏 評論

u_16099326 頭像

編程小天才 - 5.3.《hadoop實戰》Hadoop數據管理之Hive_eternity

Hive與HDFS集成：數據存儲路徑管理技巧 在Hive與HDFS集成中，合理管理數據存儲路徑是提升性能和維護效率的關鍵。以下是核心管理技巧： 1. 自定義存儲路徑 創建表時使用LOCATION子句指定HDFS路徑，避免使用默認倉庫目錄： CREATE EXTERNAL TABLE sales_data ( id I

hdfs , hive , hadoop , 後端開發 , Python

收藏 評論

u_16213579 頭像

雲端築夢工匠 - 軟件裏的數據archive

隨着網絡的普及，我們的各種數據基本上都存儲到了電腦、手機、以及各種軟件當中，數據的重要性已經不言而喻，如果重要的數據有丟失或者誤刪，可能會給我們帶來很大的損失。因此，擁有一個好的數據恢復工具很重要，在數據有丟失、誤刪等情況下快速恢復數據，推薦大家用數據恢復軟件EasyRecovery，可以輕鬆恢復各類文檔、音頻、視頻等文件，恢復率高，操作簡單，讓本以為找不到的文件，重現眼前。

大數據 , 數據 , hive , 誤刪 , 數據恢復 , 軟件裏的數據archive

收藏 評論

u_16213680 頭像

mob64ca140f67e3 - hadoop yarn怎麼定位到數據傾斜的key

數據傾斜是指，map /reduce程序執行時，reduce節點大部分執行完畢，但是有一個或者幾個reduce節點運行很慢，導致整個程序的處理時間很長，這是因為某一個key的條數比其他key多很多（有時是百倍或者千倍之多），這條key所在的reduce節點所處理的數據量比其他節點就大很多，從而導致某幾個節點遲遲運行不完。

數據傾斜 , 大數據 , 數據 , hive , hadoop

收藏 評論

u_16099164 頭像

碼海舵手 - hive ipv6地址轉換十進制

IPv6和IPv4的表示方式　 　　在使用ip地址的時候，經常會聽到IPv6和IPv4 　　那麼他們的區別在哪裏？ 　　一開始的時候，是隻有IPv4地址，IPv4地址只有32位，可以使用，使用的是二進制計數，但是在記錄的時候採用十進制點分法分為四段，比如127.0.0.1，他表示的就是00001111.00000000.00000000.00000001

hive ipv6地址轉換十進制 , 大數據 , ip , hive , 二進制數字 , 十六進制

收藏 評論

u_14535797 頭像

wx5d7321c78b265 - PHP 8.5 在性能、調試和運維方面的新特性

2025 年即將結束，這意味着 PHP 的新版本也已經發布了！ 在本文中，我們將重點介紹那些你在上述文章中找不到的，關於 PHP 8.5 在性能、調試和運維方面的變化。 其中一些改動甚至是由 Tideways 的員工直接貢獻的。 你是不是最好奇 PHP 8.5 是否比舊版本性能更強？可以看看基準測試。 原文鏈接 PHP 8.5 在性能、調試和運維方面的新特性

大數據 , php , hive , INI

收藏 評論

u_16565911 頭像

南大通用GBase - 南大通用GBase 8c集中式場景下的遠程物理備份恢復

1 概述 數據庫備份是數據安全與業務連續性的生命線，它如同為珍貴數字資產撐起的一把保護傘。備份的意義不僅在於應對硬件故障、系統崩潰等常見風險，更在於防範人為誤操作、惡意攻擊、自然災害等意外威脅。定期可靠的備份策略能在災難發生時，將業務中斷時間縮至最短，做到數據不丟失。在實際應用情況下，備份需要拷貝到異地，保證數據冗餘，保證數據庫服務器宕機不能啓動時，也可以通過異地備份進行數

服務器 , MySQL , hive , 數據庫 , GBase 8c

收藏 評論

mirrorship 頭像

鏡舟科技 - 如何理解 Apache Iceberg 與湖倉一體（Lakehouse）？

一、什麼是湖倉一體（Lakehouse）？ 湖倉一體是一種融合了數據湖的靈活存儲能力與數據倉庫的高效分析功能的現代數據架構。它通過整合兩者的優勢，解決了傳統架構的侷限性，為企業數據處理提供了更全面的解決方案。 數據湖的開放性：支持多格式數據存儲（如 Parquet、ORC），兼容開放生態（如Hive、Iceberg），存儲成本低。 數據倉庫的高性能：提供 ACID 事務、高效查詢和實時分析能

微信 , hive , 數據倉庫 , iceberg , 數據湖

收藏 評論

chunzhendegaoshan 頭像

RestCloud - SQL Server到Hive：批處理ETL性能提升30%的實戰經驗

在企業數字化轉型進程中，將 SQL Server 的業務數據同步至 Hive 數據倉庫，是構建大數據分析平台的關鍵一步。然而，當數據量突破千萬級門檻，傳統同步方式往往陷入效率低下、穩定性差的困境。本文將分享使用ETLCLoud工具實現千萬級數據量下SQL Server到Hive高效同步的實戰經驗。 1.配置數據源 來到平台首頁進入數據源管理模塊。 在新建數據源中選擇SQLserver數據源模板

數據同步 , hive , 數據庫 , etl , sqlserver

收藏 評論

doge_king 頭像

泊浮目 - 悶聲發大財，Spark&HiveSQL神器大更新

本文在綠泡泡“狗哥瑣話”首發於2025.9.23 -關注不走丟。 大家好這裏是狗哥。在23年11月，我向大家安利我自己寫的SparkHiveSQL VsCode插件，當時主要是這麼幾個功能： 語法檢測功能 format 重構 代碼補全 發現引用 時隔兩年，這個插件其實一直在迭代中。接下來我就向大家介紹一下後續迭代的新功能。 最值得一提的功能：SparkSQL語義檢測 眾所周知，在使用

spark , hive , SQL

收藏 評論

u_14152 頭像

feiry - 詳解Hive窗口函數及10道實戰練習

📑 目錄（Table of Contents） 一、示例數據 二、常見窗口函數詳解 1. ROW_NUMBER 2. RANK 3. DENSE_RANK 4. SUM OVER 5. AVG OVER 6. LAG 7. LEAD 8. FIRST

大數據 , 數據 , hive , 面試 , 窗口函數

收藏 評論

u_14224 頭像

14224 - NLog中 maxArchiveDays的歸檔目錄怎麼設置

在所有的應用程序中，日誌功能是不可或缺的模塊，我們可以根據日誌信息進行調試、查看產生的錯誤信息，在ASP.NET Core中我們可以使用log4net或者NLog日誌組件來實現記錄日誌的功能，這裏講解如何在ASP.NET Core中使用NLog。 1、創建項目（這裏使用Core2.2）使用NLog 2、引用NLog動態庫 直接在N

code , 大數據 , 配置文件 , hive , xml

收藏 評論

u_16213354 頭像

mob64ca12ddcacc - spark saveAsTable 數據源拉了兩次數據

在使用 Apache Spark 進行數據處理時，我遇到了一個棘手的問題：使用 saveAsTable 方法將數據保存到 Hive 表時，數據源被拉取了兩次。這種情況不僅影響了處理效率，也浪費了計算資源。為了更好地記錄解決這個問題的過程，我着重從環境預檢、部署架構、安裝過程、依賴管理、配置調優和最佳實踐六個方面進行整理。 環境預檢 在進行解決方案之前，首先要確保我們的環境是配置正

spark , hive , aigc , apache

收藏 評論

u_14691 頭像

lemon - linux hive 重定向到文件

1、數據流重定向：將某個命令執行後應該出現在屏幕上的數據，給它傳輸到其他地方去 2、(1)---標準輸入（stdin)：代碼為0，使用 或 ; （2）標準輸出(stdout)：代碼為1，使用或者 ; (3)標準錯誤輸出（stderr）：代碼為2，使用 2或者 2. 説明：1：以覆蓋的方法將 [正確的數據]輸出到指定的文件或者設備上； 　　 1：以累加的方法將

linux hive 重定向到文件 , 大數據 , 數據 , hive , 重定向 , 標準輸出

收藏 評論

u_16213566 頭像

雲端小仙童 - hadoo hive zk版本兼容 hadoop和hive版本

1 準備工作 1.1 軟件準備 Hive需要Hadoop的支持，在安裝Hive之前需要正確安裝Hadoop。目前Hive的最新版本為0.13.1，這個版本可在Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y下使用。本文采用Hadoop 1.x中最新版本1.2.1。Hadoop使用環境中必須由JDK，本文下載JDK 7較新版本。同時,Hive將

大數據 , hadoo hive zk版本兼容 , hive , hadoop , JAVA

收藏 評論

u_16099252 頭像

架構領航博主 - 五年打磨 金山雲分佈式數據庫DragonBase為金融行業提供可靠服務

金山雲數據湖平台用的是Hive，可以添加數據源來連接關係型數據庫、MPP數據庫、對象存儲、Kafka，然後同步數據源的元數據，然後通過數據源來讀寫其中的數據（表、文件、消息topic），這些操作是如何實現的？ 金山雲數據湖平台基於 Hive 構建，其實現“跨源連接、元數據同步、以及統一讀寫”的核心機制主要依賴於 Hive Storage Handlers（存儲處理器

hive , 元數據 , Css , 金山雲 , 前端開發 , HTML

收藏 評論

u_16099295 頭像

IT劍客行 - dolphinscheduler工作流hive kerberos

第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分佈式、易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜複雜的依賴關係，使調度系統在數據處理流程中開箱即用。 1.2 DolphinScheduler核心架構 Dolp

大數據 , MySQL , hive , hadoop , apache

收藏 評論