1. 項(xiàng)目概述為什么MaxCompute的“小問(wèn)題”能卡住整個(gè)項(xiàng)目在數(shù)據(jù)倉(cāng)庫(kù)和離線計(jì)算的實(shí)戰(zhàn)里阿里云MaxCompute原名ODPS幾乎是國(guó)內(nèi)大數(shù)據(jù)工程師繞不開(kāi)的平臺(tái)。它穩(wěn)定、能處理海量數(shù)據(jù)但就像一輛性能強(qiáng)悍但操作復(fù)雜的工程車新手和老手都可能在一些看似不起眼的“小問(wèn)題”上栽跟頭。這些問(wèn)題往往不是平臺(tái)本身的大故障而是那些官方文檔一筆帶過(guò)或者在不同業(yè)務(wù)場(chǎng)景下才會(huì)暴露的細(xì)節(jié)。比如一個(gè)簡(jiǎn)單的日期過(guò)濾條件寫錯(cuò)了可能讓你多掃描幾百GB的數(shù)據(jù)賬單瞬間飆升一個(gè)UDF的細(xì)微性能差異在千億級(jí)數(shù)據(jù)表上會(huì)被放大成數(shù)小時(shí)的作業(yè)延遲。我見(jiàn)過(guò)不少團(tuán)隊(duì)數(shù)據(jù)模型設(shè)計(jì)得漂亮業(yè)務(wù)邏輯也清晰但就是在MaxCompute的日常使用中因?yàn)闄?quán)限配置、SQL寫法、資源調(diào)優(yōu)或者新老功能混用的問(wèn)題導(dǎo)致項(xiàng)目進(jìn)度受阻、成本失控。這篇文章就是把我自己和團(tuán)隊(duì)在過(guò)去幾年里在真實(shí)生產(chǎn)環(huán)境中反復(fù)遇到、驗(yàn)證和解決的那些高頻“坑點(diǎn)”系統(tǒng)地整理出來(lái)。它不是一份面面俱到的產(chǎn)品手冊(cè)而是一本聚焦于“避坑”和“提效”的實(shí)戰(zhàn)筆記。無(wú)論你是剛開(kāi)始接觸MaxCompute還是已經(jīng)用它處理過(guò)TB級(jí)數(shù)據(jù)這里總結(jié)的經(jīng)驗(yàn)都可能幫你省下真金白銀和大量排查時(shí)間。2. 權(quán)限與數(shù)據(jù)安全從“能跑通”到“跑得安全”很多工程師拿到項(xiàng)目后的第一反應(yīng)是趕緊把SQL跑起來(lái)看結(jié)果權(quán)限問(wèn)題常常被忽視直到某天數(shù)據(jù)泄露或作業(yè)失敗才追悔莫及。MaxCompute的權(quán)限體系基于Project項(xiàng)目進(jìn)行隔離核心概念是用戶User、角色Role和權(quán)限Policy。一個(gè)最常見(jiàn)的誤區(qū)是以為在DataWorks工作空間配置了開(kāi)發(fā)角色就能在MaxCompute里為所欲為。2.1 Project級(jí)別的權(quán)限隔離與授權(quán)邏輯每個(gè)MaxCompute項(xiàng)目都是一個(gè)獨(dú)立的沙箱。用戶A在項(xiàng)目Project_A中創(chuàng)建的表用戶B在Project_B中默認(rèn)是看不見(jiàn)也訪問(wèn)不了的?？珥?xiàng)目訪問(wèn)數(shù)據(jù)必須通過(guò)項(xiàng)目所有者或Admin角色進(jìn)行顯式授權(quán)。授權(quán)不是一勞永逸的特別是當(dāng)你的業(yè)務(wù)涉及多個(gè)項(xiàng)目之間的數(shù)據(jù)交換時(shí)。一個(gè)典型的踩坑場(chǎng)景是開(kāi)發(fā)在測(cè)試項(xiàng)目project_dev里寫好了一段SQL需要讀取生產(chǎn)項(xiàng)目project_prod中的某張維度表。他直接在DataWorks上配置了數(shù)據(jù)源但一運(yùn)行就報(bào)錯(cuò)“Authorization Failed”。問(wèn)題根源在于他沒(méi)有在MaxCompute層面向project_dev的開(kāi)發(fā)者角色授予讀取project_prod中那張表的Select權(quán)限。正確的做法是需要project_prod的管理員執(zhí)行類似如下的授權(quán)命令通過(guò)MaxCompute命令行工具或DataWorks的安全中心-- 在 project_prod 項(xiàng)目中執(zhí)行 USE project_prod; GRANT SELECT ON TABLE dim_user TO USER ram$project_dev:alice; -- 授予具體用戶 -- 或者授予角色更便于管理 GRANT SELECT ON TABLE dim_user TO ROLE developer_role;然后用戶alice需要在project_dev中扮演能訪問(wèn)該權(quán)限的角色。這里的關(guān)鍵是理解“在哪個(gè)項(xiàng)目里執(zhí)行授權(quán)命令”和“授權(quán)給誰(shuí)”。很多權(quán)限錯(cuò)誤都是因?yàn)樵谶@個(gè)上下文中搞混了。注意直接使用ACCOUNT賬號(hào)如alicealiyun.com進(jìn)行授權(quán)在簡(jiǎn)單場(chǎng)景下可行但對(duì)于企業(yè)級(jí)項(xiàng)目強(qiáng)烈建議通過(guò)RAM子賬號(hào)和自定義角色來(lái)管理。RAM資源訪問(wèn)管理可以更精細(xì)地控制阿里云資源的訪問(wèn)將MaxCompute權(quán)限與RAM策略綁定能實(shí)現(xiàn)統(tǒng)一的賬號(hào)體系和審計(jì)。2.2 表與列級(jí)數(shù)據(jù)保護(hù)如何防止敏感信息泄露隨著數(shù)據(jù)安全法規(guī)越來(lái)越嚴(yán)格對(duì)表中敏感字段如手機(jī)號(hào)、身份證、郵箱的保護(hù)必須前置。MaxCompute提供了列級(jí)別的權(quán)限控制。你不能滿足于“整張表只有某些人能看”而需要做到“同一張表A角色能看到所有列B角色只能看到脫敏后的非敏感列”。假設(shè)有一張用戶表user_profile包含user_id,user_name,phone_number,id_card等字段。對(duì)于數(shù)據(jù)分析師角色analyst_role我們可能只希望其看到脫敏后的信息。首先你需要?jiǎng)?chuàng)建一張視圖View來(lái)實(shí)現(xiàn)脫敏邏輯CREATE VIEW v_user_profile_safe AS SELECT user_id, user_name, CONCAT(SUBSTR(phone_number, 1, 3), ****, SUBSTR(phone_number, 8, 4)) AS phone_number_masked, CONCAT(********, SUBSTR(id_card, 15, 4)) AS id_card_masked FROM user_profile;然后將這張視圖的SELECT權(quán)限授予analyst_role同時(shí)收回該角色對(duì)原始表user_profile的訪問(wèn)權(quán)限。這樣分析師在查詢時(shí)只能接觸到處理后的視圖從數(shù)據(jù)出口上就杜絕了泄露風(fēng)險(xiǎn)。這里容易踩的坑是只做了視圖授權(quán)卻忘了收回原表權(quán)限導(dǎo)致分析師通過(guò)其他方式或腳本依然能訪問(wèn)到原始表。2.3 臨時(shí)憑證與作業(yè)安全STS Token的正確使用姿勢(shì)在讓前端或服務(wù)端直接上傳文件到OSS再由MaxCompute處理的場(chǎng)景中為了安全我們不會(huì)使用主賬號(hào)的AK/SK而是通過(guò)STS安全令牌服務(wù)頒發(fā)臨時(shí)訪問(wèn)憑證。這個(gè)過(guò)程涉及MaxCompute、RAM和OSS三個(gè)服務(wù)鏈路一長(zhǎng)問(wèn)題就多。一個(gè)常見(jiàn)錯(cuò)誤是Token有效期設(shè)置過(guò)短或過(guò)長(zhǎng)。過(guò)短如幾分鐘在上傳大文件時(shí)可能中途過(guò)期導(dǎo)致上傳失敗過(guò)長(zhǎng)如幾小時(shí)則失去了臨時(shí)憑證的安全意義。根據(jù)經(jīng)驗(yàn)對(duì)于前端直傳建議設(shè)置為15-30分鐘并配合前端SDK的續(xù)簽邏輯。另一個(gè)坑是權(quán)限邊界Policy定義過(guò)寬。比如你只希望允許上傳到某個(gè)OSS Bucket的特定目錄但Policy里卻寫成了對(duì)整個(gè)Bucket的PutObject權(quán)限。正確的Policy應(yīng)該類似這樣嚴(yán)格限定資源Resource和動(dòng)作Action{ Statement: [ { Effect: Allow, Action: [ oss:PutObject ], Resource: [ acs:oss:*:*:your-bucket-name/user-uploads/${userId}/* ] } ], Version: 1 }注意Resource路徑中的${userId}這是一個(gè)很好的實(shí)踐可以將不同用戶的數(shù)據(jù)隔離到不同目錄同時(shí)也在Policy層面實(shí)現(xiàn)了隔離。如果這里寫成了acs:oss:*:*:your-bucket-name/*那么任何一個(gè)拿到此Token的用戶都可以覆蓋或讀取Bucket內(nèi)的其他文件風(fēng)險(xiǎn)極大。3. SQL開(kāi)發(fā)與性能調(diào)優(yōu)寫出既正確又高效的查詢?cè)贛axCompute上寫SQL和在其他傳統(tǒng)數(shù)據(jù)庫(kù)上寫心態(tài)需要轉(zhuǎn)變。這里處理的往往是TB、PB級(jí)數(shù)據(jù)一個(gè)不恰當(dāng)?shù)腏OIN或一個(gè)缺失的條件代價(jià)可能是數(shù)百個(gè)CU計(jì)算單元小時(shí)和數(shù)小時(shí)的等待。性能調(diào)優(yōu)不是事后補(bǔ)救而應(yīng)該貫穿在SQL編寫的每一步。3.1 分區(qū)與裁剪你的第一道也是最重要的防線MaxCompute表最常見(jiàn)的是分區(qū)表分區(qū)字段通常是日期如ds20240101。分區(qū)剪裁Partition Pruning是MaxCompute優(yōu)化器最重要的優(yōu)化手段之一它能避免掃描無(wú)關(guān)分區(qū)的數(shù)據(jù)。但優(yōu)化器不是萬(wàn)能的寫錯(cuò)的SQL會(huì)讓剪裁失效。最經(jīng)典的失效場(chǎng)景對(duì)分區(qū)字段使用函數(shù)。比如你的過(guò)濾條件是WHERE substr(ds, 1, 6) 202401希望查詢2024年1月份的數(shù)據(jù)。由于對(duì)分區(qū)字段ds使用了substr函數(shù)MaxCompute無(wú)法在編譯時(shí)確定具體的分區(qū)值會(huì)導(dǎo)致全表掃描。正確的寫法是使用范圍查詢WHERE ds 20240101 AND ds 20240131。即使你需要的是月度匯總也應(yīng)該先通過(guò)分區(qū)裁剪篩選出數(shù)據(jù)再進(jìn)行聚合。另一個(gè)隱晦的坑OR條件使用不當(dāng)。例如SELECT ... FROM table WHERE (ds 20240101 OR category A) AND amount 100;即使ds是分區(qū)字段由于OR條件中包含了非分區(qū)字段category為了保證邏輯正確優(yōu)化器可能仍然需要掃描所有分區(qū)來(lái)檢查category A的數(shù)據(jù)。這種情況下應(yīng)考慮改寫SQL比如用UNION ALL將兩個(gè)結(jié)果集合并SELECT ... FROM table WHERE ds 20240101 AND amount 100 UNION ALL SELECT ... FROM table WHERE ds 20200101 AND category A AND amount 100; -- 給ds一個(gè)合理的范圍雖然看起來(lái)復(fù)雜了但通過(guò)給第二個(gè)查詢?cè)黾右粋€(gè)盡可能大的分區(qū)范圍而不是全表可以極大地減少數(shù)據(jù)掃描量。3.2 數(shù)據(jù)傾斜分布式計(jì)算的“頭號(hào)殺手”數(shù)據(jù)傾斜指的是在JOIN或GROUP BY時(shí)某個(gè)或某幾個(gè)Key對(duì)應(yīng)的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過(guò)其他Key導(dǎo)致處理這些Key的單個(gè)實(shí)例Worker負(fù)載過(guò)重成為整個(gè)作業(yè)的瓶頸其他實(shí)例早早完工卻要一直等待它。如何發(fā)現(xiàn)傾斜跑作業(yè)時(shí)在Logview的“Fuxi Task”監(jiān)控里如果發(fā)現(xiàn)某個(gè)或某幾個(gè)Instance的輸入數(shù)據(jù)量Records Read/Bytes Read或處理時(shí)間Duration比其他實(shí)例高出幾個(gè)數(shù)量級(jí)基本就是傾斜了。解決JOIN傾斜的實(shí)戰(zhàn)技巧打散大Key這是最有效的方法之一。假設(shè)你有一張巨大的用戶行為表log和一個(gè)較小的用戶維度表user以u(píng)ser_id進(jìn)行關(guān)聯(lián)且存在少數(shù)幾個(gè)“超級(jí)用戶”如測(cè)試賬號(hào)、內(nèi)部賬號(hào)數(shù)據(jù)量極大。你可以先對(duì)這些大Key進(jìn)行預(yù)處理-- 1. 先找出并過(guò)濾掉傾斜的Key比如數(shù)據(jù)量top 10的用戶 CREATE TABLE tmp_skew_keys AS SELECT user_id FROM log GROUP BY user_id ORDER BY COUNT(*) DESC LIMIT 10; -- 2. 將大Key的數(shù)據(jù)單獨(dú)拿出來(lái)處理為其添加隨機(jī)后綴打散到多個(gè)Reducer CREATE TABLE tmp_log_skew AS SELECT CONCAT(user_id, _, CAST(RAND()*10 AS INT)) AS user_id_salted, -- 添加0-9的隨機(jī)后綴 ...其他字段 FROM log WHERE user_id IN (SELECT user_id FROM tmp_skew_keys); -- 對(duì)維度表也做同樣的膨脹 CREATE TABLE tmp_user_skew AS SELECT CONCAT(user_id, _0) AS user_id_salted, ...其他字段 FROM user WHERE user_id IN (SELECT user_id FROM tmp_skew_keys) UNION ALL SELECT CONCAT(user_id, _1) AS user_id_salted, ... FROM user WHERE user_id IN (SELECT user_id FROM tmp_skew_keys) ... -- 重復(fù)10次與0-9的隨機(jī)后綴對(duì)應(yīng) -- 然后關(guān)聯(lián) tmp_log_skew 和 tmp_user_skew ON user_id_salted -- 3. 將非傾斜的Key正常關(guān)聯(lián) CREATE TABLE tmp_log_normal AS ... WHERE user_id NOT IN (SELECT user_id FROM tmp_skew_keys); -- 最后 UNION ALL 所有結(jié)果這個(gè)方法思路是將一個(gè)大的關(guān)聯(lián)任務(wù)拆分成“處理傾斜Key”和“處理正常Key”兩個(gè)并行任務(wù)雖然SQL變復(fù)雜了但作業(yè)總耗時(shí)往往能大幅下降。使用MapJoin如果關(guān)聯(lián)的一方表非常小比如小于512MB可以嘗試使用MapJoin將小表廣播到所有大表數(shù)據(jù)所在的節(jié)點(diǎn)在Map階段完成關(guān)聯(lián)徹底避免Shuffle和Reduce階段。在SQL前加上/* MAPJOIN(small_table) */提示即可。但要注意如果小表預(yù)估不準(zhǔn)實(shí)際過(guò)大會(huì)導(dǎo)致OOM。3.3 資源與配置優(yōu)化不是所有慢查詢都是SQL的鍋有時(shí)SQL本身沒(méi)問(wèn)題但作業(yè)就是跑得慢。這時(shí)候需要關(guān)注作業(yè)級(jí)別的配置。設(shè)置Split Size默認(rèn)情況下MaxCompute會(huì)根據(jù)數(shù)據(jù)量自動(dòng)切分Map任務(wù)。但如果你的數(shù)據(jù)文件特別大且數(shù)量少可能會(huì)導(dǎo)致Map任務(wù)過(guò)少并發(fā)度不夠?？梢酝ㄟ^(guò)set odps.sql.mapper.split.size256;單位MB來(lái)調(diào)小Split Size增加Map任務(wù)數(shù)提升并發(fā)。反之如果存在大量小文件Map任務(wù)過(guò)多開(kāi)銷巨大則應(yīng)調(diào)大此參數(shù)或在上游合并小文件。合理設(shè)置Instance數(shù)量對(duì)于JOIN和GROUP BY這類需要Reduce階段的操作可以通過(guò)set odps.sql.reducer.instances500;來(lái)手動(dòng)設(shè)置Reducer實(shí)例數(shù)。設(shè)置太少單個(gè)Reducer壓力大設(shè)置太多資源浪費(fèi)且調(diào)度開(kāi)銷增大。一個(gè)經(jīng)驗(yàn)值是Reducer數(shù)量可以設(shè)置為“總輸出數(shù)據(jù)量” / “每個(gè)Reducer理想處理量如256MB”。但更靠譜的方式是先不設(shè)置跑一次觀察Logview中Reducer的實(shí)際數(shù)據(jù)量再進(jìn)行調(diào)整。慎用DISTINCTSELECT COUNT(DISTINCT user_id)這種操作會(huì)引起嚴(yán)重的數(shù)據(jù)傾斜因?yàn)樗邢嗤瑄ser_id的數(shù)據(jù)必須被Shuffle到同一個(gè)Reducer上去重。如果去重基數(shù)即不同值的個(gè)數(shù)很大性能會(huì)很差?？梢钥紤]用GROUP BY后再COUNT的方式來(lái)改寫或者使用近似去重函數(shù)APPROX_DISTINCT它在海量數(shù)據(jù)下能提供精度在97%以上的結(jié)果但性能提升巨大。4. 數(shù)據(jù)同步與外部存儲(chǔ)集成打通數(shù)據(jù)流的任督二脈MaxCompute很少是數(shù)據(jù)的起點(diǎn)或終點(diǎn)它需要從OSS、RDS、LogHub等外部系統(tǒng)同步數(shù)據(jù)也需要將計(jì)算結(jié)果導(dǎo)出到外部。這個(gè)環(huán)節(jié)的配置繁瑣且容易因?yàn)榫W(wǎng)絡(luò)、權(quán)限、格式問(wèn)題導(dǎo)致失敗。4.1 OSS數(shù)據(jù)同步當(dāng)CSV文件遇到特殊字符從OSS同步一個(gè)CSV文件到MaxCompute表是最常見(jiàn)的操作之一。但CSV格式的“方言”很多一個(gè)配置不對(duì)就會(huì)導(dǎo)致數(shù)據(jù)錯(cuò)位或?qū)胧?。?chuàng)建外部表時(shí)的關(guān)鍵參數(shù)CREATE EXTERNAL TABLE my_oss_table ( id STRING, name STRING, value DOUBLE ) STORED BY com.aliyun.odps.CsvStorageHandler -- 指定CSV處理器 WITH SERDEPROPERTIES ( odps.properties.rolearnacs:ram::xxx:role/aliyunodpsdefaultrole, delimiter|, -- 字段分隔符默認(rèn)為逗號(hào)如果數(shù)據(jù)中有逗號(hào)需改用其他字符如| quote\, -- 引號(hào)字符用于包裹包含分隔符的字段 escape\\, -- 轉(zhuǎn)義字符 skip.header.line.count1 -- 跳過(guò)CSV文件頭 ) LOCATION oss://your-bucket/path/to/files/;這里最大的坑是分隔符、引號(hào)和轉(zhuǎn)義符的匹配。如果數(shù)據(jù)中包含了分隔符本身比如字段內(nèi)容是Hello, World而分隔符是逗號(hào)就必須用引號(hào)將其包裹。如果字段內(nèi)容里又包含了引號(hào)比如He said \Hi\就需要用轉(zhuǎn)義符。必須確保WITH SERDEPROPERTIES中的配置與OSS上文件的實(shí)際格式嚴(yán)格一致。一個(gè)實(shí)用的調(diào)試方法是先用odpscmd的select * from my_oss_table limit 5;預(yù)覽一下外部表讀取的數(shù)據(jù)是否正確再執(zhí)行INSERT INTO ... SELECT ... FROM my_oss_table導(dǎo)入內(nèi)部表。4.2 處理OSS文件更新與分區(qū)覆蓋MaxCompute外部表只是OSS文件的映射本身不存儲(chǔ)數(shù)據(jù)。當(dāng)OSS上的源文件被覆蓋或更新后MaxCompute外部表查詢到的數(shù)據(jù)并不會(huì)自動(dòng)更新因?yàn)樵獢?shù)據(jù)如文件大小、修改時(shí)間可能被緩存。對(duì)于需要頻繁更新的場(chǎng)景有兩大策略使用ALTER TABLE ... TOUCH PARTITION如果你是按目錄分區(qū)例如LOCATION oss://bucket/path/dt20240101/在更新了某分區(qū)目錄下的文件后可以執(zhí)行ALTER TABLE my_oss_table TOUCH PARTITION (dt20240101);來(lái)刷新該分區(qū)的元數(shù)據(jù)緩存。使用MSCK REPAIR TABLE對(duì)于Hive兼容表如果你創(chuàng)建外部表時(shí)使用了STORED AS指定Hive格式并且OSS路徑是Hive風(fēng)格的分區(qū)目錄結(jié)構(gòu)可以使用MSCK REPAIR TABLE my_oss_table;來(lái)修復(fù)分區(qū)元數(shù)據(jù)自動(dòng)添加新的分區(qū)。更根本的解決方案是設(shè)計(jì)數(shù)據(jù)管道時(shí)每次更新都寫入OSS的新路徑如帶時(shí)間戳的目錄然后通過(guò)ALTER TABLE ... ADD PARTITION添加新分區(qū)查詢時(shí)指定最新分區(qū)。這樣既能保證數(shù)據(jù)一致性也便于回溯歷史。4.3 通過(guò)DataWorks實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源同步對(duì)于RDSMySQL/PostgreSQL等到MaxCompute的同步雖然可以通過(guò)tunnel命令或SDK編程實(shí)現(xiàn)但在生產(chǎn)環(huán)境更推薦使用DataWorks的數(shù)據(jù)集成Data Integration任務(wù)。它提供了圖形化配置、增量同步、臟數(shù)據(jù)管理、任務(wù)監(jiān)控等全套功能。配置增量同步時(shí)關(guān)鍵點(diǎn)是選擇好切分鍵和增量字段。切分鍵用于將源表數(shù)據(jù)分成多個(gè)通道并行抽取通常選擇主鍵或數(shù)值型索引字段。增量字段如update_time用于每次只同步變更的數(shù)據(jù)。這里的一個(gè)隱藏坑是數(shù)據(jù)庫(kù)的時(shí)區(qū)問(wèn)題。如果源RDS數(shù)據(jù)庫(kù)的時(shí)區(qū)與DataWorks運(yùn)行環(huán)境的時(shí)區(qū)不一致可能導(dǎo)致增量同步漏數(shù)據(jù)或多數(shù)據(jù)。務(wù)必在數(shù)據(jù)源配置和任務(wù)腳本中明確指定時(shí)區(qū)。另一個(gè)常見(jiàn)問(wèn)題是同步任務(wù)的內(nèi)存溢出OOM。當(dāng)同步的表字段非常多超過(guò)200列或者有超大文本字段如TEXT時(shí)默認(rèn)的JVM內(nèi)存配置可能不夠。需要在DataWorks任務(wù)配置的“高級(jí)設(shè)置”中調(diào)整-Xmx參數(shù)增大任務(wù)運(yùn)行的內(nèi)存上限。5. UDF/UDAF/UDTF開(kāi)發(fā)與調(diào)試擴(kuò)展計(jì)算能力的雙刃劍當(dāng)內(nèi)置函數(shù)無(wú)法滿足復(fù)雜業(yè)務(wù)邏輯時(shí)我們需要自定義函數(shù)。Java UDF功能強(qiáng)大但開(kāi)發(fā)、調(diào)試、部署的鏈條較長(zhǎng)容易出問(wèn)題。5.1 資源Resource管理依賴沖突與版本地獄一個(gè)UDF除了代碼.jar可能還依賴其他第三方庫(kù)。標(biāo)準(zhǔn)的做法是將所有依賴打包成一個(gè)胖JARFat Jar上傳。但這里有兩個(gè)坑依賴沖突你打包的第三方庫(kù)如fastjson-2.0.0.jar可能與MaxCompute運(yùn)行時(shí)環(huán)境自帶的庫(kù)如fastjson-1.2.83.jar沖突導(dǎo)致NoSuchMethodError或ClassNotFoundException。解決方法是在打包時(shí)使用maven-shade-plugin對(duì)依賴的包進(jìn)行重命名Relocation。plugin groupIdorg.apache.maven.plugins/groupId artifactIdmaven-shade-plugin/artifactId version3.2.4/version executions execution phasepackage/phase goalsgoalshade/goal/goals configuration relocations relocation patterncom.alibaba.fastjson/pattern shadedPatterncom.mycompany.shaded.fastjson/shadedPattern /relocation /relocations /configuration /execution /executions /plugin這樣你的UDF內(nèi)部使用的是com.mycompany.shaded.fastjson與運(yùn)行環(huán)境的com.alibaba.fastjson隔離避免了沖突。UDF更新后未生效在MaxCompute中UDF是通過(guò)CREATE FUNCTION ... USING project_name/resources/your_udf.jar來(lái)創(chuàng)建的。如果你更新了JAR包并重新上傳了同名的Resource但沒(méi)有重新創(chuàng)建DROP后再CREATE或刷新函數(shù)作業(yè)可能仍然使用舊的JAR緩存。最穩(wěn)妥的方式是每次更新JAR后執(zhí)行DROP FUNCTION my_udf;然后重新CREATE FUNCTION?；蛘咴谏蟼鱆AR時(shí)使用帶版本號(hào)的文件名如my_udf_v1.1.jar并創(chuàng)建新函數(shù)指向新資源。5.2 復(fù)雜數(shù)據(jù)類型處理與性能陷阱MaxCompute的UDF支持MAP,ARRAY,STRUCT等復(fù)雜數(shù)據(jù)類型。在Java UDF中處理這些類型時(shí)直接使用com.aliyun.odps.data.ArrayRecord或com.aliyun.odps.data.Struct等對(duì)象進(jìn)行操作可能會(huì)因?yàn)轭l繁創(chuàng)建對(duì)象和類型轉(zhuǎn)換導(dǎo)致性能低下。一個(gè)優(yōu)化技巧是對(duì)于處理ARRAYSTRING這類輸入在evaluate方法中優(yōu)先將其轉(zhuǎn)換為Java原生類型進(jìn)行操作public String evaluate(Array odpsArray) { // 低效做法在循環(huán)中多次調(diào)用 odpsArray.get() // 高效做法一次性獲取內(nèi)部List ListObject list odpsArray.values(); for (Object item : list) { String str (String) item; // 假設(shè)是STRING數(shù)組 // ... 處理邏輯 } }對(duì)于MAP類型同理。另外在UDF中盡量避免進(jìn)行大量的字符串拼接如使用這在處理海量行數(shù)據(jù)時(shí)會(huì)產(chǎn)生大量臨時(shí)對(duì)象應(yīng)使用StringBuilder。5.3 本地調(diào)試與單元測(cè)試在本地調(diào)試UDF是提高開(kāi)發(fā)效率的關(guān)鍵。你需要搭建一個(gè)模擬MaxCompute運(yùn)行環(huán)境的測(cè)試框架。一個(gè)簡(jiǎn)單有效的方法是使用JUnit和Mockito模擬com.aliyun.odps.udf.UDF的輸入輸出。將MaxCompute的SDKodps-sdk-udf作為test依賴引入。編寫單元測(cè)試直接實(shí)例化你的UDF類調(diào)用evaluate方法傳入模擬的Writable對(duì)象如Text,IntWritable對(duì)于復(fù)雜類型可以自己構(gòu)造。對(duì)于涉及資源Resource讀取的UDF可以在測(cè)試代碼中通過(guò)Thread.currentThread().getContextClassLoader().getResourceAsStream()來(lái)讀取本地文件模擬分布式環(huán)境下的資源讀取。雖然這不能完全模擬分布式執(zhí)行的所有細(xì)節(jié)但足以驗(yàn)證核心業(yè)務(wù)邏輯的正確性能攔截住大部分編碼錯(cuò)誤避免反復(fù)上傳到線上測(cè)試的低效循環(huán)。6. 日期、時(shí)間與類型轉(zhuǎn)換細(xì)節(jié)中的魔鬼日期和時(shí)間處理是SQL中最容易出錯(cuò)的部分之一MaxCompute有自己的日期函數(shù)和類型系統(tǒng)稍不注意就會(huì)得到錯(cuò)誤結(jié)果或性能損失。6.1 獲取“當(dāng)天”數(shù)據(jù)的正確姿勢(shì)標(biāo)題熱詞中提到了“maxcompute取當(dāng)天日期數(shù)據(jù)”這是一個(gè)非常高頻的需求。錯(cuò)誤和正確的做法對(duì)比鮮明錯(cuò)誤做法WHERE ds to_char(getdate(), yyyymmdd)。在MaxCompute中g(shù)etdate()返回的是UTC時(shí)間而不是你所在時(shí)區(qū)的北京時(shí)間。如果你的作業(yè)在UTC時(shí)間的后半天運(yùn)行g(shù)etdate()返回的日期可能比北京時(shí)間晚一天。推薦做法使用CURRENT_TIMESTAMP配合to_date和時(shí)區(qū)轉(zhuǎn)換。-- 獲取北京時(shí)間當(dāng)天的分區(qū)值假設(shè)分區(qū)字段ds格式為yyyymmdd WHERE ds to_char(dateadd(to_date(CURRENT_TIMESTAMP, yyyy-mm-dd hh:mi:ss), 8, hh), yyyymmdd)這里CURRENT_TIMESTAMP返回的是帶時(shí)區(qū)的時(shí)間戳通常是運(yùn)行環(huán)境的時(shí)區(qū)DataWorks默認(rèn)是東八區(qū)。to_date將其轉(zhuǎn)換為日期dateadd(..., 8, hh)是為了確保即使環(huán)境時(shí)區(qū)有誤也強(qiáng)制加上8小時(shí)轉(zhuǎn)換為北京時(shí)間。更穩(wěn)妥的做法是在業(yè)務(wù)邏輯明確的情況下使用前一天的日期作為分區(qū)因?yàn)門1的數(shù)據(jù)處理是最常見(jiàn)的?？梢酝ㄟ^(guò)變量或參數(shù)傳入-- 在DataWorks中可以使用調(diào)度參數(shù) ${bdp.system.bizdate}格式y(tǒng)yyymmdd WHERE ds ${bdp.system.bizdate}6.2 時(shí)間戳與字符串的隱式轉(zhuǎn)換陷阱MaxCompute是強(qiáng)類型系統(tǒng)但有時(shí)會(huì)進(jìn)行隱式轉(zhuǎn)換。在處理DATETIME、TIMESTAMP和STRING時(shí)隱式轉(zhuǎn)換可能導(dǎo)致意想不到的結(jié)果或性能問(wèn)題。-- 假設(shè)表中有 DATETIME 類型的字段 create_time SELECT * FROM log WHERE create_time 2024-01-01 00:00:00;上面的寫法是可行的MaxCompute會(huì)將字符串2024-01-01 00:00:00隱式轉(zhuǎn)換為DATETIME類型進(jìn)行比較。但不建議依賴隱式轉(zhuǎn)換原因有二一是降低SQL可讀性和可維護(hù)性二是在某些復(fù)雜表達(dá)式或UDF中隱式轉(zhuǎn)換可能失敗或?qū)е滤饕щm然MaxCompute沒(méi)有傳統(tǒng)索引但會(huì)影響分區(qū)裁剪。顯式轉(zhuǎn)換是更好的實(shí)踐SELECT * FROM log WHERE create_time to_date(2024-01-01 00:00:00, yyyy-mm-dd hh:mi:ss);另一個(gè)常見(jiàn)錯(cuò)誤是比較STRING類型的時(shí)間。如果時(shí)間字符串的格式不是標(biāo)準(zhǔn)字典序如yyyymmdd直接比較會(huì)出錯(cuò)。例如2024-01-02和2024-01-10字符串比較會(huì)認(rèn)為2024-01-10小于2024-01-02因?yàn)?比-小。必須轉(zhuǎn)換為日期類型后再比較。6.3 時(shí)區(qū)處理的一致性原則在整個(gè)數(shù)據(jù)鏈路中保持時(shí)區(qū)一致至關(guān)重要。建議遵循以下原則入湖標(biāo)準(zhǔn)化所有業(yè)務(wù)系統(tǒng)產(chǎn)生的原始時(shí)間數(shù)據(jù)在進(jìn)入MaxCompute或OSS時(shí)統(tǒng)一轉(zhuǎn)換為一個(gè)標(biāo)準(zhǔn)時(shí)區(qū)如UTC0并明確記錄其原始時(shí)區(qū)信息可作為一個(gè)單獨(dú)的字段。這樣可以避免在后續(xù)跨時(shí)區(qū)分析時(shí)產(chǎn)生混淆。計(jì)算時(shí)區(qū)明確化在MaxCompute SQL中使用from_utc_timestamp和to_utc_timestamp函數(shù)進(jìn)行時(shí)區(qū)轉(zhuǎn)換。例如將存儲(chǔ)為UTC的時(shí)間戳轉(zhuǎn)換為北京時(shí)間展示SELECT event_time_utc, from_utc_timestamp(event_time_utc, Asia/Shanghai) AS event_time_bj FROM event_table;調(diào)度參數(shù)對(duì)齊DataWorks的調(diào)度系統(tǒng)有自己的業(yè)務(wù)日期${bdp.system.bizdate}和定時(shí)時(shí)間${bdp.system.cyctime}。要清楚它們的定義通常是前一天日期運(yùn)行時(shí)間點(diǎn)并在SQL中正確使用確保分區(qū)過(guò)濾邏輯與調(diào)度周期對(duì)齊。7. 成本控制與作業(yè)監(jiān)控讓每一分計(jì)算資源都花在刀刃上MaxCompute按計(jì)算和存儲(chǔ)量收費(fèi)成本控制是項(xiàng)目負(fù)責(zé)人必須關(guān)注的。很多成本浪費(fèi)源于對(duì)作業(yè)行為的不了解。7.1 解讀Logview從“黑盒”到“白盒”Logview是MaxCompute作業(yè)執(zhí)行的“上帝視角”?？炊憔湍芫珳?zhǔn)定位性能瓶頸。關(guān)鍵看幾個(gè)標(biāo)簽頁(yè)Summary看總輸入/輸出數(shù)據(jù)量、CU消耗、時(shí)長(zhǎng)。如果輸入數(shù)據(jù)量遠(yuǎn)大于你的預(yù)期說(shuō)明分區(qū)裁剪可能失效了。Fuxi Task看每個(gè)StageM1/R2/J3等的詳細(xì)信息。重點(diǎn)關(guān)注Longest Instance耗時(shí)最長(zhǎng)的實(shí)例通常是傾斜發(fā)生的標(biāo)志。Records Read/Bytes Read per Instance實(shí)例間數(shù)據(jù)讀取量的差異直觀反映數(shù)據(jù)傾斜程度。ShuffleShuffle階段的數(shù)據(jù)量過(guò)大可能意味著JOIN或GROUP BY的Key選擇不佳。SQL可以查看優(yōu)化器優(yōu)化后的最終執(zhí)行計(jì)劃對(duì)照自己的原始SQL理解優(yōu)化器做了哪些改寫。一個(gè)實(shí)用的習(xí)慣是對(duì)于任何運(yùn)行超過(guò)10分鐘或消耗超過(guò)50CU的作業(yè)都打開(kāi)Logview看一眼。長(zhǎng)期下來(lái)你會(huì)對(duì)什么樣的SQL會(huì)產(chǎn)生什么樣的執(zhí)行計(jì)劃有深刻的直覺(jué)。7.2 設(shè)置消費(fèi)預(yù)警與使用計(jì)費(fèi)項(xiàng)分析在阿里云費(fèi)用中心為MaxCompute項(xiàng)目設(shè)置消費(fèi)預(yù)警是基本操作。但更主動(dòng)的做法是定期分析計(jì)費(fèi)項(xiàng)明細(xì)。SQL計(jì)算費(fèi)用區(qū)分Interactive交互式查詢和Batch批量作業(yè)類型。通常夜間批量作業(yè)單價(jià)更低。檢查是否有本應(yīng)批量跑的任務(wù)被誤提交為交互式查詢。存儲(chǔ)費(fèi)用分為熱存儲(chǔ)和冷存儲(chǔ)。對(duì)于超過(guò)90天不訪問(wèn)的舊分區(qū)數(shù)據(jù)可以考慮將其轉(zhuǎn)為冷存儲(chǔ)成本會(huì)大幅下降。使用ALTER TABLE table_name PARTITION(ds...) SET COLD_LIFE1;可以設(shè)置分區(qū)在1天后自動(dòng)轉(zhuǎn)為冷存儲(chǔ)。下載費(fèi)用通過(guò)Tunnel或公網(wǎng)下載數(shù)據(jù)到本地會(huì)產(chǎn)生費(fèi)用。確保下載操作是必要的并且盡量在阿里云內(nèi)網(wǎng)進(jìn)行如從MaxCompute下載到ECS或OSS內(nèi)網(wǎng)流量免費(fèi)。7.3 避免全表掃描與數(shù)據(jù)生命周期管理全表掃描是成本殺手。除了前面提到的分區(qū)剪裁優(yōu)化還應(yīng)建立數(shù)據(jù)生命周期管理策略。定期清理中間表很多ETL作業(yè)會(huì)產(chǎn)生大量的中間臨時(shí)表。這些表通常只在作業(yè)鏈的下一步被使用一次。應(yīng)該通過(guò)DROP TABLE或設(shè)置lifecycle例如CREATE TABLE ... LIFECYCLE 7;表示7天后自動(dòng)刪除來(lái)及時(shí)清理。壓縮歷史數(shù)據(jù)對(duì)于需要長(zhǎng)期保存的歷史明細(xì)數(shù)據(jù)如果查詢頻率極低可以考慮使用ALTER TABLE ... MERGE SMALLFILES合并小文件并使用ALTER TABLE ... COMPACT進(jìn)行壓縮減少存儲(chǔ)空間占用。使用視圖代替物理表對(duì)于一些維度表或者邏輯相對(duì)固定的寬表如果其數(shù)據(jù)來(lái)源于其他表的JOIN和計(jì)算可以考慮創(chuàng)建視圖View。視圖不存儲(chǔ)數(shù)據(jù)每次查詢時(shí)動(dòng)態(tài)計(jì)算節(jié)省了存儲(chǔ)成本但可能會(huì)增加計(jì)算成本。需要根據(jù)查詢頻率權(quán)衡。8. 環(huán)境、配置與客戶端問(wèn)題那些“莫名其妙”的報(bào)錯(cuò)最后這類問(wèn)題不涉及業(yè)務(wù)邏輯但一旦出現(xiàn)就會(huì)阻塞所有工作讓人頭疼。8.1 網(wǎng)絡(luò)連通性與Endpoint配置使用MaxCompute客戶端odpscmd或SDK時(shí)最常見(jiàn)的錯(cuò)誤之一是連接失敗提示“Connection refused”或“Timeout”。首先檢查Endpoint是否正確公網(wǎng)、VPC內(nèi)網(wǎng)、經(jīng)典網(wǎng)絡(luò)對(duì)應(yīng)的Endpoint不同。在阿里云ECS上通過(guò)內(nèi)網(wǎng)訪問(wèn)速度更快且免費(fèi)。公網(wǎng)Endpoint通常是http://service.cn-hangzhou.maxcompute.aliyun.com/api而VPC內(nèi)網(wǎng)Endpoint格式可能類似http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api。務(wù)必在控制臺(tái)或文檔中確認(rèn)當(dāng)前Region和網(wǎng)絡(luò)類型對(duì)應(yīng)的Endpoint。AK/SK是否有權(quán)限確認(rèn)使用的AccessKey ID和AccessKey Secret所屬的RAM用戶或角色是否已被授予目標(biāo)MaxCompute項(xiàng)目的相應(yīng)權(quán)限如Describe,Select,CreateInstance等。網(wǎng)絡(luò)安全組/防火墻如果從公司內(nèi)網(wǎng)連接可能需要配置代理或放行相關(guān)IP和端口默認(rèn)80/443。8.2 客戶端版本與兼容性不同版本的odpscmd或Java SDK其支持的命令和特性可能有差異。一個(gè)典型的兼容性問(wèn)題是使用新版本SDK的某些新特性如特定的數(shù)據(jù)類型或函數(shù)編寫的UDF在舊版本MaxCompute服務(wù)上可能無(wú)法注冊(cè)或運(yùn)行。建議團(tuán)隊(duì)內(nèi)部統(tǒng)一客戶端版本并與MaxCompute項(xiàng)目的服務(wù)端版本保持大致同步。在升級(jí)版本前先在測(cè)試環(huán)境進(jìn)行充分驗(yàn)證。8.3 DataWorks與MaxCompute的協(xié)同工作流DataWorks作為調(diào)度和開(kāi)發(fā)平臺(tái)與底層的MaxCompute引擎通過(guò)元數(shù)據(jù)服務(wù)緊密連接。有時(shí)在DataWorks上創(chuàng)建的表在odpscmd里查不到或者反之。這通常是因?yàn)轫?xiàng)目歸屬問(wèn)題。DataWorks的工作空間Workspace在創(chuàng)建時(shí)會(huì)綁定一個(gè)MaxCompute項(xiàng)目。確保你在DataWorks數(shù)據(jù)開(kāi)發(fā)界面操作的對(duì)象和你在odpscmd中用use project_name;切換到的項(xiàng)目是同一個(gè)。此外DataWorks的標(biāo)準(zhǔn)模式下開(kāi)發(fā)環(huán)境和生產(chǎn)環(huán)境是物理隔離的兩個(gè)MaxCompute項(xiàng)目開(kāi)發(fā)環(huán)境做的表結(jié)構(gòu)變更需要通過(guò)發(fā)布流程才能同步到生產(chǎn)環(huán)境這個(gè)流程中的沖突處理和權(quán)限控制也是容易出問(wèn)題的環(huán)節(jié)需要嚴(yán)格按照規(guī)范操作。