寫在前面這是本系列的第二十五篇。操作系統(tǒng)為我們的應(yīng)用程序提供了多種持久化控制的機(jī)制包括fsync等保證崩潰一致性的 API。但如果所有的業(yè)務(wù)邏輯都要靠手工去調(diào)這些底層的 API那開發(fā)者的心智負(fù)擔(dān)就太大了。在此基礎(chǔ)上我們能否在應(yīng)用程序之上實(shí)現(xiàn)一套更為可靠、更為高可用的數(shù)據(jù)存儲抽象本講內(nèi)容作為《操作系統(tǒng)》課程的彩蛋延伸我們將跳出內(nèi)核的泥潭探討數(shù)據(jù)庫系統(tǒng)SQL 與 NoSQL的設(shè)計(jì)原理與實(shí)現(xiàn)技術(shù)。文件系統(tǒng) API 到此結(jié)束作為操作系統(tǒng)留給上層應(yīng)用的基礎(chǔ)原語文件系統(tǒng) API 的核心可以概括為四個方面文件 (數(shù)據(jù) 元數(shù)據(jù)) 管理:open,read,write,close,stat,chmod,chown,fsetxattr/fgetxattr,ftruncate…目錄樹管理:mount,mkdir,readdir,link,symlink,unlink,rename,chdir…科普rename_ 系統(tǒng)調(diào)用是極其強(qiáng)大的它在很多文件系統(tǒng)底層被保證為絕對的原子操作。_一致性管理:syncsyncfsfsyncfdatasync。其他相關(guān) API:flock,mmap…關(guān)系代數(shù)、SQL 和數(shù)據(jù)庫 (Spicy ?)什么是“應(yīng)用程序”軟件是物理世界過程在信息世界中的投影。軟件天生有著 Persist Data (持久化數(shù)據(jù)) 的需求個人信息學(xué)籍、訂單、交易流水、維護(hù)日志……試想一下如果我們不借助現(xiàn)成的數(shù)據(jù)庫要如何“從零開始”手搓一個南京大學(xué)的教務(wù)系統(tǒng)盡管我們平時總是吐槽學(xué)校的教務(wù)系統(tǒng)多么難用但在潛意識里我們依然敢把成績和學(xué)分?jǐn)?shù)據(jù)放心地交給它這就是持久化帶來的信任。純手工保存應(yīng)用數(shù)據(jù)的痛點(diǎn)方案 1在文件虛擬磁盤上直接構(gòu)建數(shù)據(jù)結(jié)構(gòu)就像定義 ELF、BMP 文件格式一樣自己定義數(shù)據(jù)的字節(jié)排布structsuperblock{structstudent*s;structcourse*c;}structstudent{charstuid[16];...};structcourse{charcid[16];...}任何需求如expel(s)退學(xué)enroll(s, c)選課都需要應(yīng)用系統(tǒng)自己去翻譯成繁瑣的read,write,lseek或mmap。(注某些極端的應(yīng)用確實(shí)是這么干的比如單機(jī)游戲存檔或者直接記錄 UI 事件的 Replay 快照)。方案 2利用目錄樹用文件夾代表實(shí)體用文件代表屬性。ehall.nju.edu.cn/teacherJxrwApp/22020230/4 ├── enrollment │ ├──231220001.md │ ├──231220002.md │ └──...這樣 UNIX 世界里的find,grep等工具都能直接用。但問題接踵而至如何關(guān)聯(lián)學(xué)生和成績用Symlink軟鏈接嗎如何在萬人同時搶課時保證并發(fā)訪問的安全和Crash Consistency我們需要的到底是什么Concurrency (并發(fā)):全校一起搶課系統(tǒng)不能崩。且不能無腦用一把全局大鎖否則幾萬人的請求排隊(duì)會直接讓系統(tǒng)超時。Persistence (持久化):系統(tǒng)故障甚至是機(jī)房斷電落盤的數(shù)據(jù)絕對不能丟。Atomicity (原子性):withAllOrNothing():// 要么全成功要么全失敗回滾forid in enroll_list:Path(fenrollment/{id}.md).write_text(y)降維打擊Relational Database (關(guān)系型數(shù)據(jù)庫)有沒有一個比目錄/文件更好用的 API 呢有這就是 1981 年圖靈獎得主 Edgar F. Codd 提出的關(guān)系模型?！癋uture users of large data banks must be protected from having to know how the data is organized in the machine.”必須保護(hù)未來大型數(shù)據(jù)庫的用戶使他們不必去了解數(shù)據(jù)在機(jī)器中是如何組織和存儲的。數(shù)據(jù)抽象的極致Everything is a table (萬物皆表)。每行代表一個對象對象可以用ID(指針) 關(guān)聯(lián)其他對象。這就消解了 C 語言里繁瑣的指針鏈表。SQL 查詢指針的優(yōu)雅“配對”我們不需要寫循環(huán)去遍歷鏈表了只需寫一條聲明式的語句SELECTCourses.TitleFROMStudentJOINTakes_CourseONStudent.IDTakes_Course.IDJOINCoursesONTakes_Course.ClassIDCourses.ClassIDWHEREStudent.NameLIKE張%數(shù)據(jù)庫系統(tǒng)開啟了軟件的新時代ACID 數(shù)據(jù)庫的承諾A (Atomicity, 原子性)C (Consistency, 一致性)I (Isolation, 隔離性):Strong serializability (強(qiáng)可串行化)無論怎么并發(fā)最終結(jié)果都像是一個接一個按順序完成的。D (Durability, 持久性):Strong crash consistency系統(tǒng)斷電 Crash 也絕不會損壞或丟失數(shù)據(jù)。學(xué)過了《操作系統(tǒng)》底層機(jī)制的你應(yīng)該很好理解這背后的技術(shù)含金量。數(shù)據(jù)庫不僅幫你做了“一把大鎖保平安”的效果還在底層瘋狂優(yōu)化實(shí)現(xiàn)了大規(guī)模并行的恐怖性能并且附贈了基于Redo Log的完全自動崩潰恢復(fù)。把應(yīng)用數(shù)據(jù)交給數(shù)據(jù)庫對于程序員來說就是一勞永逸。只要不是大到“國民級”的逆天并發(fā)應(yīng)用關(guān)系數(shù)據(jù)庫分庫、分表、B樹索引、讀寫分離全都能幫你搞定。關(guān)系數(shù)據(jù)庫底層的深淵實(shí)現(xiàn) (Spicy ?)Database v.s. Compilers (數(shù)據(jù)庫本質(zhì)是編譯器)實(shí)現(xiàn) SQL 查詢本質(zhì)上就是在做編譯優(yōu)化語義等價的 Rewriting。數(shù)據(jù)庫引擎要把你的 SQL 語句翻譯成底層的物理執(zhí)行計(jì)劃。數(shù)據(jù)庫是一個超級復(fù)雜的并發(fā)程序SQL 查詢底層對應(yīng)的無非就是對內(nèi)存和磁盤的Write(x)和Read(y)。它必須自己維護(hù)一套“磁盤上的數(shù)據(jù)結(jié)構(gòu)”。它大量使用類似文件系統(tǒng)的 Write-ahead Logging (WAL) 技術(shù)來保證 Crash Consistency。但它的并發(fā)控制比操作系統(tǒng)更困難。因?yàn)殚L事務(wù)Transactions是不可能用簡單的lock/unlock來實(shí)現(xiàn)的這會瞬間鎖死整個庫。偉大的例子SQLite“SQLite is the most used database engine in the world. SQLite is built into all mobile phones and most computers…”Android, iOS, macOS, Chrome 等幾乎所有平臺中都深深內(nèi)嵌了 SQLite。Zero Configuration無需配置守護(hù)進(jìn)程發(fā)行版自帶libsqlite3.so。它是年輕程序員開發(fā)第一個應(yīng)用的首選。不用關(guān)系的數(shù)據(jù)庫NoSQL (Spicy ?)如果要實(shí)現(xiàn)“國民級”的應(yīng)用當(dāng)你的數(shù)據(jù)達(dá)到了億級、甚至十億級別傳統(tǒng)的 SQL 就顯得吃力了。SELECT*FROMchat_recordsWHERE(sender_iduser_id1ANDreceiver_iduser_id2)OR(sender_iduser_id2ANDreceiver_iduser_id1)ORDERBYtimestampDESCLIMIT10對于國民級社交軟件這樣一條“合法且正確”的 SQL如果碰上沒有建立完美索引的億級表會瞬間讓數(shù)據(jù)庫引擎 CPU 拉滿甚至癱瘓整個系統(tǒng)。因?yàn)橄到y(tǒng)提供商永遠(yuǎn)無法預(yù)知應(yīng)用程序員會寫出怎樣逆天的 Query 語句。只要提供了功能就必然會被濫用 $ \rightarrow $ 導(dǎo)致 Performance Bug。這是任何底層 Systems 都無法避免的技術(shù)債。解決方法做減法(NoSQL 誕生)犧牲掉極其復(fù)雜的“多表聯(lián)查 (JOIN)”和“通用性”換來極簡的能力、極其殘暴的讀寫性能和極其容易的橫向擴(kuò)展性。Key/Value (鍵值對):最簡單、最高效。適合緩存、計(jì)數(shù)器。Document (文檔型 JSON):NoSQL 實(shí)現(xiàn)“國民級”應(yīng)用的主力。Column (列族):適合海量數(shù)據(jù)的分析。Graph (圖):適合社交網(wǎng)絡(luò)關(guān)系。AI 時代的 Vector (向量):大語言模型檢索的基石。為什么 Key-Value 這么好擴(kuò)展 (Scale)只要給 Key 做個 Hash就可以把數(shù)據(jù)完美地散列扔到上千臺不同的機(jī)器節(jié)點(diǎn)上。寫操作只需 Append-only 追加寫入日志。分布式的高可靠瞬間完成。例如國民級 APP 的點(diǎn)贊功能應(yīng)用程序全靠 Key 找數(shù)據(jù)user:{uid}歷史記錄user:{uid}:like_history(一個簡單的 List)List 直接支持極速的append/pop/range速度極快。內(nèi)存數(shù)據(jù)庫的王者RedisEveything is In-memory.基于簡單的 GET / SET。極度豐富的數(shù)據(jù)結(jié)構(gòu)抽象String, JSON, List, Set, Hash, Sorted Set, Stream。甚至支持復(fù)雜的搜索FT.SEARCH products price:[200 300]。支持簡單的事務(wù)MULTI/WATCH/EXEC也支持異步持久化落盤。持久化 NoSQL 的妥協(xié)很多文檔型和列族數(shù)據(jù)庫為了降低學(xué)習(xí)門檻會提供一個 SQL 的“子集”。通過極簡的語句接口強(qiáng)行限制程序員的濫用從而在底層保證分布式橫向擴(kuò)展的能力。MongoDB (Document):Key $ \rightarrow $ JSON。比如直接創(chuàng)建一個 JSON 并 append 到user:{uid}.messages。Cassandra (Column):語言叫CQL看起來很像 SQL但功能極其受限。INSERTINTOmessages(user_id,message_id,content,timestamp)VALUES(1234567,now(),message,toTimestamp(now()));總結(jié)Take-away messages:在操作系統(tǒng)底層為我們提供的文件、目錄、網(wǎng)絡(luò)等“粗糙”的 API 之上開發(fā)者們發(fā)揮了驚人的創(chuàng)造力。我們看到了為了降低心智負(fù)擔(dān)而興起的關(guān)系數(shù)據(jù)庫看到了為了應(yīng)對億級高并發(fā)而做減法繁榮起來的 NoSQL以及今天浪潮正盛的 AI 向量數(shù)據(jù)庫。在這幾波狂暴的技術(shù)浪潮之間雖然操作系統(tǒng)的內(nèi)部實(shí)現(xiàn)發(fā)生過天翻地覆的重構(gòu)但操作系統(tǒng)的 API 卻相當(dāng)驚人地保持了穩(wěn)定POSIX。正是這種數(shù)十年的“穩(wěn)定性”支撐起了上層應(yīng)用生態(tài)無所顧忌的繁榮。這也是操作系統(tǒng)作為一切軟件“基石平臺”最偉大的使命。