在正式開始寫之前我必須先說明一點(diǎn)項(xiàng)目標(biāo)題雖然寫著TensorFlow 2.0/Keras實(shí)戰(zhàn)但想真正跑通第一個(gè)深度學(xué)習(xí)模型大頭其實(shí)不是“神經(jīng)網(wǎng)絡(luò)有多深”而是環(huán)境、版本、典型報(bào)錯(cuò)這三件事。我從零開始折騰過不止一次光Windows下面的DLL診斷和numpy版本沖突就能勸退一半想入門的人。所以這篇內(nèi)容我不會(huì)只擺幾段能跑的代碼更想把我這兩年踩過的坑、選型時(shí)的判斷邏輯、以及現(xiàn)在給新人推薦的最短路徑一次性寫清楚認(rèn)真看完直接抄作業(yè)就行不用再被網(wǎng)上那些“五分鐘學(xué)會(huì)深度學(xué)習(xí)”的標(biāo)題黨帶著走。這篇博文的適合對象非常明確有一定Python語法基礎(chǔ)、但完全沒碰過深度學(xué)習(xí)框架的人或者之前只跑過sklearn、現(xiàn)在想進(jìn)神經(jīng)網(wǎng)絡(luò)方向的人。如果你連Python都沒裝好也沒關(guān)系第二章我會(huì)把環(huán)境準(zhǔn)備整個(gè)講一遍手把手來不用慌。1. 為什么選TensorFlow 2.0/Keras當(dāng)入門框架先講一個(gè)很多人都會(huì)問的問題深度學(xué)習(xí)框架那么多PyTorch也天天刷屏為什么我推薦拿TensorFlow 2.0的Keras口徑來入門1.1 Keras的發(fā)展脈絡(luò)與定位Keras最早是一個(gè)獨(dú)立的高級神經(jīng)網(wǎng)絡(luò)API2015年由Fran?ois Chollet開源底層可以切換Theano、CNTK或TensorFlow。當(dāng)年它的口號就是“為人類設(shè)計(jì)的深度學(xué)習(xí)API”目的就是降低構(gòu)建神經(jīng)網(wǎng)絡(luò)的成本。我在2018年前后用Keras時(shí)它還是個(gè)需要單獨(dú)pip install的第三方庫寫幾層全連接網(wǎng)絡(luò)確實(shí)比原生TensorFlow 1.x舒服太多。后來Google在TensorFlow 2.0里把Keras并入了官方核心tf.keras成為唯一推薦的高級接口。這個(gè)變化意味著你在2024年再學(xué)TensorFlow時(shí)不需要接觸tf.Session、tf.placeholder這些老古董從第一行代碼開始就是Keras這套聲明式寫法。對比一下TensorFlow 1.x時(shí)代的寫法你就知道Keras帶來的進(jìn)步有多大。以前建一個(gè)全連接網(wǎng)絡(luò)需要定義placeholder、初始化變量、顯式開Session跑global_variables_initializer()中間加一行打印還得用tf.Print每一步都在跟計(jì)算圖打交道。Keras則是把網(wǎng)絡(luò)描述成“層的列表”model.add(Dense(128, activationrelu))一行就是一層代碼讀起來跟搭積木一樣徹底告別了會(huì)話和占位符這類繞腦概念。1.2 動(dòng)態(tài)圖模式帶來的體驗(yàn)飛躍TensorFlow 2.0另一項(xiàng)關(guān)鍵變化是默認(rèn)啟用Eager Execution動(dòng)態(tài)計(jì)算圖。以前TensorFlow是“先描述圖再開會(huì)話執(zhí)行”到了2.x則變成立即執(zhí)行你寫a b結(jié)果馬上算出來調(diào)試體驗(yàn)跟寫普通Python沒有區(qū)別。這一點(diǎn)對新手來說極度友好——你可以用print直接看中間張量的值可以一步步排查問題甚至可以import pdb在訓(xùn)練循環(huán)里打斷點(diǎn)。網(wǎng)上很多老教程還在講如何tf.Session()、如何tf.global_variables_initializer()這些在TF 2.x里要么扔掉要么被嚴(yán)格限制所以千萬別拿舊教程練手會(huì)把自己繞暈。1.3 Keras的易用性為什么適合入門場景Keras把建模過程抽象成五個(gè)環(huán)節(jié)構(gòu)建模型結(jié)構(gòu)、編譯決定優(yōu)化器和損失函數(shù)、喂數(shù)據(jù)訓(xùn)練、評估、預(yù)測。這五個(gè)步驟的套路高度統(tǒng)一學(xué)會(huì)一個(gè)模型后面的CNN、RNN只是換層結(jié)構(gòu)整體流程不變。這種“流程一致性”對學(xué)習(xí)新模型極其重要因?yàn)槟愕淖⒁饬Σ粫?huì)被框架細(xì)節(jié)分散而是集中在真正要學(xué)的神經(jīng)網(wǎng)絡(luò)思想本身。一個(gè)沒有深度學(xué)習(xí)背景的初學(xué)者用Keras寫一個(gè)手寫數(shù)字識(shí)別模型從環(huán)境就緒到看到準(zhǔn)確率輸出快的話不到半小時(shí)。這種即時(shí)的正反饋比看完一本600頁的理論書再動(dòng)手要有價(jià)值得多。另外TenserFlow 2.x的生態(tài)張得非常開要把模型部署到手機(jī)上用TensorFlow Lite要在瀏覽器里跑模型用TensorFlow.js要做端側(cè)微型設(shè)備部署還有TensorFlow Lite Micro。這一套后續(xù)進(jìn)階鏈路很完整哪怕你以后轉(zhuǎn)去學(xué)PyTorch在Keras里打下的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)也完全不會(huì)浪費(fèi)各種概念都是相通的。2. 深度學(xué)習(xí)環(huán)境搭建從零開始準(zhǔn)備這一章看起來基礎(chǔ)但確實(shí)是整個(gè)項(xiàng)目里最容易被忽略又最能勸退人的部分。尤其Windows用戶裝TensorFlow時(shí)遇到的DLL問題、路徑中文問題、Python版本不匹配問題能排到所有新手疑問的前三名。我把經(jīng)驗(yàn)一次性攤開講。2.1 Python環(huán)境的版本選擇TensorFlow 2.x從真正拉滿運(yùn)行來說官方支持的是Python 3.8到3.11之間的版本。2024年如果你直接裝了最新的Python 3.12很可能會(huì)遇到tensorflow不能直接安裝或者安裝后導(dǎo)入報(bào)錯(cuò)的尷尬。穩(wěn)妥做法是裝Python 3.9或者3.10這個(gè)范圍內(nèi)的版本兼容性最成熟網(wǎng)上遇到的坑也最少。具體裝機(jī)路徑有兩種一種是從python.org下載官方安裝包再手動(dòng)配pip一種是裝Anaconda全家桶。我更推薦新手用Anaconda理由很實(shí)在它自帶了conda包管理器、Python解釋器和一整套數(shù)據(jù)科學(xué)常用庫比如numpy、pandas、matplotlib都預(yù)裝好了省去大量逐個(gè)安裝的步驟。你裝好Anaconda后打開Anaconda Prompt直接創(chuàng)建環(huán)境conda create -n tf2 python3.9 conda activate tf2用獨(dú)立環(huán)境的好處特別明顯以后你研究別的項(xiàng)目需要不同版本的Python或TensorFlow時(shí)不會(huì)把系統(tǒng)環(huán)境弄亂一個(gè)項(xiàng)目一個(gè)環(huán)境壞了直接刪掉重建跟虛擬機(jī)差不多。這也是我推薦所有深度學(xué)習(xí)初學(xué)者從第一步就養(yǎng)成的好習(xí)慣。2.2 創(chuàng)建虛擬環(huán)境與安裝TensorFlow創(chuàng)建完P(guān)ython 3.9的環(huán)境后接下來就是安裝TensorFlow。在Anaconda Prompt里先激活環(huán)境然后執(zhí)行pip install tensorflow如果是AMD顯卡或者只想用CPU做入門學(xué)習(xí)裝CPU版就夠了。CPU版會(huì)把tensorflow-cpu作為默認(rèn)安裝命名也直接是tensorflow。如果是NVIDIA顯卡且想用GPU加速需要再裝GPU支持版pip install tensorflowTensorFlow 2.11之后的版本已經(jīng)把GPU支持打包進(jìn)了默認(rèn)安裝包只要本地裝了對應(yīng)版本的CUDA和cuDNN就能自動(dòng)檢測GPU。比老版本省心很多以前還得單獨(dú)裝tensorflow-gpu這個(gè)包現(xiàn)在不再需要了。在國內(nèi)網(wǎng)絡(luò)環(huán)境下直接跑pip install經(jīng)常因?yàn)榫W(wǎng)速問題卡到懷疑人生。我建議把pip鏡像源換成清華源裝包速度快得多配置方法如下pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple配置一次后以后所有pip安裝都會(huì)默認(rèn)走國內(nèi)鏡像實(shí)測下載TensorFlow這種幾百M(fèi)B的大包非常穩(wěn)定。安裝完成后在Python環(huán)境里驗(yàn)證一下import tensorflow as tf print(tf.__version__)如果能正常打印出版本號且沒有任何報(bào)錯(cuò)環(huán)境就算基本通了。注意別在Jupyter里直接跑這條命令測試因?yàn)镴upyter繼承的是啟動(dòng)時(shí)的環(huán)境在不同conda虛擬環(huán)境間切換時(shí)容易拿到舊環(huán)境最好在命令行終端里先驗(yàn)證一遍。2.3 GPU版、CPU版怎么選很多初學(xué)者上來就問“是不是一定要用GPU”。我的回答是入門階段完全不用。手寫數(shù)字識(shí)別、圖像分類這些基礎(chǔ)案例用CPU跑也就幾分鐘GPU的加速優(yōu)勢要到大型卷積網(wǎng)絡(luò)和大規(guī)模數(shù)據(jù)時(shí)才明顯。而且GPU版本的配置門檻明顯更高——除了要NVIDIA顯卡還得裝對版本的CUDA和cuDNN這兩個(gè)庫的版本兼容性在Windows上非常折騰人。如果你電腦是NVIDIA顯卡裝完后可以在命令行跑一下nvidia-smi如果輸出表格顯示了顯卡信息和驅(qū)動(dòng)版本說明顯卡驅(qū)動(dòng)沒有問題。想確認(rèn)TensorFlow能不能用GPU加速還可以再加一行print(tf.config.list_physical_devices(GPU))如果輸出為空說明TensorFlow沒檢測到GPU這種情況就去檢查CUDA、cuDNN的版本是否匹配。我的建議很直接首次入門用CPU版本跑通流程建立起那種“代碼寫了就能跑”的信心感再考慮要不要折騰GPU。2.4 我踩過的環(huán)境坑Windows下的DLL診斷與版本沖突這里單獨(dú)說說Windows環(huán)境下最經(jīng)典的一個(gè)報(bào)錯(cuò)很多人在import tensorflow時(shí)見過這行提示[tensorflow dll diagnostic] analyzing: d:\anaconda\lib\site-packages\tensorf...后面通常跟著類似“Could not load tensorflow_cc.dll”“找不到指定模塊”之類的內(nèi)容。這個(gè)報(bào)錯(cuò)的核心原因是系統(tǒng)缺少M(fèi)icrosoft Visual C Redistributable運(yùn)行庫或者版本過舊。TensorFlow是C編譯的Windows上依賴這個(gè)運(yùn)行庫才能加載底層動(dòng)態(tài)鏈接庫。解決辦法很簡單去微軟官網(wǎng)下載最新版“Microsoft Visual C Redistributable for Visual Studio 2015-2022”64位和32位都裝上重啟電腦再試絕大概率能解決。另一個(gè)高頻坑是numpy版本沖突。TensorFlow某些版本對numpy的版本范圍有要求比如TF 2.10要求numpy1.24但如果你先裝了numpy 1.26或2.x再裝TensorFlow就會(huì)出現(xiàn)沖突或運(yùn)行時(shí)AttributeError。裝完TensorFlow后建議順手跑一下pip list | findstr numpy看到numpy版本是1.23到1.24之間就基本穩(wěn)。如果被升級到了2.x直接用pip install numpy1.24降回來再跑一次TensorFlow測試。說起來簡單我第一次遇到這個(gè)奇怪報(bào)錯(cuò)時(shí)排查了大半天最后發(fā)現(xiàn)只因?yàn)閚umpy太新差點(diǎn)把環(huán)境刪了重裝這種冤枉時(shí)間沒必要花。3. 吃透Keras的五個(gè)核心概念環(huán)境搞定以后就是知識(shí)層面的重頭戲了。深度學(xué)習(xí)入門最大的門檻在于它有一套自己的黑話體系——層、激活函數(shù)、損失函數(shù)、優(yōu)化器、epoch、batch——不把這些概念挨個(gè)搞明白即便代碼能跑也只是在“碰運(yùn)氣式編程”。我用比較貼近日常經(jīng)驗(yàn)的方式把這幾個(gè)概念拆開講一遍。3.1 Sequential模型像搭樂高一樣搭網(wǎng)絡(luò)Keras里最簡單、最常用的模型類是Sequential它的特點(diǎn)是網(wǎng)絡(luò)層按順序堆疊每一層的輸出張量自動(dòng)傳給下一層作為輸入。你可以理解成一根水管水從左端進(jìn)來經(jīng)過一段段不同功能的水管處理最終從右端流出去。每一段水管就是一層網(wǎng)絡(luò)管子的粗細(xì)就是神經(jīng)元數(shù)量。手寫數(shù)字識(shí)別這種任務(wù)用Sequential就完全夠用。一個(gè)標(biāo)準(zhǔn)的Sequential模型長這樣from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten model Sequential([ Flatten(input_shape(28, 28)), Dense(128, activationrelu), Dense(10, activationsoftmax) ])Flatten的第一步作用是把二維圖像數(shù)據(jù)展平成一維向量因?yàn)槿B接層接收的數(shù)據(jù)必須是一維的矩陣形式Dense(128, activationrelu)是中間隱藏層128表示這一層有128個(gè)神經(jīng)元最后的Dense(10, activationsoftmax)輸出層有10個(gè)神經(jīng)元對應(yīng)10個(gè)數(shù)字類別softmax把輸出轉(zhuǎn)換成概率分布總和為1。還有一種是Functional API它比Sequential更靈活適合構(gòu)建有分支、有跳躍連接的復(fù)雜模型比如類似ResNet那類結(jié)構(gòu)。但入門階段先用好Sequential就夠了序列化思維能幫你更清楚地理解數(shù)據(jù)是怎樣一層層被抽象和轉(zhuǎn)換的。3.2 Dense層、激活函數(shù)與“為什么需要非線性”Dense層的中文叫全連接層意思是這一層的每個(gè)神經(jīng)元都和上一層的所有神經(jīng)元相連。用數(shù)學(xué)語言描述就是輸出 激活函數(shù)(權(quán)重矩陣 × 輸入向量 偏置項(xiàng))。線性變換做不出復(fù)雜決策如果所有層都只做線性變換那無論堆多少層本質(zhì)上都等價(jià)于一層線性模型根本學(xué)不了圖像、語音這種復(fù)雜的非線性關(guān)系。所以每一層后面都要接一個(gè)非線性激活函數(shù)這是神經(jīng)網(wǎng)絡(luò)能“擬合萬物”的根本原因。最常用的激活函數(shù)有三個(gè)ReLU、softmax和sigmoid。ReLU的計(jì)算很簡單負(fù)數(shù)歸零、正數(shù)保留它計(jì)算快還能緩解梯度消失問題是隱藏層的默認(rèn)選擇relu就是Rectified Linear Unit的縮寫。softmax用于多分類輸出層把多個(gè)輸出值轉(zhuǎn)成概率所有類別的概率加起來正好等于1模型最終預(yù)測的是概率最大的那個(gè)類別sigmoid把任意實(shí)數(shù)壓縮到0到1之間適合二分類或作為最后一層的輸出但由于它兩頭飽和、容易梯度消失在深層網(wǎng)絡(luò)隱藏層里基本被ReLU取代。3.3 損失函數(shù)與優(yōu)化器告訴模型怎么學(xué)和怎么改進(jìn)模型訓(xùn)練的本質(zhì)是讓“預(yù)測值”和“真實(shí)值”之間的差距越來越小這個(gè)差距的衡量標(biāo)準(zhǔn)就是損失函數(shù)。多分類問題最常用的是sparse_categorical_crossentropy它比較模型輸出的概率分布和真實(shí)標(biāo)簽之間的差距值越小表示預(yù)測越準(zhǔn)。要注意它和categorical_crossentropy的區(qū)別如果你把標(biāo)簽做成了one-hot編碼用categorical_crossentropy如果標(biāo)簽還是整數(shù)形式比如“3”表示數(shù)字3就用sparse_categorical_crossentropy。兩者目標(biāo)一樣只是標(biāo)簽格式不同。優(yōu)化器的作用是根據(jù)損失函數(shù)的結(jié)果去調(diào)整網(wǎng)絡(luò)里的權(quán)重。入門階段不需要研究太多直接閉眼選Adam就好它是目前綜合表現(xiàn)最好的優(yōu)化器之一。它結(jié)合了動(dòng)量法和均方根傳播的優(yōu)點(diǎn)能自適應(yīng)地調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率對新手上手極為友好。在編譯模型時(shí)指定model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] )metrics[accuracy]告訴模型在訓(xùn)練過程中要額外計(jì)算并展示準(zhǔn)確率這樣每個(gè)epoch結(jié)束你就能看到百分比形式的進(jìn)度反饋而不是一個(gè)抽象的浮點(diǎn)數(shù)。3.4 epoch、batch_size、驗(yàn)證集訓(xùn)練流程里的三個(gè)關(guān)鍵參數(shù)真正開始訓(xùn)練時(shí)你會(huì)遇到三個(gè)繞不開的參數(shù)epoch、batch_size、validation_split。epoch表示整個(gè)訓(xùn)練數(shù)據(jù)集被完整遍歷的次數(shù)也就是說每跑完一輪epoch模型就已經(jīng)把數(shù)據(jù)看了一遍。batch_size是每次前向傳播和反向傳播喂給模型的樣本數(shù)量因?yàn)橐淮伟褞兹f個(gè)樣本全塞進(jìn)內(nèi)存不現(xiàn)實(shí)必須分批喂。batch_size越大訓(xùn)練越快但內(nèi)存占用越大且容易收斂到較差的局部最優(yōu)batch_size越小收斂方向越不平穩(wěn)噪聲越大通常32或64是性能和穩(wěn)定性比較均衡的選擇。validation_split是訓(xùn)練時(shí)自動(dòng)從訓(xùn)練集里抽出一部分比例比如0.2作為驗(yàn)證集用來在每個(gè)epoch結(jié)束后檢查模型在未見數(shù)據(jù)上的表現(xiàn)及時(shí)發(fā)現(xiàn)過擬合。這些參數(shù)在Keras里只是一個(gè)數(shù)字的事history model.fit( x_train, y_train, batch_size32, epochs10, validation_split0.2 )你在訓(xùn)練日志里會(huì)看到類似“l(fā)oss: 0.4156 - accuracy: 0.8687 - val_loss: 0.2310 - val_accuracy: 0.9331”的輸出每行代表一個(gè)epoch。如果訓(xùn)練集準(zhǔn)確率很高但驗(yàn)證集準(zhǔn)確率一直上不去甚至在下滑那說明模型過擬合了需要加Dropout層、早?；驍?shù)據(jù)增強(qiáng)來處理。3.5 模型的評估與預(yù)測階段訓(xùn)練完以后就是驗(yàn)收環(huán)節(jié)。先用model.evaluate()在測試集上跑一遍test_loss, test_acc model.evaluate(x_test, y_test, verbose2) print(f測試集準(zhǔn)確率: {test_acc})evaluate返回的第一個(gè)值是測試集損失第二個(gè)值是我們指定的指標(biāo)準(zhǔn)確率。對訓(xùn)練好的模型用predict()就能拿起來做推理predictions model.predict(x_test)注意predict返回的直接是每個(gè)類別的概率向量比如[0.01, 0.02, 0.9, 0.03, ...]你想知道具體預(yù)測的是哪個(gè)數(shù)字需要用np.argmax(predictions[0])找出概率最大的那個(gè)下標(biāo)。這個(gè)細(xì)節(jié)很多新手會(huì)忽略直接打印predictions看到一堆小數(shù)點(diǎn)數(shù)字后一臉懵其實(shí)只是沒有做最后的argmax轉(zhuǎn)換而已。4. 第一個(gè)實(shí)戰(zhàn)MNIST手寫數(shù)字識(shí)別從0到1講完核心概念就該動(dòng)手寫真正的完整項(xiàng)目了。這里我選擇大名鼎鼎的MNIST手寫數(shù)字識(shí)別數(shù)據(jù)集它相當(dāng)于深度學(xué)習(xí)界的“Hello World”包含了6萬張訓(xùn)練圖片和1萬張測試圖片每張都是28×28像素的灰度圖內(nèi)容是0到9的手寫數(shù)字。用Keras跑它簡直不要太順手完整流程走一遍后你對深度學(xué)習(xí)的整個(gè)閉環(huán)就有了體感。4.1 加載數(shù)據(jù)與初步觀察Keras自帶MNIST數(shù)據(jù)集不需要去網(wǎng)上下載一行代碼就能加載from tensorflow.keras.datasets import mnist (x_train, y_train), (x_test, y_test) mnist.load_data()第一次運(yùn)行時(shí)會(huì)自動(dòng)下載數(shù)據(jù)到本地緩存目錄之后再用就直接讀取。數(shù)據(jù)加載完最好先看一眼數(shù)據(jù)的形狀print(x_train.shape) # (60000, 28, 28) print(y_train.shape) # (60000,)x_train是6萬張28×28的圖片y_train是6萬個(gè)由0到9組成的整數(shù)標(biāo)簽。為了讓小白理解“一張圖片在程序里到底是什么”可以用matplotlib畫出來看一眼import matplotlib.pyplot as plt plt.imshow(x_train[0], cmapgray) plt.title(fLabel: {y_train[0]}) plt.show()運(yùn)行后你會(huì)看到一張大大的灰度“5”字圖片。這一步的意義是讓你在之后訓(xùn)練時(shí)明白模型處理的不是“圖片文件”而是一個(gè)個(gè)二維數(shù)組數(shù)組的每個(gè)值代表該像素點(diǎn)的灰度強(qiáng)弱。4.2 數(shù)據(jù)預(yù)處理歸一化與形狀調(diào)整直接拿原始像素值訓(xùn)練會(huì)有一個(gè)問題像素值范圍是0到255數(shù)值太大會(huì)拖慢收斂速度而且網(wǎng)絡(luò)內(nèi)部的梯度計(jì)算容易不穩(wěn)定。標(biāo)準(zhǔn)做法是把數(shù)值范圍縮放到0到1之間只需要除以255x_train x_train.astype(float32) / 255.0 x_test x_test.astype(float32) / 255.0這一步叫歸一化是幾乎所有深度學(xué)習(xí)任務(wù)里必備的數(shù)據(jù)預(yù)處理環(huán)節(jié)。你可以想象成一把尺子原來是0到255厘米現(xiàn)在統(tǒng)一改成0到1米算法在統(tǒng)一尺度上計(jì)算才不容易出偏差。這里還要注意原始數(shù)據(jù)是整數(shù)類型uint8需要先轉(zhuǎn)成float32再除不然整數(shù)除以整數(shù)會(huì)得到0數(shù)據(jù)就全變沒用了。如果用Sequential模型并且第一層是Flatten那么輸入形狀可以直接寫成(28, 28)不用提前把數(shù)據(jù)改成784維。因?yàn)镕latten的作用就是負(fù)責(zé)在模型內(nèi)部把二維數(shù)組展平成784個(gè)元素的向量。不過對于像卷積神經(jīng)網(wǎng)絡(luò)那種需要保留圖像二維空間信息的模型就一定要保持(28, 28)形狀千萬別把數(shù)據(jù)手動(dòng)reshape成784維否則卷積層就沒辦法利用圖像的空間結(jié)構(gòu)了。4.3 構(gòu)建模型設(shè)計(jì)三層全連接網(wǎng)絡(luò)接下來就是設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。為了入門我們用三層全連接網(wǎng)絡(luò)就夠了from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten model Sequential([ Flatten(input_shape(28, 28)), Dense(128, activationrelu), Dense(64, activationrelu), Dense(10, activationsoftmax) ])網(wǎng)絡(luò)結(jié)構(gòu)解釋如下第一層Flatten負(fù)責(zé)把28×28的二維圖片展平變成784個(gè)輸入特征第二層Dense(128, activationrelu)是一個(gè)有128個(gè)神經(jīng)元的隱藏層負(fù)責(zé)從784個(gè)像素中學(xué)習(xí)抽象的低級特征組合第三層Dense(64, activationrelu)是第二個(gè)隱藏層進(jìn)一步學(xué)習(xí)更高層的特征組合最后一層Dense(10, activationsoftmax)輸出10個(gè)數(shù)字類別的概率分布。中間的神經(jīng)元數(shù)量為什么設(shè)定為128和64沒有嚴(yán)格的理論依據(jù)更多來自實(shí)踐積累。這兩個(gè)數(shù)字能覆蓋這個(gè)任務(wù)的復(fù)雜度又不會(huì)讓模型過于臃腫。你可以試著調(diào)整成256、128看看效果會(huì)發(fā)現(xiàn)準(zhǔn)確率差異不大但訓(xùn)練時(shí)間有區(qū)別。這就是深度學(xué)習(xí)中典型的“調(diào)參”體驗(yàn)——參數(shù)不同結(jié)果就不同這也是為什么動(dòng)手跑實(shí)驗(yàn)比只看書更能建立直覺。4.4 編譯、訓(xùn)練與結(jié)果分析模型構(gòu)建完接著編譯并開始訓(xùn)練model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] ) history model.fit( x_train, y_train, batch_size32, epochs10, validation_split0.2 )這里我把epochs設(shè)置為10意味著整個(gè)數(shù)據(jù)集會(huì)被完整學(xué)習(xí)10輪。每輪結(jié)束后模型都會(huì)在預(yù)留的20%驗(yàn)證集上跑一次用來監(jiān)控模型的泛化能力。順帶提一句訓(xùn)練過程中如果看到loss持續(xù)下降但val_loss開始升高說明模型在“死記硬背”訓(xùn)練集而不是學(xué)習(xí)通用規(guī)律也就是過擬合的跡象。實(shí)際訓(xùn)練輸出長這樣Epoch 1/10 1500/1500 [] - 3s 2ms/step - loss: 0.2987 - accuracy: 0.9110 - val_loss: 0.1510 - val_accuracy: 0.9551 Epoch 2/10 ... Epoch 10/10 1500/1500 [] - 3s 2ms/step - loss: 0.1109 - accuracy: 0.9652 - val_loss: 0.1018 - val_accuracy: 0.970010輪結(jié)束后模型在訓(xùn)練集上的準(zhǔn)確率大約能到97%左右驗(yàn)證集大概96%以上。這里還有一個(gè)細(xì)節(jié)值得說loss: 0.2987的含義是訓(xùn)練集上的平均交叉熵?fù)p失數(shù)字越小表示預(yù)測和真實(shí)標(biāo)簽越接近。開頭第1輪loss可能在0.3附近到第10輪能降到0.1左右說明模型在持續(xù)學(xué)習(xí)。如果你的loss在第2輪就降到0.01以下反而要警惕是不是模型把訓(xùn)練樣本背下來了這時(shí)準(zhǔn)確率再高也說明不了好泛化能力才是真正要關(guān)注的。4.5 測試集評估與可視化預(yù)測結(jié)果模型訓(xùn)練完后最后一道工序是在從來沒有參與過訓(xùn)練的測試集上評估test_loss, test_acc model.evaluate(x_test, y_test, verbose2) print(f測試集準(zhǔn)確率: {test_acc:.4f})測試集的結(jié)果才算模型真正的“考試成績”因?yàn)槟Ｐ陀?xùn)練時(shí)完全沒見過這些數(shù)據(jù)。運(yùn)行結(jié)果一般會(huì)在97%左右。你還可以隨機(jī)挑幾張測試圖片來可視化預(yù)測結(jié)果直觀感受模型的判斷能力import numpy as np predictions model.predict(x_test) pred_labels np.argmax(predictions, axis1) for i in range(5): plt.imshow(x_test[i], cmapgray) plt.title(f真實(shí)值: {y_test[i]}, 預(yù)測值: {pred_labels[i]}) plt.show()看到真實(shí)值和預(yù)測值完全一致時(shí)就說明你的模型已經(jīng)具備識(shí)別手寫數(shù)字的能力了。這個(gè)從數(shù)據(jù)加載到模型評估的完整流程其實(shí)就是深度學(xué)習(xí)項(xiàng)目的主干流程。不管以后做圖像分類、文本分類還是別的高級任務(wù)流程骨架都是這一套。5. 初學(xué)者最常踩的坑與排查技巧這一章的內(nèi)容來自我反復(fù)折騰和幫別人解決問題的實(shí)戰(zhàn)積累相當(dāng)一部分普通教材不會(huì)寫。我把這些坑按頻率從高到低列出來建議遇到問題時(shí)直接對照著排查。5.1 tensorflow dll diagnostic相關(guān)報(bào)錯(cuò)速查Windows平臺(tái)下import tensorflow時(shí)報(bào)出[tensorflow dll diagnostic] analyzing: ...類的提示是很多新手見到的第一道坎。這個(gè)報(bào)錯(cuò)的原因主要有兩類一是缺少M(fèi)icrosoft Visual C Redistributable運(yùn)行庫二是顯卡驅(qū)動(dòng)與CUDA版本不匹配。CPU安裝版只需要關(guān)注第一類把運(yùn)行庫裝上基本就能解決。GPU版本如果還繼續(xù)報(bào)錯(cuò)就要用nvidia-smi檢查驅(qū)動(dòng)去NVIDIA官網(wǎng)下載與TensorFlow要求匹配的CUDA Toolkit和對應(yīng)版本的cuDNN。這個(gè)過程相對繁瑣所以在入門階段直接裝CPU版你就能繞開一多半的DLL問題。5.2 版本兼容問題Python、numpy和TensorFlow的三角關(guān)系TensorFlow的版本敏感性在Python生態(tài)里是出了名的。比如TensorFlow要求Python版本不能太高也不能太低numpy版本又被限定在一定范圍內(nèi)太新會(huì)觸發(fā)numpy.dtype size changed之類的警告或錯(cuò)誤。這類問題統(tǒng)一排查思路是查看報(bào)錯(cuò)信息里是否有關(guān)鍵詞numpy、dll、protobuf、grpcio等如果出現(xiàn)了優(yōu)先檢查版本兼容。我的建議是一步到位創(chuàng)建虛擬環(huán)境時(shí)直接用Python 3.9裝完TensorFlow后立刻固定numpy版本并且不要用最新版Jupyter Notebook某些太新版本對tensorflow的兼容性不友好。只做這三件事版本類問題基本能消掉90%。5.3 訓(xùn)練太慢與內(nèi)存不足的處理思路用CPU訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)epoch跑得慢很正常但要分清楚是“正常慢”還是“卡住了”。正常慢是每個(gè)epoch都在穩(wěn)定推進(jìn)只是總耗時(shí)長卡住是進(jìn)度條長時(shí)間不動(dòng)這種情況多半是數(shù)據(jù)管道出了問題比如在Windows上使用了多進(jìn)程數(shù)據(jù)加載卻忘記加if __name__ __main__保護(hù)或者數(shù)據(jù)張量太大一次性載入了內(nèi)存。對于內(nèi)存溢出問題最簡單的做法是調(diào)小batch_size從默認(rèn)的32改成16或8內(nèi)存占用會(huì)直線下降。如果訓(xùn)練速度實(shí)在慢得忍不了就放棄CPU版去安GPU版或者在Colab、Kaggle這類云平臺(tái)上用免費(fèi)GPU訓(xùn)練。我經(jīng)常跟人說深度學(xué)習(xí)的時(shí)間成本非常寶貴別在入門時(shí)因?yàn)椤坝?xùn)練慢”浪費(fèi)一整天的耐心該上云就上云。5.4 數(shù)據(jù)預(yù)處理與訓(xùn)練流程里的隱形坑另一個(gè)常見坑是不做數(shù)據(jù)歸一化直接訓(xùn)練。你會(huì)發(fā)現(xiàn)這種情況模型也能跑但準(zhǔn)確率可能長期卡在85%附近上不去或者loss下降極其緩慢。把輸入范圍縮放到0到1后收斂速度會(huì)明顯改善準(zhǔn)確率也有顯著提升。還有一個(gè)坑是數(shù)據(jù)集類別分布不平衡。比如MNIST里每個(gè)數(shù)字的樣本量大致均衡模型學(xué)起來很省心但現(xiàn)實(shí)項(xiàng)目里某類樣本特別多、某類特別少時(shí)不處理就直接訓(xùn)練模型會(huì)偏向樣本量大的類。入門時(shí)先要知道這個(gè)問題的存在特解辦法后面學(xué)梯度加權(quán)或重采樣時(shí)再消化。此外做圖像任務(wù)時(shí)不要習(xí)慣性把標(biāo)簽用one-hot編碼。MNIST的標(biāo)簽是整數(shù)直接用sparse_categorical_crossentropy就好硬要one-hot反而要多寫一句轉(zhuǎn)換代碼。等后面用到categorical_crossentropy時(shí)再學(xué)to_categorical就順理成章。5.5 常見報(bào)錯(cuò)與解決方案速查表為了方便查閱我做了一張小的速查表覆蓋出現(xiàn)頻率最高的報(bào)錯(cuò)報(bào)錯(cuò)或癥狀主要原因處理辦法[tensorflow dll diagnostic] analyzing...缺少VC運(yùn)行庫或CUDA版本不匹配安裝最新版VC RedistributableGPU版核對CUDA/cuDNN版本numpy.dtype size changednumpy版本過新降級numpy:pip install numpy1.24Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED顯存不足或cuDNN初始化失敗調(diào)小batch_size重啟內(nèi)核釋放顯存UnknownError: Could not find a doctor to run a task數(shù)據(jù)管道線程問題減少num_workers或改用單線程加載AttributeError: module tensorflow has no attribute Session用了舊教程代碼改用Keras API不用Session訓(xùn)練準(zhǔn)確率高但驗(yàn)證準(zhǔn)確率低過擬合加Dropout層、早停、增加數(shù)據(jù)量或降低模型復(fù)雜度遇到上面任何一個(gè)報(bào)錯(cuò)先按表格對照著定位。如果表里沒有就把完整報(bào)錯(cuò)日志粘貼到搜索引擎里搜絕大多數(shù)情況都會(huì)發(fā)現(xiàn)是別人踩過的同一個(gè)坑。6. TensorFlow還是PyTorch入門之后的下一步等你跑通MNIST掌握了Keras這套工作流大概率會(huì)開始糾結(jié)一個(gè)問題既然網(wǎng)上都在吹PyTorch我到底要不要轉(zhuǎn)過去這其實(shí)是個(gè)好問題說明你已經(jīng)開始思考框架選型了。TensorFlow 2.x在工業(yè)部署和移動(dòng)端、服務(wù)端生態(tài)上有明顯優(yōu)勢。TensorFlow Serving可以方便地做模型上線服務(wù)TensorFlow Lite是移動(dòng)端推理的主流方案之一TF Hub上還有大量預(yù)訓(xùn)練模型可以直接遷移學(xué)習(xí)。如果你以后的工作方向偏向工程落地、產(chǎn)品化TensorFlow會(huì)是一條順暢的鏈路。PyTorch在研究領(lǐng)域和學(xué)術(shù)論文里更流行它的動(dòng)態(tài)計(jì)算圖機(jī)制讓模型定義的靈活度更高很多頂會(huì)論文的官方實(shí)現(xiàn)都以PyTorch為主社區(qū)的新模型和開源倉庫也更活躍。不過我的個(gè)人建議是入門階段不要花太多時(shí)間糾結(jié)“選哪個(gè)”。先用TensorFlow把Keras這套標(biāo)準(zhǔn)工作流跑熟了積累足夠深的神經(jīng)網(wǎng)絡(luò)概念和訓(xùn)練調(diào)參經(jīng)驗(yàn)這會(huì)讓你在任何框架間遷移都很快?？蚣苤皇枪ぞ叩讓拥奶荻认陆?、反向傳播、損失函數(shù)這些思想是完全共通的。真正讓你在深度學(xué)習(xí)路上走遠(yuǎn)的是對模型、數(shù)據(jù)、訓(xùn)練過程的理解而不是某個(gè)框架的API熟練度。回顧我自己從零入門的過程最大的體會(huì)就是不要等“全部看懂再動(dòng)手”也別在第一行代碼跑通后就急著追求復(fù)雜的模型。先照著一個(gè)標(biāo)準(zhǔn)案例完整走一遍輸入到輸出的閉環(huán)建立起第一步的正反饋然后沿著這個(gè)閉環(huán)不停地做小改動(dòng)、加功能、換數(shù)據(jù)集這樣的學(xué)習(xí)效率是最高的。等你有一天能不看教程獨(dú)立完成一個(gè)圖像分類小項(xiàng)目時(shí)回看今天糾結(jié)的環(huán)境配置和DLL問題會(huì)發(fā)現(xiàn)那些都變成了最簡單不過的小事。