Linux 核心設計 (Linux Kernel Internals)

• Instructor: Jim Huang (黃敬群) <jserv.tw@gmail.com>
  • Facebook 粉絲專頁 (不要擔心提了笨問題，這專門用來和學生互動，可預約一對一討論)
• 討論區: https://www.facebook.com/groups/system.software2020/
• 課程信箱: <embedded.master2015@gmail.com>, 往年課程進度
• 注意: 下方課程進度表標註有 * 的項目，表示內附錄影的教材

Linux 核心設計 (Spring 2020) 課程進度表暨線上資源

• 第 1 週 (Feb 18): 誠實面對自己
  • 課程簡介和注意須知 / 課程簡介和作業解說錄影*
    • 每週均安排隨堂測驗，採計其中最高分的 8 次
    • 學期評分方式: 隨堂測驗 (25%) + 個人作業 (25%) + 分組報告及專題 (25%) + 自我評分 (25%)
  • 歷屆修課學生心得: 張家榮, 陳品睿, 蕭奕凱, 方鈺學
  • 分組報告示範: ARM-Linux, Xvisor
  • Linux 核心設計 (線上講座)*
  • GNU/Linux 開發工具共筆*: 務必 自主 學習 Linux 操作, Git, HackMD, LaTeX 語法 (特別是數學式), GNU make, perf, gnuplot
  • 透過 Computer Systems: A Programmer’s Perspective 學習系統軟體*: 本課程指定的教科書 (請及早購買: 天瓏書店)
  • 軟體缺失導致的危害
    • 1970 年代推出的首款廣體民航客機波音 747 軟體由大約 40 萬行程式碼構成，而 2011 年引進的波音 787 的軟體規模則是波音 747 的 16 倍，約 650 萬行程式碼。換言之，你我的性命緊繫於一系列極為複雜的軟體系統之中，能不花點時間了解嗎？
    • 軟體開發的安全性設計和測試驗證應獲得更高的重視
  • 解讀計算機編碼
    • 人們對數學的加減運算可輕易在腦中辨識符號並理解其結果，但電腦做任何事都受限於實體資料儲存及操作方式，換言之，電腦硬體實際只認得 0 和 1，卻不知道符號 + 和 - 在數學及應用場域的意義，於是工程人員引入「補數」以表達人們認知上的正負數
    • 您有沒有想過，為何「二補數」(2’s complement) 被電腦廣泛採用呢？背後的設計考量是什麼？本文嘗試從數學觀點去解讀編碼背後的原理
  • linked list 和非連續記憶體操作* / linked list 題目分析*
  • 作業: 3 月 21 日截止繳交
    • lab0
  • 第 1 週隨堂測驗: 題目 (內含作答表單) (此次不計分，熱身用) / 參考題解1, 參考題解2
• 第 2 週 (Feb 25): C 語言程式設計
  • 系統軟體開發思維
  • C 語言: 數值系統*
    • 儘管數值系統並非 C 語言所特有，但在 Linux 核心大量存在 u8/u16/u32/u64 這樣透過 typedef 所定義的型態，伴隨著各式 alignment 存取，若學員對數值系統的認知不夠充分，可能立即就被阻擋在探索 Linux 核心之外 —— 畢竟你完全搞不清楚，為何在 Linux 核心存取特定資料需要繞一大圈。
  • C 語言: Bitwise 操作*
    • Linux 核心原始程式碼存在大量 bit(-wise) operations (簡稱 bitops)，頗多乍看像是魔法的 C 程式碼就是 bitops 的組合。
  • 為什麼要深入學習 C 語言？*
    • C 語言發明者 Dennis M. Ritchie 說：「C 很彆扭又缺陷重重，卻異常成功。固然有歷史的巧合推波助瀾，可也的確是因為它能滿足於系統軟體實作的程式語言期待：既有相當的效率來取代組合語言，又可充分達到抽象且流暢，能用於描述在多樣環境的演算法。」
    • Linux 核心作為世界上最成功的開放原始碼計畫，也是 C 語言在工程領域的瑰寶，裡頭充斥各式「藝術」，往往會嚇到初次接觸的人們，但總是能夠用 C 語言標準和開發工具提供的擴展 (主要來自 gcc 的 GNU extensions) 來解釋。
  • 基於 C 語言標準研究與系統程式安全議題
    • 藉由研讀漏洞程式碼及 C 語言標準，討論系統程式的安全議題
    • 透過除錯器追蹤程式碼實際運行的狀況，了解其運作原理;
    • 取材自 dangling pointer, CWE-416 Use After Free, CVE-2017-16943 以及 integer overflow 的議題;
  • C 語言：記憶體管理、對齊及硬體特性*
    • 搭配閱讀: The Lost Art of Structure Packing
    • 從虛擬記憶體談起，歸納出現代銀行和虛擬記憶體兩者高度相似: malloc 給出 valid pointer 不要太高興，等你要開始用的時候搞不好作業系統給個 OOM ——簡單來說就是一張支票，能不能拿來開等到兌現才知道。
    • 探討 heap (動態配置產生，系統會存放在另外一塊空間)、data alignment，和 malloc 實作機制等議題。這些都是理解 Linux 核心運作的關鍵概念。
  • C 語言: bit-field
    • bit field 是 C 語言一個很被忽略的特徵，但在 Linux 和 gcc 這類系統軟體很常出現，不僅是精準規範每個 bit 的作用，甚至用來「擴充」C 語言
  • Week2 隨堂測驗: 題目 (內含作答表單) (此次不計分，熱身用)
• 第 3 週 (Mar 3): C 語言程式設計
  • Linux: 作業系統術語及概念*
  • C 語言: 指標*
    • 應可體會為何走訪 linked list 節點的程式碼要這樣寫: struct list **lpp; for (lpp = &list; *lpp != NULL; lpp = &(*lpp)->next)
  • C 語言: 函式呼叫*
    • 著重在計算機架構對應的支援和行為分析
  • C 語言: 遞迴呼叫*
    • 或許跟你想像中不同，Linux 核心的原始程式碼裡頭也用到遞迴函式呼叫，特別在較複雜的實作，例如檔案系統，善用遞迴可大幅縮減程式碼，但這也導致追蹤程式運作的難度大增
  • C 語言: 前置處理器應用*
    • C 語言之所以不需要時常發佈新的語言特徵又可以保持活力，前置處理器 (preprocessor) 是很重要的因素，有心者可逕行「擴充」C 語言
  • C 語言: goto 和流程控制*
    • goto 在 C 語言被某些人看做是妖魔般的存在，不過實在不用這樣看待，至少在 Linux 核心原始程式碼中，goto 是大量存在 (跟你想像中不同吧)。有時不用 goto 會寫出更可怕的程式碼
  • C 語言程式設計技巧*
  • 作業: 3 月 21 日截止繳交，作業份量相當可觀，務必及早開始
    • review, fibdrv, quiz2
  • Week3 隨堂測驗: 題目 (內含作答表單), 參考題解
  • 課程基本資料表單: 務必填寫，以接收課程資訊
• 第 4 週 (Mar 10): 浮點數 + 編譯器和連結器
  • 浮點數運算: 工程領域往往是一系列的取捨結果，浮點數更是如此，在軟體發開發有太多失誤案例源自工程人員對浮點數運算的掌握不足，本議程希望藉由探討真實世界的血淋淋案例，帶著學員思考 IEEE 754 規格和相關軟硬體考量點，最後也會探討在深度學習領域為了改善資料處理效率，而引入的 BFloat16 這樣的新標準
  • 核心開發者當然要熟悉編譯器行為
    • Linus Torvalds 教你分析 gcc 行為
    • Pointers are more abstract than you might expect in C

    int main(void) {
    int a, b;
    int *p = &a;
    int *q = &b + 1;
    return p == q;
    }

    這段程式碼在 gcc 開啟/關閉編譯器最佳化，會有截然不同的返回值 (-O0 編譯會得到 0; -O1 或更高等級編譯會得到 1)，為何？C 語言標準並未定義像 a, b 在記憶體中的配置，因此比較其記憶體位置屬於未定義行為，當最佳化未開啟時，GCC 不檢查程式行為是否符合 C 規範，才會去比較其內容，而在最佳化啟動後，推論這樣的未定義行為而略去記憶體操作。
  • C 編譯器原理和案例分析*
  • C 語言: 未定義行為*: C 語言最初為了開發 UNIX 和系統軟體而生，本質是低階的程式語言，在語言規範層級存在 undefined behavior，可允許編譯器引入更多最佳化
  • C 語言: 編譯器和最佳化原理*
  • C 語言: 動態連結器*
  • C 語言: 連結器和執行檔資訊*
  • C 語言: 執行階段程式庫 (CRT)*
  • Linux-based RTOS Experimental Platform for Constructing Self-driving Vehicles
    • video0, video1, video2
  • 作業: 3 月 28 日截止繳交
    • quiz3, quiz4
  • Week4 隨堂測驗: 題目 (內含作答表單)
• 第 5 週 (Mar 17): 作業回顧 + code review
  • 提升程式可讀性之實務技巧: (1), (2), (3)
  • 針對 Homework1 的 Code Review 解說*
  • Week5 隨堂測驗: 題目 (內含作答表單)
• 第 6 週 (Mar 24): Linux Process
  • 針對 Homework2 的 Code Review 解說*
  • Linux: 透過 eBPF 觀察作業系統行為*: 動態追蹤技術（dynamic tracing）是現代軟體的進階除錯和追蹤機制，讓工程師以非常低的成本，在非常短的時間內，克服一些不是顯而易見的問題。它興起和繁榮的一個大背景是，我們正處在一個快速增長的網路互連異質運算環境，工程人員面臨著兩大方面的挑戰：
    • 規模：無論是使用者規模還是機房的規模、機器的數量都處於快速增長的時代;
    • 複雜度：業務邏輯越來越複雜，運作的軟體也變得越來越複雜，我們知道它會分成很多很多層次，包括作業系統核心和其上各種系統軟體，像資料庫和網頁伺服器，再往上有腳本語言或者其他高階語言的虛擬機器或執行環境，更上面是應用層面的各種業務邏輯的抽象層次和很多複雜的程式邏輯。
  • Linux: 不僅是個執行單元的 Process*: Linux 核心對於 UNIX Process 的實作相當複雜，不僅蘊含歷史意義 (幾乎每個欄位都值得講古)，更是反映出資訊科技產業的變遷，核心程式碼的 task_struct 結構體更是一絕，廣泛涵蓋 process 狀態、處理器、檔案系統、signal 處理、底層追蹤機制等等資訊，更甚者，還很曖昧地保存著 thread 的必要欄位，好似這兩者天生就脫不了干係
    • 探討 Linux 核心設計的特有思維，像是如何透過 LWP 和 NPTL 實作執行緒，又如何透過行程建立記憶體管理的一種抽象層，再者回顧行程間的 context switch 及排程機制，搭配 signal 處理
  • Linux: 不只挑選任務的排程器*: 排程器 (scheduler) 是任何一個多工作業系統核心都具備的機制，但彼此落差極大，考量點不僅是演算法，還有當應用規模提昇時 (所謂的 scalability) 和涉及即時處理之際，會招致不可預知的狀況 (non-determinism)，不僅即時系統在意，任何建構在 Linux 核心之上的大型服務都會深受衝擊。是此，Linux 核心的排程器經歷多次變革，需要留意的是，排程的難度不在於挑選下一個可執行的行程 (process)，而是讓執行完的行程得以安插到合適的位置，使得 runqueue 依然依據符合預期的順序。
  • in-kernel HTTP server*
  • 作業
    • kcalc, khttpd
  • Week6 隨堂測驗: 題目
• 第 7 週 (Mar 31): 處理器架構和並行處理
  • 現代處理器設計：原理和關鍵特徵*
  • CS:APP 第 12 章
    • Concurrency / 錄影*
    • Synchronization: Basic / 錄影*
    • Synchronization: Advanced / 錄影*
    • Thread-Level Parallelism / 錄影*
  • Concurrent Programming (並行程式設計)*
  • Linux: 淺談同步機制*
  • Linux: 多核處理器和 spinlock*
    • Toward a Better Use of C11 Atomics: Part 1, Part 2
    • Part 1: Mutex Locks
    • Part 2: Counting Semaphores
    • Part 3: Working with Mutexes And Semaphores
    • Part 4: The Critical Section Problem
    • Part 5: Condition Variables
    • Part 6: Implementing a barrier
    • Part 7: The Reader Writer Problem
    • Part 8: Ring Buffer Example
    • Part 9: Synchronization Across Processes
  • 作業
    • kecho
  • Week7 隨堂測驗: 題目 (內含作答表單)
• 第 8 週 (Apr 7): 執行緒實作機制, timer 和 signal
  • User-level threads / 錄影*
    • Some quick notes on threading models, Implementation of FlexSC on Linux Kernel v5.0+ and Performance Analysis
  • Linux: 中斷處理和現代架構考量*
  • Linux: Timer 及其管理機制*
  • Linux: Scalability 議題*
  • 高效能 Web 伺服器開發
  • User-Level Thread Library / threads
  • 建構 User-Mode Linux 的實驗環境*
  • 作業
    • sehttpd, fiber
  • Week8 隨堂測驗: 題目 (內含作答表單)
• 第 9 週 (Apr 14): 虛擬記憶體
  • CS:APP 第 3 章重點提示和練習
  • Arm 處理器: 系列講座導論, 架構和指令集, 基礎指令和開發環境, 虛擬化技術和應用
    • 你可曾想過，就算選修了電機資訊相關科系大部份的課程，自己仍對每天用的手機，完全沒概念，是不是很沮喪呢？裡頭運作 ARM 處理器，但你知道裡面的 CPU pipeline 如何運作？裡頭的 cache 如何運作？四核心、八核心到底又如何運作？CPU 和 GPU 之間如何通訊？
    • 系列講座預計涵蓋 ARMv7-A/M, ARMv8-A/M, virtualization extension, 以及對應的系統軟體技術，像是 big.LITTLE, hypervisor, 和 TEE 的概念介紹
  • video: 為什麼要學數學？
    • 倖存者偏差: 只考慮到偏頗的統計數據
    • 用線性思維來思考所有事物導致的謬誤
    • 黑天鵝事件
    • 萬物都有對應的數學模型，而掌握數學就是掌握一種認知的工具，得以更清晰地認識世界
  • 為何要掌握數學？
    • 即使 Linux 核心內部也大量可見: 從 CPU cache 一致性的角度看 Linux spinlock 的 non-scalable
    • 隱藏在字典裡的數學
    • Linux: Add Policy Engine Algorithmic Bloom Filter Entries Register
  • CS:APP 第 2 章重點提示和練習
  • 圖解傅立葉分析
    • Linux 核心中 Atheros Communications Inc. 無線網路裝置驅動程式的原始程式碼用到 FFT
  • 作業
    • riscv, smallsys
  • CS:APP 第 3 章重點提示和練習
  • CS:APP 第 6 章重點提示
  • Cache 原理和實際影響
  • software-pipelining
  • CPU caches by Ulrich Drepper
  • CS:APP 第 9 章重點提示
  • GC
    • 透過 hashmap 用以加速 linked list 的存取
    • mark & sweep collector
    • 指出 ogc 實作的缺失
  • bitops
    • BUG_ON 巨集
    • 亂數產生器
    • 參考實作
  • Linux: 賦予應用程式生命的系統呼叫
  • Linux: 記憶體管理
  • 作業
    • daemon
• 第 10 週 (Apr 21): I/O 與例外處理
  • CS:APP 第 5 章重點提示和練習
  • CS:APP Assign 5.18
  • 回顧 Homework4
  • CS:APP 第 8 章重點提示: C 語言: Stream I/O, EOF 和例外處理
  • CS:APP 第 10 章重點提示
  • Linux: 中斷處理和現代架構考量
  • Learn where some of the network sysctl variables fit into the Linux/Kernel network flow
  • 作業
    • gc
• 第 11 週 (Apr 28): 資料結構
  • C 語言: 物件導向程式設計
  • Functional Programming 風格的 C 語言實作
    • 是種 programming paradigm (開發典範)，不是 design pattern 也不是 framework，更不是 language。簡單來說，FP 是種以數學函數為中心的「思考方式」與「程式風格」;
    • 透過 C 語言程式提供若干案例，如列舉數值、(不需要動態配置記憶體的) 反轉 linked list 元素、對 Linked List 元素進行合併排序;
  • An Introduction to Cache-Oblivious Data Structures
    • 「自動快取資料結構」，特性是無視硬體特定的快取大小，可能達到接近最優化快取的效能;
    • 在現代 CPU 多層多種大小的快取架構下，它的理論宣稱其能自動優化在所有層的快取的存儲效率。傳統上電腦科學做偏理論的不太重視實作上的效能，而做實作或硬體優化的則不太重視理論分析。這個學門卻是橫跨了相當理論的演算法分析（需要相當多的進階數學工具），以及相當低階的硬體效能理解;
    • 影片: Memory Hierarchy Models
    • Google Research 強者的心得: 關於變強這檔事（九）
    • Skip List: 置放大量數字並進行排序的資料結構。不用樹狀結構，而改用高度不同的 List 來連接資料。資料結構在概念上可以表示成 Left Child-Right Sibling Binary Tree 的模式。是 Cache-oblivious Algorithm 的經典範例，時間複雜度與空間複雜度與 Binary Search Tree 皆相同，但是實際運作效率比 Binary Search Tree 還要好。
    • Linux 核心: A kernel skiplist implementation (Part 1), Skiplists II: API and benchmarks
  • Object-oriented design patterns in the kernel, part 1 / Object-oriented design patterns in the kernel, part 2
  • Linux: linked list, Queues, Maps, Binary Trees: 錄影 / 共筆
  • Week 11 隨堂測驗:
    • 題目(上) / 作答表單
    • 題目(中) / 作答表單
    • 題目(下) / 作答表單
  • 作業
    • ringbuffer, skiplist, buddy
• 第 12 週 (May 5): 同步機制
  • Announcing WSL 2
    • WSL (Windows Subsystem for Linux) 是 Microsoft 提供可免費下載和使用的軟體，可讓您直接在 MS-Windows 上執行原生 Linux 命令列工具與傳統 Windows 桌面，而不需要額外的虛擬機器;
    • 現在為了強化相容性，WSL 2 乾脆附上真的可執行的 Linux 核心 (!) 並透過虛擬化技術，高效率地執行，目前公佈的材料指出，檔案系統方面的效能提升了 20 倍，而且 Docker 一類的容器可更好地運作;
    • 這項變更預計隨著 Windows Update 釋出，預計會有全新 Windows Terminal，並且開放原始碼，關鍵特徵包含支援 Tab 和透過 GPU 加速文字描繪處理
  • Linux: RCU 同步機制
  • C11 atomic variables and the kernel / [Linux Documentation: Circular Buffers]
• 第 13 週 (May 12): 電腦網路和裝置驅動程式模型
  • 填寫分組表格
  • video: How TCP/IP Works
  • CS:APP 第 11 章重點提示
  • Making C Less Dangerous in the Linux Kernel / 錄影
    • Linux 核心中各式 C 語言程式設計的安全和正確議題
    • Variable Length Arrays are bad and slow
    • Explicit switch case fall-through
    • Always-initialized automatic variables
    • Arithmetic overflow detection
    • Hope for bounds checking
    • Control Flow Integrity: forward edges
    • Control Flow Integrity: backward edges
    • 也提供了 gcc/clang 相關的編譯參數
    • 解說1, 解說2
  • Linux: 裝置驅動程式介面和模型 / 錄影 by Greg Kroah-Hartman
  • How to avoid writing device driversfor embedded Linux / 錄影
  • Linux: Device Tree / 錄影
  • Week 13 隨堂測驗:
    • 題目 / 作答表單
• 第 14 週 (May 19): 作業回顧
  • video: The kernel report 2018: 對應於 v4.20
  • 分組表
  • Homework5
  • Homework6
  • 課堂互動區
• 第 15 週 (May 26): 檔案系統
  • video: Introduction to Memory Management in Linux
    • slides 任職於 SoftIron (銷售 64-bit ARM 伺服器的公司，提供豐富的軟體支援) 的 Alan Ott 以 “Introduction to Memory Management in Linux” 為題，在 ELC 發表演說，非常精實，一口氣回顧計算機組織結構 (根本就是真人版本的「十分鐘理解記憶體管理」)，並深入淺出地探討 Linux 的各項設計 涵蓋 CONFIG_PAGE_OFFSET 的切割、swap, page fault, mmap/brk/sbrk, kmalloc()/vmalloc(), DMA 等等。
  • Linux: 檔案系統和虛擬檔案系統設計
  • Drive your NAND within Linux / 錄影
  • Flash-Friendly File System (F2FS) / 錄影
  • PACKET_MMAP
    • Binding the socket to your network interface is mandatory (with zero copy) to know the header size of frames used in the circular buffer.
  • Week 15 隨堂測驗:
    • 題目 / 作答表單
• 第 16 週 (Jun 2): 多處理器架構和 Scalability
  • Linux: Optimization for Scalability
  • Multiprocessor OS
• 第 17 週 (Jun 9): 多處理器架構和 Real-time
  • Linux: Optimization for Scalability
  • Multiprocessor OS
  • PREEMPT_RT 作為邁向硬即時作業系統
  • 分組表
  • 課堂互動區
• 第 18 週 (Jun 16): 多核處理器和時鐘管理
  • Linux: Timer 及其管理機制
  • Memory Barrier
    • Memory Barriers in the Linux Kernel: Semantics and Practices
    • Linux-Kernel Memory Ordering: Help Arrives At Last! / video