Linux 事件驅動筆記

 I/O Model

  • Synchronous I/O
    • Blocking
    • Non-Blocking
    • I/O multiplexing
  • Asynchronous I/O
Blocking 跟 Non-Blocking 差異只差在選擇!
Blocking 以 read (read from a file descriptor) 來舉例,


從 user space 發出 read (kernel提供的 system call) 之後，
這時候就會切換到 kernel mode，kernel 會依據給定的 file descriptor 去判斷，
這個 fd 來自哪裡，接下來等待資料，因為 kernel space 跟 user space 本身就是 isolated，
這樣在 user space 的 process crash，也不會影響到 kernel space，
所以 kernel space 拿到資料之後，因為 isolated 的關係，要將資料複製到 user space 去。

在這個過程中，user space 的 read 基本上就是一直在等結果。

read 如果失敗會有 err number
可以注意
  • EAGAIN
  • EWOULDBLOCK
Non-blocking 就是類似一直來問 read 目前的狀態，
kernel 回到 user space 可能裝置還沒準備好，或是要等之後的操作才會生效，
這時候就會發出 EAGAIN 的錯誤，EAGAIN 不代表是真的錯誤，再試一次可能就可以，


I/O Multiplexing (這個邏輯跟數位邏輯的 mux 很像，故取做 IO multiplexing)
multiplexing => 有多個輸入(input), 可以透過一個 select 去決定輸出
假設 Linux 要等待很多種資料, 就可以用這個概念，去監控哪個 fd 有資料，
有資料的話就挑選出來!

所以 I/O Multiplexing 本質還是 blocking，只是可以一次監聽多個
所以像網頁伺服器要監聽很多個 incoming request，就可以用這種方式處理





  • select
    • 單個 process 可以被監聽的 fd 數量有限制 (跟這個 /proc/sys/fs/file-max 有關)
    • 因為是一個一個詢問(輪詢)，所以監聽越多 fd，效能會越不好
  • epoll
    • 可以監聽的 fd 遠遠比 select or poll 多很多
    • 因為不是輪詢的方式，效率會好很多
    • 在ET模式下，有資料就會以類似 event 的方式通知
    • Edge Trigger (ET)
      • 監聽到 fd 從不可讀變成可讀這種狀態變化時馬上通知
    • Level Trigger (LT)
      • 只要有資料就一直通知

Asynchronous I/O 如果要發揮的很有效率，一定要 kernel 參與才可以!
Non-blocking 要一直去問，一直去監聽
Asynchronous 則是完成後有人會通知你!




Application  -- 發出request (enqueue) --> ↓
                               Request list (queue) ←
                                | request 1 (fd1) |
                                | request 2 (fd2)|
                                | request 3 (fd3)|

剩下的就是等 worker 處理完畢之後，發出 signal 通知
AIO 可以想像成就是寄信, send and forget
把要求 enqueue 到 kernel

io_uring (liburing)


Submission Queue (SQ)
  • 提交
Completion Queue (CQ)
  • 完成

Reference:

留言

張貼留言

這個網誌中的熱門文章

[MySQL] schema 與資料類型優化

圖片
選擇優化的資料類型 原則: 越小越好 因為會佔用最小的磁碟、記憶體與CPU快取。 越簡單越好 操作整數比操作字串代價低，因為字串排序規則 ex: 儲存ip應該用 unsigned int - 4 bytes, 用 varchar 會用到 15 bytes 儲存時間應該用 mysql 內建的時間類型 DATETIME, TIMESTAMP可以儲存相同資料：時間日期，精確到秒 TIMESTAMP 只用 DATETIME 一半的儲存空間，根據時區自動變化 TIMESTAMP 允許的時間範圍比 DATETIME 小很多 避免 NULL 在 innodb 上有單獨的 bit 儲存 null 值，但在 myisam，但還是盡量避免 整數類型 tinyint - 8 bits smallint - 16 bits mediumint - 24 bits int - 32 bits bigint - 64 bits 如果是有正負數的，會因為 1 bits 會用來記錄正負，故範圍為 -2^(n-1) ~ 2^(n-1) unsigned 的範圍則是 -2^n ~ 2^n MySQL 可以為整數指定寬度，例如 INT(11)，其實沒什麼意義，11只是表示與 MySQL 相關工具(client 端的 cli) 用來顯示的長度，對於儲存與計算來說，INT(1)與INT(20)是一樣的。 實數類型 decimal(M,N) - M: 最大位數, N: 小數點後有幾位 ex: decimal(18, 9) => 9位數字.9位數字，總共使用 9 個 bytes float => 4 bytes double => 8 bytes decimal的計算雖然比較精確，但需要額外，但需要額外的空間與計算開銷，資料量較大時，可以用 bigint 代替 decimal，假設需要精準到萬分之一，則可以將數字*1百萬，將結果存在 bigint 內，可以同時避免福點數計算不精準與 decimal 計算代價太高。 字串類型 VARCHAR row_format=fix，這樣就都會固定長度，沒意義 varchar會需要額外1~2 bytes記錄長度, 假設用 latin1 charset, varchar(10) => 11 bytes, varchar(1000) => 1002...
閱讀完整內容

[翻譯] 介紹現代網路負載平衡與代理伺服器

圖片
原文(Source): https://blog.envoyproxy.io/introduction-to-modern-network-load-balancing-and-proxying-a57f6ff80236 什麼是網路負載平衡 (network load balancing) 與 代理伺服器的代理行為 (proxying)? 維基百科是這樣定義負載平衡的 > 負載平衡藉由工作量分配到多台運算資源, 例如: 主機, 主機叢集, 網路連結, CPU,  硬碟等. > 負載平衡盡量最佳化資源的使用, 最大化每個最大化每個資源的吞吐量(生產能力), 最小化反應時間, 避免單一資源工作量過重 > 使用多個資源來當負載平衡來提升可靠與高可用而不是單一個資源 > 負載平衡總是使用獨立的軟體或硬體, 例如獨立的 multilayer switch, 或是 DNS主機的程式 上面的定義用於各資訊領域的各方面, 不單單只有網路而已. 作業系統使用負載平衡在實體處理器去分配運算任務, 容器編排服務像是K8S使用負載平衡在不同的主機叢集中去分配任務, 而網路負載平衡器則是將網路上進來的任務分配給可用的後端主機們. 剩下的文章主要都是講解關於網路負載平衡. 圖1 圖1展示了從應用層來看網路負載平衡. 許多的用戶端(Client)透過只需要向 load balancer 請求, load balancer就會將這些request, 也就是上述提到的任務分配給可用的後端服務. Load balancer位於Client 與後端之間執行幾個重要的任務: 服務發現 (Service discovery) 後端的服務在系統的哪裡, 他們的IP(位置)是什麼? (也就是load balancer該如何與後端主機溝通) 服務的狀態檢查 (Health checking) 現在的服務是否是可接受請求的 負載平衡 (Load Balancing) 該用什麼樣的演算法去平均將request分配給可用的服務 在分散式系統使用負載平衡主要有幾個好處: 主機抽象 (Naming abstraction): 每個client 不需要知道每個後端服務在哪, 只需要利用預先定義好的機制向負載平衡器...
閱讀完整內容