騰訊一面：32 位 4GB 系統(tǒng)，訪問 2GB 數(shù)據(jù)，虛擬內(nèi)存會發(fā)生什么？

大家好，我是小林。

今天有讀者給我發(fā)了他 8 月份面騰訊的面經(jīng)，被問到的問題還挺多的。

操作系統(tǒng)和網(wǎng)絡面試整個面試 60%，剩下40%是 Java+項目的內(nèi)容（讀者的技術棧是 Java 方向）。

這次，我主要是截取操作系統(tǒng)和網(wǎng)絡相關的問題給大家解析一波。

騰訊面試問題

操作系統(tǒng)

單核可以多線程嗎？

可以的。

單核創(chuàng)建了多線程，CPU 會從一個進程快速切換至另一個進程，其間每個進程各運行幾十或幾百個毫秒，雖然單核的 CPU 在某一個瞬間，只能運行一個進程。但在 1 秒鐘期間，它可能會運行多個進程，這樣就產(chǎn)生并行的錯覺，實際上這是并發(fā)。

并發(fā)與并行

虛擬地址怎么找到對應的內(nèi)容的？

操作系統(tǒng)內(nèi)存管理方式主要兩種，不同的管理方式，尋址的實現(xiàn)是不同的：

內(nèi)存分段：將進程的虛擬地址空間劃分為多個不同大小的段，每個段對應一個邏輯單位，如代碼段、數(shù)據(jù)段、堆段和棧段。每個段的大小可以根據(jù)需要進行調(diào)整，使得不同段可以按需分配和釋放內(nèi)存。虛擬內(nèi)存分段的優(yōu)點是可以更好地管理不同類型的數(shù)據(jù)，但是由于段的大小不一致，容易產(chǎn)生外部碎片。內(nèi)存分頁：將進程的虛擬地址空間劃分為固定大小的頁，同時將物理內(nèi)存也劃分為相同大小的頁框。通過頁表將虛擬地址映射到物理地址，并且可以按需加載和釋放頁。虛擬內(nèi)存分頁的優(yōu)點是可以更好地利用物理內(nèi)存空間，但是可能會產(chǎn)生內(nèi)部碎片。

分段的尋址方式

分段機制下的虛擬地址由兩部分組成，段選擇因子和段內(nèi)偏移量。

img

段選擇因子和段內(nèi)偏移量：

段選擇子

• 就保存在段寄存器里面。段選擇子里面最重要的是

段號

• ，用作段表的索引。

段表

• 里面保存的是這個

段的基地址、段的界限和特權等級

• 等。虛擬地址中的

段內(nèi)偏移量

應該位于 0 和段界限之間，如果段內(nèi)偏移量是合法的，就將段基地址加上段內(nèi)偏移量得到物理內(nèi)存地址。

在上面，知道了虛擬地址是通過段表與物理地址進行映射的，分段機制會把程序的虛擬地址分成 4 個段，每個段在段表中有一個項，在這一項找到段的基地址，再加上偏移量，于是就能找到物理內(nèi)存中的地址，如下圖：

img

如果要訪問段 3 中偏移量 500 的虛擬地址，我們可以計算出物理地址為，段 3 基地址 7000 + 偏移量 500 = 7500。

分段的辦法很好，解決了程序本身不需要關心具體的物理內(nèi)存地址的問題，但它也有一些不足之處：

• 第一個就是

內(nèi)存碎片

• 的問題。第二個就是

內(nèi)存交換的效率低

的問題。

分頁的尋址方式

虛擬地址與物理地址之間通過頁表來映射，如下圖：

img

頁表是存儲在內(nèi)存里的，內(nèi)存管理單元 （MMU）就做將虛擬內(nèi)存地址轉(zhuǎn)換成物理地址的工作。

而當進程訪問的虛擬地址在頁表中查不到時，系統(tǒng)會產(chǎn)生一個缺頁異常，進入系統(tǒng)內(nèi)核空間分配物理內(nèi)存、更新進程頁表，最后再返回用戶空間，恢復進程的運行。

在分頁機制下，虛擬地址分為兩部分，頁號和頁內(nèi)偏移。頁號作為頁表的索引，頁表包含物理頁每頁所在物理內(nèi)存的基地址，這個基地址與頁內(nèi)偏移的組合就形成了物理內(nèi)存地址，見下圖。

img

總結一下，對于一個內(nèi)存地址轉(zhuǎn)換，其實就是這樣三個步驟：

把虛擬內(nèi)存地址，切分成頁號和偏移量；根據(jù)頁號，從頁表里面，查詢對應的物理頁號；直接拿物理頁號，加上前面的偏移量，就得到了物理內(nèi)存地址。

下面舉個例子，虛擬內(nèi)存中的頁通過頁表映射為了物理內(nèi)存中的頁，如下圖：

img

32位 4G 執(zhí)行2G的東西，虛擬內(nèi)存會有什么變化呢？

應用程序通過 malloc 函數(shù)申請內(nèi)存的時候，實際上申請的是虛擬內(nèi)存，此時并不會分配物理內(nèi)存。

當應用程序讀寫了這塊虛擬內(nèi)存，CPU 就會去訪問這個虛擬內(nèi)存， 這時會發(fā)現(xiàn)這個虛擬內(nèi)存沒有映射到物理內(nèi)存， CPU 就會產(chǎn)生缺頁中斷，進程會從用戶態(tài)切換到內(nèi)核態(tài)，并將缺頁中斷交給內(nèi)核的 Page Fault Handler （缺頁中斷函數(shù)）處理。

缺頁中斷處理函數(shù)會看是否有空閑的物理內(nèi)存：

如果有，就直接分配物理內(nèi)存，并建立虛擬內(nèi)存與物理內(nèi)存之間的映射關系。如果沒有空閑的物理內(nèi)存，那么內(nèi)核就會開始進行回收內(nèi)存的工作，比如會進行 swap 機制。

什么是 Swap 機制？

當系統(tǒng)的物理內(nèi)存不夠用的時候，就需要將物理內(nèi)存中的一部分空間釋放出來，以供當前運行的程序使用。那些被釋放的空間可能來自一些很長時間沒有什么操作的程序，這些被釋放的空間會被臨時保存到磁盤，等到那些程序要運行時，再從磁盤中恢復保存的數(shù)據(jù)到內(nèi)存中。

另外，當內(nèi)存使用存在壓力的時候，會開始觸發(fā)內(nèi)存回收行為，會把這些不常訪問的內(nèi)存先寫到磁盤中，然后釋放這些內(nèi)存，給其他更需要的進程使用。再次訪問這些內(nèi)存時，重新從磁盤讀入內(nèi)存就可以了。

這種，將內(nèi)存數(shù)據(jù)換出磁盤，又從磁盤中恢復數(shù)據(jù)到內(nèi)存的過程，就是 Swap 機制負責的。

Swap 就是把一塊磁盤空間或者本地文件，當成內(nèi)存來使用，它包含換出和換入兩個過程：

換出（Swap Out）

• ，是把進程暫時不用的內(nèi)存數(shù)據(jù)存儲到磁盤中，并釋放這些數(shù)據(jù)占用的內(nèi)存；

換入（Swap In）

，是在進程再次訪問這些內(nèi)存的時候，把它們從磁盤讀到內(nèi)存中來；

Swap 換入換出的過程如下圖：

img

使用 Swap 機制優(yōu)點是，應用程序?qū)嶋H可以使用的內(nèi)存空間將遠遠超過系統(tǒng)的物理內(nèi)存。由于硬盤空間的價格遠比內(nèi)存要低，因此這種方式無疑是經(jīng)濟實惠的。當然，頻繁地讀寫硬盤，會顯著降低操作系統(tǒng)的運行速率，這也是 Swap 的弊端。

內(nèi)核態(tài)和用戶態(tài)的區(qū)別是什么？

內(nèi)核態(tài)和用戶態(tài)是操作系統(tǒng)中的兩種不同的執(zhí)行模式。

內(nèi)核態(tài)是操作系統(tǒng)運行在特權級別最高的模式下的狀態(tài)，它具有對系統(tǒng)資源的完全控制權。在內(nèi)核態(tài)下，操作系統(tǒng)可以執(zhí)行特權指令，訪問所有的內(nèi)存和設備，以及執(zhí)行關鍵的系統(tǒng)操作。內(nèi)核態(tài)下運行的代碼通常是操作系統(tǒng)內(nèi)核或驅(qū)動程序。

用戶態(tài)是應用程序運行的一種模式，它運行在較低的特權級別下。在用戶態(tài)下，應用程序只能訪問有限的系統(tǒng)資源，不能直接執(zhí)行特權指令或訪問內(nèi)核級別的數(shù)據(jù)。用戶態(tài)下運行的代碼通常是應用程序或用戶進程。

內(nèi)核態(tài)和用戶態(tài)的區(qū)別在于權限和資源訪問的限制。內(nèi)核態(tài)具有更高的權限和更廣泛的資源訪問能力，而用戶態(tài)受到限制，只能訪問有限的資源。操作系統(tǒng)通過將關鍵的操作和資源保護在內(nèi)核態(tài)下來確保系統(tǒng)的安全性和穩(wěn)定性。用戶程序通過系統(tǒng)調(diào)用的方式向操作系統(tǒng)請求服務或資源，并在用戶態(tài)下執(zhí)行，以提供更高的隔離性和安全性。

網(wǎng)絡協(xié)議

http常見響應碼有哪些？

HTTP 狀態(tài)碼分為 5 大類：1XX：表示消息狀態(tài)碼；2XX：表示成功狀態(tài)碼；3XX：表示重定向狀態(tài)碼；4XX：表示客戶端錯誤狀態(tài)碼；5XX：表示服務端錯誤狀態(tài)碼。

五大類 HTTP 狀態(tài)碼

其中常見的具體狀態(tài)碼有：200：請求成功；301：永久重定向；302：臨時重定向；404：無法找到此頁面；405：請求的方法類型不支持；500：服務器內(nèi)部出錯。

http各個版本的特性？

HTTP/1.1 相比 HTTP/1.0 性能上的改進：

使用長連接的方式改善了 HTTP/1.0 短連接造成的性能開銷。支持管道（pipeline）網(wǎng)絡傳輸，只要第一個請求發(fā)出去了，不必等其回來，就可以發(fā)第二個請求出去，可以減少整體的響應時間。

但 HTTP/1.1 還是有性能瓶頸：

• 請求 / 響應頭部（Header）未經(jīng)壓縮就發(fā)送，首部信息越多延遲越大。只能壓縮

Body

的部分；發(fā)送冗長的首部。每次互相發(fā)送相同的首部造成的浪費較多；服務器是按請求的順序響應的，如果服務器響應慢，會招致客戶端一直請求不到數(shù)據(jù)，也就是隊頭阻塞；沒有請求優(yōu)先級控制；請求只能從客戶端開始，服務器只能被動響應。

HTT/1 ~ HTTP/2

HTTP/2 相比 HTTP/1.1 性能上的改進：

頭部壓縮二進制格式并發(fā)傳輸服務器主動推送資源

1. 頭部壓縮

HTTP/2 會壓縮頭（Header）如果你同時發(fā)出多個請求，他們的頭是一樣的或是相似的，那么，協(xié)議會幫你消除重復的部分。

這就是所謂的 HPACK 算法：在客戶端和服務器同時維護一張頭信息表，所有字段都會存入這個表，生成一個索引號，以后就不發(fā)送同樣字段了，只發(fā)送索引號，這樣就提高速度了。

2. 二進制格式

HTTP/2 不再像 HTTP/1.1 里的純文本形式的報文，而是全面采用了二進制格式，頭信息和數(shù)據(jù)體都是二進制，并且統(tǒng)稱為幀（frame）：頭信息幀（Headers Frame）和數(shù)據(jù)幀（Data Frame）。

HTTP/1 與 HTTP/2

這樣雖然對人不友好，但是對計算機非常友好，因為計算機只懂二進制，那么收到報文后，無需再將明文的報文轉(zhuǎn)成二進制，而是直接解析二進制報文，這增加了數(shù)據(jù)傳輸的效率。

3. 并發(fā)傳輸

我們都知道 HTTP/1.1 的實現(xiàn)是基于請求-響應模型的。同一個連接中，HTTP 完成一個事務（請求與響應），才能處理下一個事務，也就是說在發(fā)出請求等待響應的過程中，是沒辦法做其他事情的，如果響應遲遲不來，那么后續(xù)的請求是無法發(fā)送的，也造成了隊頭阻塞的問題。

而 HTTP/2 就很牛逼了，引出了 Stream 概念，多個 Stream 復用在一條 TCP 連接。

img

從上圖可以看到，1 個 TCP 連接包含多個 Stream，Stream 里可以包含 1 個或多個 Message，Message 對應 HTTP/1 中的請求或響應，由 HTTP 頭部和包體構成。Message 里包含一條或者多個 Frame，F(xiàn)rame 是 HTTP/2 最小單位，以二進制壓縮格式存放 HTTP/1 中的內(nèi)容（頭部和包體）。

針對不同的 HTTP 請求用獨一無二的 Stream ID 來區(qū)分，接收端可以通過 Stream ID 有序組裝成 HTTP 消息，不同 Stream 的幀是可以亂序發(fā)送的，因此可以并發(fā)不同的 Stream ，也就是 HTTP/2 可以并行交錯地發(fā)送請求和響應。

比如下圖，服務端并行交錯地發(fā)送了兩個響應：Stream 1 和 Stream 3，這兩個 Stream 都是跑在一個 TCP 連接上，客戶端收到后，會根據(jù)相同的 Stream ID 有序組裝成 HTTP 消息。

img

4、服務器推送

HTTP/2 還在一定程度上改善了傳統(tǒng)的「請求 - 應答」工作模式，服務端不再是被動地響應，可以主動向客戶端發(fā)送消息。

客戶端和服務器雙方都可以建立 Stream， Stream ID 也是有區(qū)別的，客戶端建立的 Stream 必須是奇數(shù)號，而服務器建立的 Stream 必須是偶數(shù)號。

比如下圖，Stream 1 是客戶端向服務端請求的資源，屬于客戶端建立的 Stream，所以該 Stream 的 ID 是奇數(shù)（數(shù)字 1）；Stream 2 和 4 都是服務端主動向客戶端推送的資源，屬于服務端建立的 Stream，所以這兩個 Stream 的 ID 是偶數(shù)（數(shù)字 2 和 4）。

img

再比如，客戶端通過 HTTP/1.1 請求從服務器那獲取到了 HTML 文件，而 HTML 可能還需要依賴 CSS 來渲染頁面，這時客戶端還要再發(fā)起獲取 CSS 文件的請求，需要兩次消息往返，如下圖左邊部分：

img

如上圖右邊部分，在 HTTP/2 中，客戶端在訪問 HTML 時，服務器可以直接主動推送 CSS 文件，減少了消息傳遞的次數(shù)。

tcp擁塞控制介紹一下

在網(wǎng)絡出現(xiàn)擁堵時，如果繼續(xù)發(fā)送大量數(shù)據(jù)包，可能會導致數(shù)據(jù)包時延、丟失等，這時 TCP 就會重傳數(shù)據(jù)，但是一重傳就會導致網(wǎng)絡的負擔更重，于是會導致更大的延遲以及更多的丟包，這個情況就會進入惡性循環(huán)被不斷地放大....

所以，TCP 不能忽略網(wǎng)絡上發(fā)生的事，它被設計成一個無私的協(xié)議，當網(wǎng)絡發(fā)送擁塞時，TCP 會自我犧牲，降低發(fā)送的數(shù)據(jù)量。

于是，就有了擁塞控制，控制的目的就是避免「發(fā)送方」的數(shù)據(jù)填滿整個網(wǎng)絡。

為了在「發(fā)送方」調(diào)節(jié)所要發(fā)送數(shù)據(jù)的量，定義了一個叫做「擁塞窗口」的概念。

擁塞控制主要是四個算法：

慢啟動擁塞避免擁塞發(fā)生快速恢復

慢啟動

TCP 在剛建立連接完成后，首先是有個慢啟動的過程，這個慢啟動的意思就是一點一點的提高發(fā)送數(shù)據(jù)包的數(shù)量，如果一上來就發(fā)大量的數(shù)據(jù)，這不是給網(wǎng)絡添堵嗎？

慢啟動的算法記住一個規(guī)則就行：當發(fā)送方每收到一個 ACK，擁塞窗口 cwnd 的大小就會加 1。

這里假定擁塞窗口 cwnd 和發(fā)送窗口 swnd 相等，下面舉個栗子：

• 連接建立完成后，一開始初始化

cwnd = 1

• ，表示可以傳一個

MSS

大小的數(shù)據(jù)。當收到一個 ACK 確認應答后，cwnd 增加 1，于是一次能夠發(fā)送 2 個當收到 2 個的 ACK 確認應答后， cwnd 增加 2，于是就可以比之前多發(fā)2 個，所以這一次能夠發(fā)送 4 個當這 4 個的 ACK 確認到來的時候，每個確認 cwnd 增加 1， 4 個確認 cwnd 增加 4，于是就可以比之前多發(fā) 4 個，所以這一次能夠發(fā)送 8 個。

慢啟動算法的變化過程如下圖：

慢啟動算法

可以看出慢啟動算法，發(fā)包的個數(shù)是指數(shù)性的增長。

那慢啟動漲到什么時候是個頭呢？

有一個叫慢啟動門限 ssthresh （slow start threshold）狀態(tài)變量。

• 當

cwnd

• <

ssthresh

• 時，使用慢啟動算法。當

cwnd

• >=

ssthresh

時，就會使用「擁塞避免算法」。

擁塞避免

當擁塞窗口 cwnd 「超過」慢啟動門限 ssthresh 就會進入擁塞避免算法。

一般來說 ssthresh 的大小是 65535 字節(jié)。

那么進入擁塞避免算法后，它的規(guī)則是：每當收到一個 ACK 時，cwnd 增加 1/cwnd。

接上前面的慢啟動的栗子，現(xiàn)假定 ssthresh 為 8：

• 當 8 個 ACK 應答確認到來時，每個確認增加 1/8，8 個 ACK 確認 cwnd 一共增加 1，于是這一次能夠發(fā)送 9 個

MSS

• 大小的數(shù)據(jù)，變成了

線性增長。

擁塞避免算法的變化過程如下圖：

擁塞避免

所以，我們可以發(fā)現(xiàn)，擁塞避免算法就是將原本慢啟動算法的指數(shù)增長變成了線性增長，還是增長階段，但是增長速度緩慢了一些。

就這么一直增長著后，網(wǎng)絡就會慢慢進入了擁塞的狀況了，于是就會出現(xiàn)丟包現(xiàn)象，這時就需要對丟失的數(shù)據(jù)包進行重傳。

當觸發(fā)了重傳機制，也就進入了「擁塞發(fā)生算法」。

擁塞發(fā)生

當網(wǎng)絡出現(xiàn)擁塞，也就是會發(fā)生數(shù)據(jù)包重傳，重傳機制主要有兩種：

超時重傳快速重傳

當發(fā)生了「超時重傳」，則就會使用擁塞發(fā)生算法。

這個時候，ssthresh 和 cwnd 的值會發(fā)生變化：

ssthresh

• 設為

cwnd/2

• ，

cwnd

• 重置為

1

（是恢復為 cwnd 初始化值，我這里假定 cwnd 初始化值 1）

擁塞發(fā)生算法的變化如下圖：

擁塞發(fā)送 —— 超時重傳

接著，就重新開始慢啟動，慢啟動是會突然減少數(shù)據(jù)流的。這真是一旦「超時重傳」，馬上回到解放前。但是這種方式太激進了，反應也很強烈，會造成網(wǎng)絡卡頓。

還有更好的方式，前面我們講過「快速重傳算法」。當接收方發(fā)現(xiàn)丟了一個中間包的時候，發(fā)送三次前一個包的 ACK，于是發(fā)送端就會快速地重傳，不必等待超時再重傳。

TCP 認為這種情況不嚴重，因為大部分沒丟，只丟了一小部分，則 ssthresh 和 cwnd 變化如下：

cwnd = cwnd/2

• ，也就是設置為原來的一半;

ssthresh = cwnd

;進入快速恢復算法

快速恢復

快速重傳和快速恢復算法一般同時使用，快速恢復算法是認為，你還能收到 3 個重復 ACK 說明網(wǎng)絡也不那么糟糕，所以沒有必要像 RTO 超時那么強烈。

正如前面所說，進入快速恢復之前，cwnd 和 ssthresh 已被更新了：

cwnd = cwnd/2

• ，也就是設置為原來的一半;

ssthresh = cwnd

;

然后，進入快速恢復算法如下：

• 擁塞窗口

cwnd = ssthresh + 3

（ 3 的意思是確認有 3 個數(shù)據(jù)包被收到了）；重傳丟失的數(shù)據(jù)包；如果再收到重復的 ACK，那么 cwnd 增加 1；如果收到新數(shù)據(jù)的 ACK 后，把 cwnd 設置為第一步中的 ssthresh 的值，原因是該 ACK 確認了新的數(shù)據(jù)，說明從 duplicated ACK 時的數(shù)據(jù)都已收到，該恢復過程已經(jīng)結束，可以回到恢復之前的狀態(tài)了，也即再次進入擁塞避免狀態(tài)；

快速恢復算法的變化過程如下圖：

快速重傳和快速恢復

也就是沒有像「超時重傳」一夜回到解放前，而是還在比較高的值，后續(xù)呈線性增長。

哪些會影響窗口大小？

TCP窗口大小受到多個因素的影響，包括以下幾個方面：

接收方窗口大小：接收方的窗口大小決定了發(fā)送方可以發(fā)送的數(shù)據(jù)量。如果接收方窗口較小，發(fā)送方需要等待確認后才能繼續(xù)發(fā)送數(shù)據(jù)，從而限制了發(fā)送速率。帶寬和延遲：網(wǎng)絡的帶寬和延遲會對TCP窗口大小產(chǎn)生影響。較高的帶寬和較低的延遲通常可以支持較大的窗口大小，從而實現(xiàn)更高的數(shù)據(jù)傳輸速率。擁塞控制：TCP的擁塞控制機制會根據(jù)網(wǎng)絡擁塞程度調(diào)整窗口大小。當網(wǎng)絡出現(xiàn)擁塞時，TCP會減小窗口大小以降低發(fā)送速率，從而避免擁塞的進一步惡化。路由器和網(wǎng)絡設備：路由器和其他網(wǎng)絡設備的緩沖區(qū)大小也會對TCP窗口大小產(chǎn)生影響。如果緩沖區(qū)較小，可能導致數(shù)據(jù)包丟失或延遲增加，從而限制了窗口大小。操作系統(tǒng)和應用程序：操作系統(tǒng)和應用程序也可以對TCP窗口大小進行配置和調(diào)整。通過調(diào)整操作系統(tǒng)的參數(shù)或應用程序的設置，可以影響TCP窗口大小的默認值和動態(tài)調(diào)整的行為。

因此，TCP窗口大小受到接收方窗口大小、帶寬和延遲、擁塞控制、網(wǎng)絡設備、操作系統(tǒng)和應用程序等多個因素的綜合影響。