馮諾依曼瓶頸對人工智能的影響

馮諾依曼瓶頸是使用總線在處理器、內存、長期存儲和外圍設備之間傳輸數據的自然結果。無論總線執行其任務的速度有多快，壓倒它——即形成降低速度的瓶頸——總是可能的。隨著時間的推移，處理器速度不斷提高，而內存和其他設備的改進則側重於密度——在更小的空間中存儲更多的能力。因此，隨著每一次改進，瓶頸都會成為一個更大的問題，導致處理器花費大量時間處於空閒狀態。

在合理範圍內，您可以克服一些圍繞馮諾依曼瓶頸的問題，並在應用程序速度上產生微小但顯著的提高。以下是最常見的解決方案：

緩存：當使用馮諾依曼架構從內存中獲取數據的速度足夠快時，問題變得明顯時，硬件供應商通過添加不需要總線訪問的本地化內存來迅速做出回應。該內存出現在處理器外部，但作為處理器包的一部分。然而，高速緩存很昂貴，因此緩存大小往往很小。
處理器緩存：不幸的是，外部緩存仍然不能提供足夠的速度。即使使用最快的可用 RAM 並完全切斷總線訪問，也不能滿足處理器的處理能力需求。因此，供應商開始添加內部存儲器——一種比外部緩存小的緩存，但訪問速度更快，因為它是處理器的一部分。
預取：緩存的問題在於它們只有在包含正確數據時才被證明是有用的。不幸的是，在使用大量數據並執行各種任務的應用程序中，緩存命中率很低。使處理器更快工作的下一步是猜測應用程序接下來需要哪些數據，並在應用程序需要之前將其加載到緩存中。
使用特殊 RAM：您可能會被 RAM 字母湯所淹沒，因為 RAM 的種類比大多數人想像的要多。每種 RAM 都聲稱至少可以解決部分馮諾依曼瓶頸問題，而且它們確實有效——在限制範圍內。在大多數情況下，改進都圍繞著更快地從內存中獲取數據並傳送到總線的想法。兩個主要（和許多次要）因素影響速度：內存速度（內存移動數據的速度）和延遲（定位特定數據所需的時間）。閱讀有關內存及其影響因素的更多信息。

與許多其他技術領域一樣，炒作可能會成為一個問題。例如，多線程，即將應用程序或其他指令集分解為處理器一次可以處理一個的離散執行單元的行為，通常被吹捧為克服馮諾依曼瓶頸的一種手段，但實際上並沒有這樣做除了增加開銷（使問題變得更糟）之外的任何事情。多線程是另一個問題的答案：使應用程序更高效。當應用程序將延遲問題添加到馮諾依曼瓶頸時，整個系統就會變慢。多線程可確保處理器不會浪費更多時間等待用戶或應用程序，而是始終有事可做。任何處理器架構都可能發生應用程序延遲，而不僅僅是馮諾依曼架構。儘管如此，