名稱
（正規化數）
基準數
有效數位數
short real
或 －1.18×10－38 到 －3.40×1038
7Fh
long real
或 －2.23×10－308 到 －1.80×10308
3FFH
temporary real
或－3.3621×10－4932 到 －1.1897×104932
3FFFH
前面幾章介紹了在電腦中如何表示整數，也介紹了如何運算。這一章小木偶打算說明，如何表示非整數，像是 0.022、14.625，甚至是像 6.02214×1023、6.62607×10－34 這樣很大或很小的數。
先回想如何表示正整數。假如要表示 144，我們知道，這兩個「4」代表不一樣的意義。對十進位而言十位數的 4 代表 40，也就是 4×101；個位數的 4 就真的代表 4，也就是 4×100。也就是說，每個數字依據位置的不同，必須乘上 10 的冪次方。
144＝1×102＋4×101＋4×100
假如是帶有小數的十進位數，例如 144.625，在小數點之後（小數點右邊）也是乘以十的冪次方，只不過這兒的冪次方是負數。所以算式變成：
144.625＝1×102＋4×101＋4×100＋6×10－1＋2×10－2＋5×10－3
如果要計算出每位數，整數與小數要分開來運算。整數部分須將該數的整數連續除以 10，所得的餘數就是每位數的數字，商是下次除法的被除數，從個位數往高位數。小數部分則是小數連續乘以 10，所得的整數就是每位數的數字，其乘積去掉整數是下次乘法的被乘數，從十分位開始。例如要算出 144.625 的每位數：
整數部分：144÷10=14……4→餘數是4，個位數為4 14÷10= 1……4→餘數是4，十位數為4 1÷10= 0……1→餘數是1，百位數為1 小數部分：0.625×10=6.25 →取整數是6，十分位為6 0.25×10=2.5 →取整數是2，百分位為2 0.5×10=5 →取整數是5，千分位為5
瞭解十進位的表示方式與數值之關係以後，就能將其原理擴展到二進位。假如有一個二進位數是 BN……B3B2B1.b1b2b3……bn，其中 Bi、bj 不是零就是一，代表二進位的每一位數，且 i、j 是正整數。那麼這個二進位數的整數部分是BN……B3B2B1，小數部分是 0.b1b2b3……bn
整數部分的數值 I＝B1×20＋B2×21＋B3×22＋……＋BN×2N－1 ① 小數部分的數值 F＝b1×2－1＋b2×2－2＋b3×2－3＋……＋bn×2－n ②
那該怎麼計算出 B1、B2、B3……與 b1、b2、b3……呢？如果能計算出來，就能把帶有小數的十位數轉換成二進位數了。事實上，這個問題並不難。先處理整數部分，第①式中，右邊第二項之後，都有 2 的因數，整理後得：
I＝B1＋2×(B2＋B3×2＋……＋BN×2N－2)
如果把上式兩邊除以 2，餘數就是 B1，商是 (B2＋B3×2＋……＋BN×2N－2)。將所得的商整理如下：
B2＋2×(B3＋B4×2＋……＋BN×2N－3)
將上式除以 2，餘數就是 B2。依照上面的步驟，每次除以 2，所得的餘數就是整數的每一位數，所得的商就是下一次的被除數。這樣整數部分的每一位數，就計算出來了。而計算小數部分的每位數，與整數部分完全不同。如果把小數部分，也就是②式，兩邊同乘以 2：
2F＝b1＋b2×2－1＋b3×2－2＋……＋bn×21－n
上式中，只有第一項，b1，是整數，第二項之後都是小數，所以形成新的小數：
b2×2－1＋b3×2－2＋……＋bn×21－n
如果再乘以 2，又能得到整數部分是 b2，並再度形成新的小數。如此每次乘以 2，就能得到小數部分的每一位，所得的乘積去掉整數後的小數，是下次乘以 2 的被乘數。
要把二進位數，BN……B3B2B1.b1b2b3……bn 轉換成十進位，就依照上面第①、② 相加即可。也就是
BN……B3B2B1.b1b2b3……bn＝B1×20＋B2×21＋B3×22＋……＋BN×2N－1＋b1×2－1＋b2×2－2＋b3×2－3＋……＋bn×2－n
瞭解上述原理之後，總是要實際演練一次，才算是真正瞭解。例如要把 144.625 轉換成二進位：
整數部分：144÷2=72……0→位元0為0 72÷2=36……0→位元1為0 36÷2=18……0→位元2為0 18÷2=9……0→位元3為0 9÷2=4……1→位元4為1 4÷2=2……0→位元5為0 2÷2=1……0→位元6為0 1÷2=0……1→位元7為1
整理後得到 144＝1001 0000b。再算小數部分：
小數部分：0.625×2=1.25→小數點後第1個位元為1 0.25×2=0.5 →小數點後第2個位元為0 0.5×2=1 →小數點後第3個位元為1
整理後得到 0.625＝0.101，與整數部分的結果結合起來，得到 144.625＝1001 0000.101b。
反過來，如果要把 1001 0000.101b 轉換成十進位，只需計算底下的算式即可：
位元7是1，1×27=128 位元6是0，0×26=0 位元5是0，0×25=0 位元4是1，1×24=16 位元3是0，0×23=0 位元2是0，0×22=0 位元1是0，0×21=0 位元0是0，0×20=0 小數點後第1個位元是1，1×2－1=0.5 小數點後第2個位元是0，0×2－2=0 小數點後第3個位元是1，1×2－3=0.125
最後總加起來得 128＋16＋0.5＋0.125＝144.625，所以 1001 0000.101b＝144.625。
看起來很完美，那是因為上面舉例的數是精心挑選的。例如要把 0.1 變成二進位，依據剛剛的規則：
0.1×2=0.2→小數點後第1個位元為0 0.2×2=0.4→小數點後第2個位元為0 0.4×2=0.8→小數點後第3個位元為0 0.8×2=1.6→小數點後第4個位元為1 0.6×2=1.2→小數點後第5個位元為1 0.2×2=0.4→小數點後第6個位元為0→被乘數與第二次一樣 ⁝
第六次與第二次的被乘數一樣，可以推出會一直循環下去，沒有終止，也就是說 0.1＝0.000110011001100……b。事實上，大部分帶有小數的數值，都是如此，會一直循環不止。當然電腦的記憶體不可能無止盡，所以必須做取捨。換句話說，就必須訂出規範，告訴所有電腦，該到哪一位捨去或進位。現在大部分的電腦都遵照國際電機電子工程師學會（Institute of Electrical and Electronics Engineers）在 1980 年代所制訂的 IEEE 754 標準來儲存帶有小數的數值。
IEEE 754 制定了四種格式，分別是：單精確度浮點數（single-precision floating-point）、雙精確度浮點數（double-precision floating-point）、延伸雙精確度浮點數（79位元以上，通常以80位元實做）與四精確度浮點數（quadruple-precision floating-point，不常用），見下表。表中格式那欄用紅色填滿的矩形，代表符號。
| 名稱 | x87 名稱 | 位元數 | 格式 | 能表示範圍 （正規化數） | 指數 基準數 | 十進位時 有效數位數 |
| 單精確度 | 短實數 short real | 32 | | 1.18×10－38 到 3.40×1038 或 －1.18×10－38 到 －3.40×1038 | 127 7Fh | 6∼7 |
| 雙精確度 | 長實數 long real | 64 | | 2.23×10－308 到 1.80×10308 或 －2.23×10－308 到 －1.80×10308 | 1023 3FFH | 15∼16 |
| 延伸雙精確度 | 暫時實數 temporary real | 80 | | 3.3621×10－4932 到 1.1897×104932 或－3.3621×10－4932 到 －1.1897×104932 | 16383 3FFFH | 19 |
| 四精確度 | 128 |
每種浮點數格式，都分三部分：符號（sign）、指數偏移值（exponent bias）與有效數字（significand）：
⑴、符號：在最高位元，而且只佔一個位元。如果此位元為零，表示此浮點數為正數；若為一，表示負數。
⑵、指數偏移值：代表 2 的幾次方，但它不是真正的指數，真正的指數是這個數值減去指數基準數。每種格式的指數基準數不同，見上表中的倒數第二欄。
⑶、有效數字：有些文獻寫成小數（fraction）或尾數（mantissa），都是一樣的意思。它所代表的數值，再加上 1，才是實際上的數值。
IEEE 754 的表示方法，有點像科學記號。科學記號可以把任意一數，表示成 a×10n，其中 1≤ |a|<10，n 是整數。而 IEEE 754 則是表示成 (-1)sign×1.significand×2exponent bias。瞭解各部分所代表的意義之後，舉個例子說明。假如要把 144.625 表示成雙精確度浮點數，步驟如下：
0 100 0000 0110 0010 0001 0100 0000 0000……
上面的步驟 2. 中，將小數點往左移一位，代表除以 2。這種情形，就像十進位的數，將小數點往左移一位，代表除以 10，若要使原數值不變，10 的指數就要加一。在二進位也是如此，只是變成 2 的指數加一。又因為在二進位中，每一位數不是零就是一（十進位中可能是 1、2、3……9），而小數點左邊的那一位數，一定是 1。既然是 1，何不省略，不在有效數字中表示出來，這樣有效數字就可以多一位精確度。這樣的情形叫正規化（normalize），符合正規化的數，稱為正規化數。這也就是為什麼真正的有效數字，其實是 1.significand。
順帶一提，因為 IEEE 754 用 (-1)sign×1.significand×2exponent bias 的樣子表示帶有小數的數值，所以小數點並不固定在哪一位，跟指數的大小有關。正因為小數點位置不固定，是浮動的，所以稱為浮點數（floating point）。
IEEE 754 還定義了一些特殊的數值，在計算時可以處理錯誤。這些特殊數值，如下表：
| 特殊數值 | 判斷條件 | 說明 | ||
| 符號 | 指數 偏移值 | 有效 數字 | ||
| 正零（＋0.0） | 0 | 全是 0 | 全是 0 | 正常運算結果是零，例如 0.0×1.0＝＋0.0，而 0.0×(－1.0)＝－0.0。或是運算結果太小，小到連「非正規化數」都無法表達，根據結果的正負截斷成＋0.0 或－0.0 |
| 負零（－0.0） | 1 | 全是 0 | 全是 0 | |
| NaN | 忽略 | 全是 1 | 不全是 0 | 數學上沒有定義，或無法給出確定實數的無效運算時，例如 0/0、∞/∞、根號負一、負數求對數等等 |
| 正無限大（＋∞） | 0 | 全是 1 | 全是 0 | 運算結果超出了浮點數能表達的最大範圍（也就是發生溢位），或者遇到了數學上的無限大邊界時會產生。例如 1.0/0.0＝+∞，－1.0/0.0＝－∞；進行雙精確度運算時，計算 ( 4.2×10300 )2，超出雙精確度所能表達的最大範圍 |
| 負無限大（－∞） | 1 | 全是 1 | 全是 0 | |
| 非正規化數 denormal numbers | 0 或 1 | 全是 0 | 不全是 0 | 當運算結果比所能表達的最小正規化數還小，卻又還沒小到變成 0 時，就會產生非正規化數。例如進行雙精確度運算，計算 3.0×10－308÷16，此時指數已經無法再變小了，就只能把有效數字往右移，犧牲精準度來換取不直接變成 0 |
這些機制確保了程式在遇到數學極端狀況時，不會隨便當機，而是能留下「有意義的符號」供開發者後續檢查。（這些特殊數值，是浮點數之父加州大學伯克利分校威廉·卡韓（William Kahan）建議加入，他也是推動 IEEE 754 的重要推手）
瞭解了浮點數以及 IBM PC 及相容電腦如何儲存浮點數之後，來點輕鬆的，聊聊 IBM PC/XT 及其相容電腦上，處理浮點數的演進。
FPU 是浮點運算器（floating-point processor unit）的縮寫，它是專門處理數學運算的晶片。早在西元 1979 年英特爾就為了搭配 8086/8088，推出名為 8087 的 FPU，在 IBM PC/XT 個人電腦中的主機板上面，CPU 插槽附近有一個空著的插槽，就是給 FPU 用的。假如您去買 FPU，可以把 FPU 插在上面，再調整組態開關，就可使用 FPU 了。到了 80286、80386 時代也有與之配合的 FPU，分別稱為 80287、80387。到了 80486 時代，Intel 更把 FPU 整合到 80486 裡面變成單一晶片（那時也有不含 FPU 的 80486，稱之為 SX，而含有 FPU 的稱為 DX）。到了 Pentuim 的時代，FPU 已經完全整合到 CPU 中，使用者完全感覺不到它的存在了。英特爾開發搭配 x86 中央處理器的 FPU 都稱為 8087、80287、80387，所以這些晶片也稱為 x87。
FPU 有自己的一套指令，而且都以「F」起頭，例如 FINIT、FADD……。FPU 進行運算時，是在八個 80 位元的堆疊暫存器進行，這些暫存器的名稱分別是 ST(0)、ST(1)、ST(2)、ST(3)……ST(7)。雖然有些指令能處理 ST(0) 以外的暫存器，但大部分都是直接對 ST(0) 進行運算，就很麻煩。另外 FPU 還有個很大的缺點，一次只能處理一筆資料。到西元 1990 年代，三度空間（3D）第一人稱射擊遊戲毀滅戰士戰士（Doom）、雷神之鎚（Quake）所引發的熱潮，以及對 CD/DCD 多媒體影音播放，都對浮點運算需求大增，而 FPU 算力無法應付這樣的需求。
西元 1997 年，英特爾推出了 MMX（MultiMedia eXtensions）技術，首次引入 SIMD 概念。SIMD 是 single instruction multiple data 的縮寫，可翻譯成「單指令多資料」，其意義就是字面上所說的，執行一道指令，卻能對多筆資料進行運算。立意雖好，但有兩個很嚴重的缺點：①只能處理 32 位元或 64 位元整數，不支援浮點數。②使用 x87 的暫存器，導致 FPU 與 MMX 不能同時使用。
MMX 技術使用的暫存器合稱 MMX 暫存器，分別是 MM0∼MM7，這些名稱其實是 x87 暫存器的別名，分別對應 ST(0)∼ST(1)，它們使用的是同一組硬體電路。ST(0)∼ST(1) 是 80 位元長的暫存器，而 MM0∼MM7 是 64 位元的暫存器，它們使用了 ST(0)∼ST(1) 的第 0∼63 位元。在使用 MMX 之前，需要執行 MMX 指令，才能讓 CPU 切換成 MMX 模式；等使用完畢，要執行 EMMS（exit multimedia state）指令切換回 x87 模式。
因為這兩個缺點，使 MMX 性能大打折扣。英特爾的強勁對手，超微針對運算浮點數，於西元 1998 年，推出了一款深獲好評的 K6－2 CPU，它搭配了 3DNow! 技術。3DNow! 技術支援單精確度浮點數的 SIMD 運算，一個指令可以同時處理兩個 32 位元浮點數！對於三度空間遊戲中，座標轉換與物理運算時，速度瞬間飆升，輾壓了英特爾的 MMX 技術。這是超微在浮點運算上，第一次超越英特爾。然而，商場如戰場，豈料螳螂捕蟬，黃雀在後。對超微來說，3DNow! 勝利所帶來的喜悅，並未持續太久，命運的天平很快向英特爾傾斜。
英特爾在西元 1999 年推出了 Pentium III，並搭配 SSE（Streaming SIMD Extensions）指令集，SSE 可以翻譯成「串流單指令多資料延伸指令集」。當使用者玩 3D 遊戲或播放 DVD 影片時，CPU 需要進行海量的資料或影像畫面運算，這些資料通常只會運算一次，之後就不會再用了。如果按照傳統方式把這些海量資料通通塞進 CPU 的快取記憶體（L1/L2 Cache），會把原本存放重要程式碼的快取空間給「擠爆（污染）」，導致電腦變慢。串流的意義在於引入了「預取（Prefetch）」和「非暫時儲存（Non-temporal store）」概念，使資料可以繞過快取，直接從記憶體像水流一樣流進 XMM 暫存器，等它算完再直接流回記憶體。這大大保護了 CPU 快取的純淨。除此之外，SSE 也擺脫了 x87 的束縛，擁有八個全新且獨立的 128 位元暫存器，稱做 XMM 暫存器，其名稱分別是 XMM0∼XMM7。這 128 位元的暫存器，可以儲存四個 32 位元浮點數，一個指令就能同時對四個單精確度浮點數運算，這讓遊戲的效能得到了飛躍性的成長。
僅僅過了一年，英特爾推出 Pentium 4，同步發表了 SSE2。SSE2 能對雙精確度浮點數進行運算，也允許在 128 位元的 XMM 暫存器中進行各種長度的整數運算。這使得 x87、MMX、3DNow! 失去了價值，至此英特爾算是扳回了顏面。甚至到了西元 2010 年，AMD 宣布停止支援 3DNow!，這項曾為 AMD 立下汗馬功勞的技術正式走入歷史。
說到這兒，你以為英特爾贏得最後勝利了？然而，歷史有趣之處，正是歷史會不斷重演，更有趣的是有時只是角色互換。這場兩雄爭霸的局面，在西元 2003 年，又迎來一次反轉。在這前後幾年裏，大家有感於 32 位元 CPU 已經不敷使用，競相開發 64 位元處理器。英特爾與惠普公司合作研發 64 位元 CPU，因為傳統的 IA－32 架構 x86 CPU 既要相容 16 位元的 8086/8088，又要能定址 32 位元，搞得非常複雜。所以他們砍掉 IA－32 架構，開發全新的 IA－64 架構。西元 2001 年推出第一代安騰（Itanium），翌年推出第二代安騰（Itanium 2）。它們的效率並沒有預期的好，執行原有的 32 位元軟體，效率更差。
超微則是採用與英特爾完全不同的策略，在原有的 IA－32 基礎上加以擴充。這套架構稱為 AMD64，AMD64 把原先八個通用暫存器擴充成 64 位元，另外再新增八個 64 位元的通用暫存器（R8∼R15），並且將 SSE2 設為 AMD64 的標準配備，同時也新增八個 128 位元的 XMM 暫存器（XMM8∼XMM15）。西元 2003 年，超微正式推出搭載 AMD64 架構的 Opteron（伺服器）和 Athlon 64（桌機）處理器。事實證明，超微的 AMD64 架構既能執行全新的 64 位元程式，又能百分之百完美、無損速率地執行舊的 32 位元程式。英特爾大概萬萬沒想到，捕螳螂的黃雀後面，竟有隻老鷹虎視眈眈，將它吞了。
面對兵敗如山倒的局勢，英特爾終於在 2004 年宣布放棄在消費級市場推廣 IA－64，轉而向超微購買 AMD64 授權，並應用在自家的處理器上，稱其為 Intel 64 或 EM64T（AMD64、Intel 64、EM64T 可視為相同架構）。這是一次歷史性的角色互換：身為老大的英特爾，不得不遵循老二超微所制定的標準。自此，AMD64 成為了全球個人電腦與伺服器在 x64 CPU 的絕對標準。
西元 2005∼2008 這幾年，英特爾先後發表了 SSE3、SSE4/4.1/4.2，但它們並沒有改變 SSE2 的架構，而是新增了許多指令，這些新增的指令多數用於特定的用途，例如視訊編碼（H.264）、影像處理、字串處理與搜尋、CRC32 計算指令等。下次指令集發生重大變革，是發 AVX 的時候。
不過可別以為英特爾與超微是不共戴天的世仇，在利益面前，他們還是可以放下之前的恩怨共同合作。西元 2011 年，英特爾與超微各自推出 Sandy Bridge 系列處理器與 Bulldozer 系列處理器中，都搭載了他們共同研發的 AVX 指令集。AVX 是 advanced vector extensions 的縮寫，可以翻譯成進階向量擴充指令集，重要的變化有兩項：①把原有的 XMM 暫存器擴大成 256 位元，新的暫存器名稱為 YMM0∼YMM15，而它們的低半部，也就是第 0∼127 位元其實就是 XMM0∼XMM15。②新加的指令可以進行三個運算元的運算，例如以前加法運算時，總是會破壞目的運算元的原值，但有了三個運算元之後原值可以保留，對於最佳化有很大的裨益。
西元 2013 年，英特爾推出 Haswell 微架構的處理器上，首次使用 AVX2 指令集。如果說 AVX 是「架構革新」，那 AVX2 就是「補齊實用性」。AVX 雖然已經是 256 位元，但強在浮點運算，整數 SIMD 的能力仍然停留在 128 位元。這在實務上其實很不方便，因為很多應用（像影像處理、壓縮、加密）都大量依賴整數運算。AVX2 的核心改進就是把整數 SIMD 完整擴展到 256 位元。
在 2016 年左右，AVX－512 是隨著英特爾的 Xeon Phi 處理器推出的，它的目標是高效能運算（HPC）與資料中心，並不是為了搭配個人電腦的。AVX－512 的暫存器擴大到 512 位元，稱為 ZMM0∼ZMM31，共 32 個。其中 ZMM0∼ZMM15 的低半部是 YMM0∼YMM15，而 ZMM0∼ZMM15 的第 0∼127 位元是 XMM0∼XMM15。AVX－512 還引入遮罩暫存器（mask registers），用於條件運算。總之，AVX－512 不只是「更強的整數或浮點進行單指令多資料運算」，而是更接近「向量處理器」且用於伺服器上的處理器。
寫完這麼多處理浮點數的指令集之後，下一章將介紹幾個能夠處理浮點數的 SSE/SSE2 指令、函式。在開始之前有幾點事項說明：
這一章介紹了表示浮點數的標準，IEEE 754，也介紹在電腦記憶體中如何儲存表示。下一章將再接再厲，利用現成的 C 語言函式庫輸入浮點數，計算其平方根，再印出來。