Kapitola 1
Reprezentace čísel. Zaokrouhlovací chyba. Stabilita. Podmíněnost
Reprezentace čísel v počítači
Nejběžnějším způsobem reprezentace čísel v počítači je reprezentace pomocí pohyblivé řádové čárky (floating-point arithmetic), daná standardem IEEE. Řada čísel, která v desítkové soustavě zapíšeme snadno, přitom není reprezentována přesně. Například čísla \(\pm 0{,}01\) přesně reprezentovat nelze, neboť
\[\begin{aligned} \pm 0{,}01\ (\mathrm{DEC}) &= \pm 0{,}000\ 000\ 101\ 000\ 111\ 101\ldots\ (\mathrm{BIN})\\ &= \pm \underbrace{1.01000111101\ \ldots}_{t \text{ cifer, určuje přesnost (precision)}} \times\ 2^{-7}\ (\mathrm{BIN})\\ &= \pm\, m \times \beta^{e-t+1} . \end{aligned}\]Zde \(m\) značí mantisu (significand), \(\beta\) je základ (base) – obvykle 2, někdy 10 nebo 16 – a \(e\) je exponent.
Anglický termín precision je třeba nezaměňovat s termínem accuracy.
Mantisa je obvykle celočíselná (ovšem může být někdy brána i jako desetinné číslo),
\begin{equation} m = d_1 d_2 \cdots d_t , \label{eq:01:mantisa} \end{equation}kde \(d_i\) nabývají hodnot \(0 \le d_i < \beta\), ovšem \(d_1 \ne 0\).
Číslo \(0{,}01\) je ve 32-bitovém IEEE standardu, tedy v single precision, neboli
v REAL*4 (4 byty), reprezentováno takto:
To odpovídá zhruba \(7\) platným místům v desítkové soustavě. V double precision je na exponent vyhrazeno 11 bitů a na mantisu 52 bitů, což dává zhruba \(16\) platných míst v desítkové soustavě.
Rozsah exponentů je \(e_{min} \le e \le e_{max}\), přičemž pro single precision je \(e_{min} = -126\) a \(e_{max} = 127\),
\[ (2^{-126} \approx 1{,}18\cdot 10^{-38}\,,\ 2^{127} \approx 3{,}4\cdot 10^{38}) , \]a pro double precision je \(e_{min} = -1022\) a \(e_{max} = 1023\),
\[ (2^{-1022} \approx 2{,}2\cdot 10^{-308}\,,\ 2^{1023} \approx 1{,}8\cdot 10^{308}) . \]Speciální exponenty \(e = -127\) (samé nuly) a \(e = 128\) (samé jedničky) se používají na tzv. subnormální čísla a též pro \(\pm\infty\) a NaN.
Zaokrouhlovací chyba a její vliv na výsledek výpočtů
Pokud reálné číslo \(x \in \mathbb{R}\) leží v rozsahu systému \(F\) čísel s pohyblivou řádovou čárkou, pak
\begin{equation} fl(x) = x\,(1+\delta)\ ,\ \text{kde}\ \ |\delta| < u = \frac{\varepsilon_M}{2} , \label{eq:01:fl_x} \end{equation}kde \(fl(x)\) značí číslo \(x\) vyjádřené nejbližším číslem s pohyblivou řádovou čárkou, tj. \(fl(x) \in F\), a \(u\) je tzv. unit roundoff,
\[ u = \tfrac{1}{2}\beta^{1-t} , \]zatímco \(\varepsilon_M\) je tzv. strojové epsilon. Maximální relativní chyba vyjádření libovolného čísla \(x\) v rozsahu \(F\) je tedy dána hodnotou \(u\).
Je-li \(fl(x) = x + \Delta x = x\,(1+\delta)\), pak \(\Delta x\) je zaokrouhlovací chyba a \(\delta\) je relativní zaokrouhlovací chyba.
Přestože je reprezentace čísel pomocí pohyblivé řádové čárky zdaleka nejběžnější, není jediná. Existují i další systémy, jako např. pevná řádová čárka (fixed-point) nebo logaritmický číselný systém (logarithmic number system). Více informací lze nalézt na Wikipedii nebo v knize N. J. Higham: Accuracy and Stability of Numerical Algorithms: Second Edition, SIAM 2002).
Pracujeme-li s reálnými čísly na počítači, je nutné mít na paměti, že zaokrouhlovací chyba je všudypřítomná:
- čísla na vstupu jsou většinou zaokrouhlena;
- výsledek libovolné aritmetické operace je zaokrouhlen.
Dobrý systém by měl mít implementovány základní operace tak, že výsledek bude
\begin{equation} fl\,(x\ op\ y) = (x\ op\ y)\,(1+\delta)\ ,\ |\delta| < u \label{eq:01:fl_op} \end{equation}pro \(op = +, -, *, /\). Podobný požadavek je kladen i některých dalších operací, jako např. pro výpočet druhé odmocniny.
Numerická matematika se z velké části zabývá právě vlivem zaokrouhlovací chyby na správnost výpočtu.
Neplatnost některých axiomů reálné aritmetiky
Pozor: některé axiomy reálné aritmetiky nejsou v systémech s pohyblivou řádovou čárkou splněny.
Například výsledek závisí na pořadí sčítanců, a to i tehdy, jsou-li všechny sčítance kladné.
Uvažujme jednoduchou sumu (viz notebook roundoff.errors.nb)
Sčítáme-li odpředu, objeví se zaokrouhlovací chyby, zvláště pro velká \(n\). Sčítáme-li odzadu, tedy od nejmenších příspěvků po největší, zaokrouhlovací chyby se neprojeví.
Dále rovnice nemusí mít jednoznačné řešení, případně nemusí mít žádné řešení, i když v přesné aritmetice existuje jednoznačné řešení.
Rovnice \(1+x = 1\) má řešení \(x = 0\), ovšem v double precision bude tato rovnice splněna pro libovolné \(|x| \lesssim 10^{-17}\), které patří do systému čísel double precision.
Rovnice \(f(x) = 0\) pro jistou funkci \(f\) většinou nemá v daném systému čísel s pohyblivou řádovou čárkou žádné řešení. Lze hledat pouze řešení, pro které je \(|f(x)|\) nejmenší, případně menší než jisté zadané \(\varepsilon\), když nám stačí určitá přesnost.
Odečítání blízkých čísel (cancellation problem)
Jde o odečítání blízkých, a to ne nutně velkých, čísel. Operace odečítání může vnést do numerických výpočtů značné chyby, jsou-li odečítaná čísla blízká.
Máme-li
\[ fl\,(x_1) = x_1 + \Delta x_1 \qquad \text{a} \qquad fl\,(x_2) = x_2 + \Delta x_2 , \]pak
\begin{equation} fl\,(x_1 \pm x_2) = x_1 \pm x_2 + \Delta x_1 \pm \Delta x_2 + \varepsilon\,(x_1 \pm x_2) , \label{eq:01:cancellation} \end{equation}kde \(\varepsilon \lesssim \varepsilon_M\), a relativní chyba je
\begin{equation} \delta = \left|\frac{fl\,(x_1 \pm x_2) - (x_1 \pm x_2)}{x_1 \pm x_2}\right| \leq \frac{|\Delta x_1| + |\Delta x_2|}{|x_1 \pm x_2|} + |\varepsilon| . \label{eq:01:cancellation_rel} \end{equation}Pokud je například \(x_1 \approx 1\), \(x_2 \approx 1\), \(\Delta x_1 \approx 10^{-8}\) a \(\Delta x_2 \approx 10^{-8}\) a v přesné aritmetice \(x_1 - x_2 \approx 10^{-4}\), pak \(\delta \approx 2 \cdot 10^{-4}\).
Často se s tímto problémem nedá mnoho dělat, ale někdy lze ze znalosti problému změnit výpočet tak, že se odečítání blízkých čísel vyhneme.
Výraz \(\sqrt{x+1} - \sqrt{x}\) lze vyčíslit též pomocí
\[ \frac{1}{\sqrt{x+1} + \sqrt{x}} \]a pro velká \(x\) pak značná zaokrouhlovací chyba nevzniká.
Řešení kvadratické rovnice \(ax^2 + bx + c = 0\) spočtené pomocí
\begin{equation} x_{1,2} = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a} \label{eq:01:kvadraticka} \end{equation}může být zatíženo chybou, pokud \(b^2 \gg |4ac|\), neboť pak \(\sqrt{b^2 - 4ac} \approx |b|\) a výpočet jednoho z kořenů vede na odečítání dvou blízkých čísel. Lze to obejít tak, že tento kořen (řekněme, že jde o druhý kořen), spočteme jako \(x_2 = \frac{c}{a x_1}\).
Součet řady „velkých“ čísel, jehož výsledek je „malý“
Tento jev se označuje v anglické literatuře jako smearing problem. Jde o skryté odečítání blízkých čísel, neboť blízké mohou být až mezivýsledky. Opět jej lze někdy obejít jiným přístupem k danému problému.
Výpočet \(e^x\) pomocí Taylorovy řady
\[ 1 + \frac{x}{1!} + \frac{x^2}{2!} + \dots \]je pro \(x > 0\) víceméně v pořádku, jen pro větší \(x\) máme pomalou konvergenci. Ovšem pro \(x < 0\) výpočet selže, neboť výsledek, který je malý, počítáme jako součet velkých čísel s opačnými znaménky. Zde lze použít následující trik: pro \(x < 0\) spočtěte \(e^x = \dfrac{1}{e^{-x}}\).
Často tento problém nastává u řad typu binomického rozvoje.
Učebnicový příklad ilustrující řešení přes rekurentní vztahy. Uvažujme integrál
\begin{equation} I_n(a) = \int_0^1 \frac{x^n}{x+a}\,dx = \left(\text{trik } x^n = \left[(x+a)-a\right]^n\right) \label{eq:01:integral_In} \end{equation} \begin{equation} = \sum_{k=0}^{n-1} (-a)^k \binom{n}{k}\left[(1+a)^{n-k} - a^{n-k}\right]\frac{1}{n-k} + (-a)^n \ln\frac{a+1}{a} . \label{eq:01:integral_In_rada} \end{equation}Použití této řady v double precision dá například pro \(a = 10\) a \(n \gtrsim 10\) řešení se značnými chybami, nebo vyjdou přímo očividné nesmysly (může vyjít i \(I_n < 0\)). Koeficienty jsou například pro \(n = 10\) a \(k = 5\) řádu \(10^{11}\), a přitom výsledek leží v intervalu \(0 < I_n < 1\)!
Řešení tohoto problému spočívá ve využití rekurentního vztahu
\begin{equation} I_n = \int_0^1 \frac{x^{n-1}(x+a-a)}{x+a}\,dx = \int_0^1 x^{n-1}\,dx - a\int_0^1 \frac{x^{n-1}}{x+a}\,dx = \frac{1}{n} - a I_{n-1} . \label{eq:01:rekurence_In} \end{equation}Dopředná rekurence, kdy startujeme s \(I_0 = \ln\frac{a+1}{a}\), ovšem není stabilní! Libovolná chyba (i zaokrouhlovací) na začátku bude v \(n\)-tém kroku násobena faktorem \((-a)^n\) a výsledky pro \(n \geq 15\) znehodnotí úplně.
Co to zkusit obráceně? Máme
\begin{equation} I_{n-1} = \frac{1}{a}\left(\frac{1}{n} - I_n\right) , \label{eq:01:rekurence_zpetna} \end{equation}ovšem nevíme jak začít! Ukazuje se, že lze začít s velmi hrubým odhadem (zde např. hodnotou 1 či 0 pro dostatečně velké \(n\)), neboť počáteční chyba bude po \(k\) iteracích potlačena faktorem \(\frac{1}{a^k}\). Například pro \(n = 10\) a \(a = 10\) můžeme zvolit \(I_{n+k} = 1\) pro vhodně velké \(k \gtrsim n + \log\frac{1}{\varepsilon_M}\) a dostaneme \(I_n\) s přesností \(\varepsilon_M\).
Stabilita algoritmu
Řekneme, že algoritmus výpočtu veličiny \(f = f(x)\), závisející na vstupních datech \(x\), je stabilní, pokud jeho provedením v aritmetice s pohyblivou řádovou čárkou dostaneme pro všechna \(x\) výsledek \(\tilde{f}\), který se od přesného \(f\) liší s relativní chybou řádu \(O(\varepsilon_M)\), tj. při zmenšení \(\varepsilon_M\) lze chybu odhadnout výrazem \(C\varepsilon_M\), kde konstanta \(C\) nezávisí na \(x\).
V praxi navíc požadujeme, aby pro konkrétní \(\varepsilon_M\) (např. pro \(\varepsilon_M \sim 10^{-16}\) v double precision) bylo \(C\) výrazně menší než \(\varepsilon_M^{-1}\), tj. \(\sim 10^{16}\), neboť pak by chyba byla srovnatelná s výsledkem!
Při výpočtu \(\sqrt{x+1} - \sqrt{x}\) lze pro velká kladná \(x\) odhadnout absolutní chybu jako \(2\sqrt{x}\,\varepsilon_M\), a tedy relativní chyba bude
\begin{equation} \delta \le \frac{2\sqrt{x}\,\varepsilon_M}{\sqrt{x+1}-\sqrt{x}} = 2\varepsilon_M\sqrt{x}\left(\sqrt{x+1}+\sqrt{x}\right) \sim 4\varepsilon_M x , \label{eq:01:stabilita_nestabilni} \end{equation}což nelze odhadnout výrazem \(C\varepsilon_M\), neboť pro velká \(x\) tento výraz roste. Odtud plyne, že výpočet je nestabilní.
Ovšem pro \(\dfrac{1}{\sqrt{x+1}+\sqrt{x}}\) dostaneme pro odhad relativní chyby jmenovatele
\begin{equation} \delta \le \frac{2\sqrt{x}\,\varepsilon_M}{\sqrt{x+1}+\sqrt{x}} \sim \varepsilon_M \label{eq:01:stabilita_stabilni} \end{equation}a pro celý výraz tedy také \(\varepsilon_M\), takže jde o stabilní výpočet.
Podmíněnost úlohy
V některých úlohách může výsledek silně záviset na vstupních datech, a to bez ohledu na použitý algoritmus. Klasickým příkladem takové úlohy je určení kořenů polynomu zadaného jeho koeficienty, které představují vstupní data.
Polynom
\[ p(x) = x^{10} - 10x^9 + 45x^8 - \dots - 10x + 1 = (x-1)^{10} \]má desetinásobný kořen \(x = 1\). Avšak \(q(x) = p(x) - 10^{-10}\), kde se pouze \(a_0\) změnilo o \(10^{-10}\), má kořeny
\[ x_k = 1 + \frac{1}{10}\, e^{\frac{2\pi i k}{10}} \qquad \text{pro } k = 0, \dots, 9 , \]a tedy změna výsledku je \(\sim 10^{-1}\) (v přesné aritmetice!).
Obecně uvažujme problém, který řešíme, jako funkci \(f: X \to Y\), kde \(X\) je normovaný vektorový prostor vstupních dat a \(Y\) je normovaný vektorový prostor řešení, s tím, že \(f\) je obecně (a též obvykle) nelineární.
Řekneme, že úloha (problém) je dobře podmíněná (well-conditioned), když malá změna vstupních dat \(x\) vede k malým změnám výstupních dat \(f(x)\). Naopak úloha je špatně podmíněná (ill-conditioned), když malá změna \(x\) vede k velké změně \(f(x)\).
Dobře podmíněnou úlohou je například výpočet vlastního integrálu či určení vlastních čísel a vektorů hermitovské matice. Špatně podmíněnou úlohou je hledání kořenů polynomu, řešení soustavy lineárních rovnic pro nevhodné matice či počáteční úloha pro diferenciální rovnice.
Podmíněnost se kvantifikuje buď pomocí absolutního čísla podmíněnosti
\begin{equation} \hat{\kappa}(x) = \lim_{\varepsilon \to 0} \ \sup_{\|\delta x\| \le \varepsilon} \frac{\|\delta f\|}{\|\delta x\|} , \label{eq:01:kappa_abs} \end{equation}kde \(\delta x\) je malá změna \(x\) a \(\delta f = f(x + \delta x) - f(x)\), nebo pomocí relativního čísla podmíněnosti
\begin{equation} \kappa(x) = \lim_{\varepsilon \to 0} \ \sup_{\|\delta x\| \le \varepsilon} \ \frac{\|\delta f\|}{\|f(x)\|} \Big/ \frac{\|\delta x\|}{\|x\|} . \label{eq:01:kappa_rel} \end{equation}Pro diferencovatelné \(f\) je \(\hat{\kappa}(x)\) dáno pomocí jakobiánu zobrazení \(f(x)\):
\[ J_{ij}(x) = \frac{\partial f_i}{\partial x_j}\Big|_x , \qquad \delta f \approx J(x)\,\delta x , \]a tedy \(\hat{\kappa}(x) = \|J(x)\|\), kde maticová norma \(J(x)\) je indukovaná normami v \(X\) a \(Y\). Dále pak
\begin{equation} \kappa(x) = \frac{\|J(x)\|}{\dfrac{\|f(x)\|}{\|x\|}} . \label{eq:01:kappa_jakobian} \end{equation}Relativní číslo podmíněnosti je obvykle důležitější při výpočtech v pohyblivé řádové čárce, kde pracujeme s relativní chybou \(\sim \varepsilon_M\).
Problém je (typicky) dobře podmíněný pro \(\kappa \lesssim 10^2\) a špatně podmíněný pro \(\kappa \gtrsim 10^{10}\); přesná hodnota \(\kappa\) ovšem závisí na zvolené normě.
Výpočet \(f(x) = \sqrt{x}\) je dobře podmíněná úloha, neboť
\[ \kappa = \frac{\dfrac{1}{2\sqrt{x}}}{\dfrac{\sqrt{x}}{x}} = \frac{1}{2} . \]Ovšem pro \(f(x) = x_1 - x_2\) dostaneme \(J = (1,-1)\) a pro \(\|\cdot\|_\infty\) normu pak
\begin{equation} \kappa = \frac{2}{\dfrac{|x_1-x_2|}{\max\{|x_1|,|x_2|\}}} = \frac{2\max\{|x_1|,|x_2|\}}{|x_1-x_2|} , \label{eq:01:kappa_rozdil} \end{equation}což může být libovolně velké pro \(x_1 \sim x_2\).
Zde \(\|J\|_\infty = 2\) je maximum součtů řádkových prvků (viz poznámky k vektorovým a maticovým normám níže).
Pro hledání kořenů polynomu jde \(\kappa \to \infty\), neboť pro \(\delta x = 10^{-10}\) je
\[ \frac{\|\delta f\|}{\|\delta x\|} \approx 10^9 , \]pro \(\delta x = 10^{-20}\) je
\[ \frac{\|\delta f\|}{\|\delta x\|} \approx 10^{18} \]a tak dále. Podíl \(\frac{\|\delta f\|}{\|\delta x\|}\) tedy roste nade všechny meze, a přitom \(\|f(x)\| \sim 10^2\) a \(\|x\| \sim 10^0\).
Normy na vektorových prostorech a normy matic
Norma \(\|\cdot\|\) je funkce obecně z \(\mathbb{C}^m \to \mathbb{R}\) splňující pro \(\forall x, y \in \mathbb{C}^m\) a \(\alpha \in \mathbb{C}\):
- \(\|x\| \geq 0\) a \(\|x\| = 0\) právě, když \(x = 0\);
- \(\|x+y\| \leq \|x\| + \|y\|\);
- \(\|\alpha x\| = |\alpha| \|x\|\).
Uveďme p-normy na \(\mathbb{C}^m\) a jejich jednotkové koule \(\{x \in \mathbb{C}^m,\ \|x\| \leq 1\}\).
\begin{equation} \|x\|_1 = \sum_{i=1}^{m} |x_i| \label{eq:01:norma_1} \end{equation}Jednotková koule 1-normy je kosočtverec s vrcholy na osách v jednotkové vzdálenosti. Táhněte bodem \(x\) — barevné úseky ukazují oba sčítance \(|x_1|\) a \(|x_2|\), čárkovaně je vrstevnice \(\|x\|_1 = \text{konst.}\) procházející bodem. Tlačítko položí bod přesně na hranici koule.
\begin{equation} \|x\|_\infty = \max_{1 \leq i \leq m} |x_i| \label{eq:01:norma_inf} \end{equation}Jednotková koule \(\infty\)-normy je čtverec se stranami rovnoběžnými s osami. Při tažení bodu se tlustě zvýrazní ta souřadnice, která je v absolutní hodnotě větší — právě ona určuje hodnotu normy; vrstevnice \(\|x\|_\infty = \text{konst.}\) je opět čtverec.
\begin{equation} \|x\|_2 = \left( \sum_{i=1}^{m} |x_i|^2 \right)^{1/2} \label{eq:01:norma_2} \end{equation}Jednotková koule 2-normy je kruh. Applet navíc počítá všechny tři normy současně, takže je při tažení bodu vidět nerovnost \(\|x\|_\infty \le \|x\|_2 \le \|x\|_1\); zaškrtávátko přikreslí koule 1-normy a \(\infty\)-normy, mezi nimiž je kruh vnořen.
\begin{equation} \|x\|_p = \left( \sum_{i=1}^{m} |x_i|^p \right)^{1/p} \label{eq:01:norma_p} \end{equation}Exponent \(p\) je tu posuvníkem: hranice se plynule mění z kosočtverce (\(p = 1\)) přes kružnici (\(p = 2\)) až ke čtverci (\(p \to \infty\)). Body hranice se počítají z definice normy.
Dále se používají vážené p-normy
\begin{equation} \|x\|_W = \|Wx\|_p = \left( \sum_{i=1}^{m} |w_i x_i|^p \right)^{1/p} , \label{eq:01:norma_vazena} \end{equation}kde \(W\) je diagonální matice.
Váhy \(w_1, w_2\) mění délky poloos: v \(i\)-tém směru je poloosa \(1/w_i\). Pro \(p = 2\) a \(w_1 < w_2\) vyjde vodorovně protažená elipsa; přepínač \(p\) ukazuje, že vážení funguje pro libovolnou p-normu.
Tento pojem lze zobecnit na libovolné nesingulární matice \(W\).
Maticová norma indukovaná vektorovou normou
Uvažujme matici \(A \in \mathbb{C}^{m \times n}\) jako zobrazení z vektorového prostoru s normou \(\|\cdot\|_{(n)}\) do prostoru s normou \(\|\cdot\|_{(m)}\). Pak indukovaná maticová norma \(\|A\|_{(m,n)}\) je nejmenší \(C\), pro které platí
\[ \|Ax\|_{(m)} \leq C \|x\|_{(n)} , \]neboli
\begin{equation} \|A\|_{(m,n)} = \sup_{\substack{x \in \mathbb{C}^n \\ x \neq 0}} \frac{\|Ax\|_{(m)}}{\|x\|_{(n)}} = \sup_{\substack{x \in \mathbb{C}^n \\ \|x\|_{(n)} = 1}} \|Ax\|_{(m)} . \label{eq:01:indukovana_norma} \end{equation}Uvažujme matici
\[ A = \begin{pmatrix} 1 & 2 \\ 0 & 2 \end{pmatrix} . \]Obecně \(A\) zobrazí \(e_1 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}\) na \(\begin{pmatrix} a_{11} \\ a_{21} \end{pmatrix} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}\) a \(e_2 = \begin{pmatrix} 0 \\ 1 \end{pmatrix}\) na \(\begin{pmatrix} a_{12} \\ a_{22} \end{pmatrix} = \begin{pmatrix} 2 \\ 2 \end{pmatrix}\).
Pro 1-normu dostaneme \(\|A\|_1 = 4\).
Vlevo jednotková koule 1-normy, vpravo její obraz při zobrazení maticí \(A\). Táhněte bodem \(x\) po hranici a posuvníky měňte prvky matice: hodnota \(\|A\|_1\) se počítá jako maximum \(\|Ax\|_1\) přes hranici koule a pro matici z přednášky vychází \(4\), přičemž maximum je v obrazu vrcholu \(e_2\), tedy v bodě \((2,2)\).
Pro 2-normu se supremum nabývá pro jednotkový vektor
\[ x = \begin{pmatrix} \sqrt{\frac{1}{2} - \frac{7}{2\sqrt{65}}} \\[2pt] \sqrt{\frac{1}{2} + \frac{7}{2\sqrt{65}}} \end{pmatrix} , \]a tedy
\begin{equation} \|A\|_2 = \|Ax\|_2 = \sqrt{\frac{1}{2}\left(9 + \sqrt{65}\right)} \doteq 2{,}9208 . \label{eq:01:norma_matice_2_hodnota} \end{equation}Obrazem kružnice je elipsa; čárkovaná hlavní poloosa má délku \(\|A\|_2\), tedy největší singulární číslo. Numerické maximum \(\|Ax\|_2\) po kružnici dá pro matici z přednášky \(2{,}9208\), což souhlasí s výrazem \(\sqrt{(9+\sqrt{65})/2}\).
Pro \(\infty\)-normu je \(\|A\|_\infty = 3\).
Obrazem čtverce je rovnoběžník. Maximum \(\|Ax\|_\infty\) se nabývá v rohu \(x = (\pm 1, \pm 1)\) — čárkovaná úhlopříčka —, jehož obrazem je bod \((3,2)\); odtud \(\|A\|_\infty = 3\). Posuvníky matice si lze ověřit, že jde vždy o největší součet absolutních hodnot v řádku.
Uvidíme později, že \(\|A\|_2 = \max \sigma_i\), kde \(\sigma_i\) jsou singulární čísla.
Pro libovolnou diagonální matici
\[ D = \begin{pmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & d_m \end{pmatrix} \]se jednotková koule transformuje na hyperelipsu s poloosami o délce \(|d_i|\), a tedy
\begin{equation} \|D\|_2 = \max_{1 \le i \le n} |d_i| = \|D\|_p . \label{eq:01:norma_diag} \end{equation}Platí, že \(\|A\|_1\) je maximum součtů absolutních hodnot sloupcových prvků, tedy
\begin{equation} \|A\|_1 = \max_{1 \le j \le n} \|a_j\|_1 , \quad \text{kde } a_j \text{ je } j\text{-tý sloupec matice} , \label{eq:01:norma_A1} \end{equation}neboť
\[ \|Ax\|_1 = \Big\| \sum_{j=1}^{n} x_j a_j \Big\|_1 \le \sum_{j=1}^{n} |x_j| \, \|a_j\|_1 \le \|x\|_1 \max_{1 \le j \le n} \|a_j\|_1 , \]což platí i pro \(\|x\|_1 = 1\). Přitom jsme využili rozkladu
\[ Ax = \left( a_1 \Big| a_2 \Big| \cdots \Big| a_n \right) \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix} = \sum_{j=1}^{n} x_j a_j . \]Volbou \(x = e_j\), pro které je \(\|a_j\|_1\) maximální, dostáváme rovnost, a tedy
\begin{equation} \|A\|_1 = \sup_{\|x\|_1 = 1} \|Ax\|_1 = \max_{1 \le j \le n} \|a_j\|_1 . \label{eq:01:norma_A1_sup} \end{equation}Podobně \(\|A\|_\infty\) je maximum součtů řádkových prvků, tedy
\begin{equation} \|A\|_\infty = \max_{1 \le i \le n} \|a_i^*\|_1 , \quad \text{kde } a_i^* \text{ je } i\text{-tý řádek} , \label{eq:01:norma_Ainf} \end{equation}neboť pro \(\|x\|_\infty = 1\) je
\[ \|Ax\|_\infty = \max_{1 \le i \le m} \Big| \sum_{j=1}^{n} a_{ij} x_j \Big| \le \max_i \sum_{j=1}^{n} |a_{ij}| , \]neboť \(|x_j| \le 1\). Rovnost přitom nastává pro jeden z vektorů \(x = (\pm 1, \pm 1, \dots \pm 1)\).
Následující nerovnosti by studenti měli znát z lineární algebry. Hölderova nerovnost říká, že
\begin{equation} |x^* y| \le \|x\|_p \|y\|_q , \quad \text{kde} \quad 1 \le p, q \le \infty \quad \text{a} \quad \frac{1}{p} + \frac{1}{q} = 1 , \label{eq:01:holder} \end{equation}přičemž \(x^* y\) je skalární součin. Speciálním případem je Cauchyova–Schwarzova nerovnost
\begin{equation} |x^* y| \le \|x\|_2 \|y\|_2 . \label{eq:01:cauchy_schwarz} \end{equation}Pro odhad normy součinu dvou matic platí
\begin{equation} \|AB\|_{(\ell, n)} \le \|A\|_{(\ell, -)} \|B\|_{(-, n)} , \label{eq:01:norma_soucinu} \end{equation}ale obecně zde není rovnost. Například \(\|A^n\| \le \|A\|^n\), ale pro \(n \ge 2\) obecně neplatí
\[ \|A^n\| = \|A\|^n . \]Obecné maticové normy
Obecné maticové normy splňují stejné podmínky jako normy vektorů, jen nyní pro matice – jako bychom měli \(m \times n\) rozměrný vektorový prostor.
Nejpoužívanější je Frobeniova norma (též Hilbertova–Schmidtova norma)
\begin{equation} \|A\|_F = \left( \sum_{i=1}^{m} \sum_{j=1}^{n} |a_{ij}|^2 \right)^{1/2} , \label{eq:01:frobenius} \end{equation}tj. jde o 2-normu v \(m \times n\) rozměrném prostoru. I zde platí odhad pro součin
\begin{equation} \|AB\|_F \le \|A\|_F \|B\|_F . \label{eq:01:frobenius_soucin} \end{equation}Lze ukázat, že \(\|A\|_F = \sqrt{\sigma_1^2 + \sigma_2^2 + \dots + \sigma_r^2}\).