離散数学 06：算術演算と精度の落とし穴
離散数学 06：算術演算と精度の落とし穴 コンピュータの計算は、数学の理想的な実数計算とは違います。ビット数に限りがあるため、表せる範囲と精度に限界があります。試験では、オーバーフロー、アンダーフロー、丸め誤差、桁落ち、情報落ちがよく出ます。 オーバーフローとアンダーフロー オーバーフローは、計算結果が表現可能な最大値を超えることです。アンダーフローは、絶対
14 0 0 0
#算術演算
1 件の記事
1 件の記事
離散数学 06：算術演算と精度の落とし穴 コンピュータの計算は、数学の理想的な実数計算とは違います。ビット数に限りがあるため、表せる範囲と精度に限界があります。試験では、オーバーフロー、アンダーフロー、丸め誤差、桁落ち、情報落ちがよく出ます。 オーバーフローとアンダーフロー オーバーフローは、計算結果が表現可能な最大値を超えることです。アンダーフローは、絶対