タイトル : Re: VB2005の倍精度計算精度は? 投稿日 : 2008/10/05(Sun) 22:44 投稿者 : YuO
> で答えは8.18545231595635E-12 > と計算結果が異なります。 単純に丸め誤差,ということはありませんか? VB 2008で実験したところ, i = 13において, 2.737460929712971e+003 - 2.737460929712963e+003 という計算がなされています (e15で書式化)。 doubleの10進表記における有効桁数がそもそも15桁ですから,この計算において 0.000000000000008e+003 と,有効桁数が1桁になっています。 # 繰り返した結果の値ですから,現実的には有効桁数0桁と言ってしまえるかもしれません。 VB6の計算結果は8E-12, VB2005の計算結果も8E-12ですから,ちゃんと計算結果は合致しています。 |