tagCANDY CGI VBレスキュー(花ちゃん) の Visual Basic 2010 用 掲示板(VB.NET 掲示板)
VBレスキュー(花ちゃん) の Visual Basic 2010 用 掲示板(VB.NET 掲示板)
[ツリー表示へ]  [ワード検索]  [Home]

タイトル Re: VB2005の倍精度計算精度は?
投稿日: 2008/10/05(Sun) 22:44
投稿者YuO
> で答えは8.18545231595635E-12
> と計算結果が異なります。

単純に丸め誤差,ということはありませんか?
VB 2008で実験したところ, i = 13において,
2.737460929712971e+003 - 2.737460929712963e+003
という計算がなされています (e15で書式化)。
doubleの10進表記における有効桁数がそもそも15桁ですから,この計算において
0.000000000000008e+003
と,有効桁数が1桁になっています。
# 繰り返した結果の値ですから,現実的には有効桁数0桁と言ってしまえるかもしれません。

VB6の計算結果は8E-12, VB2005の計算結果も8E-12ですから,ちゃんと計算結果は合致しています。

- 関連一覧ツリー をクリックするとツリー全体を一括表示します)

古いスレッドにレスはつけられません。