tagCANDY CGI VBレスキュー(花ちゃん) の Visual Basic 2010 用 掲示板(VB.NET 掲示板)
VBレスキュー(花ちゃん) の Visual Basic 2010 用 掲示板(VB.NET 掲示板)
[ツリー表示へ]  [ワード検索]  [Home]

タイトル Re: VB2005の倍精度計算精度は?
投稿日: 2008/10/05(Sun) 22:27
投稿者オショウ
エクセルにて、計算式の簡易な検証を行なってみました。
結果は、.NET方と大差ない結果だったので、もしかして、
VB6の方がおかしいかも・・・

で、気がついたこと・・・
i が、12から13になる部分で、精度的にアンダフロー起こ
してしまっているような・・・
倍精度での最小ケタ付近で、i=6あたりからゼロとなり、
少しづつ大きい値になり、最小ケタ付近がゼロかしていき
ます。
そして、i が、12から13になった部分で、一気に4ケタほ
ど吹っ飛んでいるような・・・

式から考えますと、整数部と小数部を分けた固定小数点演
算方式に変更するか・・・各々を整数演算させる方法に変
更しては?分けるとケタ的に楽になりますから・・・

※ 大昔にやったので、現時点でどうするか・・・忘れました。
  調べてみて下さい。

以上。参考までに

- 関連一覧ツリー をクリックするとツリー全体を一括表示します)

古いスレッドにレスはつけられません。