タイトル : Re: VB2005の倍精度計算精度は? 投稿日 : 2008/10/05(Sun) 22:27 投稿者 : オショウ
エクセルにて、計算式の簡易な検証を行なってみました。 結果は、.NET方と大差ない結果だったので、もしかして、 VB6の方がおかしいかも・・・ で、気がついたこと・・・ i が、12から13になる部分で、精度的にアンダフロー起こ してしまっているような・・・ 倍精度での最小ケタ付近で、i=6あたりからゼロとなり、 少しづつ大きい値になり、最小ケタ付近がゼロかしていき ます。 そして、i が、12から13になった部分で、一気に4ケタほ ど吹っ飛んでいるような・・・ 式から考えますと、整数部と小数部を分けた固定小数点演 算方式に変更するか・・・各々を整数演算させる方法に変 更しては?分けるとケタ的に楽になりますから・・・ ※ 大昔にやったので、現時点でどうするか・・・忘れました。 調べてみて下さい。 以上。参考までに |