[ツリー表示へ] [ワード検索] [Home]
タイトル ： Re^4: ＳＩＮＧＬＥ型の切捨てについて 投稿日 ： 2016/11/09(Wed) 13:32 投稿者 ： shu
| > いいと思ったのですが > a=0.965999961 という値が来る時があるのですが > これはdecimal化した時点でcdec(a)= 0.966D となってしまい > Singleの有効桁数は7桁なので 0.9659999までが有効桁となります。 なので続く961の部分は切り上げて考えないと駄目です。 これが駄目ならSingleは使うべきではありません。 |
をクリックするとツリー全体を一括表示します） - ＳＩＮＧＬＥ型の切捨てについて - SUZUKI 16/11/08-16:43No.11755