多桁数値と実数値

| コメント(0) | トラックバック(0)

多分、浮動小数点絡みだと思うんだけど、微妙に異なるらしい。

それも、Excelのバージョンによって、微妙さも違うときた。

これにより、計算結果を評価するのがとても面倒なんですが・・・

どうやって評価しようかと、そんなところで躓く。

因みに、やってびっくりしたのが、=1.5*1.3-1.95って計算、Excel95でやると、2.22E-16になるんだぜ・・・。

どうしてやろうか。
多桁乗算を使って、=VALUE(HLMLT(1.5,1.3))-1.95を計算すると、Excel95でも、0が返るんだけどな。

というわけで、本日のバグ(晒し)修正

  • 返却値を取得する内部関数で、ワイド文字側に施した小数点絡みの桁補正をマルチバイト側に反映していなかった件を修正
  • 小数点1ケタの四捨五入処理を誤って整数値最上位桁に入れてしまっていたのを修正

来週頭公開を目標に鋭意評価中ってことで。

トラックバック(0)

トラックバックURL: https://blog.fne.jp/mt/mt-tb.cgi/82

コメントしちゃいなよ

    

サイトカウンタ

Total: 211,632 Hits, (Recent24Hours: 0 Hits)
~ Since 2010/01 ~

埋め込みツイッター

取得失敗;;
Now: 2024/11/21 20:28:16 JST

このブログ記事について

このページは、ふぅみんが2010年2月 4日 01:37に書いたブログ記事です。

ひとつ前のブログ記事は「OpenSSLなんて使わなくても」です。

次のブログ記事は「負ゼロ」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。

月別 アーカイブ

2024年5月

 日   月   火   水   木   金   土 
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

埋め込みQRコード