負ゼロ

| コメント(0) | トラックバック(0)

数としてはあってもいいんだけど、-0が返るパターンがあったので、符号補正を入れて修正。

別に、1文字2文字で困る文字数じゃないから放置してもいいんだけど、0と-0が違うかっていうと十進数演算の中では同じなので、だったら符号不要ということで。

多桁計算にも一応、四捨五入丸め処理を入れている。
というのは既出だが、Excelに文字数制限があるため。
つまり、表現上、数に制限が生まれるわけで、普通の有効桁と同じ扱いと思ってくれればいい。
除算した場合、循環小数なんかはその限界まで延びるのだけれど、そこで四捨五入が必要になる。
掛け算でも桁が多ければ丸める必要がある。

この桁丸めが曲者で、最上位まで桁上がりするパターンってのがある。
9が続いている場合だな。

そういうことを全部ひっくるめてちゃんと処理できることを確認しなきゃならんのは当たり前なんだけど、どこかに漏れがありそうで、ちと怖い。

本日のバグ修正

  • 負ゼロが表示される件の修正

トラックバック(0)

トラックバックURL: https://blog.fne.jp/mt/mt-tb.cgi/83

コメントしちゃいなよ

    

サイトカウンタ

Total: 211,632 Hits, (Recent24Hours: 0 Hits)
~ Since 2010/01 ~

埋め込みツイッター

取得失敗;;
Now: 2024/11/22 0:50:50 JST

このブログ記事について

このページは、ふぅみんが2010年2月 5日 03:35に書いたブログ記事です。

ひとつ前のブログ記事は「多桁数値と実数値」です。

次のブログ記事は「重すぎる加算減算」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。

月別 アーカイブ

2024年5月

 日   月   火   水   木   金   土 
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

埋め込みQRコード