AnsweredAssumed Answered

分析の計算の精度について

Question asked by uis-cae-common on Feb 28, 2020
Latest reply on Mar 3, 2020 by tchiba

AFの分析を用いて浮動小数点の計算を行う際の精度について教えてください。

分析機能を使って計算した結果と、Excelや手計算で計算した結果で誤差が発生することを確認しているのですが、どの程度の誤差が発生するのでしょうか?

 

以下のような計算などを試しました。

・AFに登録した属性を通して、Float32のタグに-1.5392532を登録したところ、-1.53925323が登録された。

・上記の属性をさらに編集しようとしたところ、-1.539253が編集対象として表示された。

・上記の属性を分析の入力とし、Float64のタグに出力すると、-1.5392529964447021が出力された。

・15程度のFloat64の数値(整数部3桁)の入力値の平均をとると小数部4桁目で誤差が発生した。

Outcomes