未知の$\theta$の値によらない(母数に依存しない)、標本のみの関数
標本平均、標本分散など
$$ T(X_1, X_2, \ldots, X_n) = \frac{1}{n} \sum_{i=1}^{n} X_i $$
未知の$\theta$を推定することを点推定と呼び、母集団のパラメータを推定するための統計的手法や手順を表す確率変数を推定量$\hat{\theta}_n$と呼ぶ.
また、推定量に観測値を代入した値を推定値と呼ぶ.
$$ \hat{\theta}(X_1, X_2, \ldots, X_n) = \frac{1}{n} \sum_{i=1}^{n} X_i $$
統計量はデータの特性を説明するためのもので、推定量は特定の母集団パラメータを推定する目的を持っています。
すべての推定量は統計量ですが、すべての統計量が推定量ではありません。
推定量のバイアスは、推定量の期待値とその推定対象となる母集団パラメータとの差を指します。形式的には、パラメータ$\theta$の推定量を$\hat{\theta}$にした時、バイアスは次のように定義される.
$$ \text{Bias}(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta $$
バイアスがゼロの時、不偏推定量となる.
平均二乗誤差を
$$ \text{MSE}(x) = \text{E}[(\hat{\theta} - \theta)^2] $$