Оценка Ходжеса

В статистике оценка Ходжеса^[1] (также оценщик Ходжеса или оценка/оценщик Ходжеса — Ле Кама^[2]), названная в честь Джозефа Ходжеса (англ. Joseph Hodges), — знаменитый контрпример, доказывающий существование суперэффективной оценки^[3], т.е. оценки, достигающей меньшую асимптотическую дисперсию, чем обычные эффективные оценки. Существование такого контрпримера послужило причиной ввода понятия регулярных оценок.

Оценка Ходжеса улучшает регулярную оценку в единственной точке. В общем, любая суперэффективная оценка может превзойти регулярную оценку не более чем на множестве нулевой меры Лебега^[4].

Хотя Ходжес ввёл эту оценку, он её не публиковал; первая публикация была в докторской диссертации Люсьена Ле Кама (англ. Lucien Le Cam)^[5].

Предположим, что ${\displaystyle {\hat {\theta }}_{n}}$ — это обычная оценка некоторого параметра ${\displaystyle \theta }$: она состоятельна и сходится к некоторому асимптотическому распределению ${\displaystyle L_{\theta }}$ (как правило, это нормальное распределение с мат ожиданием ${\displaystyle 0}$ и дисперсией, зависящей от ${\displaystyle \theta }$) при нормировке на ${\displaystyle {\sqrt {n}}}$:

${\displaystyle {\sqrt {n}}\left({\hat {\theta }}_{n}-\theta \right){\overset {d}{\to }}L_{\theta }}$

Тогда оценка Ходжеса ${\displaystyle {\hat {\theta }}_{n}^{H}}$ определяется как^[6]:

${\displaystyle {\hat {\theta }}_{n}^{H}={\begin{cases}{\hat {\theta }}_{n},&{\text{если }}|{\hat {\theta }}_{n}|\geqslant n^{-1/4}\\0,&{\text{если }}|{\hat {\theta }}_{n}|<n^{-1/4}\end{cases}}}$.

Она совпадает с ${\displaystyle {\hat {\theta }}_{n}}$ везде, кроме маленького интервала ${\displaystyle \left[-n^{-1/4},n^{-1/4}\right]}$, где она равен нулю. Несложно увидеть, что оценка состоятельна для ${\displaystyle \theta }$ и её асимптотическое распределение следующее^[7]:

${\displaystyle {\begin{aligned}&n^{\alpha }\left({\hat {\theta }}_{n}^{H}-\theta \right){\overset {d}{\to }}0,\qquad {\text{при }}\theta =0,\\&{\sqrt {n}}\left({\hat {\theta }}_{n}^{H}-\theta \right){\overset {d}{\to }}L_{\theta },\qquad {\text{при }}\theta \neq 0\end{aligned}}}$,

для любого ${\displaystyle \alpha \in \mathbb {R} }$. Отсюда эта оценка имеет такое же асимптотическое распределение как ${\displaystyle {\hat {\theta }}_{n}}$ для всех ${\displaystyle \theta \neq 0}$, а для ${\displaystyle \theta =0}$ скорость схождения становится сколь угодно быстрой. Эта оценка суперэффективная и превосходит асимптотическое поведение эффективной оценки ${\displaystyle {\hat {\theta }}_{n}}$ хотя бы в одной точке ${\displaystyle \theta =0}$.

Неверно, что оценка Ходжеса равна выборочному среднему, но которая становится намного лучше выборочного среднего, когда истинное среднее равно ${\displaystyle 0}$. Верно, что для конечного ${\displaystyle n}$ усечение может привести к худшей квадратичной ошибке, чем оценка на выборочном среднем, когда ${\displaystyle \mathbb {E} X}$ близко к ${\displaystyle 0}$, как показано на примере в следующем разделе^[8].

Ле Кам показал, что такое поведение типично: суперэффективность в точке ${\displaystyle \theta }$ подразумевает существование последовательности ${\displaystyle \theta _{n}\to \theta }$, такой что ${\displaystyle \varliminf _{n\to \infty }\mathbb {E} \theta _{n}l\left({\sqrt {n}}\left({\hat {\theta }}_{n}-\theta _{n}\right)\right)}$ строго больше границы Крамера — Рао. Для особых случаев, где асимптотический риск в ${\displaystyle \theta }$ равен нулю, предел ${\displaystyle \varliminf _{n\to \infty }}$ бесконечный для последовательности ${\displaystyle \theta _{n}\to \theta }$^[9].

В общем случае, суперэффективность может быть достигнута на подмножестве меры Лебега ноль параметрического пространства ${\displaystyle \Theta }$^[8].

Предположим ${\displaystyle x_{1},\dots ,x_{n}}$ независимо и одинаково распределённая выборка из нормального распределения ${\displaystyle N(\theta ,1)}$ с неизвестным среднем, но известной дисперсии. Тогда обычная оценка генерального среднего ${\displaystyle \theta }$ — это арифметическое среднее всех наблюдений ${\displaystyle {\bar {x}}}$. Соответствующая оценка Ходжеса тогда: ${\displaystyle {\hat {\theta }}_{n}^{H}={\bar {x}}\cdot \mathbf {1} \left\{|{\bar {x}}|\geqslant n^{-1/4}\right\}}$, где ${\displaystyle \mathbf {1} \{\dots \}}$ — индикаторная функция.

Среднеквадратичная ошибка (умноженная на ${\displaystyle n}$) на основе регулярной оценки ${\displaystyle {\bar {x}}}$ постоянна и равна ${\displaystyle 1}$ для всех ${\displaystyle \theta }$. В то же время среднеквадратичная ошибка для оценки Ходжеса ${\displaystyle {\hat {\theta }}_{n}^{H}}$ ведёт себя хаотично в окрестности нуля и даже становится неограниченной при ${\displaystyle n\to \infty }$. Это показывает, что оценка не является регулярной и её асимптотические свойства неадекватно описываются пределами формы (при фиксированном ${\displaystyle \theta }$, ${\displaystyle n\to \infty }$).

• Оценка Джеймса — Штейна