Вспомогательная статистика

В статистике вспомогательной статистикой (также дополнительная статистика, подчинённая статистика^[1]) называется статистика, вычисленная на выборке относительно параметрической модели набора данных. У вспомогательной статистики такое же распределение, не считая значения параметров, и поэтому она не предоставляет информацию о них^[2][3][4]. Это противопоставляется идее полной статистики, которая не содержит вспомогательной информации. Вспомогательная статистика близка к идее достаточной статистики, которая содержит всю информацию о параметрах, которую предоставляет набор данных.

Вспомогательная статистика — это особый случай центральной величины, которая вычисляется исключительно из предоставленных данных, а не из параметров. Они могут использоваться для построения интервалов предсказания. С помощью теоремы Басу можно доказать независимость между статистиками^[5].

Термин введён Рональдом Фишером в 1920-х^[6], но формальное определение было опубликовано только в 1964 индийским математиком Дебабрата Басу (англ. Debabrata Basu)^[7][8].

Предположим, ${\displaystyle X_{1},\dots ,X_{n}}$ независимые и одинаково распределённые (в данном случае — нормально) с неизвестным мат ожиданием и дисперсией, равной ${\displaystyle 1}$. Пусть

${\displaystyle {\bar {X}}_{n}={\frac {X_{1}+\dots +X_{n}}{n}}}$

будет выборочным средним.

Следующие статистические измерения разброса выборки:

• Размах: ${\displaystyle \max(X_{1},\dots ,X_{n})-\min(X_{1},\dots ,X_{n})}$
• Межквартильный размах: ${\displaystyle Q_{3}-Q_{1}}$
• Выборочная дисперсия:

${\displaystyle {\hat {\sigma }}^{2}{\overset {\text{def}}{=}}{\frac {\sum (X_{i}-{\bar {X}})^{2}}{n}}}$

являются вспомогательными статистиками, поскольку их выборочные распределения не изменяются с изменением ${\displaystyle \mu }$. Вычислительно это потому, что в формулах нет терма ${\displaystyle \mu }$ — добавляя постоянное число к распределению (и ко всем выборкам) изменяется выборочный максимум и минимум на то же самое число, поэтому это не изменяет их разницу, как и другие измерения, поэтому они не зависят от сдвига.

И наоборот, для независимых одинаково распределённых (снова нормально) случайных величин с известным мат ожиданием, равным ${\displaystyle 1}$ и неизвестной дисперсией ${\displaystyle \sigma ^{2}}$, выборочное среднее ${\displaystyle {\bar {X}}}$ не является вспомогательной статистикой дисперсии, поскольку выборочное распределение выборочного среднего — это ${\displaystyle N(1,\sigma ^{2}/n)}$, что зависит от ${\displaystyle \sigma ^{2}}$, эта оценка сдвига (а именно стандартная ошибка) зависит от дисперсии^[9].

В семействе распределений со сдвигом ${\displaystyle \left(X_{1}-X_{n},X_{2}-X_{n},\,\dots ,\,X_{n-1}-X_{N}\right)}$ является вспомогательной статистикой.

В семействе распределений с масштабом ${\displaystyle \left({\frac {X_{1}}{X_{N}}},{\frac {X_{2}}{X_{n}}},\,\dots ,\,{\frac {X_{n-1}}{X_{n}}}\right)}$ является вспомогательной статистикой.

В семействе сдвига-масштаба ${\displaystyle \left({\frac {X_{1}-X_{n}}{S}},{\frac {X_{2}-X_{n}}{S}},\,\dots ,\,{\frac {X_{n-1}-X_{n}}{S}}\right)}$, где ${\displaystyle S^{2}}$ выборочная дисперсия, является вспомогательной статистикой^[4].

Оказывается, что если ${\displaystyle T_{1}}$ — статистика, не являющаяся достаточной, а ${\displaystyle T_{2}}$ — вспомогательная, то иногда удаётся восстановить всю информацию о неизвестном параметре, содержащуюся во всех данных, по ${\displaystyle T_{1}}$, делая вывод при условии наблюдаемого значения ${\displaystyle T_{2}}$. Это называется условный вывод^[4][10].

Например, пусть ${\displaystyle X_{1},X_{2}\sim N(\theta ,1)}$ (распределены нормально), где ${\displaystyle \theta }$ неизвестна. Заметим, что хоть ${\displaystyle X_{1}}$ не является достаточной статистикой для ${\displaystyle \theta }$, поскольку её информация Фишера равна 1, в то время как информация Фишера достаточной статистики ${\displaystyle {\bar {X}}}$ равна ${\displaystyle 2}$, с помощью вывода вспомогательной статистики ${\displaystyle X_{1}-X_{2}}$, получается совместное распределение с информацией Фишера ${\displaystyle 2}$^[4].

Если статистика ${\displaystyle T}$ не является достаточной, то вспомогательная статистика ${\displaystyle U}$, такая что статистика ${\displaystyle (T,U)}$ является достаточной, называется вспомогательным дополнением^[3] . Интуитивно, вспомогательное дополнение "добавляет пропущенную информацию" (без повторений).

Такая статистика будет особенно полезна, если оценка (а следовательно — статистика) ${\displaystyle T}$ была получена методом максимального правдоподобия, который в общем случае не возвращает достаточную статистику; тогда можно искать вспомогательное дополнение. Фишер утверждал, что в этом случае для вспомогательного дополнения необходимо условие, чтобы определить информацию содержимого: необходимо рассматривать информацию Фишера содержимого статистики ${\displaystyle T}$ не на основе маргинального распределения ${\displaystyle T}$, а по условному распределению ${\displaystyle T}$ по ${\displaystyle U}$: сколько информации добавляет ${\displaystyle T}$? В общем случае это невозможно, поскольку вспомогательное дополнение может не существовать, а если и существует, то не обязательно должно быть единственным, так и максимальное вспомогательное дополнение может не существовать.

Предположим, бейсбольный аналитик (скаут) наблюдает отбивающего в ${\displaystyle N}$ выходах на биту. Предположим, хоть это и нереалистично, что число ${\displaystyle N}$ выбирается каким-то случайным процессом, независимым от способностей отбивающего, скажем, подбрасывается монетка каждый раз после выхода на биту и результат определяет будет ли скаут наблюдать за следующим выходом на биту. Конечные данные — это число ${\displaystyle N}$ выходов на биту и число хитов ${\displaystyle X}$: данные ${\displaystyle (X,N)}$ — являются достаточной статистикой. Наблюдаемая средняя результативность отбивающего (англ. Batting average) ${\displaystyle X/N}$ не может передать всю информацию из данных, поскольку не может сказать количество выходов на биту ${\displaystyle N}$ (например, средняя результативность ${\displaystyle 0.400}$, что очень высокий результат (см. список чемпионов по среднему показателю отбивания (англ. List of Major League Baseball batting champions)) за пять выходов, не впечатляет так же сильно, как игрок у которого средняя результативность ${\displaystyle 0.400}$ за сто выходов). Число выходов ${\displaystyle N}$ является вспомогательной статистикой, потому что:

• Это часть наблюдаемых данных (и является статистикой)
• это вероятностное распределение не зависит от навыков отбивающего, поскольку было выбрано с помощью случайного процесса, [в свою очередь] не зависящего от способностей отбивающего.

Это вспомогательная статистика является вспомогательным дополнением для наблюдаемой средней результативности ${\displaystyle X/N}$, т.е. средняя результативность ${\displaystyle X/N}$ не является достаточной статистикой, поскольку она не предоставляет всю необходимую информацию в данных, но в объединении с ${\displaystyle N}$ она становится достаточной.

• Теорема Басу
• Интервал предсказания
• Групповое семейство
• Принцип условности