Причинно-следственный анализ

Причи́нно-сле́дственный ана́лиз (англ. causal inference, CI) — процесс выяснения действительных причин тех или иных явлений или наблюдений. Основные вопросы причинно-следственного анализа — почему что-то происходит и что можно сделать, чтобы изменить результат^[1].

Стандартный статистический анализ выводит ассоциативные зависимости между переменными. Вместе с тем, совместное распределение двух переменных, таких как наличие симптомов и наличие болезни, не позволяет утверждать, что изменение одной переменной (лечение симптомов) позволит изменить другую (вылечить болезнь). Это выражается известной формулой «корреляция не означает причинно-следственной связи»^[2]. На практике ассоциация двух величин может быть вызвана другими причинами, например, третьими величинами. Это делает причинно-следственный анализ особенно важным, так как он позволяет отличать между собой простые корреляции от действительных причинно-следственных связей^[3][4].

Фундаментальной проблемой анализа причинно-следственных связей является невозможность наблюдать одновременно наличие и отсутствие воздействия на исследуемый объект. Из-за этого нельзя определить индивидуальный эффект воздействия, так как мы можем наблюдать только один из возможных исходов.

Пусть ${\displaystyle T_{i}}$ — наличие воздействия (лечения, вмешательства) на объект ${\displaystyle i}$, ${\displaystyle Y_{1i}}$ — значение результирующей переменной при наличии воздействия на объект, ${\displaystyle Y_{0i}}$ — значение результирующей переменной при отсутствии воздействия. Тогда определяется средний эффект воздействия (англ. average treatment effect, ATE):

$${\displaystyle ATE=\mathbb {E} [Y_{1}-Y_{0}]}$$

Более простой для оценки величиной является средний эффект воздействия для тех, кто подвергся воздействию (англ. average treatment effect on the treated, ATT):

$${\displaystyle ATT=\mathbb {E} [Y_{1}-Y_{0}\vert T=1]}$$

На первый взгляд, ATE можно оценить, сравнив средние значения для объектов, подвергшихся и не подвергшихся воздействию. Однако, это является ошибкой. Значение ${\displaystyle \mathbb {E} [Y_{1}\vert T=1]-\mathbb {E} [Y_{0}\vert T=0]}$ выражает ассоциацию. Прибавим и вычтем значение ${\displaystyle \mathbb {E} [Y_{0}\vert T=1]}$ — контрафактический результат:

$${\displaystyle \mathbb {E} [Y_{1}\vert T=1]-\mathbb {E} [Y_{0}\vert T=0]+\mathbb {E} [Y_{0}\vert T=1]-\mathbb {E} [Y_{0}\vert T=1]=\mathbb {E} [Y_{1}-Y_{0}\vert T=1]+\mathbb {E} [Y_{0}\vert T=1]-\mathbb {E} [Y_{0}\vert T=0]}$$

Первое слагаемое соответствует ATT, а последующие дают смещение. Оно обусловлено различиями между двумя группами объектов в ситуации отсутствия воздействия. Отсюда можно сделать вывод, что ассоциация является причинно-следственной связью, если ${\displaystyle \mathbb {E} [Y_{0}\vert T=1]=\mathbb {E} [Y_{0}\vert T=0]}$ — то есть, до начала воздействия обе группы одинаковы^[5].

Своеобразным языком причинности выступают графовые модели. Каждая вершина соответствует случайной величине, а рёбра выражают причинно-следственные связи между ними^[6].

Основные структуры, выделяемые в графовой модели:

Цепочка

${\displaystyle A}$ является причиной ${\displaystyle B}$, ${\displaystyle B}$ является причиной ${\displaystyle C}$

Вилка

Одна и та же переменная является причиной двух других переменных

Коллайдер

Переменная, на которую влияют две переменные

Одним из важнейших предположений, необходимых для корректности причинно-следственного вывода, является условная независимость переменных. Условную независимость переменных можно определить по графу, воспользовавшись понятием d-отделимости. Набор вершин ${\displaystyle S}$ называется блокирующим путь ${\displaystyle p}$, если верно одно из условий:

• ${\displaystyle p}$ содержит вершину из ${\displaystyle S}$, из которой исходят дуги;
• ${\displaystyle p}$ содержит коллайдер вне ${\displaystyle S}$, у которого нет потомков из ${\displaystyle S}$.

Если ${\displaystyle S}$ блокирует все пути из ${\displaystyle X}$ в ${\displaystyle Y}$, то оно называется d-отделяющим ${\displaystyle X}$ и ${\displaystyle Y}$, и в таком случае ${\displaystyle X\perp \!\!\!\perp Y\vert S}$^[2].

Графовые модели позволяют выяснить природу смещения и определить средства, необходимые для его корректировки^[6].

Смещение из-за спутывающих факторов

Спутывающий (искажающий) фактор возникает, когда воздействие и результат имеют общую причину^[7].

Смещение из-за отбора

Смещение из-за отбора возникает, когда мы учитываем больше переменных, чем следовало бы. Проблемными оказываются условия, являющиеся общими следствиями или медиаторами^[8].

В идеале мы хотим узнать, что бы произошло, если бы мы применили одно воздействие, а что бы произошло, если бы мы применили другое воздействие. В таких случаях мы производим вмешательство в систему, фиксируя значения «лечения». В таком сценарии поведение системы меняется. Распределение вероятностей в этом случае обозначается как ${\displaystyle P\vert {\text{do}}(T=A)}$, где ${\displaystyle {\text{do}}}$ обозначает факт вмешательства. В графе в таком случае все дуги, указывающие на ${\displaystyle T}$, удаляются^[9].

Другой способ записать вмешательства предоставляет структурный подход^[10]. Его центральной идеей является запись общих характеристик зависимости без конкретной функциональной формы. Так, можно записать:

$${\displaystyle z=f_{Z}(u_{Z})\qquad x=f_{X}(z,u_{X})\qquad y=f_{Y}(x,u_{Y})}$$

Здесь ${\displaystyle U_{Z},U_{X},U_{Y}}$ обозначают совместно независимые переменные с произвольным распределением. Они представляют неизвестные факторы^[10]. Вмешательство показывается заменой функциональной зависимости на присвоенное значение (например, ${\displaystyle x=x_{0}}$)^[2].

Понятие вмешательства позволяет записать формулу корректировки для переменной ${\displaystyle S}$, определяющей группу, к которой принадлежит объект^[11]:

$${\displaystyle P(R=1\vert {\text{do}}(T=A))=\sum _{s}P(R=1\vert S=s,T=A)P(S=s)}$$

Формула корректировки работает, только если верно предположение о положительности: ${\displaystyle 0<P(T=t\vert S=s)<1}$. Оно эквивалентно утверждению, что для каждого объекта можно найти объект с похожими характеристиками, воздействие на который было противоположным. Эти соответствия можно определить при помощи меры склонности (или оценки склонности, англ. propensity score). Формально, она отражает вероятность, что любой объект с теми же характеристиками получит определённое воздействие^[12].

Для достижения независимости результатов воздействия достаточно поставить условием именно оценку склонности: ${\displaystyle (Y_{1},Y_{0})\perp \!\!\!\perp T\vert e(x)}$, где ${\displaystyle e(x)}$ — оценка склонности. Также мера склонности используется для взвешивания тестовой и контрольной групп в эксперименте^[13].

Мера склонности предоставляет визуальный способ оценить соблюдение предположения о положительности: выяснить, где перекрываются носители распределений мер склонности для групп^[14]:

• Если носители не пересекаются, то вычисление ATE невозможно;
• Если имеется полное перекрытие носителей, то можно безопасно продолжать вычисление ATE;
• Если пересечение наблюдается для подмножества объектов, то можно продолжить исследование именно на этом подмножестве.

Также с помощью меры склонности можно переписать формулу корректировки (здесь ${\displaystyle c}$ — вектор искажающих факторов, а ${\displaystyle s}$ — мера склонности)^[15]:

$${\displaystyle \sum _{s}P(O=1\vert t,c)P(c)=\sum _{s}P(O=1\vert t,s)P(s)}$$

Использование формулы корректировки в случаях, когда искажающие факторы не наблюдаются, может привести к неверным выводам. В таких случаях может оказаться полезным метод инструментальных переменных (IV)^[16]. Для его применения необходимо наличие инструмента — переменной, которая влияет на переменную воздействия и коррелирует с переменной результата только через неё^[17].

Формально, пусть ${\displaystyle Z}$ — инструмент, ${\displaystyle D}$ — переменная воздействия, ${\displaystyle Y}$ — исход, ${\displaystyle C}$ — ненаблюдаемые искажающие факторы. Ключевыми предположениями, необходимыми для применения IV, являются^[18]:

Релевантность

${\displaystyle Z}$ оказывает влияние на ${\displaystyle D}$

Экзогенность

На ${\displaystyle Z}$ не влияют никакие факторы из ${\displaystyle C}$

Исключительность

Всё влияние ${\displaystyle Z}$ на ${\displaystyle Y}$ оказывается через ${\displaystyle D}$

Тогда можно оценить эффект ${\displaystyle Z}$ по ${\displaystyle Y}$, масштабировать его по эффекту ${\displaystyle Z}$ на ${\displaystyle T}$ и получить эффект ${\displaystyle T}$^[19].

В ряде задач имеются периоды до и после вмешательства, и требуется отделить его влияние от общего тренда. Пусть ${\displaystyle Y_{D}(T)}$ — потенциальный результат воздействия ${\displaystyle D}$ в момент времени ${\displaystyle T}$. Если бы была возможность наблюдать контрафактический результат, то мы бы оценили эффект интервенции как ${\displaystyle \mathbb {E} [Y_{1}(1)-Y_{0}(1)\vert D=1]}$. Поскольку его измерить нельзя, можно сравнить результаты до и после интервенции: ${\displaystyle \mathbb {E} [Y(1)\vert D=1]-\mathbb {E} [Y(0)\vert D=1]}$.

Однако, в случае наличия тренда у результирующей переменной вывод получится неверным. Тогда можно сравнить тестовую и контрольную группы после интервенции: ${\displaystyle \mathbb {E} [Y(1)\vert D=1]-\mathbb {E} [Y(0)\vert D=0]}$. Но этот подход будет верным, если тестовая и контрольная группы сопоставимы.

Метод разности разностей учитывает обе возможные проблемы:

$${\displaystyle {\hat {ATET}}=(\mathbb {E} [Y(1)\vert D=1]-\mathbb {E} [Y(0)\vert D=0])-(\mathbb {E} [Y(1)\vert D=0]-\mathbb {E} [Y(0)\vert D=0])}$$

Метод получил название за счёт того, что в нём из разницы средних значений в тестовой группе до и после интервенции вычитается разница в контрольной группе^[20].

Метод разности разностей даёт смещённый результат, если тренд в тестовой группе отличается от тренда в контрольной. В таком случае одним из решений оказывается синтетический контроль^[21].

Синтетический контроль определяется как средневзвешенное значение для объектов в контрольной группе. Пусть мы подействовали на объект ${\displaystyle j=1}$ из ${\displaystyle J+1}$ объектов. Определим ${\displaystyle Y_{jt}^{N}}$ как потенциальный результат без вмешательства, а ${\displaystyle Y_{jt}^{I}}$ — как потенциальный результат с вмешательством. Тогда оценку ${\displaystyle Y_{1t}^{N}}$ можно получить, задав веса ${\displaystyle \mathbf {W} =(w_{2},...,w_{J+1})}$, как:

$${\displaystyle {\hat {Y}}_{1t}^{N}=\sum _{j=2}^{J+1}w_{j}Y_{jt}}$$

Веса в синтетическом контроле можно оценить с помощью линейной регрессии на значениях до вмешательства^[22].

Синтетический контроль основывается на ряде предположений, которые обязательно должны выполняться для его хорошей работы. Пусть ${\displaystyle Y(t)}$ — временной ряд результатов, в момент времени ${\displaystyle t=T}$ происходит событие, чей причинный эффект мы оценивает, а ${\displaystyle X(t)}$ — другой временной ряд, выступающий в роли контрольного. Тогда должно быть верно^[23]:

• ${\displaystyle X(t)}$ можно использовать для создания модели, прогнозирующей ${\displaystyle Y(t)}$ на данных до ${\displaystyle T}$;
• событие в момент ${\displaystyle T}$ не влияет на контрольный ряд;
• никакие события, кроме исследуемого, не искажают связь между ${\displaystyle Y(t)}$ и ${\displaystyle X(t)}$.

И машинное обучение, и причинно-следственный анализ моделируют связи между переменными. Однако, они делают это принципиально разными методами с принципиально разными целями. Тем не менее, они могут дополнять друг друга. Например, методы машинного обучения могут быть полезными при наличии большого количества искажающих факторов, которые нужно учесть^[24].

Причинно-следственный анализ влияет на ряд областей машинного обучения.

Обучение с подкреплением

Обучение с подкреплением выбирает поведение, оптимизирующее целевую функцию, в то время как причинно-следственный анализ выясняет, что было бы в других условиях. Тем самым, они охватывают разные стороны одного и того же: контрафактических связей^[25].

Справедливость

Применение моделей машинного обучения в таких областях, как медицина, поддержание правопорядка, образование и финансы, сталкивается с вопросами справедливости, когда на исторические данные оказывали влияние раса, пол, сексуальная ориентация и другие признаки. Причинно-следственный анализ позволяет выявить такие отклонения и избежать тем самым дискриминации^[26][27].

Ложные корреляции

Модели могут основывать свои прогнозы на ложных корреляциях. Причинно-следственный анализ позволяет влияние таких корреляций уменьшить, тем самым позволяя обобщение на область вне обучающих данных^{[28][29][30][31]}.

Обработка естественного языка

Исследование причинности в обработке естественного языка представляет из себя малоизученную, но активно развивающуюся область. Текст может представлять из себя воздействие, исход или искажающий фактор, и тем самым представлять объект изучения причинно-следственного анализа^[32]. Методы NLP, в особенности большие языковые модели, могут быть полезными при решении задач причинно-следственного анализа^[33].

Объяснимость

Причинно-следственный анализ может быть полезен для интерпретации результатов работы модели и понимания, почему она работает именно так^[34][35].

С XIX века для определения причинно-следственной связи между микроорганизмом и болезнью использовались постулаты Коха. В 1965 году были сформулированы критерии Брэдфорда Хилла для выявления причинно-следственных связей в эпидемиологических данных^[36].

Причинно-следственный анализ также применяется для определения эффективности лечения. Если положительный эффект не гарантирован, решение о назначении лечения принимается на основе экспертных знаний о причинно-следственных связях, которых может не быть для новых болезней. В таких случаях для построения причинно-следственной модели может быть полезно машинное обучение^[37].

В общественных науках наблюдается тенденция к учёту количественных показателей при определении причинности, что позволяет улучшить качество выводов. В публикации «Designing Social Inquiry» авторы настаивали на необходимости внедрения статистических методов в исследования^[38][39]. Учёные разработали инструменты, позволяющие осуществлять причинно-следственный анализ с использованием и качественных, и количественных подходов^[40][41].

В экономике и политологии причинно-следственный анализ оказывается особенно трудным из-за сложности политических и экономических явлений и невозможности воссоздать многие из них в экспериментах. Вместе с тем, методология и строгость причинно-следственных выводов постепенно улучшаются за счёт развития технологий, увеличения количества исследователей и улучшения методов^[42].

Вместе с тем, в общественных науках по-прежнему сохраняются опасения, что многие исследователи уделяют недостаточно времени причинно-следственному анализу^[43][44].

• Алекс Руис де Вилья Роберт. Причинно-следственный анализ в науке о данных = Causal Inference for Data Science / А. Н. Киселёв. — М. : ДМК Пресс, 2025. — ISBN 978-5-93700-365-2.
• Факур, Матеус. Причинно-следственный анализ для смелых и честных = Causal Inference for The Brave and True / Матеус Факур, Артём Груздев. — М. : ДМК Пресс, 2025. — ISBN 978-5-93700-349-2.

• Causal Inference for The Brave and True
• NIPS 2013 Workshop on Causality
• Causal inference at the Max Planck Institute for Intelligent Systems Tübingen