stat-methods/notebooks/python/hypotesis.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Проверка статистических гипотез\n",
    "\n",
    "Задача: есть некоторое статистическое утверждение (гипотеза) $H$ и есть набор экспериментальных данных $X$. Требуется сделать утверждение о степени достоверности гипотезы **H** при заданном наборе $X$.\n",
    "\n",
    "В большинстве случаев речь идет о проверке единственной гипотезы, которую принято называть нулевой $H_0$. В отдельных случаях стоит также задача выбора наиболее подходящей гипотезы из набора $H_0,~H_1,~H_2,~...$\n",
    "\n",
    "Для формализации процесса проверки гипотезы требуется ввести ФПВ: $f(X|H_0)$, характеризующее вероятность получить заданные наблюдаемые результаты в случае, если гипотеза верна.\n",
    "\n",
    "**Замечание** Вообще говоря, уже этого распределеня достаточно для того, чтобы понять, верна гипотеза или нет. Если вероятность получить набор данных велика, то гипотеза наверное не верна. С другой стороны, возникает проблема с тем, что сложно понять, на сколько именно (с какой достоверностью) верна или не верна гипотеза  нормировки распределений часто вычисляются не верно.\n",
    "\n",
    "Для упрощения процесс принятия решения, используют функцию, называемую проверочной статистикой: $T(X)$, где T - число. Для такой статистики довольно легко построит ФПВ: $g(T|H_0)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![](images/two_hypothsis.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для критерия $T$ вводится понятие критического значения или критической области $T_0$. В случае, если значение $T$ превышает критическое значение (или выходит из критической области), то гипотеза считается не верной. Если значение в области, гипотеза считается верной.\n",
    "\n",
    "Величина\n",
    "$$\n",
    "  \\alpha = \\int_{T_0}^\\inf {g(T|H_0)}\n",
    "$$\n",
    "показывает вероятность **ошибки I рода**. То есть вероятность отвергнуть гипотезу, когда она верна. Величину $1-\\alpha$ называют уровнем достоверности критерия.\n",
    "\n",
    "В случае, если существует единственная альтернативная (исключающая $H_0$) гипотеза $H_1$, то также можно определить величину **ошибки II рода**, то есть вероятность принять $H_0$ в случае если она не верна:\n",
    "$$\n",
    "  \\beta = \\int_{-\\inf}^{T_0} {g(T|H_1)}\n",
    "$$\n",
    "\n",
    "Величину $1-\\beta$ называют мощностью критерия при заданной достоверности $1-\\alpha$.\n",
    "\n",
    "Среди двух критериев предпочтительным является тот, для которого мощность при той же значимости выше. Критерий, который будет более мощным для всех возможных состояний природы, называют равномерно более мощным критерием."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Построение критической области критерия\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Визуально подбро критической области критерия можно сделать следующим образом: \n",
    "\n",
    "* Берем распределение $g(T|H_0)$.\n",
    "* Интегрируем его и получаем интегральное распределение: $G(T|H_0) = \\int{g(T|H_0)}$. При необходимости перенормируем в диапазон [0,1].\n",
    "* Проводим линию на уровне нужного уровня значимости (например C. L. 95%).\n",
    "* Пересечение этой линии с графиком проектируется на ось T и это значение и будет означать критическую область."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Качество фита (стандартные критерии)\n",
    "\n",
    "### Критерий Пирсона\n",
    "Проверочная статистика:\n",
    "$$\n",
    "\\chi^2 = \\sum{\\frac{ (O_i-E_i)^2}{E_i}}\n",
    "$$\n",
    "\n",
    "Асимпототически приближается к $\\chi^2$ распределению.\n",
    "\n",
    "![](images/Chi-square_cdf.svg)\n",
    "\n",
    "### Критерий соотношения правдоподобия\n",
    "\n",
    "Пусть $\\Theta$ - пространство параметров $\\theta$, а $\\Omega*$ - область пространства парамеров, на принадлежность которой мы хотим проверить данные. В качестве проверочной статиситки выбирается:\n",
    "$$\n",
    "\\lambda = \\frac{L(X|\\theta \\in \\Omega)}{L(X|\\theta \\in \\Theta)}\n",
    "$$\n",
    "\n",
    "Величина $-2ln\\lambda$ распределена как $\\chi^2(r)$, где r - количество фиксированных параметров в $\\Omega$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Сложные гипотезы\n",
    "Положим что есть семейство гипотез $H_i$, среди которых надо выбрать наиболее достоверную. Выбор можно сделать двумя способами:\n",
    "\n",
    "* Выбираем ту гипотезу, для которой $g(T|H_i)$ максимален.\n",
    "* Выбираем ту гипотезу, для которой $\\int_T^\\inf{g(T|H_i)}$ максимален.\n",
    "\n",
    "Если принять $T = L(X|\\theta)$, то решение по первому методу сводится к методу максимуму правдоподобия."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}