Неравенство пинскеров - Википедия - Pinskers inequality

В теория информации, Неравенство Пинскера, названный в честь своего изобретателя Марк Семенович Пинскер, является неравенство что ограничивает общее расстояние вариации (или статистическое расстояние) с точки зрения Дивергенция Кульбака – Лейблера.Неравенство жестко до постоянных факторов.[1]

Официальное заявление

Неравенство Пинскера утверждает, что если и два распределения вероятностей на измеримое пространство , тогда

куда

это общее расстояние вариации (или статистическое расстояние) между и и

это Дивергенция Кульбака – Лейблера в нац. Когда пространство образца - конечное множество, расходимость Кульбака – Лейблера задается формулой

Обратите внимание, что с точки зрения общая норма вариации из подписанная мера , Неравенство Пинскера отличается от приведенного выше в два раза:

Доказательство неравенства Пинскера использует неравенство раздела за ж-расхождения.

История

Пинскер первым доказал неравенство с худшей константой. Неравенство в указанной форме было независимо доказано Кульбак, Csiszár, и Кемперман.[2]

Обратная задача

Не может быть точного обратного неравенства: для каждого , есть раздачи с но . Простой пример - двухточечное пространство с и . [3]

Однако на конечных пространствах справедливо обратное неравенство с постоянной зависящей от .[4] Более конкретно, можно показать, что с определением у нас есть по любым меркам который абсолютно непрерывен

Как следствие, если имеет полный поддерживать (т.е. для всех ), тогда

Рекомендации

  1. ^ Csiszár, Imre; Кёрнер, Янош (2011). Теория информации: теоремы кодирования для дискретных систем без памяти. Издательство Кембриджского университета. п. 44. ISBN  9781139499989.
  2. ^ Цыбаков, Александр (2009). Введение в непараметрическое оценивание. Springer. п.132. ISBN  9780387790527.
  3. ^ Дивергенция становится бесконечной, когда одно из двух распределений присваивает событию нулевую вероятность, а другое - ненулевую вероятность (независимо от того, насколько она мала); см. например Басу, Митра; Хо, Тин Кам (2006). Сложность данных при распознавании образов. Springer. п. 161. ISBN  9781846281723..
  4. ^ см. лемму 4.1 в Гётце, Фридрих; Самбале, Хольгер; Синулис, Артур. «Концентрация высшего порядка для функций от слабо зависимых случайных величин». arXiv:1801.06348.

дальнейшее чтение

  • Томас М. Ковер и Джой А. Томас: Элементы теории информации, 2-е издание, Willey-Interscience, 2006 г.
  • Николо Чеза-Бьянки и Габор Лугоши: Прогнозирование, обучение и игры, Cambridge University Press, 2006 г.