Мера относительной информации в теории вероятностей
Диаграмма Венна показывая аддитивные и вычитающие отношения различных
информационные меры связанные с коррелированными переменными
![Икс](https://wikimedia.org/api/rest_v1/media/math/render/svg/68baa052181f707c662844a465bfeeb135e82bab)
и
![Y](https://wikimedia.org/api/rest_v1/media/math/render/svg/961d67d6b454b4df2301ac571808a3538b3a6d3f)
. Область, содержащаяся в обоих кругах, является
совместная энтропия ![{ Displaystyle mathrm {H} (X, Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/870bbc4cf58de95ebd325676f495ffda21a21c97)
. Круг слева (красный и фиолетовый) - это
индивидуальная энтропия ![{ Displaystyle mathrm {H} (X)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b3655e2f8fe1012c2cc749241584fdcc00bfa318)
, красный - это
условная энтропия ![{ Displaystyle mathrm {H} (X | Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b8e6e0bbd44b0c6a6ed669cd328addc7ff3daf5c)
. Круг справа (синий и фиолетовый) - это
![{ Displaystyle mathrm {H} (Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b65e884746ac4cde16228d02b6bdea42b7dccbd6)
, с синим существом
![{ Displaystyle mathrm {H} (Y | X)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/38a0bc0e103304b83100d21ce5090c3c8c62aae6)
. Фиолетовый - это
взаимная информация ![operatorname {I} (X; Y)](https://wikimedia.org/api/rest_v1/media/math/render/svg/a7771931da3da8df3d83d58ab8d42715ebbb3fa4)
.
В теория информации, то условная энтропия определяет количество информации, необходимой для описания результатов случайная переменная
учитывая, что значение другой случайной величины
известен. Здесь информация измеряется в Shannons, нац, или же Hartleys. В энтропия
при условии
записывается как
.
Определение
Условная энтропия
данный
определяется как
![{ Displaystyle mathrm {H} (Y | X) = - sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log { гидроразрыва {p (x, y)} {p (x)}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f070a4d53ced96461310f786e6ef86e812ca1088) | | (Уравнение 1) |
куда
и
обозначить комплекты поддержки из
и
.
Примечание: Принято считать, что выражения
и
для фиксированного
следует рассматривать как равное нулю. Это потому что
и
[1]
Интуитивное объяснение определения: Согласно определению,
куда
партнеры
информационное содержание
данный
, то есть количество информации, необходимой для описания события.
данный
. Согласно закону больших чисел,
является средним арифметическим большого числа независимых реализаций
.
Мотивация
Позволять
быть энтропия дискретной случайной величины
обусловлено дискретной случайной величиной
принимая определенное значение
. Обозначим опорные множества
и
к
и
. Позволять
имеют функция массы вероятности
. Безусловная энтропия
рассчитывается как
, т.е.
![{ Displaystyle mathrm {H} (Y) = sum _ {y in { mathcal {Y}}} { mathrm {Pr} (Y = y) , mathrm {I} (y)} = - sum _ {y in { mathcal {Y}}} {p_ {Y} (y) log _ {2} {p_ {Y} (y)}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/56c1e9429e845f0da75056f49e820a651f70c667)
куда
это информационное содержание из исход из
принимая значение
. Энтропия
при условии
принимая значение
определяется аналогично условное ожидание:
![{ Displaystyle mathrm {H} (Y | X = x) = - sum _ {y in { mathcal {Y}}} { Pr (Y = y | X = x) log _ {2} { Pr (Y = y | X = x)}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d022808f102ccf31871c057dab73b484439235ba)
Обратите внимание, что
является результатом усреднения
по всем возможным значениям
который
может занять. Также, если указанная выше сумма берется за образец
, ожидаемое значение
в некоторых областях известен как двусмысленность.[2]
Данный дискретные случайные величины
с изображением
и
с изображением
, условная энтропия
данный
определяется как взвешенная сумма
для каждого возможного значения
, с помощью
как веса:[3]:15
![{ Displaystyle { begin {align} mathrm {H} (Y | X) & Equiv sum _ {x in { mathcal {X}}} , p (x) , mathrm {H } (Y | X = x) & = - sum _ {x in { mathcal {X}}} p (x) sum _ {y in { mathcal {Y}}} , p (y | x) , log , p (y | x) & = - sum _ {x in { mathcal {X}}} sum _ {y in { mathcal {Y} }} , p (x, y) , log , p (y | x) & = - sum _ {x in { mathcal {X}}, y in { mathcal {Y }}} p (x, y) log , p (y | x) & = - sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log { frac {p (x, y)} {p (x)}}. & = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log { frac {p (x)} {p (x, y)}}. конец {выровнено}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c200b367c0f09c8d1faad3319c6c393d3ebbe539)
Характеристики
Условная энтропия равна нулю
тогда и только тогда, когда значение
полностью определяется величиной
.
Условная энтропия независимых случайных величин
Наоборот,
если и только если
и
находятся независимые случайные величины.
Правило цепи
Предположим, что комбинированная система, определяемая двумя случайными величинами
и
имеет совместная энтропия
, то есть нам нужно
бит информации в среднем для описания его точного состояния. Теперь, если мы сначала узнаем значение
, мы получили
биты информации. Один раз
известно, нам нужно только
биты для описания состояния всей системы. Это количество ровно
, что дает Правило цепи условной энтропии:
[3]:17
Цепное правило следует из приведенного выше определения условной энтропии:
![{ displaystyle { begin {align} mathrm {H} (Y | X) & = sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x , y) log left ({ frac {p (x)} {p (x, y)}} right) [4pt] & = sum _ {x in { mathcal {X}} , y in { mathcal {Y}}} p (x, y) ( log (p (x)) - log (p (x, y))) [4pt] & = - sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} p (x, y) log (p (x, y)) + sum _ {x in { mathcal {X}}, y in { mathcal {Y}}} {p (x, y) log (p (x))} [4pt] & = mathrm {H} (X, Y) + sum _ {x in { mathcal {X}}} p (x) log (p (x)) [4pt] & = mathrm {H} (X, Y) - mathrm {H} (X). End {выровнено}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/501bd3a915d2218c4464e1ea8cfefc3fba872320)
В общем, выполняется цепное правило для нескольких случайных величин:
[3]:22
По форме он похож на Правило цепи в теории вероятностей, за исключением того, что вместо умножения используется сложение.
Правило Байеса
Правило Байеса для состояний с условной энтропией
![{ Displaystyle mathrm {H} (Y | X) , = , mathrm {H} (X | Y) - mathrm {H} (X) + mathrm {H} (Y).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/19d94407d6fcf7e76083457cd72c1c5efa049091)
Доказательство.
и
. Симметрия влечет за собой
. Вычитание двух уравнений подразумевает правило Байеса.
Если
является условно независимый из
данный
у нас есть:
![{ Displaystyle mathrm {H} (Y | X, Z) , = , mathrm {H} (Y | X).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a67d62362d7e4d280e7dfc125527704259b10cad)
Другие свойства
Для любого
и
:
![{ Displaystyle { begin {align} mathrm {H} (Y | X) & leq mathrm {H} (Y) , mathrm {H} (X, Y) & = mathrm {H } (X | Y) + mathrm {H} (Y | X) + operatorname {I} (X; Y), qquad mathrm {H} (X, Y) & = mathrm {H} (X) + mathrm {H} (Y) - operatorname {I} (X; Y), , operatorname {I} (X; Y) & leq mathrm {H} (X), , конец {выровнено}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b7c4b5411ed661515a9105888c14547b01afa021)
куда
это взаимная информация между
и
.
Для независимых
и
:
и ![{ Displaystyle mathrm {H} (X | Y) = mathrm {H} (X) ,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/65d6beb9a32406a7945d075cef6c769e9a37d02d)
Хотя удельно-условная энтропия
может быть меньше или больше чем
для данного случайное изменение
из
,
никогда не может превышать
.
Условная дифференциальная энтропия
Определение
Приведенное выше определение предназначено для дискретных случайных величин. Непрерывная версия дискретной условной энтропии называется условная дифференциальная (или непрерывная) энтропия. Позволять
и
- непрерывные случайные величины с совместная функция плотности вероятности
. Дифференциальная условная энтропия
определяется как[3]:249
![{ displaystyle h (X | Y) = - int _ {{ mathcal {X}}, { mathcal {Y}}} f (x, y) log f (x | y) , dxdy}](https://wikimedia.org/api/rest_v1/media/math/render/svg/126f1c66453902b42bbb9b16d5ddb62a0e591572) | | (Уравнение 2) |
Характеристики
В отличие от условной энтропии для дискретных случайных величин, условная дифференциальная энтропия может быть отрицательной.
Как и в дискретном случае, для дифференциальной энтропии существует цепное правило:
[3]:253
Обратите внимание, однако, что это правило может не выполняться, если задействованные дифференциальные энтропии не существуют или бесконечны.
Совместная дифференциальная энтропия также используется в определении взаимная информация между непрерывными случайными величинами:
![{ Displaystyle OperatorName {I} (X, Y) = h (X) -h (X | Y) = h (Y) -h (Y | X)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c9b2ce6fa8dfeedc2c90ad4866fbc6af713e83f3)
с равенством тогда и только тогда, когда
и
независимы.[3]:253
Связь с ошибкой оценщика
Условная дифференциальная энтропия дает нижнюю границу ожидаемой квадратичной ошибки оценщик. Для любой случайной величины
, наблюдение
и оценщик
имеет место следующее:[3]:255
![{ displaystyle mathbb {E} left [{ bigl (} X - { widehat {X}} {(Y)} { bigr)} ^ {2} right] geq { frac {1} {2 pi e}} e ^ {2h (X | Y)}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ab916a1ac9b14193bf90b79742772b686bb771c3)
Это связано с принцип неопределенности из квантовая механика.
Обобщение квантовой теории
В квантовая теория информации, условная энтропия обобщается на условная квантовая энтропия. Последний может принимать отрицательные значения, в отличие от своего классического аналога.
Смотрите также
Рекомендации