Двойная полная корреляция - Википедия - Dual total correlation

В теория информации, двойная полная корреляция (Хан 1978), скорость передачи информации (Дубнов 2006), избыточная энтропия (Olbrich 2008), или обязательная информация (Abdallah and Plumbley 2010) - одно из нескольких известных неотрицательных обобщений взаимная информация. Пока полная корреляция ограничена суммой энтропий п элементов двойственная полная корреляция ограничена совместной энтропией п элементы. Несмотря на хорошее поведение, двойной полной корреляции уделяется гораздо меньше внимания, чем полной корреляции. Мера, известная как «TSE-сложность», определяет континуум между полной корреляцией и двойной полной корреляцией (Ay 2001).

Определение

Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z. Двойная полная корреляция представлена ​​объединением трех взаимных данных и показана на диаграмме желтой, пурпурной, голубой и серой областями.

Для набора п случайные переменные двойная полная корреляция дан кем-то

куда это совместная энтропия набора переменных и это условная энтропия переменной , учитывая остальное.

Нормализованный

Двойная общая корреляция, нормализованная между [0,1], представляет собой просто двойную общую корреляцию, деленную на ее максимальное значение. ,

Границы

Двойная полная корреляция неотрицательна и ограничена сверху совместной энтропией .

Во-вторых, двойная полная корреляция тесно связана с полной корреляцией, . Особенно,

Отношение к другим величинам

В теоретическая мера термины, по определению двойной полной корреляции:

что равно объединению попарных взаимных сведений:

История

Хан (1978) первоначально определил двойную полную корреляцию как

Однако Абдалла и Пламбли (2010) продемонстрировали его эквивалентность более простой для понимания форме совместной энтропии за вычетом суммы условных энтропий посредством следующего:

Смотрите также

Рекомендации

  • Хан Т. С. (1978). Неотрицательные энтропийные меры многомерных симметричных корреляций, Информация и контроль 36, 133–156.
  • Фудзишигэ Сатору (1978). Полиматроидная структура зависимости набора случайных величин, Информация и контроль 39, 55–72. Дои:10.1016 / S0019-9958 (78) 91063-X.
  • Дубнов С. (2006). Призрачные ожидания, Компьютерный музыкальный журнал, 30(2):63–83.
  • Ольбрих, Э., Бертчингер, Н., Эй, Н. и Йост, Дж. (2008). Как сложность должна масштабироваться с размером системы ?, The European Physical Journal B - Конденсированные вещества и сложные системы. Дои:10.1140 / epjb / e2008-00134-9.
  • Абдалла С. А. и Пламбли М. Д. (2010). Мера статистической сложности, основанная на прогнозной информации, Электронные отпечатки ArXiv. arXiv:1012.1890v1.
  • Нихат Ай, Э. Ольбрих, Н. Берчингер (2001). Объединяющая основа для мер сложности конечных систем. Европейская конференция по сложным системам. pdf.