Общая информация и плотность в пространстве вещей
равноценно тому, что мы, узнав о Y, не получим никакой информации о Z, и наоборот.
И зная это, вы можете, совершенно справедливо, начать подозревать, что между Y и Z нет общей информации. А там где нет общей информации, нет и байесианских свидетельств и наоборот.
Предположим, что в вышепоказанном распределении YZ мы будем рассматривать каждое возможное сочетание Y и Z, как отдельное событие — так что это распределение будет иметь всего 8 возможных вариантов с уже известными вероятностями, тогда мы сможем вычислить энтропию YZ точно так же, как и в прошлый раз:
3/16∗log2(3/16)+3/32∗log2(3/32)+3/64∗log2(3/64)+…+5/64∗log2(5/64)
У вас получится тот же ответ, как если бы вы отдельно посчитали энтропии систем, а затем сложили бы их. Поскольку между системами нет общей информации, наша неопределенность относительно состояния совмещенных систем точно такая же, как и относительно суммы взятых отдельно. (Вычисления я тут показывать не стану — вы и сами можете это сделать, что касается доказательства — ищите «энтропию Шеннона» («Shannon entropy») или «общую информацию» («mutual information»).)
Но что если объединенное распределение не разлагается? Например:
(Z1Y1:12/64)(Z1Y2:8/64)(Z1Y3:1/64)(Z1Y4:3/64)
(Z2Y1:20/64)(Z2Y2:8/64)(Z2Y3:7/64)(Z2Y4:5/64)
Если вы сложите объединенные вероятности, чтобы получить маргинальные, вы обнаружите, что P(Y1)=1/2,P(Z1)=3/8, и так далее — маргинальные вероятности такие же, как и раньше.
Но объединенные вероятности не всегда равны сумме маргинальных. Например, вероятность P(Z1Y2)=8/64, где P(Z1)P(Y2) будут 3/8∗1/4=6/64. Т.е. вероятность встретить Z1Y2 выше, чем мы бы ожидали, просто учитывая вероятности Z1 и Y2 отдельно.
Что в свою очередь подразумевает:
P(Z1Y2)>P(Z1)P(Y2)
P(Z1Y2)/P(Y2)>P(Z1)
P(Z1|Y2)>P(Z1)
И раз тут «необычайно высокая» вероятность P(Z1Y2) определена как более высокая, чем можно предположить, отдельно рассмотрев маргинальные, можно сделать вывод, что наблюдение Y2 увеличит вероятность наблюдать Z1 и наоборот.
Поскольку есть какие-то состояния Y, дающие нам информацию и о Z (и наоборот), между ними должна быть общая информация, что вы и обнаружите — я уверен, хоть и не проверял — в результате вычисления энтропии YZ вы получите меньше неопределенности, чем в результате вычисления отдельно Y и Z. H(Y,Z)=H(Y)+H(Z)−I(Y;Z) будут все больше нуля с логической необходимостью.