ПРОБЛЕМЫ ПЕРЕДАЧИ ИНФОРМАЦИИ

Том 57

2021

Вып. 1

УДК 621.391 : 519.72

В.В. Прелов

f -ДИВЕРГЕНЦИЯ И СКЛЕИВАНИЕ ВЕРОЯТНОСТНЫХ РАСПРЕДЕЛЕНИЙ¹

Рассматривается задача о нахождении минимальных и максимальных зна-

чений f-дивергенции дискретных распределений вероятностей P и Q при усло-

вии, что заданы одно из этих распределений и величина их склеивания. Для

минимума f-дивергенции при указанных условиях получено явное выражение,

а для ее максимума - точное выражение, которое в общем случае не явля-

ется явным, но для многих частных случаев позволяет выписать как явные

формулы, так и простые верхние границы, являющиеся в некоторых случаях

оптимальными. Подобные явные формулы и верхние границы получены для

дивергенции Кульбака - Лейблера и χ²-дивергенции, являющихся важнейшими

частными случаями f-дивергенции.

Ключевые слова: f-дивергенция, дивергенция Кульбака - Лейблера, χ²-дивер-

генция, склеивание дискретных распределений вероятностей.

DOI: 10.31857/S0555292321010034

§ 1. Введение и формулировки основных результатов

Пусть P = {p_i, i ∈ N } и Q = {q_i, i ∈ N } - дискретные распределения ве-

роятностей со значениями в конечном множестве N = {1, 2, . . . , n}. Напомним, что

f-дивергенция D_f (P ∥Q) распределения P относительно Q определяется равенством

(см. [1, 2])

∑

⁽p_i)

D_f (P ∥Q) =

q_if

(1)

q_i

i∈N

где f : (0, ∞) → R - выпуклая функция, такая что f(1) = 0 (в дальнейшем будем

всегда считать, что f(·) - дважды дифференцируемая функция, такая что f^′′(x) > 0,

x = 1). При этом всегда по определению предполагается, что

)

⁽0

⁽a⁾

f (t)

0·f

= 0, f(0) = limf (u),

0·f

= limεf

= a lim

u↓0

ε↓0

t→∞ t

где a = 0. Частными случаями f-дивергенции являются многие известные меры раз-

личия между распределениями вероятностей, используемые в теории информации,

теории вероятностей и математической статистике. Наиболее важными примерами

f -дивергенций являются дивергенция Кульбака - Лейблера (или просто диверген-

ция)

∑

p_i

D(P ∥ Q) =

p_i log

= D_f(P ∥Q)

q_i

i∈N

¹ Работа выполнена при частичной финансовой поддержке Российского фонда фундаментальных

исследований (номер проекта 19-01-00364).

при f(t) = t log t и χ²-дивергенция

∑

(p_i - q_i)²

χ²(P ∥Q) =

= D_f(P ∥Q)

q_i

i∈N

при f(t) = (t-1)², а также вариационное расстояние, дивергенция Хеллингера и др.

(см., например, [3, 4]).

Напомним также, что α-склеиванием дискретных распределений вероятностей

P = {p_i, i ∈ N} и Q = {q_i, i ∈ N} называется совместное распределение P_XY

случайных величин X и Y со значениями в множестве N и маргинальными распре-

делениями P_X = P и P_Y = Q, такое что Pr{X = Y } = α (см. [5]). В дальнейшем

величину склеивания распределений P и Q будем обозначать через s(P, Q).

В работе [6] рассматривалась задача о нахождении минимальных и максималь-

ных значений дивергенции Реньи D_λ(P ∥ Q) при условии, что заданы одно из рас-

пределений P или Q и величина их склеивания s(P, Q). В настоящей статье рассмат-

ривается аналогичная задача о нахождении минимальных и максимальных значе-

ний для произвольной f-дивергенции дискретных распределений вероятностей P

и Q, а также ее важнейших частных случаев - дивергенции Кульбака - Лейблера и

χ²-дивергенции, которые, например, используются при получении границ для ко-

эффициентов сжатия f-дивергенций [4]. Отметим, что задача о нахождении экс-

тремальных значений f-дивергенции D_f (P ∥ Q), когда вместо условия α-склеивания

накладывалось условие на вариационное расстояние между P и Q, рассматривалась

в [7-9].

Для формулировки полученных результатов введем необходимые определения и

обозначения. Для заданных распределения вероятностей P = {p_i, i ∈ N}, действи-

тельного числа α, 0 ≤ α ≤ 1, и выпуклой функции f(·), задающей f-дивергенцию

D_f (P ∥Q), определим величину Dminf(P, α) равенством

Dminf(P, α) = min D_f (P ∥Q),

(2)

Q: s(P,Q)=α

где минимум берется по всевозможным распределениям Q = {q_i, i ∈ N }, для кото-

рых существует их α-склеивание с распределением P. Аналогично определяется и

величина Dminf(Q, α), если задано распределение Q = {q_i, i ∈ N}, т.е.

Dminf(Q, α) = min D_f (P ∥Q).

(3)

P:s(P,Q)=α

В случае, когда P = {p, 1-p} и Q = {q, 1-q}, вместо D_f (P ∥Q) будем использовать

обозначение d_f (p∥q), т.е.

)

⁽p

⁽1-p⁾

d_f (p∥q) = qf

+ (1 - q)f

(4)

1-q

Заметим, что из свойств функции f(·) (выпуклости и равенства f(1) = 0) следует,

что d_f (p ∥ q) является выпуклой неотрицательной функцией как параметра p, так и

параметра q, причем d_f (p ∥ q) = 0 при p = q.

Теорема 1. Справедливы следующие равенства:

⎧

⎨0,

если p_max ≤

D^min(P, α) =

(5)

^⎩d_f (p_max ∥ 1 - p_max + α), если p_max ≥¹

⎧

⎨0,

если q_max ≤

D^min(Q, α) =

(6)

^⎩d_f (1 - q_max + α∥q_max), если q_max ≥¹

где p_max = maxpi и qmax = maxqi.

i∈N

Доказательства этой и нижеследующих теорем приведены в § 2. Отметим, что

частный случай теоремы 1, когда f(t) = t log t или f(t) = - log t, т.е. для дивергенции

Кульбака - Лейблера, был доказан в [4].

Для формулировки следующей теоремы введем еще несколько определений. Для

заданных распределения вероятностей P = {p_i, i ∈ N }, действительного числа α,

0 ≤ α ≤ 1, и выпуклой функции f(·), задающей f-дивергенцию D_f(P ∥Q), определим

величину Dmaxf(P, α) равенством

Dmaxf(P, α) = max D_f (P ∥Q),

(7)

Q: s(P,Q)=α

где максимум берется по всевозможным распределениям Q = {q_i, i ∈ N }, для кото-

рых существует их α-склеивание с распределением P. Аналогично определяется и

величина Dmaxf(Q, α), если задано распределение Q = {q_i, i ∈ N}, т.е.

Dmaxf(Q, α) = max D_f (P ∥Q).

(8)

P: s(P,Q)=α

Всякое равенство

∑

α = p_i + β, где I ⊆ N,

(9)

i∈I

назовем допустимым (P, I)-представлением α, если либо β = 0, либо существует

индекс j ∈ N \ I, такой что 0 < β < p_j . Аналогично определяется допустимое

(Q, I)-представление α, если задано распределение Q = {q_i, i ∈ N } и параметр α,

0 ≤ α ≤ 1.

Всякое α-склеивание заданного распределения вероятностей P = {p_i, i ∈ N }

с некоторым распределением Q = {q_i, i ∈ N } задается с помощью квадратной мат-

∑

рицы M = ∥p_ij ∥ni,j=1 с неотрицательными элементами p_ij , такой что

p_ij

= p_i

j=1

∑

для всех i ∈ N ,

p_ij = q_j для всех j ∈ N и

p_ii = α . В этом случае положим

i=1

D_f (M) = D_f (P ∥Q). Аналогично (с заменой в предыдущем определении распределе-

ния P на Q и наоборот) задается α-склеивание данного распределения вероятностей

Q = {q_i, i ∈ N} с некоторым распределением P = {p_i, i ∈ N}.

Каждому допустимому (P, I)-представлению α сопоставим множество M(P, I)

матриц M = ∥p_ij ∥ni,j=1, осуществляющих α-склеивание заданного распределения ве-

роятностей P = {p_i, i ∈ N } с некоторым распределением Q = {q_i, i ∈ N } и облада-

ющих следующим свойством: на (главной) диагонали каждой такой матрицы стоят

числа p_i и β, входящие в данное допустимое (P, I)-представление α, а все остальные

ненулевые элементы матрицы находятся в некотором столбце (будем называть такой

столбец главным) и, возможно, лишь один ненулевой элемент находится вне диаго-

нали и этого главного столбца. Аналогично, каждому допустимому (Q, I)-представ-

лению α сопоставляется множество M(Q, I) матриц M = ∥p_ij ∥ni,j=1, осуществляю-

щих α-склеивание заданного распределения вероятностей Q = {q_i, i ∈ N } с некото-

рым распределением P = {p_i, i ∈ N }.

Теорема 2. Для любого распределения вероятностей

P = {p_i, i ∈ N}, p₁ ≥ p₂ ≥ ... ≥ p_n > 0,

и любого α, 0 ≤ α ≤ 1, справедливо равенство

Dmaxf(P, α) = max

max D_f (M),

(10)

(P,I)

M∈M(P,I)

где первый максимум в правой части (10) берется по всем допустимым (P, I)-пред-

ставлениям α. В частности,

^{∞, если α ≤ 1 - p_n и f^∗ = ∞,

Dmaxf(P, α) =

(11)

K_P , если α > 1 - p_n,

где f^∗ = limf(t), а

t→∞ t

{

(

)

(

)

p_n

pn-1

K_P = max (α - 1 + p_n)f

+ (1 - α + pn-1)f

α-1+p_n

1-α+pn-1

(

)

(

)}

pn-1

p_n

(α - 1 + pn-1)f

+ (1 - α + p_n)f

(12)

α-1+pn-1

1-α+p_n

Во многом аналогичная теорема справедлива и для величины Dmaxf(Q, α), опре-

деленной в (8).

Теорема 3. Для любого распределения вероятностей

Q = {q_i, i ∈ N}, q₁ ≥ q₂ ≥ ... ≥ q_n > 0,

и любого α, 0 ≤ α ≤ 1, справедливо равенство

Dmaxf(Q, α) = max

max D_f (M),

(13)

(Q,I)

M∈M(Q,I)

где первый максимум в правой части (13) берется по всем допустимым (Q, I)-пред-

ставлениям α. В частности,

^{∞, если α ≤ 1 - q_n и f(0) = ∞,

Dmaxf(Q, α) =

(14)

K_Q, если α > 1 - q_n,

где

{

)

⁽α-1+q_n

⁽1-α+qn-1)

K_Q = max q_nf

+qn-1f

q_n

qn-1

)

⁽α-1+qn-1

⁽1-α+q_n)}.

qn-1f

+q_nf

(15)

qn-1

q_n

Как видно из формулировок теорем 2 и 3, формулы (10) и (13) не позволяют

для общего случая f-дивергенции выписывать явные выражения для Dmaxf(P, α)

при α ≤ 1 - p_n и f^∗ < ∞ и для Dmaxf(Q, α) при α ≤ 1 - q_n и f(0) < ∞. Однако

для многих конкретных f-дивергенций эти формулы позволяют получить как хо-

рошие явные верхние границы для Dmaxf(P, α) и Dmaxf(Q, α) (которые в некоторых

случаях являются оптимальными), так и явные выражения для них при малых зна-

чениях α. Ниже мы покажем это на примерах дивергенции Кульбака - Лейблера и

χ²-дивергенции.

Обозначим

D^max(P, α) = max

D(P ∥ Q) = Dmaxf(P, α) при f(t) = t log t,

(16)

Q: s(P,Q)=α

D^max(Q, α) = max

D(P ∥ Q) = Dmaxf(Q, α) при f(t) = t log t,

(17)

P: s(P,Q)=α

χ^2max(P, α) = max

χ²(P ∥Q) = Dmaxf(P, α) при f(t) = (t - 1)²,

(18)

Q: s(P,Q)=α

χ^2max(Q, α) = max

χ²(P ∥Q) = Dmaxf(Q, α) при f(t) = (t - 1)²,

(19)

P:s(P,Q)=α

где Dmaxf(P, α) и Dmaxf(Q, α) определены в (7) и (8) соответственно.

Теорема 4. Для величин D^max(P,α) и D^max(Q,α), определенных в (16) и (17),

справедливы следующие утверждения:

• Если заданы распределение вероятностей P = {p_i, i ∈ N }, p₁ ≥ p₂ ≥ . . . ≥ p_n > 0,

и число α, 0 ≤ α ≤ 1, то

D^max(P, α) =

⎧

⎨_∞,

если α ≤ 1 - p_n,

p_n

pn-1

(20)

⁼ ⎩pn log

+ pn-1 log

если α > 1 - p_n;

p_n - 1 + α

pn-1 + 1 - α

• Если заданы распределение вероятностей Q = {q_i, i ∈ N }, q₁ ≥ q₂ ≥ . . . ≥ q_n > 0,

и число α, 0 ≤ α ≤ 1, то

1+α-q_n

q_n - α

D^max(Q, α) = (1 + α - q_n)log

+ (q_n - α) log

(21)

q_n

qn-1

если α ≤ q_n, и

q_n - 1 + α

1-α+qn-1

D^max(Q, α) = (q_n - 1 + α)log

+ (1 - α + qn-1) log

(22)

q_n

qn-1

если α > 1 - q_n;

• Для всех α, q_n ≤ α ≤ 1 - q_n, справедлива верхняя граница

1-α+q_n

D^max(Q, α) ≤ (1 - α + q_n)log

(23)

q_n

причем эта верхняя граница достигается, т.е. в (23) имеет место знак равен-

∑

ства, если α =

a_iq_i + q_n при некоторых a_i ∈ {0, 1}.

i=1

Из этой теоремы можно также вывести следствие для величин D^max(p_min, α) и

D^max(q_min, α), определяемых равенствами

D^max(p_min, α) =

max

D(P ∥ Q),

(24)

(P,Q): s(P,Q)=α, min

pi=pmin

i∈N

D^max(q_min, α) =

max

D(P ∥ Q),

(25)

(P,Q): s(P,Q)=α, min

qi=qmin

i∈N

где максимумы в (24), (25) берутся по всевозможным распределениям P = {p_i, i ∈ N }

и Q = {q_i, i ∈ N} с заданными параметрами p_min > 0 в (24) и q_min > 0 в (25), таким

что s(P, Q) = α.

Следствие 1. Для величин D^max(p_min,α) и D^max(q_min,α), определенных в (24)

и (25), в случае |N | = n ≥ 3 справедливы следующие утверждения:

• Для всех p_min > 0 и α, 0 ≤ α ≤ 1, справедливо равенство

⎧

⎨∞,

если α ≤ 1 - p_min,

D^max(pmin, α) =

p^2min

(26)

⎩p_min log

если α > 1 - p_min;

p^2min - (1 - α)²

• Для всех q_min > 0 и α, таких что 0 ≤ α ≤ q_min или 1-q_min ≤ α ≤ 1, справедливы

равенства

D^max(q_min, α) = log

- h(1 + α - q_min), если α ≤ q_min,

(27)

q_min

[

⁽1-α+q_min)],

D^max(qmin, α) = 2qmin log 2 - h

если α ≥ 1 - q_min,

(28)

2q_min

где h(x) = -x log x - (1 - x) log(1 - x), 0 ≤ x ≤ 1;

• Для всех q_min > 0 и α, q_min < α < 1 - q_min, справедлива верхняя граница

1-α+q_min

D^max(q_min, α) ≤ (1 - α + q_min)log

(29)

q_min

причем эта верхняя граница достигается, т.е. в (29) имеет место знак ра-

венства, если 2q_min ≤ α < 1 - q_min и q_min ≤

, а также если q_min ≤

n+1

α = kq_min, где k - любое целое, такое что 2 ≤ k ≤ n - 1.

Доказательство. Равенство(26) является прямым следствием формулы (20),

так как, с одной стороны,

pn-1

p_n

pn-1 log

≤ pn log

pn-1 + 1 - α

p_n + 1 - α

а с другой стороны, если |N| ≥ 3, то всегда существует распределение вероятностей

P = {p_i, i ∈ N}, такое что pn-1 = p_n = p_min. Аналогично доказывается, что и ра-

венства (27), (28) являются прямыми следствиями соответствующих равенств (21),

(22).

Наконец, достижение равенства в верхней границе (29) при сформулированных

там условиях также следует из утверждения теоремы 4 о достижении верхней гра-

ницы (23). Действительно, нетрудно предъявить соответствующее распределение

вероятностей Q = {q_i, i ∈ N}, зависящее от значения параметра α, для которого

∑

имеет место равенство α =

a_iq_i + q_n при некоторых a_i ∈ {0, 1}. А именно, если

i=1

kq_min < α < (k + 1)q_min, где k = 2, 3, . . ., n - 2, или (n - 1)q_min < α < 1 - q_min, то

∑

очевидно, что α =

q_i + q_n для распределения Q = {q_i, i ∈ N}, компоненты q_i

i=1

которого задаются равенствами

⎧

⎪qmin

при i = 1, 2, . . . , k - 2,

⎨

α - (k - 1)q_min

при i = k - 1,

q_i =

1-α

⎪

при i = k, k + 1, . . . , n - 1,

⎩n-k

q_min

при i = n,

и обладают тем свойством, что все q_i ≤ q_min, если q_min ≤

n+1

Если же α = kq_min, где k = 2, 3, . . . , n - 1, то снова очевидно, что α =

^∑ q_i +q_n

i=1

для распределения Q = {q_i, i ∈ N }, компоненты q_i которого задаются равенствами

^{q_min

при i = 1, 2, . . . , n - 1,

q_i =

1 - (n - 1)q_min при i = n,

и при этом все эти q_i ≤ q_min, если q_min ≤

▴

Теорема 5. Для величин χ^2max(P,α) и χ^2max(Q,α), определенных в (18) и (19),

справедливы следующие утверждения:

• Если заданы распределение вероятностей P = {p_i, i ∈ N }, p₁ ≥ p₂ ≥ . . . ≥ p_n > 0,

и число α, 0 ≤ α ≤ 1, то

⎧

⎨∞,

если α ≤ 1 - p_n,

χ²

(P, α) =

(1 - α)

(1 - α)²

(30)

max

⎩

если α > 1 - p_n;

α+p_n -1

1+pn-1 -α

• Если заданы распределение вероятностей Q = {q_i, i ∈ N }, q₁ ≥ q₂ ≥ . . . ≥ q_n > 0,

и число α, 0 ≤ α ≤ 1, то

⎧

⎪(1 + α - qn)2

(q_n - α)²

⎨

- 1, если α ≤ q_n,

q_n

qn-1

χ^2max(Q, α) =

(31)

⎪(1 - α)2

(1 - α)²

⎩

если α ≥ 1 - q_n;

q_n

qn-1

• Для всех α, q_n < α < 1 - q_n, справедлива верхняя граница

(1 - α)

χ^2max(Q, α) ≤

+ 1 - α,

(32)

q_n

причем эта верхняя граница достигается, т.е. в (32) имеет место знак равен-

∑

ства, если α = q_n +

a_iq_i при некоторых a_i ∈ {0, 1}.

i=1

Из этой теоремы также можно вывести приведенное ниже следствие (подобное

следствию 1) для величин χ^2max(p_min, α) и χ^2max(q_min, α), определяемых равенствами

χ^2max(p_min, α) =

max

χ²(P ∥Q),

(33)

(P,Q): s(P,Q)=α, min

pi=pmin

i∈N

χ^2max(q_min, α) =

max

χ²(P ∥Q),

(34)

(P,Q): s(P,Q)=α, min

qi=qmin

i∈N

где максимумы в (33), (34) берутся по всевозможным распределениям P = {p_i, i ∈ N }

и Q = {q_i, i ∈ N} с заданными параметрами p_min > 0 в (33) и q_min > 0 в (34), таким

что s(P, Q) = α.

Следствие 2. Для величин χ^2max(p_min,α) и χ^2max(q_min,α), определенных в (33)

и (34), в случае |N | = n ≥ 3 справедливы следующие утверждения:

• Для всех p_min > 0 и α, 0 ≤ α ≤ 1, справедливо равенство

⎧

⎨∞,

если α ≤ 1 - p_min,

χ²

max

(p_min, α) =

2p_min(1 - α)

(35)

⎩

если α > 1 - p_min;

p^2min - (1 - α)²

• Для всех q_min > 0 справедливо равенство

⎧

⎪(1 + α - qmin)2 + (qmin - α)2

⎨

- 1, если α ≤ q_min,

q_min

χ^2max(q_min, α) =

(36)

⎪2(1 - α)2

⎩

если α ≥ 1 - q_min;

q_min

• Для всех q_min > 0 и α, q_min < α < 1 - q_min, справедлива верхняя граница

(1 - α)

χ^2max(q_min, α) ≤

+ 1 - α,

(37)

q_min

причем эта верхняя граница достигается, т.е. в (37) имеет место знак ра-

венства, если 2q_min ≤ α < 1 - q_min и q_min ≤

, а также если q_min ≤

n+1

α = kq_min, где k - любое целое, такое что 2 ≤ k ≤ n - 1.

Доказательство этого следствия вполне аналогично приведенному выше доказа-

тельству следствия 1 и поэтому здесь не приводится.

§ 2. Доказательства

Доказательство теоремы 1. Доказательстворавенств (5) и (6) проводится

вполне аналогично. Поэтому докажем, например, первое из них. Для доказательства

того, что Dminf(P, α) = 0 при α ≥ 2p_max -1 воспользуемся следующим утверждением

(см. [3, теорема 1]): если P = {p_i, i ∈ N } и Q = {q_i, i ∈ N } - два распределения

вероятностей, а α, 0 ≤ α ≤ 1, - некоторое действительное число, то α-склеивание P

и Q (т.е. такое, что s(P,Q) = α) существует тогда и только тогда, когда

∑

^{x, если x ≥ 0,

max[pi + qi - 1]+ ≤ α ≤

min{p_i, q_i}, где [x]⁺ =

i∈N

0, если x ≤ 0.

i∈N

Из этого сразу следует, что Dminf(P, α) = 0, если p_max ≤ 1/2 + α/2, так как в этом

случае существует α-склеивание распределения P с собой, а D_f (P ∥P) = 0, так как

по предположению f(1) = 0.

Поэтому надо доказать лишь второе из равенств в (5), когда предполагается,

что 0 ≤ α ≤ 2p_max - 1. Для этого вначале заметим, что для любых распределений

вероятностей P = {p_i, i ∈ N} и Q = {q_i, i ∈ N} справедливо неравенство

D_f (P ∥Q) ≥ d_f (p_i ∥q_i) для любых i ∈ N,

(38)

где d_f (· ∥ ·) определено в (4). Действительно, пользуясь свойством выпуклости функ-

ции f(t), имеем

(

)

p_i

∑

⁽p_j)

D_f (P ∥Q) = q_if

q_jf

q_i

q_j

j: j=i

(

)

∑

p_i

q_j

⁽p_j)

=q_if

+ (1 - q_i)

≥

q_i

1-q_i

q_j

j: j=i

(

)

(

)

∑

p_i

p_j

≥q_if

+ (1 - q_i)f

= d_f(pi ∥q_i).

q_i

1-q_i

j: j=i

Предположим теперь, что Q = {q_i, i ∈ N } - некоторое распределение вероятностей,

для которого при заданном α, 0 ≤ α ≤ 2p_max - 1, существует его α-склеивание с

распределением P = {p_i, i ∈ N }, у которого, для определенности, p_max = p₁. Пусть

также матрица M = ∥p_ij ∥ni,j=1 задает совместное распределение, осуществляющее

∑

это α-склеивание P и Q, т.е.

p_ij = p_i для всех i ∈ N,

p_ij = q_j для всех j ∈ N

j=1

i=1

∑

и p_ii = α. Тогда, воспользовавшись неравенством (38), получаем

i=1

D_f (P ∥Q) ≥ d_f (p₁ ∥q₁) ≥ d_f (p_max ∥1 - p_max + α).

(39)

Второе неравенство в (39) следует из того, что функция d_f (p₁ ∥ q₁) убывает по q₁

при q₁ ≤ p₁, а в нашем случае q₁ ≤ α + 1 - p₁ ≤ p₁, так как

∑

q₁ ≤ p₁₁ +

p_i ≤ α + 1 - p₁ ≤ p₁,

i=2

поскольку 0 ≤ α ≤ 2p₁ - 1.

Поэтому для доказательства второго равенства в (5) достаточно найти распре-

деление вероятностей Q = {q_i, i ∈ N }, для которого существует его α-склеивание

(при 0 ≤ α ≤ 2p_max - 1) с заданным распределением P = {p_i, i ∈ N }, и такое что

D_f (P ∥Q) = d_f (p_max ∥1 - p_max + α).

Действительно, легко убедиться, что такое распределение Q = {q_i, i ∈ N} явля-

ется маргинальным для совместного распределения P и Q, осуществляющего их

α-склеивание и задаваемого матрицей M = ∥p_ij ∥ni,j=1 с компонентами

⎧

⎪α при i = j = 1,

⎨

cp_j при i = 1 и j ∈ N \ {1},

p_ij =

⎪pi

при i ∈ N \ {1} и j = 1,

⎩

в остальных случаях,

p1 - α_.

где параметр c =

▴

1 - p1

Доказательство теоремы 2. Прежде всего заметим, что в рассматрива-

емом случае, когда задано распределение вероятностей P = {p_i, i ∈ N } и пред-

полагается, что minpi = pn > 0, то из определения (1) следует, что для любого

распределения Q = {q_i, i ∈ N }, которое имеет хотя бы одно q_i = 0, справедливо

равенство

∑

⁽p_i)

∑

D_f (P ∥Q) =

q_if

+f^∗

p_i,

(40)

i: qi>0

i: qi=0

где f^∗ = limf(t). Поэтому, если существует матрица M = ∥pij∥ni,j=1, осуществ-

t→∞ t

ляющая α-склеивание распределения P с некоторым распределением Q, у которой

имеется столбец, целиком состоящий из нулей (т.е. некоторое q_i = 0), а f^∗ = ∞,

то в этом случае Dmaxf(P, α) = ∞. Очевидно, что такая матрица всегда существует,

если α ≤ 1 - p_n, т.е. в этом случае справедливо первое равенство в (11). Поэтому

в дальнейшем при доказательстве теоремы 1 всегда будет предполагаться, что либо

f^∗ < ∞, либо, если f^∗ = ∞, то α > 1 - p_n.

Для доказательства формулы (10) нужно показать, что существует оптималь-

ная матрица M = ∥p_ij∥ni,j=1 (т.е. матрица, для которой D_f (M) = Dmaxf(P, α)), осу-

ществляющая α-склеивание заданного распределения вероятностей P = {p_i, i ∈ N}

с некоторым распределением Q = {q_i, i ∈ N } и принадлежащая множеству M(P, I)

для некоторого допустимого (P, I)-представления заданного числа α.

В дальнейшем, для краткости, когда речь идет о некоторой матрице, будем всегда

считать, что эта матрица осуществляет α-склеивание заданного распределения ве-

роятностей P = {p_i, i ∈ N } с некоторым распределением Q = {q_i, i ∈ N }. Докажем

вначале, что существует оптимальная матрица, у которой все ненулевые элемен-

ты (за исключением, возможно, лишь одного) расположены в некотором (главном)

столбце и на (главной) диагонали.

Пусть k-й столбец матрицы M = ∥p_ij ∥ni,j=1 таков, чтоqk

= max

qⁱ . Покажем, что

p_k

i∈N pi

D_f (M) можно увеличить, если к каждому элементу (кроме диагонального) этого

k-го столбца прибавить все элементы соответствующей строки, кроме диагональ-

ного. Действительно, для этого достаточно доказать, что D_f (M(x)) > D_f (M), где

M (x) = ∥p_ij (x)∥ni,j=1 - матрица с элементами

⎧

⎨pℓ k + x при i = ℓ и j = k,

p_ij(x) =

p_ℓm - x при i = ℓ и j = m,

⎩

p_ij

в остальных случаях,

где 0 < x ≤ p_ℓm, а ℓ и m - любые индексы, такие что ℓ = m, ℓ = k и m = k. Имеем

[D_f (M(x)]^′x = [f(u) - uf^′(u)] - [f(v) - vf^′(v)],

где

p_k

q_k + x

qm - x

p_k

Замечая теперь, что u < v, так как x > 0, а

≤

p^m по условию, мы видим, что

q_k

f (u) - uf^′(u) убывает по u (так как f(·) - выпуклая функция), а поэтому D_f (M(x))

возрастает по x, и значит, D_f (M(x)) > D_f (M(0)) = D_f(M).

Аналогично доказывается, что D_f (M) можно увеличить, если все элементы k-й

q_k

строки (когда

= max

), кроме диагонального, прибавить к одному из них. Оче-

p_k

i∈N pi

видно, что без ограничения общности всегда можно считать, что если k-й столбец

матрицы M = ∥p_ij ∥ni,j=1 является главным, тоqk

= max

qⁱ .

p_k

i∈N pi

Чтобы доказать, что существует оптимальная матрица, принадлежащая неко-

торому множеству M(P, I), остается лишь показать, что существует оптимальная

матрица, у которой на диагонали стоят некоторые числа p_i, i ∈ N , а также, возмож-

но, одно число β, 0 < β < p_j , для некоторого j ∈ N , и нули (последнее возможно,

лишь если α ≤ 1-p_n). Для этого достаточно доказать, что любая матрица, у которой

на диагонали стоят по крайней мере два элемента, отличные от нуля и некоторых p_i,

i ∈ N, не может быть оптимальной.

Действительно, пусть M = ∥p_ij∥ni,j=1 - некоторая матрица, у которой на диагона-

ли стоят два элемента p_ℓℓ и p_mm, ℓ = m, такие что 0 < p_ℓℓ < p_ℓ и 0 < p_mm < p_m. По-

кажем, что в этом случае существует другая матрица M(x), такая что D_f (M(x)) >

> D_f(M). Для этого необходимо рассмотреть два различных случая: когда ни p_ℓℓ,

ни p_mm не принадлежат главному столбцу матрицы M и когда либо p_ℓℓ, либо p_mm

принадлежат ему. Оба случая анализируются вполне аналогично. Поэтому рассмот-

рим, например, первый из них, когда в матрице M главным столбцом является k-й,

q_ℓ

а ℓ = k и m = k. Пусть для определенности

≥

q^m . В этом случае рассмотрим

p_ℓ

матрицу M(x) = ∥p_ij (x)∥ni,j=1 с элементами

⎧

⎪pℓℓ + x

при i = j = ℓ,

⎪

⎨pmm - x

при i = j = m,

p_ij(x) =

p_ℓk - x

при i = ℓ и j = k,

⎪

⎪pmk + x

при i = m и j = k,

⎩

p_ij

в остальных случаях,

где x > 0 достаточно мало. Тогда, очевидно, имеем

q_ℓ(x)

q_ℓ + x

q_m(x)

q_m - x

q_i(x)

q_i

для всех i = ℓ и i = m.

p_ℓ(x)

p_ℓ

p_m(x)

p_m

p_i(x)

p_i

Поэтому, как мы видели выше, D_f (M(x)) возрастает по x, и значит, D_f(M(x)) >

> D_f(M). Таким образом, мы доказали, что существует оптимальная матрица, при-

надлежащая множеству M(P, I) при некотором допустимом (P, I)-представлении

числа α. Отсюда сразу следует справедливость формулы (10).

Для доказательства второго из равенств в (11) заметим, что в данном случае

предполагается, что компоненты p_i распределения P = {p_i, i ∈ N } упорядочены по

убыванию и α > 1 - p_n. Поэтому из формулы (10) сразу следует, что оптимальную

матрицу следует искать среди матриц M = ∥p_ij ∥ni,j=1, у которых на диагонали стоят

числа p_i, i ∈ N \ {k}, и p_k - (1 - α) при некотором k, вне диагонали в некотором j-м

(j = k) столбце стоит число 1 - α, а все остальные элементы матрицы равны нулю.

Для такой матрицы

(

)

(

)

p_k

p_j

D_f (M) = (p_k + α - 1)f

+ (1 - α + p_j )f

p_k + α - 1

1-α+p_j

Замечая теперь, что, как нетрудно убедиться, функции

(

)

(

)

p_k

p_j

(p_k + α - 1)f

(1 - α + p_j )f

p_k + α - 1

1-α+p_j

убывают по p_k и p_j соответственно (здесь существенно, что в соответствии с опреде-

лением f-дивергенции выпуклая функция f(·) такова, что f(1) = 0), мы видим, что

для максимума D_f (M) среди подобных матриц M, т.е. для Dmaxf(P, α), справедливо

второе из равенств (11), где K_P определено в (12). ▴

Отметим, что хотя в общем случае нельзя сказать, какое из двух выражений в

определении K_P является максимальным, однако во многих частных случаях f-ди-

вергенции это можно сделать. В частности, это удается сделать для дивергенции

Кульбака - Лейблера и χ²-дивергенции (см. доказательства теорем 4 и 5 ниже).

Доказательство теоремы 3. Прежде всего заметим, что в рассматрива-

емом случае, когда задано распределение вероятностей Q = {q_i, i ∈ N } и предпо-

лагается, что minqi = qn > 0, то вместо (40) из определения (1) следует, что для

любого распределения P = {p_i, i ∈ N }, которое имеет хотя бы одно p_i = 0, имеет

место равенство

∑

⁽p_i)

D_f (P ∥Q) =

q_if

+ f(0)

q_i,

(41)

i: pi>0

i: pi=0

а тогда снова очевидно (как и при доказательстве теоремы 2), что справедливо пер-

вое из равенств в (14). Дальнейшее доказательство этой теоремы вполне аналогично

приведенному выше доказательству теоремы 2 и поэтому здесь не приводится. ▴

Доказательство теоремы

1. Докажем вначале равенство (20). Так

как дивергенция Кульбака - Лейблера D(P ∥ Q) является f-дивергенцией при f(t) =

= tlogt, то равенство (20) является следствием соотношения (11), поскольку в дан-

ном случае f^∗ = ∞, а величина K_P (см. (12)), как нетрудно убедиться, равна

p_n

pn-1

p_n log

+ pn-1 log

p_n - 1 + α

pn-1 + 1 - α

Действительно, для этого следует лишь заметить, что разность первого и второго

выражений в (12) при f(t) = t log t убывает по α, а при α = 1 она равна нулю.

2. Докажем теперь равенства (21) и (22). Из общей формулы (13) теоремы 3

следует, что в случае, когда α ≤ q_n, существует оптимальная матрица (осуществля-

ющая α-склеивание заданного распределения вероятностей Q = {q_i, i ∈ N } с неко-

торым распределением P = {p_i, i ∈ N}), находящаяся среди матриц



M₁(k, ℓ) =

^p⁽¹⁾

ⁿ

M₂(k, ℓ) =

^p⁽²⁾

ⁿ

M₃(k, ℓ, m) =

^p⁽³⁾

ⁿ

ij i,j=1

(где k, ℓ и m - всевозможные различные между собой числа, принадлежащие мно-

жеству N ) с элементами

⎧

⎪α

при i = j = k,

⎨

q_i

при i ∈ N \ {k} и j = k,

p(1)ij =

(42)

⎪qk - α

при i = k и j = ℓ,

⎩

в остальных случаях,

⎧

⎪qi

при i ∈ N \ {k, ℓ} и j = k,

⎪

⎨qℓ - α

при i = ℓ и j = k,

p(2)ij =

q_k

при i = k и j = ℓ,

(43)

⎪

⎪α

при i = j = ℓ,

⎩

в остальных случаях,

⎧

⎪qi

при i ∈ N \ {k, m} и j = k,

⎪

⎨qm - α

при i = m и j = k,

p(3)ij =

q_k

при i = k и j = ℓ,

(44)

⎪

⎪α

при i = j = m,

⎩

в остальных случаях.

Заметим, что в каждой из этих матриц k-й столбец является главным. Таким обра-

зом, имеем

D^max(Q, α) = max{D(M1(k, ℓ)), D(M2(k, ℓ)), D(M3(k, ℓ, m))},

k,ℓ,m

где

1+α-q_k

q_k - α

D(M₁(k, ℓ)) = (1 + α - q_k) log

+ (q_k - α) log

q_k

q_ℓ

1-α-q_k

q_k + α

D(M₂(k, ℓ)) = (1 - α - q_k) log

+ (q_k + α) log

q_k

q_ℓ

1-α-q_k

q_k

D(M₃(k, ℓ, m)) = (1 - α - q_k) log

+ q_k log

+ αlog

q_k

q_ℓ

q_m

Очевидно, что

max

D(M₃(k, ℓ, m)) ≤ maxD(M2(k, ℓ)),

k,ℓ,m

k,ℓ

и поскольку D(M₁(k, ℓ)) и D(M₂(k, ℓ)) убывают по q_ℓ и являются выпуклыми функ-

циями от q_k, то

D^max(Q, α) = max{D(M_i(n - 1, n)), D(M_i(1, n)), D(M_i(n, n - 1)), i = 1, 2}.

Легко видеть, что

D(M₁(1, n)) ≤ max{D(M₁(n - 1, n)), D(M₂(n, n - 1))},

D(M₂(1, n)) ≤ max{D(M₂(n - 1, n)), D(M₁(n, n - 1))},

а поэтому для доказательства равенства (21) (правая часть которого совпадает с

выражением для D(M₁(n, n-1)) ) необходимо доказать, что каждая из трех величин

D(M₁(n - 1, n)), D(M₂(n - 1, n)) и D(M₂(n, n - 1)) не превосходит D(M₁(n, n - 1)).

Неравенство D(M₁(n, n-1)) ≥ D(M₁(n-1, n)) является следствием того, что раз-

ность D(M₁(n, n - 1)) - D(M₁(n - 1, n)), как легко проверить, возрастает по α, а при

α = 0 она положительна. Действительно, етрудно убедиться, что эта последняя

разность [D(M₁(n, n - 1)) - D(M₁(n - 1, n))]



является убывающей функцией q_n,

α=0

а при максимальном значении q_n, равном qn-1, она равна нулю.

Доказательство двух оставшихся неравенств D(M₁(n, n - 1)) ≥ D(M₂(n - 1, n))

и D(M₁(n, n-1)) ≥ D(M₂(n, n-1)) проводится вполне аналогично. Таким образом,

равенство (21) доказано.

Справедливость равенства (22) легко следует из соотношения (14) теоремы 3, так

как в рассматриваемом случае, когда f(t) = t log t, величина K_Q (см. (15)) равна

q_n - 1 + α

1-α+qn-1

(q_n - 1 + α) log

+ (1 - α + qn-1) log

q_n

qn-1

Действительно, нетрудно убедиться, что разность первого и второго выражений

в (15) убывает по α, а при α = 1 она равна нулю.

3. Докажем теперь верхнюю границу (23). Для этого необходимо рассмотреть три

типа матриц M = ∥p_ij ∥ni,j=1, принадлежащих одному из множеств M(Q, I), когда:

а) в главном столбце матрицы на диагонали стоит некоторое q_k, k ∈ I, входящее в∑

одно из допустимых (Q, I)-представлений α в виде α = q_i + β;

i∈I

б) в главном столбце матрицы на диагонали стоит ноль;

в) в главном столбце матрицы на диагонали стоит число β, входящее в одно из∑

допустимых (Q, I)-представлений α в виде α = q_i + β.

i∈I

Согласно общей формуле (13) среди таких матриц находится оптимальная, и нам

надо показать, что для всех таких матриц M справедлива верхняя граница

1-α+q_n

D(M) ≤ (1 - α + q_n) log

q_n

при всех α, q_n ≤ α ≤ 1 - q_n. Рассмотрим вкратце доказательства этой границы для

каждого из этих трех типов матриц.

а) Если в главном столбце матрицы на диагонали стоит нек∑торое q_k, k ∈ I,

входящее в одно из допустимых (Q, I)-представлений α в виде α =

q_i+β, а β стоит

на диагонали в j-м столбце, то для такой матрицы

i∈I

1-α+q_k

1-α+q_n

D(M) = (1 - α + q_k) log

+ β log

≤ (1 - α + q_n) log

(45)

q_k

q_j

q_n

Действительно, неравенство в этом соотношении следует из того, что функция

1-α+q_k

(1 - α + q_k) log

q_k

убывает по q_k, а β log

≤ 0, так как 0 ≤ β < q_j по условию (Q, I)-допустимого

представления α. Заметим сразу, что в (45) вместо неравенства справедливо равен-

ство (а значит, и равенство в формуле (23)), если k = n и β = 0, т.е. если существует

∑

(Q, I)-представление α вида α = q_n +

a_iq_i при некоторых a_i ∈ {0, 1}.

i=1

б) Если в главном (k-м) столбце матрицы M на диагонали стоит ноль, а число β,

входящее в одно из допустимых (Q, I)-представлений α, стоит на диагонали в j-м

столбце, то нетрудно видеть, что при любом расположении элемента q_k в матрице M

величину D(M) можно оценить сверху следующим образом:

{

}

1-α-q_k

q_k + q_j

D(M) ≤ max

(1 - α - q_k) log

+ (q_k + q_j ) log

(46)

(k,j): k=j

q_k

q_j

Полагая

1-α-q_k

q_k + q_j

g(α, q_k, q_j ) = (1 - α - q_k) log

+ (q_k + q_j ) log

q_k

q_j

заметим, что разность

1-α+q_n

(1 - α + q_n) log

- g(α, q_k, q_j)

q_n

является убывающей функцией α при любых q_k и q_j , а при максимальном значении

α (если фиксировано любое q_k), равном 1 - q_k, имеем

[

]

1-α+q_n



(1 - α + q_n) log

- g(α, q_k, q_j)



q_n

α=1-q_k

q_n + q_k

q_j + q_k

= (q_n + q_k) log

- (q_j + q_k) log

≥ 0,

q_n

q_j

так как (q_j + q_k) log

qj + qk является убывающей функцией q_j . Поэтому из (46) сле-

дует, что для рассматриваемого класса матриц M (у которых в главном столбце на

диагонали стоит ноль) также справедливо доказываемое неравенство

1-α+q_n

D(M) ≤ (1 - α + q_n) log

q_n

в) Наконец, если в главном (k-м) столбце матрицы M на диагонали стоит число β,

входящее в одно из допустимых (Q, I)-представлений α, то снова нетрудно видеть,

что при любом расположении элемента q_k - β в матрице M величину D(M) можно

оценить сверху следующим образом:

{

1 - α - q_k + 2β

D(M) ≤ max

(1 - α - q_k + 2β) log

(k,j): k=j

q_k

}

q_k + q_j - β

+ (q_k + q_j - β) log

(47)

q_j

Замечая теперь, что максимизируемая в правой части (47) функция является вы-

пуклой относительно β, приходим к выводу, что максимум правой части (47) дости-

гается либо при β = 0, либо при β = q_k, что сводит задачу к рассмотренным выше

случаям а) и б). На этом доказательство верхней границы (23) заканчивается. ▴

Доказательство теоремы 5. 1. Равенство (30) и второе из равенств в (31)

(где α ≥ 1 - q_n) являются прямыми следствиями формул (11), (12) и (14), (15) для

рассматриваемого случая f(t) = (t - 1)².

2. Доказательство первого из равенств в (31) (где α ≤ q_n) в основном следует

схеме доказательства формулы (21) теоремы 4, и поэтому мы опишем его лишь

вкратце.

Оптимальную матрицу, осуществляющую α-склеивание заданного распределе-

ния вероятностей Q = {q_i, i ∈ N } с некоторым распределением P = {p_i, i ∈ N },

снова следует искать среди матриц



ⁿ

M₁(k, ℓ) =

^p⁽¹⁾

M₂(k, ℓ) =

^p⁽²⁾

M₃(k, ℓ, m) =

^p⁽³⁾

ij i,j=1

с элементами, заданными равенствами (42)-(44), которые определяют χ²-диверген-

ции следующих трех типов:

(1 + α - q_k)

(q_k - α)²

χ²(M₁(k, ℓ)) =

- 1,

q_k

q_ℓ

(1 - α - q_k)

(q_k + α)²

χ²(M₂(k, ℓ)) =

- 1,

q_k

q_ℓ

(1 - α - q_k)

q2k

α²

χ²(M₃(k, ℓ, m)) =

- 1,

q_k

q_ℓ

q_m

где k, ℓ и m - всевозможные различные между собой числа, принадлежащие мно-

жеству N . Так как очевидно, что

max

χ²(M₃(k, ℓ, m)) ≤ maxχ2(M2(k, ℓ)),

k,ℓ,m

k,ℓ

а χ²(M₁(k, ℓ)) и χ²(M₂(k, ℓ)) являются выпуклыми функциями относительно q_k и

убывающими относительно q_ℓ, то рассуждения, приведенные при доказательстве

в пункте 2 теоремы 4, здесь полностью сохраняются (с соответствующей заменой

величин D(M_i(· , ·)) на χ²(M_i(· , ·)) ) и показывают, что в рассматриваемом случае

α ≤ q_n имеем

{

}

χ^2max(Q, α) = max

χ²(M_i(n, n - 1)), χ²(M_i(n - 1, n)), i = 1, 2

= χ²(M₁(n, n - 1)),

что и доказывает первое из равенств в (31).

3. Доказательство верхней границы (32) также в основном следует схеме доказа-

тельства верхней границы (23) в теореме 4. Снова нам необходимо доказать, что для

трех типов матриц M = ∥p_ij ∥ni,j=1, принадлежащих одному из множеств M(Q, I) и

введенных в пункте 3 доказательства теоремы 4, справедлива верхняя граница (32),

т.е. для всех таких матриц M справедливо неравенство

(1 - α)

χ²(M) ≤

+ 1 - α,

q_n

если q_n ≤ α ≤ 1 - q_n. Докажем это утверждение.

а) Если в главном столбце матрицы M на диагонали стоит не∑оторое q_k, k ∈ I,

входящее в одно из допустимых (Q, I)-представлений α в виде α = q_i+β, а β стоит

i∈I

на диагонали в j-м столбце, то для такой матрицы

∑

p2i

(1 - α + q_k)²

β²

∑

χ²(M) =

-1=

q_i - 1 =

q_i

q_k

q_j

i=1

i: pi=qi

(1 - α)

β²

(1 - α)²

+1-α+

-β ≤

+ 1 - α,

q_k

q_j

q_n

так как 0 ≤ β < q_j по условию (Q, I)-допустимого представления α. Снова замечаем,

что вместо вышеприведенного неравенства имеет место равенство, если β = 0 и

∑

k = n, т.е. если существует (Q,I)-представление α вида α = qn +

a_iq_i при любых

a_i ∈ {0, 1}.

i=1

б) Если в главном (k-м) столбце матрицы M на диагонали стоит ноль, а число β,

входящее в одно из допустимых (Q, I)-представлений α, стоит на диагонали в j-м

столбце, то нетрудно видеть, что при любом расположении элемента q_k в матрице M

величину χ²(M) можно оценить сверху следующим образом:

}

^{ (1 - α)

q2k

(1 - α)²

χ²(M) ≤ max

- 3(1 - α - q_k)

≤

+ 1 - α.

(48)

(k,j): k=j

q_k

q_j

q_n

Действительно, справедливость второго неравенства в (48) следует из того, что раз-

ность

(1 - α)²

+1-α-

+ 3(1 - α - q_k),

q_n

q_k

q_j

как легко убедиться, является убывающей функцией α при любых q_k и q_j , а при

максимальном значении α = 1 - q_k (так как на диагонали в главном k-м столбце

матрицы стоит ноль) эта разность неотрицательна.

в) Если в главном (k-м) столбце матрицы M на диагонали стоит число β, входя-

щее в одно из допустимых (Q, I)-представлений α, то снова нетрудно видеть, что при

любом расположении элемента q_k -β в матрице M величину χ²(M) можно оценить

сверху следующим образом:

}

^{ (1 - α - q_k + 2β)

(q_k + q_j - β)²

χ²(M) ≤ max

+α-β-q_j -1 .

(49)

(k,j): k=j

q_k

q_j

Поскольку максимизируемая в правой части (49) функция является выпуклой от-

носительно β, то максимум правой части (49) достигается либо при β = 0, либо при

β = q_k, что, как нетрудно убедиться, сводит задачу к рассмотренным выше случаям

а) и б). ▴

СПИСОК ЛИТЕРАТУРЫ

1. Csiszár I. Information-type Measures of Difference of Probability Distributions and Indirect

Observations // Studia Sci. Math. Hungar. 1967. V. 2. P. 299-318.

2. Ali S.M., Silvey S.D. A General Class of Coefficients of Divergence of One Distribution from

Another // J. Roy. Statist. Soc. Ser. B. 1966. V. 28. № 1. P. 131-142. https://www.jstor.

org/stable/2984279

3. Sason I., Verdú S. f-Divergence Inequalities // IEEE Trans. Inform. Theory. 2016. V. 62.

№ 11. P. 5973-6006. https://doi.org/10.1109/TIT.2016.2603151

4. Макур А., Чжен Л. Сравнение коэффициентов сжатия для f-дивергенций // Пробл. пе-

редачи информ. 2020. Т. 56. № 2. С. 3-62. https://doi.org/10.1134/S0134347520020011

5. Прелов В.В. О склеивании вероятностных распределений и оценивании дивергенции

через вариацию // Пробл. передачи информ. 2017. Т. 53. № 3. С. 16-22. http://mi.

mathnet.ru/ppi2239

6. Прелов В.В. О некоторых оптимизационных задачах для дивергенции Реньи // Пробл.

передачи информ. 2018. Т. 54. № 3. С. 36-53. http://mi.mathnet.ru/ppi2271

7. Gilardoni G.L. On the Minimum f-Divergence for Given Total Variation // C. R. Math.

Acad. Sci. Paris. 2006. V. 343. № 11-12. P. 763-766. https://doi.org/10.1016/j.crma.

2006.10.027

8. Gilardoni G.L. On Pinsker’s and Vajda’s Type Inequalities for Csiszár’s f-Divergences //

IEEE Trans. Inform. Theory. 2010. V. 56. № 11. P. 5377-5386. https://doi.org/10.1109/

TIT.2010.2068710

9. Прелов В.В. О максимальных значениях f-дивергенции и дивергенции Реньи при за-

данном вариационном расстоянии // Пробл. передачи информ. 2020. Т. 56. № 1. С. 3-15.

https://doi.org/10.1134/S0134347520010015

Прелов Вячеслав Валерьевич

Поступила в редакцию

Институт проблем передачи информации

17.11.2020

им. А.А. Харкевича РАН

После доработки

prelov@iitp.ru

04.01.2021

Принята к публикации

11.01.2021