✨Khoảng cách Jensen-Shannon

Trong lý thuyết xác suất và thống kê, khoảng cách Jensen-Shannon là một phương pháp phổ biến để đo sự tương đồng giữa hai phân bố xác suất. Nó dựa trên khoảng cách Kullback-Leibler với một điểm khác biệt quan trọng là nó luôn có giá trị hữu hạn. Căn bậc hai của khoảng cách Jensen-Shannon là một metric.

Định nghĩa

Đặt $M\_+^1(A)$ là tập hợp các phân bố xác suất trong đó A là một tập hợp cùng với một σ-đại số gồm các tập con đo được. Cụ thể hơn, ta chỉ xem xét A là tập hợp hữu hạn hoặc đếm được với mọi tập con đều đo được. Khoảng cách Jensen-Shannon (JSD) $M$+^1(A) \times M+^1(A) \rightarrow [0,\infty{}) là phiên bản đối xứng và trơn của khoảng cách Kullback-Leibler $D(P\; \backslash parallel\; Q)$. Nó được định nghĩa như sau :$JSD(P\; \backslash parallel\; Q)=\; \backslash frac\{1\}\{2\}D(P\; \backslash parallel\; M)+\backslash frac\{1\}\{2\}D(Q\; \backslash parallel\; M)$ trong đó $M=\backslash frac\{1\}\{2\}(P+Q)$ Nếu A là đếm được thì có định nghĩa tổng quát hơn cho phép so sánh nhiều hơn hai phân bố, như sau: :$JSD(P\_1,\; P\_2,\; \backslash ldots,\; P$n) = H\left(\sum{i=1}^n \pi_i Pi\right) - \sum{i=1}^n \pi_i H(P_i) trong đó $\backslash pi\_1,\; \backslash pi\_2,\; \backslash ldots,\; \backslash pi\_n$ là trọng số của các phân bố $P\_1,\; P\_2,\; \backslash ldots,\; P\_n$ và $H(P)$ là entropy Shannon của phân bố $P$. Trong trường hợp chỉ có hai phân bố mô tả ở trên, :$P\_1=P,\; P\_2=Q,\; \backslash pi\_1\; =\; \backslash pi\_2\; =\; \backslash frac\{1\}\{2\}.\backslash$

Giới hạn

Theo , khoảng cách Jensen-Shannon bị giới hạn bởi 1 khi lôgarit được tính theo cơ số 2. :$0\; \backslash leq\; JSD(P\; \backslash parallel\; Q)\; \backslash leq\; 1$

Liên hệ với thông tin tương hỗ

Khoảng cách Jensen-Shannon đúng bằng thông tin tương hỗ giữa biến ngẫu nhiên $X$ phân phối theo một phân phối hỗn hợp $M=\backslash frac\{P+Q\}\{2\}$ và biến ngẫu nhiên $Z$ trong đó $Z\; =\; 1$ nếu $X$ được lấy từ $P$ và $Z\; =\; 0$ nếu $X$ được lấy từ $Q$. :

Từ kết quả trên có thể suy ngay ra khoảng cách Jensen-Shannon nằm trong khoảng từ 0 đến 1 vì thông tin tương hỗ là không âm và bị chặn bởi $H(Z)\; =\; 1$.

Các liên hệ khác

Khoảng cách Jensen-Shannon luôn lớn hơn hoặc bằng bình phương của khoảng cách Hellinger . :$JSD(P\; \backslash parallel\; Q)\; \backslash ge\; H^2(P,\; Q)$