提前祝各位读者新年快乐，2017行好运～

这篇文章主要想回答两个“为什么”的问题：1、为啥我就对SVD感兴趣了？；2、为啥我说SVD是一个聚类过程？回答的内容纯粹个人思辨结果，暂无参考文献。

为什么要研究SVD？ #

从2015年接触深度学习到现在，已经研究了快两年的深度学习了，现在深度学习、数据科学等概念也遍地开花。为什么在深度学习火起来的时候，我反而要回去研究“古老”的SVD分解呢？我觉得，SVD作为一个矩阵分解算法，它的价值不仅仅体现在它广泛的应用，它背后还有更加深刻的内涵，即它的可解释性。在深度学习流行的今天，不少人还是觉得深度学习（神经网络）就是一个有效的“黑箱”模型。但是，仅用“黑箱”二字来解释深度学习的有效性显然不能让人满意。前面已经说过，SVD分解本质上与不带激活函数的三层自编码机等价，理解SVD分解，能够为神经网络模型寻求一个合理的概率解释。

近来，我尝试做一些较为复杂的模型，比如问答系统、聊天机器人，我越来越感觉到，刚开始上手的时候，最近大放异彩的seq2seq之类的深度学习模型基本没法用。我基本上是从最基本的概率模型$P(A|Q)$出发，逐步简化，最后得到一个复杂度可以接受的模型。这样得到的模型意义清晰、可控性强。但是其中的一部分是基于统计来做的，纯粹的统计没法得到真正“智能”的结果，而前面说过，SVD分解可以在统计结果的基础上带来初步的智能。这给我强烈的感觉，一个是模型的可解释性尤其是概率解释是很重要的，另外一个是更好理解了SVD之后，对神经网络模型的意义和应用都更有感觉了。

SVD分解是怎么聚类的？ #

为什么SVD分解是聚类？其实这里边是一个很简单的概率模型。

给定矩阵$M_{m\times n}$，不失一般性，假设它每个元素都是非负数，这样我们就可以对每一行做归一化，这样，得到的矩阵可以表示一个转移概率
$$P(B|A)=\begin{pmatrix}p(b_1|a_1) & p(b_2|a_1) & \dots & p(b_n|a_1)\\
p(b_1|a_2) & p(b_2|a_2) & \dots & p(b_n|a_2)\\
\vdots & \vdots & \ddots & \vdots\\
p(b_1|a_m) & p(b_2|a_m) & \dots & p(b_n|a_m)\end{pmatrix}$$
归一化条件是
$$\sum_{j=1}^n p(b_j|a_i)=1, \quad i=1,2,\dots,m$$
所谓$p(b_j|a_i)$，即$a_i$后接$b_j$的概率，这种概率模型是很常见的，比如二元语言模型。

现在我们假设各个$a_i$可以聚为$l$个类，分别为$c_1,c_2,\dots,c_l$；而各$b_i$可以聚为$k$个类，分别为$d_1,d_2,\dots,d_k$；我们要研究$a_i$后接$b_j$的规律，事实上可以简化为类别之间的规律（一个典型的小案例就是：我们将词语分为动词、名词、形容词等，然后发现动词后面可以接名词构成短语，“动词＋名词”就是我们大脑发现的聚类规律了）。这就是SVD分解的唯一假设了。更清晰地，假设包括：

1、$a_i$和$b_i$都可以聚为若干个类；
2、$a_i$和$b_i$之间的连接规律可以简化为两者所属的类的连接规律。

这时候根据概率公式，就得到
$$p(b_j|a_i) = \sum_{k,l}p(b_j|d_k)p(d_k|c_l)p(c_l|a_i)$$

每一项都有非常清晰的概率意义：

$p(c_l|a_i)$是$a_i$表现为类别$c_l$的概率；

$p(d_k|c_l)$是类别$c_l$后接类别$d_k$概率；

$p(b_j|d_k)$是已知类别$d_k$时，元素为$b_j$的概率。

这样自然有$p(b_j|a_i) = \sum_{k,l}p(b_j|d_k)p(d_k|c_l)p(c_l|a_i)$，也就是说，只要假设成立，那么这个公式是精确成立的。而这个运算，正好是三个矩阵的乘法：
$$P(B|A)=P(B|D)\times P(D|C)\times P(C|A)$$
也就是说，一个矩阵分解为三个维度更低的矩阵相乘，这不就是SVD分解吗？当然，细致上的区别是，如果是概率分解，则需要有归一化要求，这部分内容属于主题模型中pLSA模型的内容，而SVD分解本身不需要归一化约束，但这不影响本质思想，即矩阵分解蕴含了聚类的意义在里边。

这样，我们就通过矩阵分解，来对行与列进行了聚类。我们不需要告诉计算机聚成哪些类（比如，不需要告诉计算机要将词语分为名词、动词、形容词等），而是直接矩阵分解来完成（试想一下，只要用“大声公”喊一声“集合啦，要聚类啦”，大家自动分好类，不用我们告诉它怎么做。）。或者反过来说，我们通过概率模型，为SVD分解赋予了聚类意义。

新年快乐 #

额...本来感觉一两句话可以讲清楚的事情，又扯了那么多文字，希望读者不要觉得我哆嗦^_^

再次祝大家新年快乐啦，年年都是那句：希望大家多多捧场！

转载到请包括本文地址：https://spaces.ac.cn/archives/4216

更详细的转载事宜请参考：《科学空间FAQ》

如果您还有什么疑惑或建议，欢迎在下方评论区继续讨论。

如果您觉得本文还不错，欢迎分享/打赏本文。打赏并非要从中获得收益，而是希望知道科学空间获得了多少读者的真心关注。当然，如果你无视它，也不会影响你的阅读。再次表示欢迎和感谢！

如果您需要引用本文，请参考：

苏剑林. (Jan. 26, 2017). 《SVD分解(二)：为什么SVD意味着聚类？ 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/4216

@online{kexuefm-4216,
        title={SVD分解(二)：为什么SVD意味着聚类？},
        author={苏剑林},
        year={2017},
        month={Jan},
        url={\url{https://spaces.ac.cn/archives/4216}},
}