Hadamard积 学习笔记（张贤达《矩阵分析与应用》）

• 定义
• 与正定性有关的性质
• • 正定性的传递性
  • 正定性的反推（Fejer定理）
• 与矩阵迹有关的性质
• • 定理1
  • 定理2
• 一般性质
• Hadamard积服从的不等式

本文是张贤达老师《矩阵分析与应用（第2版）》的部分阅读笔记。

定义

$m\times n$矩阵A=[aij]\boldsymbol{A}=\left[a_{i j}\right]A=[aij​]与$m\times n$矩阵B=[bij]\boldsymbol{B}=\left[b_{i j}\right]B=[bij​]的Hadamard积记作$\mathbf{A}\odot \mathbf{B}$，它仍然是一个$m\times n$矩阵，定义为：A⊙B=[aijbij]\boldsymbol{A} \odot \boldsymbol{B}=\left[a_{i j} b_{i j}\right]A⊙B=[aij​bij​]Hadamard积也称Schur积或者对应元素乘积。

与正定性有关的性质

正定性的传递性

如果$m\times m$维矩阵$\mathbf{A},\mathbf{B}$是正定的（半正定）的，则他们的Hadamard积也是正定（半正定的）

正定性的反推（Fejer定理）

我们可反推$m\times m$维矩阵$\mathbf{A}$是半正定矩阵，当且仅当∑i=1m∑j=1maijbij⩾0\sum_{i=1}^{m} \sum_{j=1}^{m} a_{i j} b_{i j} \geqslant 0i=1∑m​j=1∑m​aij​bij​⩾0对所有$m\times m$维半正定矩阵$\mathbf{B}$成立。

与矩阵迹有关的性质

定理1

令$\mathbf{A},\mathbf{B},\mathbf{C}$为$m\times n$矩阵，并且1=[1,1,⋯,1]T\boldsymbol{1}=[1,1,\cdots,1]^\mathrm{T}1=[1,1,⋯,1]T为$n\times 1$求和向量，D=diag(d1,d2,⋯,dm)\boldsymbol{D}=\mathrm{diag}(d_1,d_2,\cdots,d_m)D=diag(d1​,d2​,⋯,dm​)，其中，di=∑j=1naijd_{i}=\sum_{j=1}^{n} a_{i j}di​=∑j=1n​aij​，则tr⁡(AT(B⊙C))=tr⁡((AT⊙BT)C)\operatorname{tr}\left(\boldsymbol{A}^{\mathrm{T}}(\boldsymbol{B} \odot \boldsymbol{C})\right)=\operatorname{tr}\left(\left(\boldsymbol{A}^{\mathrm{T}} \odot \boldsymbol{B}^{\mathbf{T}}\right) \boldsymbol{C}\right)tr(AT(B⊙C))=tr((AT⊙BT)C)1TAT(B⊙C)1=tr⁡(BTDC)\mathbf{1}^{\mathbf{T}} \boldsymbol{A}^{\mathrm{T}}(\boldsymbol{B} \odot \boldsymbol{C}) \mathbf{1}=\operatorname{tr}\left(\boldsymbol{B}^{\mathrm{T}} \boldsymbol{D} \boldsymbol{C}\right)1TAT(B⊙C)1=tr(BTDC)

定理2

令$\mathbf{A},\mathbf{B}$为$n\times n$正方矩阵，并且1=[1,1,⋯,1]T\boldsymbol{1}=[1,1,\cdots,1]^\mathrm{T}1=[1,1,⋯,1]T为$n\times 1$求和向量。假定$\mathbf{M}$是一个$n\times n$对角矩阵M=diag(μ1,μ2,⋯,μn)\boldsymbol{M}=\mathrm{diag}(\mu_1,\mu_2,\cdots,\mu_n)M=diag(μ1​,μ2​,⋯,μn​)，而$\mathbf{m}=\mathbf{M}1$为$n\times 1$向量，则有：tr⁡(AMBTM)=mT(A⊙B)mtr⁡(ABT)=1T(A⊙B)1MA⊙BTM=M(A⊙BT)M\begin{aligned} \operatorname{tr}\left(\boldsymbol{A} \boldsymbol{M} \boldsymbol{B}^{\mathrm{T}} \boldsymbol{M}\right) &=\boldsymbol{m}^{\mathrm{T}}(\boldsymbol{A} \odot \boldsymbol{B}) \boldsymbol{m} \\ \operatorname{tr}\left(\boldsymbol{A} \boldsymbol{B}^{\mathrm{T}}\right) &=\mathbf{1}^{\mathrm{T}}(\boldsymbol{A} \odot \boldsymbol{B}) \mathbf{1} \\ \boldsymbol{M} \boldsymbol{A} \odot \boldsymbol{B}^{\mathrm{T}} \boldsymbol{M} &=\boldsymbol{M}\left(\boldsymbol{A} \odot \boldsymbol{B}^{\mathrm{T}}\right) \boldsymbol{M} \end{aligned}tr(AMBTM)tr(ABT)MA⊙BTM​=mT(A⊙B)m=1T(A⊙B)1=M(A⊙BT)M​

一般性质

1. 若$\mathbf{A},\mathbf{B}$均为$m\times n$矩阵，则A⊙B=B⊙A(A⊙B)T=AT⊙BT(A⊙B)H=AH⊙BH(A⊙B)∗=A∗⊙B∗\begin{aligned} \boldsymbol{A} \odot \boldsymbol{B} &=\boldsymbol{B} \odot \boldsymbol{A} \\ (\boldsymbol{A} \odot \boldsymbol{B})^{\mathrm{T}} &=\boldsymbol{A}^{\mathrm{T}} \odot \boldsymbol{B}^{\mathrm{T}} \\ (\boldsymbol{A} \odot \boldsymbol{B})^{\mathrm{H}} &=\boldsymbol{A}^{\mathrm{H}} \odot \boldsymbol{B}^{\mathrm{H}} \\ (\boldsymbol{A} \odot \boldsymbol{B})^{*} &=\boldsymbol{A}^{*} \odot \boldsymbol{B}^{*} \end{aligned}A⊙B(A⊙B)T(A⊙B)H(A⊙B)∗​=B⊙A=AT⊙BT=AH⊙BH=A∗⊙B∗​
2. 任意矩阵与零矩阵的Hadamard积：A⊙Om×n=Om×n⊙A=Om×n\boldsymbol{A} \odot \boldsymbol{O}_{m \times n}=\boldsymbol{O}_{m \times n} \odot \boldsymbol{A}=\boldsymbol{O}_{m \times n}A⊙Om×n​=Om×n​⊙A=Om×n​
3. 若c为常数，则$c(\mathbf{A}\odot \mathbf{B})=(c\mathbf{A})\odot \mathbf{B}=\mathbf{A}\odot (\mathbf{c}\mathbf{B})$
4. 正定（或半正定）矩阵$\mathbf{A},\mathbf{B}$的Hadamard积$\mathbf{A}\odot \mathbf{B}$也是正定（或半正定的）。
5. 矩阵Am×m=[aij]\boldsymbol{A}_{m \times m}=\left[a_{i j}\right]Am×m​=[aij​]与单位矩阵Im\boldsymbol{I}_mIm​的Hadamard积为$m\times m$对角矩阵，即：A⊙Im=Im⊙A=diag⁡(A)=diag⁡(a11,a22,⋯,amm)\boldsymbol{A} \odot \boldsymbol{I}_{m}=\boldsymbol{I}_{m} \odot \boldsymbol{A}=\operatorname{diag}(\boldsymbol{A})=\operatorname{diag}\left(a_{11}, a_{22}, \cdots, a_{m m}\right)A⊙Im​=Im​⊙A=diag(A)=diag(a11​,a22​,⋯,amm​)
6. 若$\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$均为$m\times n$矩阵，则A⊙(B⊙C)=(A⊙B)⊙C=A⊙B⊙C(A±B)⊙C=A⊙C±B⊙C(A+B)⊙(C+D)=A⊙C+A⊙D+B⊙C+B⊙D\begin{aligned} \boldsymbol{A} \odot(\boldsymbol{B} \odot \boldsymbol{C}) &=(\boldsymbol{A} \odot \boldsymbol{B}) \odot \boldsymbol{C}=\boldsymbol{A} \odot \boldsymbol{B} \odot \boldsymbol{C} \\ (\boldsymbol{A} \pm \boldsymbol{B}) \odot \boldsymbol{C} &=\boldsymbol{A} \odot \boldsymbol{C} \pm \boldsymbol{B} \odot \boldsymbol{C} \\ (\boldsymbol{A}+\boldsymbol{B}) \odot(\boldsymbol{C}+\boldsymbol{D}) &=\boldsymbol{A} \odot \boldsymbol{C}+\boldsymbol{A} \odot \boldsymbol{D}+\boldsymbol{B} \odot \boldsymbol{C}+\boldsymbol{B} \odot \boldsymbol{D} \end{aligned}A⊙(B⊙C)(A±B)⊙C(A+B)⊙(C+D)​=(A⊙B)⊙C=A⊙B⊙C=A⊙C±B⊙C=A⊙C+A⊙D+B⊙C+B⊙D​
7. 若$\mathbf{A},\mathbf{B},\mathbf{D}$为$m\times m$矩阵，且$\mathbf{D}$为对角矩阵，则$$(\mathbf{D}\mathbf{A})\odot (\mathbf{B}\mathbf{D})=\mathbf{D}(\mathbf{A}\odot \mathbf{B})\mathbf{D}$$
8. 若$\mathbf{A},\mathbf{C}$为$m\times m$矩阵，且$\mathbf{B},\mathbf{D}$为$n\times n$矩阵。则$$(\mathbf{A}\oplus \mathbf{B})\odot (\mathbf{C}\oplus \mathbf{D})=(\mathbf{A}\odot \mathbf{C})\oplus (\mathbf{B}\odot \mathbf{D})$$
9. 若$\mathbf{A},\mathbf{B},\mathbf{C}$为$m\times n$矩阵，则tr⁡(AT(B⊙C))=tr⁡((AT⊙BT)C)\operatorname{tr}\left(\boldsymbol{A}^{\mathrm{T}}(\boldsymbol{B} \odot \boldsymbol{C})\right)=\operatorname{tr}\left(\left(\boldsymbol{A}^{\mathrm{T}} \odot \boldsymbol{B}^{\mathrm{T}}\right) \boldsymbol{C}\right)tr(AT(B⊙C))=tr((AT⊙BT)C)

Hadamard积服从的不等式

1. Oppenheim不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，则∣A⊙B∣⩾a11⋯ann∣B∣|\boldsymbol{A} \odot \boldsymbol{B}| \geqslant a_{11} \cdots a_{n n}|\boldsymbol{B}|∣A⊙B∣⩾a11​⋯ann​∣B∣特例：若B=In\boldsymbol{B}=\boldsymbol{I}_nB=In​，且$\mathbf{A}$为$n\times n$半正定矩阵，则有Hadamard不等式：∣A∣≤a11⋯ann|\boldsymbol{A}|\leq a_{11}\cdots a_{nn}∣A∣≤a11​⋯ann​这是因为∣A∣=b11⋯bnn∣A∣⩽∣In⊙A∣|\boldsymbol{A}|=b_{11} \cdots b_{n n}|\boldsymbol{A}| \leqslant\left|\boldsymbol{I}_{n} \odot \boldsymbol{A}\right|∣A∣=b11​⋯bnn​∣A∣⩽∣In​⊙A∣，而In⊙A=diag⁡(a11,⋯,ann)\boldsymbol{I}_{n} \odot \boldsymbol{A}=\operatorname{diag}\left(a_{11}, \cdots, a_{n n}\right)In​⊙A=diag(a11​,⋯,ann​)，故而有∣A∣≤a11⋯ann|\boldsymbol{A}|\leq a_{11}\cdots a_{nn}∣A∣≤a11​⋯ann​。
2. 令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，则$$|\mathbf{A}\odot \mathbf{B}|⩾|\mathbf{A}\mathbf{B}|$$
3. 特征值不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，λ1,⋯,λn\lambda_{1}, \cdots, \lambda_{n}λ1​,⋯,λn​是Hadamard积$\mathbf{A}\odot \mathbf{B}$的特征值，而λ^1,⋯,λ^n\hat{\lambda}_{1}, \cdots, \hat{\lambda}_{n}λ^1​,⋯,λ^n​是矩阵乘积$\mathbf{A}\mathbf{B}$的特征值，则∏i=knλi⩾∏i=knλ^i,k=1,⋯,n\prod_{i=k}^{n} \lambda_{i} \geqslant \prod_{i=k}^{n} \hat{\lambda}_{i}, \quad k=1, \cdots, ni=k∏n​λi​⩾i=k∏n​λ^i​,k=1,⋯,n可以理解为不等式2的特征值版本。
4. Hadamard积的秩不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 矩阵，则$$\mathrm{rank}(\mathbf{A}\odot \mathbf{B})⩽\mathrm{rank}(\mathbf{A})\mathrm{rank}(\mathbf{B})$$