无监督学习（unsupervised learning） 3.近邻嵌入

---

Neighbour Embedding

• manifold learning：流行学习，将高维空间摊平（降维）——欧氏距离
• Locally linear Embedding（LLE）：找到xi的近邻xj，它们的关系为wij，min∑i||xi−∑jwijxj||2
  
  • 降维：将xi,xj转成zi,zj，它们之间的关系wij不变，min∑i||zi−∑jwijzj||2 （《think globally，Fit locally》 ——JMLR 2013）
• Laplacian Eigenmaps：Graph-based approach，若两个向量在高维空间中的高密度区域，那么降维后在低维空间中它们接近。
  
  • Spectral clustering：在z上聚类

---

2 T-distributed Stochastic Neighbor Embedding (t-SNE)

• 假设相同类的点接近 & 不同类的点不接近（之前方法没有的假设）。

  • P(xj|xi)=S(xi,xj)∑k≠iS(xi,xk)，Q(xj|xi)=S′(xi,xj)∑k≠iS′(xi,xk)
  • 使两者分布越接近越好：L=∑iKL(P(∗|xi)||Q(∗|zi))，KL散度越小越好

• t-SNE——Similarity Measure：相似度度量

  • S(xi,xj)=exp(−||xi−xj||2)
  • t-SNE：S′(zi,zj)=1/(1+||zi−zj||2)
    SNE：S′(zi,zj)=exp(−||zi−zj||2)