Pytorch的distributed training
现在数据集变得越来越大，训练也由原来的多卡到多机，pytorch在1.0.0之后在distributed learning上做的已经比较好了，在官网也有现成的文档可以看，网上对这部分内容的介绍也很多。这里只是记录下自己看tutorial的过程，可能会有很多不足的地方，欢迎指正。
Bit-Scalable Deep Hashing With Regularized Similarity Learning for Image Retrieval and Person Re-Identification
TIP2015 paper，除了利用deep learning，为了能够实现变长的hash code，学习了weight matrix来对hamming distance做加权。
Supervised Hashing for Image Retrieval via Image Representation Learning
AAAI2014论文，第一篇基于Deep Learning的Learning to hash文章，采用的双阶段方法，先把由ground truth得到的similarity matrix进行decomposition，得到近似的target hash code，再学习image到target hash code的映射。
Simultaneous Feature Learning and Hash Coding with Deep Neural Networks
CVPR2015 deep hash论文，采用triplet loss并提出一个divide-and-encode module。
awesome-hash
Collections 1. Statistics 2. Survey 3. Unsupervised Hash (+ Transfer / Semi-supervised learning) 4. Supervised Hash 5. Others 6. Datasets
最大熵模型的理解
最近在看一些无监督聚类的文章，发现了很有意思的博客，里面讲了很多关于数学、物理、天文还有信息科学的内容。在看完博主关于最大熵的内容后也写下一点心得。 首先是熵的定义，离散概率和连续概率形式：$$S(x)=-\sum_{x} p(x) \log p(x)\tag{1}$$$$S(x)=-\int p(x)\log p(x) dx\tag{2}$$ 其实之间看到这个定义是比较疑惑的，为什么会是这个形式
Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Pattern
CVPR2018 paper，ReID上的transfer learning。