当前位置：网站首页>【深度学习】什么是互信息最大化？
【深度学习】什么是互信息最大化？
2022-08-11 05:36:00 【一穷二白到年薪百万】
引言
在学习无监督学习时，最常用的loss就是最大化互信息。所以本文对互信息最大化做了一个总结。内容和图片多有参考其他资料，相关的文献一并在参考文献列出。
什么是互信息？
参考文献
[1]什么是「互信息」？
[2]DIM：通过最大化互信息来学习深度表征
[3]【互信息 Deep InfoMax】Learning Deep Representations by Mutual Information Estimation and Maximization
[4]ICLR 2020 | 互信息视角下的表征学习
[5]互信息的深度理解（总结的不错值得一看）
[6]互信息在深度学习的应用
[6]对比学习（Contrastive Learning）综述
边栏推荐
- 已解决EROR 1064 (42000): You have an error in. your SOL syntax. check the manual that corresponds to yo
- mmdetection的安装和训练、测试didi数据集的步骤（含结果）
- radix-4 FFT 原理和C语言代码实现
- Concurrent programming in eight-part essay
- kill 命令
- 淘宝sku API 接口（PHP示例）
- 每日sql - 判断+聚合
- iptables nat
- 《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》论文阅读（详细）
- Attitude solution - gyroscope + Euler method
猜你喜欢
随机推荐
iptables的状态
矩阵分析——微分、积分、极限
HCIA实验
每日sql--统计员工近三个月的总薪水（不包括最新一个月）
MySQL导入导出＆视图＆索引＆执行计划
HCIP MGRE\OSPF综合实验
Attitude solution - gyroscope + Euler method
MySQL之函数
OA项目之会议通知（查询＆是否参会＆反馈详情）
《Generative Adversarial Networks》
The ramdisk practice 1: the root file system integrated into the kernel
什么是Inductive learning和Transductive learning
知识蒸馏Knownledge Distillation
HCIP OSPF/MGRE Comprehensive Experiment
Pinduoduo api interface application example
TOP2两数相加
redis + lua实现分布式接口限流实现方案
ETCD Single-Node Fault Emergency Recovery
HCIP Republish/Routing Policy Experiment
My meeting of the OA project (meeting seating & review)