减小dnn模型大小的方法
来源:互联网 发布:https的端口号是多少 编辑:程序博客网 时间:2024/06/09 17:11
在DNN训练中,dnn模型参数较多,模型复杂,size较大,训练时间较长,下面介绍两种减小model size 的方法:
一、 nodeprune
笔记见图
二、 通过SVD分解,降低数据维数,从而达到降低计算量,降低模型的size的目的(保证性能在可接受的范围内)
1. SVD分解简介
[U,S,V]=svd(A)
若A为m*n,则U为m*m,S为m*n,V为n*n,S的有效值存在对角线上,且非负降序排列
[U,S,V]=svd(A,0)得到一个有效的分解,对于S只是保留对角有值的部分,U,V的维数也随S相应变化。所S为k*n(k<min(m,n)),则U变为m*k,V还是n*n
参照下面例子理解svd
>> A=[1 2;3 4;5 6;7 8];
>> [U,S,V]=svd(A)
U =
S =
V =
>> [U,S,V]=svd(A,0)
U =
S =
V =
2. 依据要求设置S的维数达到数据降维的目的
通常有两种方法:a:直接指定S的维数
b:通过比例因子间接调节S的维数
笔记见图:
注意:做完svd的dnn网络不能直接解码,夹层之间需要添加线性函数(原来层间用的sigmoid函数)
如图:
以后有时间再详细整理
- 减小dnn模型大小的方法
- VC2008减小对话框程序大小的方法 .
- APP瘦身,减小包大小的方法
- 减小Apk包大小的常用方法
- 减小apk的大小
- 减小APK的大小
- VC2008 SP1 减小对话框程序大小的方法
- 【IOS】APP瘦身,减小包大小的方法
- 如何减小可执行文件的大小
- 减小App包的大小
- 减小iOS应用程序的大小
- 减小iOS应用程序的大小
- 减小静态库的大小
- 如何减小软件包的大小
- 减小iOS应用程序的大小
- 减小android button的大小
- 减小iOS应用程序的大小
- 如何减小apk的大小
- Java线程与同步
- phonegap3.0配置
- ios 彩色图片转换成灰度图片
- 线程基础
- 二分查找中的编程小问题
- 减小dnn模型大小的方法
- 学习Linux 《鸟哥的Linux私房菜 基础学习篇(第三版)》--第8章 Linux磁盘与文件系统管理 笔记
- Windows系统中nodejs安装postgresql模块
- PHP引用(&)使用详解
- 连接查询
- 中菲之间的国际关系
- S3C6410使用---34关于中断号与中断引脚
- java.lang.ClassCastException: android.app.Application
- NoClassDefFoundError错误解决