中科院计算所视觉信息处理与学习组

您所在的位置 / 新闻动态

新闻动态

深度神经网络卷积核优化探究

发表日期:2017-05-04      点击击数: 51

贾奎
华南理工大学


时间:5月4日上午10:00-12:00
地点:计算所446会议室


报告摘要:
Inthiswork,wefocusoninvestigationofthenetworksolutionpropertiesthatcanpotentiallyleadtogoodperformance.Ourresearchisinspiredbytheoreticalandempiricalresultsthatuseorthogonalmatricestoinitializenetworks,butweareinterestedininvestigatinghoworthogonalweightmatricesperformwhennetworktrainingconverges.Tothisend,weproposetoconstrainthesolutionsofweightmatricesintheorthogonalfeasiblesetduringthewholeprocessofnetworktraining,andachievethisbyasimpleyeteffectivemethodcalledSingularValueBounding(SVB).InSVB,allsingularvaluesofeachweightmatrixaresimplyboundedinanarrowbandaroundthevalueof1.Basedonthesamemotivation,wealsoproposeBoundedBatchNormalization(BBN),whichimprovesBatchNormalizationbyremovingitspotentialriskofill-conditionedlayertransform.Wepresentboththeoreticalandempiricalresultstojustifyourproposedmethods.ExperimentsonbenchmarkimageclassificationdatasetsshowtheefficacyofourproposedSVBandBBN.Inparticular,weachievethestate-of-the-artresultsof3.06%errorrateonCIFAR10and16.90%onCIFAR100,usingoff-the-shelfnetworkarchitectures(WideResNets).OurpreliminaryresultsonImageNetalsoshowthepromiseinlarge-scalelearning.


报告人简介:

贾奎,博士,华南理工大学电子与信息学院教授,博士生导师,主动感知与结构智能团队负责人,国家青年千人。2001年于西北工业大学获得学士学位,2004年于新加坡国立大学获得硕士学位,2007年于伦敦大学玛丽女王学院获得计算机科学博士学位。博士毕业后,曾先后于中科院深圳先进技术研究院、香港中文大学、伊利诺伊大学香槟分校新加坡高等研究院、及澳门大学从事教学和科研工作。贾奎博士的主要研究方向是计算机视觉、机器学习、图像处理、和模式识别等。在包括TPAMI,IJCV,TSP,TIP,ICCV,CVPR等在内的计算机视觉和模式识别顶级期刊和会议发表论文50余篇.


视觉信息处理和学习组
  • 单位地址:北京海淀区中关村科学院南路6号
  • 邮编:100190
  • 联系电话:010-62600514
  • Email:yi.cheng@vipl.ict.ac.cn
  • Valse

  • 深度学习大讲堂

版权所有 @ 中科院计算所视觉信息处理与学习组 京ICP备05002829号 京公网安备1101080060