中科院计算所视觉信息处理与学习组

您所在的位置 / 科学研究

科学研究
多媒体计算与多模态智能组

组  长:蒋树强

Email:sqjiang@ict.ac.cn

地  址:北京市海淀区科学院南路6号

*  现有研究员1人、博士后1人、博士和硕士研究生10余人。

*  曾经或正在承担国家自然科学基金优秀青年科学基金、国家自然科学基金重点项目、国家自然科学基金面上项目、国家863课题、北京市科技项目、企业合作项目等课题十余项。

*获奖情况:

在基于搜索的多物体识别技术获得ACM ICMR2013 Best Demo Award;
基于多传感器的视觉识别技术获得ImageClef Robot Vision竞赛2013年度的冠军,
在图像与语言的关联理解技术上的工作分别获ACM Multimedia 2016 Yahoo-Flickr Challenge on Caption Prediction竞赛的冠军。
数据库:

复杂场景下的实例级图像数据集,主页为:http://vipl.ict.ac.cn/isia/instre/;论文:Shuang Wang, Shuqiang Jiang, INSTRE: A New Benchmark for Instance-Level Object Retrieval and Recognition. ACM Transactions on Multimedia Computing, Communications, and Applications(TOMCAT) Vol.11(3), pp. 37:1-37:21, 2015
建立了基于多传感器的手持物体检测数据集,主页为:http://vipl.ict.ac.cn/isia/HOD/;论文:Xiong Lv, Shuqiang Jiang, Luis Herranz, Shuang Wang, RGB-D Hand-Held Object Recognition Based on Heterogeneous Feature Fusion. Journal of Computing Science and Technology, Vol.30(2), pp.340-352 ,2015
建立了基于地理信息的多模态食品图像数据集,主页为:http://vipl.ict.ac.cn/isia/datasets_dish/index.html;论文:Ruihan Xu, Luis Herranz, Shuqiang Jiang, Shuang Wang, Xinhang Song, Ramesh Jain, Geolocalized Modeling for Dish Recognition. IEEE Trans. Multimedia,  Vol.17(8), pp.1187-1199, 2015
研究内容

*图像/视频等多媒体信息的分析、理解与搜索技术;

*视觉、语言、知识库和各种上下文信息的多模态关联、融合与理解技术;
*多模态智能交互技术。

4444

Current Research Projects:

Null

部分论文

刊物论文

1.    Luis Herranz, Shuqiang Jiang, Ruihan Xu.Modeling Restaurant Context for Food Recognition. TMM2017 【pdf】

2.    Weiqing Min, Bing-Kun Bao, Shuhuan Mei, Yaohui Zhu, Yong Rui, Shuqiang Jiang. You Are What You Eat: Exploring Multi-modal and Multi-attribute Information from Recipes for Cross-Region Food Analysis. TMM2017 【pdf】

3.    Weiqing Min, Shuqiang Jiang, Jitao Sang, Huayang Wang, Xinda Liu, Luis Herranz. Being a Supercook: Joint Food Attributes and Multimodal Content Modeling for Recipe Retrieval and Exploration.TMM2017 【pdf】

4.    Xinhang Song, Shuqiang Jiang, Luis Herranz. “Multi-scale multi-feature context modeling for scene recognition in the semantic manifold.” IEEE Transactions on Image Processing (TIP), 2017 【pdf】

5.    Shuang Wang, Shuqiang Jiang, INSTRE: A New Benchmark for Instance-Level Object Retrieval and Recognition. ACM Transactions on Multimedia Computing, Communications, and Applications, Vol.11(3), pp. 37:1-37:21, 2015 【pdf】

6.    Lingyang Chu, Shuqiang Jiang, Shuhui Wang, Yanyan Zhang, Qingming Huang, Robust Spatial Consistency Graph Model for Partial Duplicate Image Retrieval. IEEE Trans. Multimedia, Vol.15(8), pp.1982-1996,2013 【pdf】

7.    Liang Li, Shuqiang Jiang, Qingming Huang, Learning Hierarchical Semantic Description Via Mixed-Norm Regularization for Image Understanding. IEEE Trans. Multimedia 14(5): 1401-1413 (2012) 【pdf】

会议论文

1.    Shuqiang Jiang, Weiqing Min, Xue Li, Huayang Wang, Jian Sun, Jiaqi Zhou.Dual Track Multimodal Automatic Learning through Human-Robot Interaction. IJCAI 2017 【pdf】

2.    Weiqing Min, Shuqiang Jiang, Shuhui Wang, Jitao Sang, Shuhuan Mei. A Delicious Recipe Analysis Framework for Exploring Multi-Modal Recipes with Various Aributes. ACM MM2017 【pdf】

3.    Xinhang Song, chengpeng chen, Shuqiang Jiang. “RGB-D Scene Recognition with Object-to-Object Relation” The 25th ACM Multimedia Conference (ACM MM) 2017 【pdf】

4.    Xinhang Song, Luis Herranz, Shuqiang Jiang. “Depth CNNs for RGB-D scene recognition: learning from scratch better than transferring from RGB-CNNs” Thirty-First AAAI Conference on Artificial Intelligence (AAAI)2017 【pdf】

5.    Xinhang Song, Shuqiang Jiang, Luis Herranz. “Combining Models from Multiple Sources for RGB-D Scene Recognition” The 26th International Joint Conference on Artificial Intelligence (IJCAI) 2017 【pdf】

视觉信息处理和学习组
  • 单位地址:北京海淀区中关村科学院南路6号
  • 邮编:100190
  • 联系电话:010-62600514
  • Email:yi.cheng@vipl.ict.ac.cn
  • Valse

  • 深度学习大讲堂

版权所有 @ 中科院计算所视觉信息处理与学习组 京ICP备05002829号 京公网安备1101080060