24

2016-11

第16期

来源:系统管理员     浏览次数:

Image Caption with Region-Based Attention and Scene Factorization
报 告 人:张长水   教授
主 持 人:王熙照
日      期:2016 年 8 月 29 日
时      间:下午 3:30-4:30
地      点:计软学院623会议室

简介
张长水,男,1965 年出生,1986 年 7 月毕业于北京大学数学系,获得学士学位。1992 年 7 月毕业于清华大学自动化系,获得博士学位。1992 年 7 月至今在清华大学自动化系工作。 现任清华大学自动化系教授、博士生导师,主要研究兴趣包括:机器学习、模式识别、计算 视觉等方面。目前是计算机学会高级会员;担任学术期刊:”Pattern Recognition”, “计算机学 报”, ”自动化学报”等编委;在国际期刊发表论文 100 多篇,在顶级会议上发表论文 50 多篇。

摘要

Learning sequence is a challenge task. Recent progress on automatic generation of image captions has shown that it is possible to describe the most salient information conveyed by images with accurate and meaningful sentences. In this talk, we introduce some models for sequence modeling. Then we introduce our image caption system that exploits the parallel structures between images and sentences. In our model, the process of generating the next word, given the previously generated ones, is aligned with the visual perception experience where the attention shifting among the visual regions imposes a thread of visual ordering. This alignment characterizes the flow of "abstract meaning", encoding what is semantically shared by both the visual scene and the text description. Our system also makes another novel modeling contribution by introducing scene-specific contexts that capture higher-level semantic information encoded in an image. The contexts adapt language models for word generation to specific scene types. We benchmark our system and contrast to published results on several popular datasets. We show that using either region-based attention or scene-specific contexts improves systems without those components. Furthermore, combining these two modeling ingredients attains the state-of-the-art performance. 

相关论文发表

博士生导师

  • 黄哲学

    黄哲学

    黄哲学,瑞典皇家理工学院博士、深圳大学特聘教授、博士生导师,深圳大学大数据技术与应用研究所所长、大数据系统计算技术国家工程实验室副主任,首批广东省领军人才、深圳孔雀计划高层次人才,斯坦福大学全球“终身科学影响力排行榜”前2%顶尖科学家。符号数据快速聚类算法研究的开拓者,发表了k-modes等一系列著名聚类算法,被纳入国内外教科书和专著,进入软件产品。发表学术论文250多篇,主要论文被引用超万次。领导开发了全球首个面向算力网络的多数据中心大数据协同计算系统Octopus,最近获深圳第二十五届中国国际高新技术成果交易会“优秀产品奖”和“华为杯”第五届中国研究生人工智能创新大赛“一等奖”。
  • 黄哲学

    崔来中

    2007年6月于吉林大学获工学学士学位,同年被免试推荐直接攻读博士研究生,2012年6月于清华大学获计算机科学与技术博士学位。研究领域包括:下一代互联网体系结构、软件定义网络、边缘计算、大数据分析、机器学习和智能计算。国际电子工程师学会高级会员(IEEE Senior Member),中国计算机学会高级会员(CCF Senior Member),人工智能学会(CAAI)会员,CCF互联网专委会常委,CCF大数据专家委员会委员、CCF区块链专委会委员,CAAI知识工程与分布智能委员会副秘书长。担任SCI期刊《International Journal of Machine Learning and Cybernetics》、《International Journal of Bio-Inspired Computation 》和《Ad Hoc and Sensor Wireless Networks》的副编辑/编委。已主持国家重点研发计划课题、国家自然科学基金,广东省自然科学基金,广东省育苗工程,深圳市基础研究计划项目等项目10多项。已在国内外重要期刊以及国际会议上发表SCI/EI检索论文80余篇。《计算机网络》课程负责人,课程入选广东省一流本科课程。入选广东省青年珠江学者,深圳市优青、深圳市高层次人才和深圳大学“荔园优青”人才培养计划。
  • 黄哲学

    陈梓楠

    陈梓楠(博士,国家海外优青,IEEE会员,ACM会员)现在担任深圳大学计算机与软件学院特聘教授。在研期间一共发表了顶级会议和期刊将近30篇论文,其中CCF A类论文有19篇(第一作者有12篇),主持了国家自然科学优秀青年(海外)项目1项和国家自然科学青年基金项目1项。此外,陈老师也是各大国际会议(包括:VLDB 2022 - 2024 (demo track)、VLDB 2025 (research track)、SIGKDD 2024 、ICDE 2022和2024、EDBT 2023、IJCAI 2020、DASFAA 2021 - 2024和WISE 2019 - 2024)和国际期刊(包括:VLDBJ、TKDE、AIJ、IEEE Transactions on Computers (TC)、WWWJ、 TSAS 、TNSE、PR Journal、DKE、JCST、The Journal of Supercomputing等等)的审稿人,并担任MDM 2021 - 2024的会议论文集主席 (proceedings chair)。

科研项目

联系我们
0755-2653 0821