今年会官网

EN

今年会官网智能沈春华教授在2018 VALSE大会作关于视觉问答的汇报

2018-05-07
起源:

2018 全国“视觉与进建青年学者钻研会”(VALSE 2018)4月20日于大连拉开帷幕。。。。。。该钻研会的重要主张是为推算机视觉、图像处置、模式鉴别与机械进建钻研领域内的中国青年学者提供一个深档次学术互换的舞台,,,,,,,推进国内青年学者的思想互换和学术合作,,,,,,,提升中国粹者在AI领域做出沉量级的学术贡献,,,,,,,及其在国际学术舞台上的影响力。。。。。。


会议期间,,,,,,,来自国内各大高校推算机视觉领域权威学者、国内人为智能领域的科技公司专家代表和互联网驰名企业阿里巴巴、百度、滴滴等齐聚现。。。。。。,,,,,,展示AI业内前沿技术、深度进建利用成就,,,,,,,并萦绕此发展深刻探求。。。。。。


今年会官网智能沈春华教授受邀作为大会汇报人,,,,,,,在视觉与说话专题会商会上(VALSE Workshop on Vision and Language)作了一场关于视觉问答(Visual Question Answering,,,,,,,以下简称为VQA)的汇报。。。。。。视觉问答/对话是一个融合推算机视觉和天然说话处置的终极工作,,,,,,,相比力求片文本描述工作(ImageCaptioning),,,,,,,VQA更能反映出对于图像的深层理解能力。。。。。。汇报重要蕴含以下内容。。。。。。



今年会官网智能沈春华教授颁发主题演讲


融合知识库的VQA模型框架以及基于学问的VQA数据集(FVQA)


VQA工作通常的做法是使用卷积神经网络(CNN)得到的特点或预测出的属性结合针对图片的问题一路作为递归网络(RNN,LSTM,GRU等)的输入,,,,,,,而后天生答案。。。。。。但是当前存在的VQA工作的模型框架由于只思考了图片的视觉信息,,,,,,,并不能很好地回覆更深层的问题,,,,,,,要回覆这些深层问题就必要一些额表的知识作为支持。。。。。。


沈教授团队提出一个融合了知识库的模型框架,,,,,,,可能结合图片所蕴含的信息和额表的知识库[1,2,3]。。。。。。另表,,,,,,,当前的VQA的工作没有给出问题答案的原因,,,,,,,使得答案不能追忆图片的有关特点以及有关知识。。。。。。沈教授团队提出了一个VQA-Machine的框架[4],,,,,,,融合了多种推算机视觉工作的了局并且能额表输出给出答案的理由。。。。。?????? ?K伎嫉降鼻暗腣QA数据集的图片样本所提供问题和答案都过于浅易,,,,,,,沈教授团队提出的一个基于学问事实的新的VQA数据集(FVQA)[5],,,,,,,对于每张图还会额表提供与图片问题有关的事实基础。。。。。。


类人对话天生


思考到目前的VQA工作的输出比力机械化,,,,,,,简短,,,,,,,汇报里还介绍了其团队提出的一种使用匹敌进建(GAN)以及强化进建辅助天生越发天然的类人的说话的步骤[6]。。。。。。该步骤使用了一种融合图片、问题和汗青问答数据的结合把稳力的编码器(Co-attention encoder)作为一个天生器(generator)和一个使用汗青天生器影象的判断器(discriminator)来分辨机械天生的对话和类人的对话。。。。。。


参考文件:

[1] Image Captioning and Visual QuestionAnswering Based on Attributes and External Knowledge. Wu & Wang et al.TPAMI 2017

[2] Ask Me Anything: Free-Form VisualQuestion Answering Based on Knowledge from External Sources. Wu & Wang etal. CVPR2016

[3] What Value Do Explicit High-LevelConcepts Have in Vision to Language Problems. Wu et al. CVPR 2016

[4] The VQA-machine Learning How to UseExisting Vision Algorithms to Answer New Questions. Wang & Wu et al. CVPR2017

[5] FVQA: Fact-Based Visual QuestionAnswering. Wang & Wu et al. TPAMI 2018

[6] Are You Talking to Me? Reasoned VisualDialog Generation Through Adversarial Learning. Wu & Wang et al. CVPR 2018


今年会官网智能始终亲昵关注着业内前沿动态,,,,,,,同时十吩祺沉对青年学者这一新生力量的造就,,,,,,,作为本次大会的铂金赞助商之一,,,,,,,由CEO虞正华博士带队,,,,,,,向参会的各位青年学者及业内公司代表介绍了今年会官网智能的团队情况、主题优势及最新钻研成就。。。。。。在展示区,,,,,,,我们着沉展示了今年会官网智能的主题技术优势与最新产品基于嵌入式深度进建的前视ADAS一体机产品,,,,,,,为期三天的展示中,,,,,,,立足浏览的参会人员川流不息。。。。。。


我们非;;;;;队帕佳ё拥牟斡耄,,,,,, 在浓密的学术氛围团队中加快实际技术的提升,,,,,,,一路实显禧车产业人为智能化,,,,,,,开启汽车的人为智能大脑。。。。。。


【网站地图】【sitemap】