全部项目 视觉感知 视觉增强 自然语言 音频处理 分析推荐 自动驾驶

ArtEmis视觉艺术的情感语言

638     2021-01-27 11:30   [分类:视觉感知]   

源码
论文
1

    让计算机读懂艺术,并能描述出其表达的情感!听起来很不可思议,但AI让他做到了。

    ArtEmis提出了一个新颖的大规模数据集和随附的机器学习模型,旨在提供对视觉内容,其情感效果以及对后者的语言解释的详细了解。与计算机视觉中现有的大多数注释数据集相反,我们专注于视觉艺术品触发的情感体验,并要求注释者指出他们对给定图像的主要情感,并且至关重要的是,还应为他们的情感提供扎实的口头解释选择。 如下我们所展示的,这为图像的客观内容和情感影响带来了丰富的信号集,与抽象概念(例如,“自由”或“爱”)或超出其含义的参考相关联直接可见,包括视觉比喻和隐喻,或对个人经历的主观参考。我们专注于视觉艺术(例如绘画,艺术照),因为它是创造图像以引起观众情感反应的主要示例。

    我们的数据集称为ArtEmis,其中包含来自WikiArt的81K作品的43.9万个人的情感归因和解释。基于这些数据,我们训练并演示了一系列字幕系统,它们能够表达和解释来自视觉刺激的情绪。值得注意的是 这些系统产生的字幕通常可以成功反映出图像的语义和抽象内容,远远超出了在现有数据集上训练的系统范围。

官网:https://artemisdataset.org

 

    看不见的艺术品上的神经说话者作品示例。 

    产生的解释反映了各种主要的情感反应(在每个讲话上方以粗体显示)。

    第一行显示了推论的接地情绪为正的例子。底行显示了三个示例,其中基本情绪为负,另一个示例为“其他”类别。引人注目的是,神经说话者产生了一些实用的解释,其中包括视觉类比:看起来像鲜血,死了的动物,以及细微的情感解释:悲伤而孤独,富有表情的眼睛。




推荐项目
Copyright © 2020 万物律动 旗下 AI算法狮 京ICP备20010037号-1
本站内容来源于网络开放内容的收集整理,并且仅供学习交流使用;
如有侵权,请联系删除相关内容;