麻省理工学院利用AI,找出艺术作品间难以发现的巧妙连接

跨文化、不同作者、不同年代或不同媒材的艺术品,可能潜藏着让人意想不到的相似性,只是很难发现。麻省理工学院(Massachusetts Institute of Technology,MIT)的团队便创造了一个名为“MosAIc”的算法,能够在庞大的数据库中找出具有相关性的作品。

数千年间,人类创造了无数乘载了历史与文化的艺术作品,是数不尽的知识宝库。但在茫茫似海的作品数据库里,要找出具有相似性的其中几件作品,简直是难如登天。

即使是学识渊博的艺术研究人员,也不可能看过所有的作品,何况是将每件作品的特征牢牢记在脑海中。但随着计算机科学的进步,现今能利用算法,帮助学者找出艺术品间的相似性。

MIT CSAIL(计算机科学与人工智能实验室)和微软的一组研究团队合作,开发了一种新的算法“MosAIc”。他们发现大都会艺术博物馆(Metropolitan Museum of Art)与阿姆斯特丹国家博物馆(Rijksmuseum)的绘画作品之间有巧妙的连接。

研究团队表示,他们是受到阿姆斯特丹国家博物馆特展“林布兰与维拉斯奎兹”(Rembrandt-Velázquez)的启发。

展览中,研究团队发现了一个不太可能有连接,却又相似的组合:法兰西斯科·德·祖巴兰(Francisco de Zurbarán)的〈圣塞拉皮翁殉道〉(The Martyrdom of Saint Serapion)和扬·阿瑟林(Jan Asselijn)的〈受威胁的天鹅〉(The Threatened Swan),这两幅作品都呈现了利他主义(殉道vs.保护幼鸟巢穴),还有不可思议的构图相似性。

Francisco de Zurbarán,The Martyrdom of Saint Serapion, 1628, Oil on canvas, 120×103 cm

Jan Asselijn,The Threatened Swan, c.1650, Oil on canvas, 144 x 171 cm

MosAIc通过深度学习找出两幅画的“相似”程度,发现了许多来自不同文化、艺术家和媒材的“相似作品”。

CSAIL的博士生马克·汉米尔顿(Mark Hamilton)是MosAIc相关论文的第一作者,他表示:

“这两位艺术家在生活中没有书信往来,也不可能相遇。但他们的作品都含有深层的隐喻。”

“开发MosAIc的困难的之处是创建一个“不仅能分辨颜色、构图,还能识别主题或内容”的算法。”

MosAIc不仅能分辨颜色、构图,还能识别主题或内容。(来源:MIT CSAIL)

过去AI常被拿来“创造”新的艺术作品。例如:由MIT、NVIDIA和加州大学伯克利分校开发的GauGAN、汉米尔顿曾参与的GenStudio。甚至有AI创作的艺术品出现在拍卖会上,德国艺术家马利欧·克林格曼(Mario Klingemann)创作的〈Memories of Passersby I〉被苏富比拍卖预估值3~4万英镑。

〈Memories of Passersby I〉显示的所有图像都是由AI即时运算出来的。

但MosAIc的目标并非创造,而是帮助人们探索现有的作品。Google曾开发与MosAIc类似的工具“X Degrees of Separation”,在网站中选择两件艺术品,它就会自动筛选出接近两者的作品,将它们连成一条“路径”。

X Degrees of Separation会分析出连接两个作品的“路径”。

MosAIc只需要导入单张图片即可而,它会筛选出作品与任何文化或媒材的连接,用户可以选择要从哪方面找到作品间的相似性。

查询“哪种乐器最接近这幅蓝白色连身裙”,算法筛选出了蓝白色瓷小提琴的图片。这些作品不仅在样式和形式上相似,而且源于荷兰和中国间的瓷器文化交流。(来源:MIT CSAIL)

为了找到跨文化的相似作品,研究团队使用了一种新的图片数据结构,称为“条件K-近邻树”(Conditional KNN Tree),它会将相似图片组合成一个树状结构。为了找到最接近的图片配对,他们会从“树干”开始找,接着前往最有可能的“分支”,直到确定找到最接近的图片。

汉米尔顿表示:“希望这项研究能鼓励其他人去思考:搜索工具如何应用于艺术研究、人文科学、社会科学和医学等其他领域。”

数据源:

Algorithm finds hidden connections between paintings at the Met

MIT and Microsoft algorithm determines correlations in vast art collections

(首图来源:MIT CSAIL)