《模仿犯》爆红，短短7天就抢进20国影剧热榜，不只日本、越南，连乌拉圭人、希腊人、阿拉伯人都爱看。如何吸引未知的观众，也想打开陌生的剧集，Netflix正是靠ML技术打造出超强的影音营销力。
Netflix擅长将一个本土剧集推向全球性市场，甚至可以成为不同国家的热门剧集。成功爆红的关键，除了这些本土剧集自身的戏剧性和内容富有高度吸引力之外，还有一个少为人谈到的科技关键，就是Netflix善用ML技术来强化的超强影音营销能力。
以《模仿犯》来说，上线一周就登上三大洲20多国的Top10排行榜，不只日本、越南，连乌拉圭人、希腊人、阿拉伯人都爱看。
短短一周内，就吸引到数十国观众的目光，甚至是语言、文化截然不同的国家，《模仿犯》不是第一例，Netflix先前推出的西班牙剧《纸房子》、韩剧《鱿鱼游戏》都是快速在全球窜红的该国本土剧集。为什么Netflix有能力让同国家的观众，愿意打开观看一个来自陌生国度的陌生剧集呢？
早在2014年，Netflix自家研究就发现，观众停留在每一个剧集封面的时间只有1.8秒，如果90秒没有看到想看的视频，就会离开网站。观众看到剧集封面的第一眼，更是吸引观众打开视频的第一步，不只标题文本，图片搭配得当，更是能大大提高观众打开陌生剧集的意愿，从此Netflix就致力于找出每一个人各自想看的剧集封面，而不是一张可以吸引所有人的最佳封面设计。
机器学习团队的目标是1亿种个性化的产品
“不是1种，而是1亿种不同个性化推荐和个性化视觉设计的产品。”这就是Netflix机器学习产品团队想要达到的目标，这背后结合了许多不同类型的个性化推荐算法。
当你打开Netflix首页，不仅能看到了依据过去习惯量身推荐的视频，每一部视频的封面更是高度个性化定制的设计。每一个国家、不同类型观众，甚至是每一个人看到的封面，都可能不一样。Netflix的目标是可以据观众喜好、吸睛关键，量身打造每一只视频的登场方式。这正是Netflix用来吸引全球观众，愿意打开陌生剧集的密技。
每年上千支新视频，靠ML快速打造出每一只的专属营销素材
Netflix一年会推出上千部新的剧集和视频，每一只视频都会设计一套定制化的封面设计和宣传短片，在全球寻找对该视频有兴趣的铁粉。
营销团队的第一个挑战就是，就算对方完全没听过台湾，也要靠这套定制化宣传素材，来吸引他们打开视频观看，接着就是靠视频的内容魅力，让这群对视频陌生的观众，变成铁粉。
Netflix营销团队中有一群经验老道的创作团队，负责准备这些宣传素材，Netflix的AI团队的任务，就是要用机器学习技术打造工具，来强化这个创作团队的创造力。
举例来说，前面提到高度定制化的封面只是机器学习技术的牛刀小试，更重要的是，如何判断哪些封面元素、设计风格才是吸引观众目光的原因。
Netflxi利用机器学习技术，发展出了一套因果分析框架，可以结合适户的浏览和收看大数据，结合个性化推荐系统中产生分析洞察，让创作团队可以更掌握每一类观众的特性，也能知道不同吸睛元素对不同观众的影响程度，来设计更有效果的宣传封面素材，提供给个性化自动推荐系统使用。
Netflix大量运用各种ML技术，尤其是计算机视觉AI，例如可以用ML识别出《艾蜜莉在巴黎》其中一个镜头中，女主角站在面包店门口，嘟着嘴和友人正在自拍，等这类场景丰富语义的资讯，而且还能将这些资讯数值化，归纳出不同场景属性上的强度分数，例如愉快程度60分，眼睛张开指数40分，嘴角微翘指数30分等。图片来源／Netflix
用ML打造影音理解模型，深度剖析出视频各种语义特征
不只如此，Netflix还持续开发一系列的影音理解模型，可以用来深度剖析出视频的内容特色，例如进行特征分类、找出故事线、识别情感、识别视频拍摄手法等，再结合到时间编码，就能让创作团队更有效率设计出吸引人的预告片或精华短片，再进一步结合个性化推荐系统累计的用户大数据，来向不同顾客营销。
以《艾蜜莉在巴黎》这部热门剧集为例，可以在一个女主角和朋友自拍镜头的画面截屏中，识别出女主角的心情很愉快，正在嘟嘴，嘴巴略开，眼睛微张，而自拍的拍摄地点则位于面包店门口等等，ML可以自动识别出这类场景丰富语义的资讯，而且还能将这些资讯数值化，归纳出不同场景属性上的强度分数，例如愉快程度60分，眼睛张开指数40分，嘴角微翘指数30分等。
这些通过计算机视觉模型得到的视频深度理解分析，可以成为进一步应用的关键基础。例如可以用来搜索同样场景、同样语义、同样对白的段落，甚至快指定镜头效果，或画面构成方式，例如都是主角正面中距离镜头，来快速搜索出符合的视频段落，作为剪接之用。
甚至，Netflix机器学习团队还打造出了自动匹配剪接工具，通过不同匹配算法，可以自动找到在不同剧集中的同类镜头或同样场景的段落，自动剪接这些镜头，生成一只预告短片。甚至可以进行光流分析（Optical Flow），分析画面中每一个像素的移动形式，来找组同类画面移动方式的段落，例如都是由左到右的移动镜头，组合成一段同样镜头移动方向，但是可以切换不同段落的动作短片。
不只是数据科学挑战，更是资料工程的难题
不过，要运用ML实现这样高度自动化的匹配剪接，不是一件容易的事，因为这不只是一个人信息料科学的挑战，也是一个人信息料工程的难题。
因为一支视频平均有2,000个镜头。光是要从中比对出两个同样场景（例如都是主角转头）的镜头，就需要2百万次比对，若是要跨多部视频，例如Netflix曾要从上百部视频的12万个镜头来剪接精华介绍短片，就得面对82亿次的庞大比对任务。
通过不同的重复镜头与重复画面删除算法，结合标注机制，大幅减少到1万多个高度相关镜头，最后只需要进行约2万次比对就能找到合适的组合。
Netflix会将这些各式各样的ML应用或相关技术工具，尽可能运用到不同场景或应用场景，甚至能跨越截然不同的应用领域，也可能使用到同样的技术，例如Netflix的运维团队管理大量微服务的标注工具，后来竟然变成了可以标记大量视频后设标签的通用标注平台，IT工具变成了创意辅助工具。
甚至，Netflix现在也正在运用VFX特效工具和特效算法，要打造一套更好用的电影虚拟制作工具，可以提供一个虚拟片场环境，将各种数字化的3D角色，数字场景对象，摆放到这个虚拟片场模拟的环境中，进行模拟拍摄，目前还是雏形版本阶段。
借助这些幕后的关键机器学习技术和AI工具，营销团队都能轻易将任何一部本土剧集，打包成通吃全球各国观众的营销形式。只要剧集够精彩，Netflix就能找到打动各国观众的吸睛方式。这正是Netflxi超强影音营销背后的技术秘诀。