返回首页

Pika Enact

sitemap+web 0.93
访问原文

介绍

Pika Enact 是 Pika 官方博客以研究预览形式介绍 的新名字,指一个让创作者像在片场导戏那样、与正在生成的视频实时互动的实验环境。本轮对已跟踪站点 sitemap 的扫描首次看到该页面。博客把它写成建立在已经收录的视频模型 Pika H3 Flex 之上:用亚秒级分块生成画面和声音,一边保持场景上下文,一边把新的导演指令融入仍在播放的生成里。

官方列出三种模式。Live Staging 可以在视频仍在播放时,用鼠标拖放演员或物体,位置、光照和阴影跟着环境改,而不是先停下来重新跑一遍生成。Live Actor Direction 允许直接对“演员”说话,讨论台词、情绪或走位,喊 “Action” 后进入一条记得先前讨论的连续新 take。Live Camera Control 则是用鼠标在仍在播放的场景里控制运镜。

官方写明这是研究预览,不是已经面向所有消费者开放的功能;公开报道称有兴趣的用户需要联系 Pika 的企业团队。本条记录的是 Enact 这个新名字,而不是 H3 Flex 本身。

广告

解释

Pika 把 Enact 的目标写成:下一阶段的 AI 制作应更接近真实拍片,而不是只停在提示词框。技术上,它在 H3 Flex 上做低延迟流式生成,把鼠标轨迹、口语指令和运镜作为持续输入,而不是一次提示、一次出片。博客称在低延迟设置下,画面响应(含解码)在 H100 上可以低于 0.4 秒;并给出在单机上生成比播放更快(约 1.8 倍)的说法,以便拖动时画面不用停。

Live Staging 被写成需要“拖动前后严格对齐、且带逐帧光标轨迹”的视频对,真实拍摄很难提供。团队为此做了一套物理驱动的合成数据引擎:在未改动的视频上沿拖动路径安放 3D 替身,再渲染目标镜头并自动记录鼠标位置,从而得到只改变被拖对象的训练对,覆盖提起、搬运,以及把照片中的新对象插入直播场景。

演员导演和运镜是同一套实时循环里的另外两种输入,官方示范包括对演员给笔记、把排练变成一条连续 take,以及在场景播放时改变机位。开放范围、排队方式和是否进入产品,要以官方博客和 Pika 当时的说明为准。不要把 Enact 理解成又一个普通的文生视频模型名,它是叠在 H3 Flex 上的实时导戏环境。

用法

从官方博文 Research Preview: Pika Enact 了解三种模式和演示,再按页面说明联系 Pika 企业或研究通道;不要默认它已经出现在普通消费者的生成按钮里。如果要先弄清底层模型,可以回看已收录的 Pika H3 Flex,但评估 Enact 时应看实时拖放、口头导戏和运镜是否真能在亚秒级反馈下保持场景连续。

实际试的时候,适合问的问题包括:拖动人物后周围环境是否跟着补上、演员是否记得先前给过的笔记,以及运镜会不会把已经稳住的角色身份打断。延迟和硬件数字来自官方研究页,独立复现取决于当时是否开放访问。

若只是要用 Pika 按提示词生成一条视频,那是已有的 Pika 模型能力,不是这个新的研究预览名。