Clipto
Clipto是一款本地运行的AI媒体搜索工具,帮助用户快速查找视频、音频中的任何瞬间,无需上传至云端。
Maker 说
过去几个月我们一直在打磨Clipto的故事。在上一次通话中,@henry_kang 终于证明了产品的价值。
他和团队在沙漠里远程测试Clipto:信号极差,笔记本电脑上堆着数TB的素材,他需要在发布视频里找到一个特定镜头。
他搜索了:“那架无人机拍摄的汽车驶入沙漠的广角镜头”。
他不要“电影感瞬间”,也不是什么“氛围感”搜索。
他知道自己拍过这个片段,但在没有Clipto的世界里,得来回拖动视频好几个小时才能找到。
他用自然语言在自己的媒体文件里搜索——完全本地化——几秒钟就找到了那个片段。
就像Google Photos一样——但一切都不存在云端。
这不是个容易解决的问题。Henry在这个方向上钻研了二十多年,早年在CMU的Robotics Institute(顺便说一句,那也是我的母校)时,他就开始突破计算机视觉的极限。起初是索引数百张图片,后来进阶到数百万个物体——一旦内存规模扩大,识别能力就基本爆发了。
Clipto在很大程度上是那项工作的巅峰之作,只不过这次瞄准了你的个人硬盘。
而且很快:一台现代M5 MacBook大约一天就能处理约2TB的视频。为什么不拿你的来试试呢?
He and his team were out in the desert, testing Clipto remotely: minimal reception, terabytes of footage sitting on his laptop, and he needed to find a specific shot for the launch video.
He searched for: "the wide drone shot where the car enters the desert".
He didn't want "a cinematic moment." Not a "vibes" search.
He knew he had the clip but in the pre-Clipto world, it would take hours of video scrubbing to find it.
He found that clip in seconds using natural language to search over his own media, fully local.
Just like Google Photos — but nothing lives in the cloud.
This isn't an easy problem to solve. Henry's been pursuing this direction for over twenty years, when at CMU's Robotics Institute (my alma mater, FYI), he began pushing the limits of computer vision. He starting with indexing hundreds of images and then advanced to millions of objects — and watched recognition basically explode once memory scaled.
Clipto is in many respects the culmination of that work, pointed at your personal hard drive.
And it's quick: a modern M5 MacBook chews through ~2TB of video in about a day. Why not push yours through its paces?
Clipto 能让你用自然语言在几秒内搜索 TB 级的媒体文件。
你可以把它想象成 Google Photos,但完全本地运行。
20 年前我在 CMU 的机器人研究所时,就迷上了记忆系统:如果电脑真的能记住它们见过的东西会怎样?
我训练机器人去记住从 Amazon 商品目录爬来的数百万张产品图片(当时的标准是一次索引几百张图片),结果发现它们能利用这个记忆识别几乎任何遇到的东西!
通过把计算机推过常规极限,我释放了机器智能的一次爆发。
多年后,这个问题变成了个人问题。
我们的电脑里塞满了宝贵的原始素材、采访、录音等等,但大多数数据仍然难以搜索、回顾或复用。我们数据丰富,但知识贫瘠。
所以我造了 Clipto。Clipto 帮你瞬间找到 TB 级视频、音频、会议和文件里重要的内容,把几小时的重复工作压缩到几秒。找到那辆汽车入画时的广角航拍画面。从几小时的素材里找到沙暴袭来的那一帧。找到你确信就在那里、但不用忍受几小时拖拽浏览的内容。Clipto 的记忆系统就放在你的数据所在处:在你的设备上,由你掌控,随时可用,即使离线也行——这样你就能在灵感来袭的任何地方、任何时候继续工作。
经过两年压缩、优化、蒸馏和编排 AI 模型让其完全在设备本地运行后,我们准备好跟 Product Hunt 社区分享了。
现在还在早期,计算量也还很大。目前 Clipto 在更高性能的 Apple Silicon Mac(M1 Pro/Max/Ultra 及更新型号,24GB+ 内存)上表现最好。如果你有一台兼容的 Mac,我们希望你来试一试。
为了庆祝发布,我们给本周用码 PHLNCH 注册的用户提供 1 个月免费。
我会全天待在评论区,真的很想听听你们在数字矿藏里发掘内容钻石的心得。
我好奇它对媒体内容的理解深度如何。
它能识别像镜头角度、景别(广角、中景、特写)、运镜、转场、B-roll 和多机位片段这类东西吗?
如果我能搜"人物微笑的特写镜头"或"慢速平移的航拍素材"然后瞬间从我的素材库里找到匹配片段,那就太有用了。
想知道视觉理解能细到什么程度,不只是基础物体和对话检测。