cocoindex

增量数据引擎，专为长时AI agent设计，自动保持上下文最新。核心思想类似React的数据流：声明目标状态，引擎只重算变化部分（Δ），支持源码、文档、会议记录等多数据源，输出到向量库或图数据库。亮点是亚秒级增量同步、可解释的数据血缘追踪、Rust内核保证生产可靠性。适合构建RAG pipeline、agent记忆系统或企业级实时索引。Apache 2.0开源。

README

企业语料库——代码库、Slack、会议记录和文档，通过CocoIndex增量同步引擎持续流入生产级AI agent，始终提供最新上下文。每次变更仅重新处理Δ（增量）。关键词：RAG流水线、agent记忆、企业检索、AI agent上下文、实时索引、检索增强生成、生产级LLM应用、流式ETL、增量摄入。

你的 agent 值得拥有最新上下文。

Star 我们 ❤️ → · · ·

CocoIndex 将代码库、会议记录、收件箱、Slack、PDF 和视频转化为实时、持续更新的上下文，让你的 AI agent 和 LLM 应用能够高效推理——仅需极少的增量处理。在 10 分钟内准备好你的生产级 AI agent，数据可靠且持续新鲜——没有陈旧的批量，没有上下文鸿沟。

增量 · 仅处理变化 · 任意规模 · 默认并行 · 声明式 · Python，5 分钟

用 CocoIndex 构建 ❤️

查看全部 20+ 示例 · 每周更新 →

开始使用

pip install -U cocoindex

声明你期望的目标中应该包含什么——CocoIndex 会永久保持同步，仅重新计算 Δ。

import cocoindex as coco
from cocoindex.connectors import localfs, postgres
from cocoindex.ops.text import RecursiveSplitter

@coco.fn(memo=True)                          # ← 按 hash(input) + hash(code) 缓存
async def index_file(file, table):
    for chunk in RecursiveSplitter().split(await file.read_text()):
        table.declare_row(text=chunk.text, embedding=embed(chunk.text))

@coco.fn
async def main(src):
    table = await postgres.mount_table_target(PG, table_name="docs")
    table.declare_vector_index(column="embedding")
    await coco.mount_each(index_file, localfs.walk_dir(src).items(), table)

coco.App(coco.AppConfig(name="docs"), main, src="./docs").update_blocking()

运行一次完成回填。随时重新运行——仅重新嵌入已变更的文件。

正在使用AI编码agent构建项目？
引入我们的 CocoIndex skill，让你的 agent 写出正确的 v1 代码——概念、API、模式，全部在一个文件中。
安装步骤参见与AI编码agent配合使用。

React —— 数据工程版

React —— 数据工程版。CocoIndex心智模型：Target = F(Source)。一个由持久状态驱动的数据流，你声明期望的目标状态，引擎始终将其与最新的源数据和代码保持同步，低延迟、低成本。源文件 (.py, .md, .pdf, .ts) 通过你的 Python 转换函数 F 流入实时目标点阵索引；每次变更仅重新处理 Δ；每个目标点都可追溯到其精确的源字节。四个核心属性：Python 而非 DAG（天空色）、声明目标状态（黄色靶心）、端到端血统（珊瑚色连接点）、任意规模的增量（薄荷色 Δ+1）。你的代码如同一次性版本一样简单——引擎负责其余的工作。关键词：数据工程版 React、声明式 ETL、持久状态、数据血统、数据流、仅 Δ、增量索引、CocoIndex。

任一侧变化时会发生什么——CocoIndex 跟踪每行来源，因此 Δ 以最小成本传播。一个插图展示两种场景：(上方) 源变化——一个文件 (b.md) 被编辑，仅一个目标点重新同步（珊瑚色脉冲）。(下方) 代码变化——转换函数 F 从 v1 重写为 v2，仅那些输出依赖变化代码的点会重新运行（琥珀/黄色脉冲）。左侧是源，中间是 F（Python 代码块），右侧是目标点阵。关键词：增量索引、变更数据捕获、增量处理、细粒度失效、代码感知缓存、哈希校验无效化、记忆化、可重现流水线、增量重算。