knowlyr-gym 是什么？ / What is knowlyr-gym?

knowlyr-gym 是 LLM Agent 的训练基础设施——不是又一个推理框架。它回答三个根本问题：在哪练（Gymnasium 兼容环境）、怎么评（三层过程奖励模型）、如何优化（SFT / DPO / GRPO 策略训练）。环境产出轨迹，奖励评估质量，训练器优化策略——三者通过标准化数据格式串联为闭环。

本框架将 LLM tool-use agent 任务形式化为马尔可夫决策过程 $\langle \mathcal{S}, \mathcal{A}, T, R, \gamma \rangle$，实现了从环境交互到策略优化的完整强化学习管线。

架构 / Architecture

graph LR
    subgraph MDP["MDP 环境层"]
        ENV["AgentEnv<br/>reset() / step() / close()"]
        TS["TimeStep<br/>observation · reward<br/>terminated · truncated"]
        ENV --> TS
    end

    subgraph RL["RL 训练循环"]
        PI["策略 π<br/>(LLM Agent)"]
        COL["Rollout<br/>collect()"]
        RM["过程奖励<br/>模型 (PRM)"]
        EXP["数据集<br/>SFT / DPO / GRPO"]
        OPT["策略<br/>优化"]
    end

    PI -->|action| ENV
    TS -->|observation| PI
    COL -->|trajectories| RM
    RM -->|scored trajectories| EXP
    EXP --> OPT
    OPT -->|updated π| PI
    ENV -.->|wrappers| COL

    style MDP fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style RL fill:#0d1b2a,color:#e0e0e0,stroke:#444
    style PI fill:#0969da,color:#fff,stroke:#0969da
    style RM fill:#8b5cf6,color:#fff,stroke:#8b5cf6

核心创新 / Key Innovations

Gymnasium 兼容环境协议 / Gymnasium-Compatible Environment Protocol

5 个注册环境（knowlyr/sandbox、knowlyr/conversation、knowlyr/engineering、knowlyr/advisory、knowlyr/discussion）搭配 4 个可组合 Wrapper——将 Gymnasium 的 reset() / step() / close() 模式扩展至 LLM Agent 场景，支持结构化 tool-call 动作空间和自然语言状态空间。

DomainProfile — 领域无关抽象 / Domain-Agnostic Abstraction

声明式领域配置，涵盖工具集、工具类别、结果判定规则和评分维度权重。7 个内置领域（coding、browser、conversation、engineering、advisory、discussion、generic）——新增领域无需修改核心代码。

三层过程奖励模型 / Three-Layer Process Reward Model

步骤级过程奖励 $r_t = R(s_t, a_t)$，取代稀疏的结果奖励。三层架构逐层提升评估质量：

策略优化 — SFT / DPO / GRPO / Policy Optimization

三种方法覆盖从行为克隆到在线策略优化的完整谱系，外加 6 项 Agent 专属训练增强：观测遮蔽、步骤加权损失、轨迹分块、课程学习、多轮格式化、步骤级 GRPO。

快速开始 / Quick Start

from knowlyrcore import make

env = make("knowlyr/conversation")
ts = env.reset(task="帮用户查询订单状态")
while not ts.done:
    action = my_agent(ts.observation)   # π(a|s)
    ts = env.step(action)              # s', r, done
env.close()

pip install knowlyr-hub[all]

组件 / Components

生态系统 / Ecosystem