资源与工作陈述

一、项目定位

组建一支10人精英团队，以 Vibe Coding（AI Agent + 最强大模型协同开发）为核心工作方式，从零构建一套完整的语音交互系统。覆盖全链路开发、模型部署、数据闭环，不依赖外部交付团队，所有环节由团队自主完成。

"从零"的定义：不意味着自研底座模型，而是基于开源/可用模型（如 Qwen3-ASR、Qwen3.5-35B-A3B 等），完成从工程集成到部署运维的全栈工作。

二、为什么要做这件事

三、系统范围与架构

3.1 边界

做：语音交互全链路（ASR → Agent规划 → 垂域执行 → 播报生成 → TTS），以及工程基础设施（部署、日志、标注、测试等）。

不做：底层业务依赖（导航、车控、多媒体等）属于大座舱范畴，另行评估。本项目通过垂域Agent接口对接，不涉及业务内部实现。

3.2 目标架构

两套候选架构，优选方案A：

方案A（优选）：多Agent分立

用户语音 → ASR(Qwen3-ASR) → SA Agent(React规划+播报生成) → 垂域Agent(工具感知+执行) → TTS(现有) → 语音输出
                                            ↕                        ↕
                                     车控Agent / 导航Agent / 媒体Agent / 百科Agent ...

• ASR、SA Agent、TTS 各自独立模型/服务
• SA Agent 负责多轮对话的 React 规划（A2A）和最终播报文本生成
• 垂域 Agent 也是 React Agent，负责具体领域的工具感知与执行
• TTS 复用现有方案

方案B：ASR+SA融合为统一模型

用户语音 → Qwen3-Omni(ASR+SA融合) → 垂域Agent(工具感知+执行) → TTS(现有) → 语音输出
                                            ↕
                                     车控Agent / 导航Agent / 媒体Agent / 百科Agent ...

• ASR 与 SA Agent 合并为 Qwen3-Omni 统一模型，语音直接输入，减少级联延迟
• 垂域 Agent 不变
• 依赖 Qwen3-Omni 的能力成熟度，存在不确定性

3.3 各模块说明

3.4 工程基础设施（同等重要）

3.5 全链路研发流程

3.5.1 算法开发流程

flowchart TB
    DataPlatform["数据平台
回流日志/测试集管理"] --> DataLabel["数据标注
LLM辅助+人工校验"]
    DataLabel --> DataDashboard["数据看板
版本指标交叉对比"]
    DataLabel -->|训练数据| AlgoDev["算法开发"]
    DataDashboard -->|系统指标+仿真结果| AlgoDev
    AlgoDev <-->|沙盒环境| SimPlatform["仿真平台"]
    AlgoDev --> SAAgent["SA Agent
SFT/RLHF/GRPO"]
    AlgoDev --> DomainAgent["垂域Agent
SFT/RLHF/GRPO"]
    SAAgent -->|注册模型| ModelMgmt["模型管理
底座/自有模型版本管理
模型元数据与溯源"]
    DomainAgent -->|注册模型| ModelMgmt

    classDef dataStyle fill:#E1F5FE,stroke:#0288D1,stroke-width:2px
    classDef algoStyle fill:#FFF3E0,stroke:#FF9800,stroke-width:2px
    classDef modelStyle fill:#E8F5E9,stroke:#388E3C,stroke-width:2px
    classDef simStyle fill:#F3E5F5,stroke:#7B1FA2,stroke-width:2px

    class DataPlatform,DataLabel,DataDashboard dataStyle
    class AlgoDev,SAAgent,DomainAgent algoStyle
    class ModelMgmt modelStyle
    class SimPlatform simStyle

流程说明：

• 数据平台提供回流日志，经数据标注产出训练数据
• 算法开发基于训练数据，依托仿真平台沙盒进行训练和评测
• 训练产出的自有模型注册到模型管理，评测指标与仿真结果汇入数据看板

3.5.2 工程开发流程

flowchart TB
    ModelMgmt2["模型管理
底座/自有模型版本管理"] -->|指定版本模型| InferenceEngine["模型推理引擎
vLLM / SGLang
多版本模型部署"]
    InferenceEngine -->|推理API| InferenceService["模型推理服务
SA Agent推理
垂域Agent推理
ASR推理"]
    InferenceEngine -->|推理API| CloudService["云端服务开发
Agent Harness
Tools执行引擎
上下文/状态/任务管理"]
    InferenceEngine -->|推理API| EdgeDev["端侧程序开发
语音APK
状态感知
VAD/ASR"]
    InferenceService --> InfraDeploy["推理服务部署"]
    CloudService --> CloudDeploy["云服务部署"]
    CloudDeploy -->|调用| InfraDeploy
    EdgeDev --> ROM["车端ROM/APK管理"]
    ROM -->|调用云端服务| CloudDeploy
    CloudDeploy -->|回流日志| DataPlatform2["数据平台"]
    ROM -->|回流日志| DataPlatform2

    classDef modelStyle fill:#E8F5E9,stroke:#388E3C,stroke-width:2px
    classDef infraStyle fill:#E1F5FE,stroke:#0288D1,stroke-width:2px
    classDef devStyle fill:#FFF3E0,stroke:#FF9800,stroke-width:2px
    classDef edgeStyle fill:#F3E5F5,stroke:#7B1FA2,stroke-width:2px
    classDef dataStyle fill:#FFCCBC,stroke:#D84315,stroke-width:2px

    class ModelMgmt2 modelStyle
    class InferenceEngine,InferenceService,InfraDeploy infraStyle
    class CloudService,CloudDeploy devStyle
    class EdgeDev,ROM edgeStyle
    class DataPlatform2 dataStyle

流程说明：

• 模型管理 → 模型推理引擎，部署推理服务，提供推理API
• 三条线并列：模型推理服务、云端服务开发、端侧程序开发
• 推理API和云端服务API并列，共同支撑上层系统
• 车端ROM/APK调用云端服务；云端服务和车端APK分别回传日志给数据平台

3.5.3 整体协作总览

flowchart TB
    DP["数据平台"] --> DL["数据标注"]
    DL --> DD["数据看板"]
    SP["仿真平台"]

    DP -->|回流日志| Algo["算法开发"]
    Algo <-->|沙盒环境| SP
    Algo -->|注册模型| MM["模型管理"]

    MM --> CloudLayer["云端服务层"]
    CloudLayer --> InferenceAPI["推理服务
推理API"]
    CloudLayer --> ServiceAPI["云端服务
服务API"]
    ServiceAPI -->|调用| InferenceAPI

    EdgeDev2["端侧程序开发
语音APK/状态感知/VAD/ASR"]
    EdgeDev2 --> ROM2["车端ROM/APK管理"]
    ROM2 -->|调用云端服务| ServiceAPI
    ROM2 -->|回传日志| DP
    ServiceAPI -->|回流日志| DP

    classDef dataStyle fill:#E1F5FE,stroke:#0288D1,stroke-width:2px
    classDef algoStyle fill:#FFF3E0,stroke:#FF9800,stroke-width:2px
    classDef modelStyle fill:#E8F5E9,stroke:#388E3C,stroke-width:2px
    classDef cloudStyle fill:#F3E5F5,stroke:#7B1FA2,stroke-width:2px
    classDef edgeStyle fill:#FFCCBC,stroke:#D84315,stroke-width:2px

    class DP,DL,DD dataStyle
    class Algo,SP algoStyle
    class MM modelStyle
    class CloudLayer,InferenceAPI,ServiceAPI cloudStyle
    class EdgeDev2,ROM2 edgeStyle

各模块说明

1. 数据平台

数据回流、问题定位、测试集管理、Prompts 和 Tools 管理的统一入口。对外提供三套访问方式：

2. 仿真平台

全套沙盒环境，包含 System Agent 和垂域 Agent。Tools 与线上服务系统共享，确保仿真与生产一致。对外提供三套访问方式：

3. 数据标注

从数据平台获取回流日志，利用 LLM 进行各项指标/真值的标注。标注结果同步到数据看板，支持版本区分：

• 数据版本
• 系统版本
• 模型版本

交叉指标（如某数据版本 x 某模型版本的 WER/SER）可在数据看板中查看。

4. 数据看板

提供各个版本对应的指标，包括数据版本、系统版本、模型版本的交叉对比。支持回溯任意版本组合的评测结果。

5. 算法开发

负责所有模型训练与算法实验，产出训练后的自有模型：

训练产出的自有模型（如 SA-Agent-v0.3、NavAgent-v1.0）注册到模型管理模块，进入可部署状态。

5b. 工程开发

负责系统工程的开发与集成，包含云端服务和端侧程序，与推理服务并列共同构成系统服务层：

6. 模型管理

统一管理从底座模型到后训练自有模型的全生命周期：

核心能力：

• 版本溯源：任意自有模型可追溯到底座模型版本、训练数据版本、训练配置
• 分级存储：底座模型长期保留，自有模型按迭代策略管理（保留最近 N 版 + 标记版）
• 模型注册：训练完成自动注册到模型仓库，关联元数据，进入可部署状态

7. 模型推理引擎（云端）

依托 vLLM / SGLang 等推理框架，从模型管理模块获取指定版本模型并部署为推理服务：

服务调用链路：

车端APK → 云端服务(Agent Harness) → 服务发现 → 模型推理引擎(vLLM/SGLang) → 模型管理(取模型)

8. 机器资源管理

统一管理项目所需的计算和硬件资源：

9. 云服务与车端管理

车端APK通过调用云端服务与云端交互，云端服务和车端APK分别将回流日志上传至数据平台。

四、团队配置（10人精英团队）

关键要求：所有成员需具备熟练使用 Coding Agent 的能力，拥抱 Vibe Coding 工作方式。

候选人

华为自有（10人）

协作模式说明：

• 个人项目：独立负责某个子项目/模块，单人+Agent完成
• 多人共建单个项目：多人+Agent协作同一项目，需代码协调机制

当前状态：6人已确认 + 4人待定。已参与4人（王津男、温琦琛、智文卓、李滨航），2人已全职投入（朱麒宇、孙洋）。

五、所需资源

5.1 Coding Agent（不限Token）

5.2 底座模型（语音系统的）

5.3 计算资源

推荐 NVIDIA GPU，以下为GPU卡数（非服务器台数）：

5.4 其他硬件

5.5 海外出差（备选方案）

仅当国内无法使用 GPT 5.5 / Opus 4.7 时，团队需集中赴海外（日本/新加坡）出差以使用最强 Coding Agent。Anthropic 禁止中国大陆及香港使用 Claude，仅日本/新加坡可用。建议集中出差，减少轮换带来的协作损耗。

5.6 网络分区现状

安全限制等级：蓝区（开放区） < 绿区 < 黄区。

六、项目进展

6.1 已完成事项

6.2 进行中事项

6.3 里程碑规划

（待补充）

七、风险与应对

（待补充）

八、成功标准

（待补充）