云限流智能切换本地模型

智能处理云LLM速率限制，提供Ollama本地模型优雅回退，代码生成需用户确认，保障开发连续性。

基本信息

• 技能名称?llm-supervisor
• 中文名称?云限流智能切换本地模型
• 作者?dhardie
• 分类?开发
• 版本?127.0.0
• 标签?development-engineering, ai-ml, backend, automation, devops

使用方法

使用说明
核心用法
LLM Supervisor 是一个智能的模型调度中间件，专为解决云LLM服务（Anthropic、OpenAI）的速率限制和过载问题而设计。当检测到云端服务异常时，它会立即通知用户并提供本地Ollama模型的无缝切换方案。用户可通过 /llm status 实时查看当前运行状态，使用 /llm switch local 或 /llm switch cloud 手动切换模式。对于代码生成等高风险任务，系统强制要求用户显式确认（回复"yes"），而简单查询（聊天、摘要）在用户历史授权后可自动切换。
显著优点
优雅降级机制 ：不同于静默失败或无限重试，该技能将服务中断转化为可控的用户决策点，显著提升开发体验。 安全优先设计 ：通过 CODE_INTENTS 白名单精确识别需确认的任务类型，避免本地模型在关键代码场景下的未经审核输出。 完全本地化隐私 ：所有本地模型通信仅限于 127.0.0.1:11434，零数据外传风险。 状态透明可控 ：会话级状态追踪（currentProvider、lastRateLimitAt、localConfirmedForCode）让用户始终掌握系统行为。 零依赖轻量化 ：仅依赖平台标准 SDK，无第三方运行时依赖，部署简单可靠。
潜在缺点与局限性
环境依赖门槛 ：必须预先安装并运行 Ollama 服务，对新手用户存在配置成本。 代码任务中断 ：强制确认机制虽保障安全，但在高频代码生成场景下可能打断工作流。 模型能力落差 ：本地 7B 参数模型（默认 qwen2.5:7b）与云端大模型在复杂推理任务上存在性能差距。 会话状态易失 ：状态数据仅存于内存，会话重启后重置为云端模式，需重新确认本地代码授权。 单服务架构 ：仅支持 Ollama 作为本地后端，未兼容 llama.cpp、vLLM 等替代方案。
适合的目标群体
混合云本开发团队 ：需要平衡云端API成本与本地隐私合规的企业开发者。 速率限制敏感用户 ：频繁触发云服务商配额上限的高频API调用者。 代码安全审慎者 ：对AI生成代码持保守态度、坚持人工审查的安全意识强烈用户。 离线/内网环境工作者 ：网络不稳定或需完全离线开发的特殊场景用户。 AI应用原型开发者 ：需要快速验证多模型行为差异的产品经理和技术负责人。
使用风险
性能波动风险 ：本地模型推理速度显著低于云端API，长文本生成可能出现明显延迟。 模型一致性风险 ：同一提示词在云/本地模型间可能产生语义差异输出，需人工校验关键结果。 服务可用性风险 ：Ollama 进程崩溃或端口冲突将导致本地回退机制失效。 确认疲劳风险 ：高频代码生成场景下重复确认可能降低用户警觉性，形成"习惯性点击"。 配置漂移风险 ：默认模型配置与实际安装的Ollama模型不匹配时可能引发调用失败。