sun
6ed25e8e4b
fix(ratelimit): 强制清理按最旧活跃时间排序,避免随机删活跃用户
...
原版用 'for k := range rl.requests' 直接删除超限条目,Go map 遍历顺序
随机,可能命中 timestamp 仍在窗口内的活跃用户,导致其下次请求拿到新配额
(限流语义被破坏)。
同时存在 abuse vector: 攻击者用大量伪造 IP 撑爆 map 触发清理,反而
'清洗'掉自己留的活跃条目,绕过限流。
修复:
- 收集 (key, lastTs) 到 slice,按 lastTs 升序排(最旧在前)
- lastTs 取 timestamps 末尾(Allow 总 append 到末尾,即最近请求时间)
- 从前往后逐个 delete,直到 len(rl.requests) <= MaxRateLimiterEntries/2
- 阈值/触发条件/warning 日志保持不变
复杂度 O(n log n),仅在超 MaxRateLimiterEntries(10w)时触发,代价可接受。
cleanup 仍在 Allow 入口的 rl.mutex.Lock() 区域内,无需额外锁。
2026-09-21 11:14:48 +08:00
sun
19d83f7a3b
fix(setting): runtime config 全局变量加 sync.RWMutex 保护,避免半写状态
...
TTSOptions / TTSTimeout / TTSConfigErr / Auth.APIKeys / CORS 在运行期会被
LoadRuntimeConfig(PUT /api/settings 触发)整体替换,struct 整体赋值不是原子的,
若 TTS 请求正并发读,可能拿到半写状态。单用户场景概率低,属正确性隐患。
改动:
- setting/config.go: 把可变运行时配置迁到包内私有变量,新增 ttsMu
(sync.RWMutex) 统一保护,提供 Get*/Set* 访问器
- GetTTSOptions/SetTTSOptions: 值类型快照,读端无锁开销
- GetTTSTimeout/SetTTSTimeout
- GetTTSConfigErr/SetTTSConfigErr
- GetAuthAPIKeys/SetAuthAPIKeys: 拷贝进出,防止外部持有底层 slice
- GetCORSAllowAll/GetCORSOrigins/SetCORS: AllowAll 和 Origins 拆开,
避免热路径 CORSConfig 整体读时锁粒度过粗
- 删除导出可变全局 var TTSOptions/TTSTimeout/TTSConfigErr/Auth/CORS,
编译期强制所有读写走 Get*/Set*
- Server.Port/TrustedProxyHops/SetupToken 仅启动期写,运行期无并发修改,
保持原状不加锁
- LoadRuntimeConfig/InitAuthConfig/InitCORSConfig 全切到 Set*
- CheckEnvironmentVariables/LogStartupSummary 一次性拿快照,
缩短锁占用窗口,避免多次 log.Printf 之间数据被替换
调用点:
- controller/tts.go: 热路径 opts := setting.GetTTSOptions(),
context 超时走 GetTTSTimeout(),/health 块用 GetTTSConfigErr
- controller/settings.go: 写改 SetAuthAPIKeys/SetCORS
- controller/setup.go: 写改 SetAuthAPIKeys
- middleware/auth.go: 鉴权改 GetAuthAPIKeys()(在 RLock 下拿拷贝)
- middleware/admin_auth.go: 同上
- middleware/cors.go: matchOrigin 改 GetCORSAllowAll/GetCORSOrigins
读多写少,RWMutex 读路径不互斥,不会拖慢热路径。
2026-09-21 10:50:03 +08:00
sun
a2d72efb34
fix(cors): 预检 Allow-Methods 补 PUT/PATCH/DELETE,修 admin 改设置/删音色跨域失败
2026-09-12 14:03:56 +08:00
sun
7660db14d8
fix(cors): CORS 全 DB 化,install 模式完全跳过,WebUI 可配
...
完整方案: 与 auth_key 同思路,让 CORS 也走 DB,彻底干掉 ALLOWED_ORIGINS env。
设计:
- install 模式: CORS 中间件直接 next(无 CORS 头也无 Vary),让装时永远能成功
(用户首次装不可能提前知道自己的访问域名)
- normal 模式: 走 CORS 检查,但有 2 道防线:
1) 同源豁免 (isSameOrigin) — Origin 匹配 Host 直接放行
2) 跨域白名单 — 读 setting.CORS (DB > env)
- DB 字段:
- cors_allow_all (bool): 允许所有(*)
- cors_origins (string): 换行分隔白名单,后端 trim+lower+去末尾 /
- WebUI: /admin 设置 tab 加 CORS 段(allow_all checkbox + origins textarea + 保存)
- 顶部 banner: cors_configured=false 时显示黄条提示,引导去设置
新增:
- middleware/cors.go: 顶部 installer.GetMode() == ModeSetup 时直接 next
- setting/config.go: SplitOriginsForCORS 导出 helper(供 controller 复用)
- controller/settings.go: SettingsCORSRequest + SettingsCORSHandler
- 校验每个 origin 必须 http:// 或 https:// 开头
- 写完立即刷新 setting.CORS.AllowAll + setting.CORS.Origins(下个跨域请求生效)
- 拒绝空 body
- router/router.go: 挂 /api/settings/cors (PUT, RequireAdmin)
- router/admin.html: 设置 tab 加 CORS card + 顶部 banner (31.19KB, 略超 30KB 预算可接受)
改造:
- setting/config.go LoadRuntimeConfig: 顺便读 cors_allow_all + cors_origins,
DB > env 兜底
- controller/settings.go SettingsResponse: 加 cors_allow_all + cors_origins + cors_configured
e2e 跑通(本机)10 场景:
- install 任意 Origin → 200 (install mode 跳 CORS)
- normal 同源 → 200
- normal 跨域无 allowlist → 403
- GET settings cors_configured=false
- PUT /api/settings/cors → 200
- GET settings cors_configured=true
- 跨域命中白名单 → 200
- 跨域未命中白名单 → 403
- allow_all=true → 任意跨域 200
- 重启后 CORS 仍从 DB 加载
未 push(等用户测试 install 是否顺利,以及 CORS banner 是否合适)
2026-08-30 00:08:14 +08:00
sun
1bed8d8ed0
fix(cors): 同源请求跳过 CORS 校验,避免浏览器自家人拦自家人
...
修 bug: 用户从浏览器访问 /setup 提交表单时,浏览器对同源 POST
也会设 Origin 头(防 fetch 滥用)。原 CORS 中间件只看 Origin 是否
在 ALLOWED_ORIGINS 白名单,未配白名单时同源 POST 会被 403 拒,
表现为"安装失败: status code 403"。
此前用 curl 测试时没 Origin 头(CORS 跳过),所以本地测不出来。
浏览器必带。
修法: 在 CORS 校验前加同源豁免 — 比较 Origin 与 r.Host(含
X-Forwarded-Host / X-Forwarded-Proto 反向代理场景),一致就放行,
不进入 CORS 检查、不设 Vary 头。
测试 (被 .gitignore 排除, 本地保留):
- middleware/cors_test.go: 新增
- TestIsSameOrigin: 10 场景
- 空 origin / 同 host+port / 同 host https / 不同 port / 不同 host
- 大小写不敏感 / XFH 代理 / XFH 不匹配 / origin 带 path / 无 scheme
- TestSplitOrigin: 5 场景
- https://example.com:8080 / http://localhost / 带 path
- not-a-url / ://broken
e2e 验证 (本机跑通):
- install 无 Origin (curl): 200
- install 同源 Origin: 200 ✓ 修复
- install 跨域 Origin: 403 (仍正确拒绝)
- install 不同端口 Origin: 403 (仍正确拒绝)
未 push (等用户确认)
2026-08-30 00:00:21 +08:00
sun
70865a3cf4
feat(admin): M2 WebUI 管理后台(鉴权+仪表盘+音色 CRUD)
...
新增 /admin 管理后台,Vue3 + axios 单文件 SPA。
新增:
- middleware/admin_auth.go: RequireAdmin 中间件
复用 OPENAI_TTS_API_KEY(Bearer),密钥为空等同无鉴权;
常量时间比较防计时攻击(用 common.SecureEqualString);
401 + WWW-Authenticate 头 + JSON 错误体。
- controller/admin.go: 5 个 admin handler
- GET /api/admin/overview: 模式/db路径/lock/版本/运行时间/音色数/内存
- GET /api/admin/metrics: 鉴权版 Prometheus 文本(无鉴权版 /metrics 仍给 Prometheus)
- GET /api/voices: 列表(含 disabled)
- POST /api/voices: 新增,409 处理重复,400 处理字段不合法
- DELETE /api/voices/{name}: 删除,409 处理被 default_speaker 引用
- PATCH /api/voices/{name}/toggle: 启停
- router/admin.html: 单文件 SPA(18KB)
登录页(单 input) + 仪表盘(metrics cards) + 音色 tab(表格+新增+启停+删除);
hash 路由切 tab;axios 拦截器自动加 Bearer,401 回登录页;
sessionStorage 存 key(关浏览器失效)。
- common/constants.go: SecureEqualString 提取到公共包
controller/setup.go + middleware/admin_auth.go 共用,避免重复实现。
改造:
- router/router.go: 挂 /admin(/admin HTML 公开,鉴权由前端 JS 拦截)
+ /api/admin/{overview,metrics} + /api/voices{,/{name},/{name}/toggle}
全部 API 端点套 RequireAdmin;正常模式 / → 302 /admin(M2 优先于 /dashboard)。
- main.go: 启动期调 SetAdminStore + SetMetricsTextWriter(避免 controller → metrics cycle)
- metrics/metrics.go: AdapterRecorder 用 SpeakerLabel 替代明文 speaker
(这是第 4 处 speaker 泄漏,顺带补上;前面 3 处在 51bd7ae51bd7ae
2026-08-29 21:53:19 +08:00
sun
dbaee35400
fix(install): M1 后续 · 2 个 install 模式入口 bug
...
Bug 1: 安装模式下浏览器访问 / 看到 503 JSON
- 根因: middleware/installguard.go 默认白名单没包含 /;
浏览器访问 / 时 InstallGuard 先于 router 的 redirect 拦掉,返 503 JSON。
- 修复: InstallGuard 非白名单分支加 Accept 内容协商,
text/html → 302 Location: /setup(浏览器友好),
其它(API 客户端 / curl / 空 Accept)→ 维持 503 JSON(API 行为不变)。
- 额外: mux 路由未匹配时不走 r.Use() 中间件链,
手动设 r.NotFoundHandler 复用同一份 Accept 协商逻辑,
覆盖 /admin /api/voices 等任意未注册路径。
Bug 2: 装完访问 /setup 仍能进入(看到安装表单)
- 根因: router.go 的 /setup handler 没做 mode 校验。
- 修复: handler 顶部加 if ModeNormal → 302 Location: /admin
(M2 之后才有 /admin;目前会 404 也比继续显示表单好)。
测试(都被 .gitignore 排除,本地保留):
- middleware/installguard_test.go: 加 2 个 case(浏览器 redirect / API JSON)+ acceptsHTML 单元
- router/router_test.go(新): /setup 装后 redirect + NotFoundHandler 4 个 case
- 全套 go test ./... 全绿
验证(本机 e2e 跑通):
- setup 模式: 浏览器 /, /admin, /api/voices → 302 /setup
- setup 模式: API/curl / → 503 JSON(行为不变)
- normal 模式: /setup → 302 /admin(Bug 2)
- normal 模式: /admin → 404(M2 才有,行为不变)
- normal 模式: /api/setup/status → 200 {installed:true,mode:normal}
二进制大小: 15.87 → ~16MB(几乎不变)
2026-08-29 21:16:08 +08:00
sun
7984c1880a
feat(installer): M1 安装流程 + /setup 引导页
...
新增:
- installer/lock.go: lock 文件检测/创建/删除(原子写入);ErrLockExists sentinel
- installer/bootstrap.go: Detect() 启动期判定 ModeSetup/ModeNormal,
损坏自愈(自动备份 db.corrupt-<ts> + 删 lock + 回退安装模式)
- middleware/installguard.go: 安装模式白名单(/setup /api/setup /health /metrics),
中间件顺序: SecurityHeaders → InstallGuard → RateLimit → ...(避免限流计数污染)
- controller/setup.go: GET /api/setup/status + /api/setup/prefill + POST /api/setup;
token 校验用常量时间比较防计时攻击;安装后端点永久 404
- router/setup.html: Vue3 + axios CDN,4 字段表单 + 动态音色行,
调用 /api/setup/prefill 自动从旧 env 预填(API key 永不预填)
改造:
- main.go: 启动期 store.Open → installer.Detect → 注入 setup 控制器
- controller/tts.go: 安装模式双保险(/v1/audio/speech 即便漏过中间件也 503)
- controller/health.go (via dto): 加 installed + mode 字段,部署探针可识别
- router/router.go: 挂载 /setup + /api/setup/*,根路径安装模式跳 /setup
- setting/config.go: InitSetupToken 读 TTS_ADMIN_KEY 或随机生成 32 字符 hex
(公网部署建议设 env;空时启动日志一次性打印)
删除:
- router/dashboard.go: 内容并入 router/router.go
.gitignore: tts.db / tts.db-* / installed.lock 加入(运行时产物)
验收(端到端跑通,见 scripts/ 已删除):
1. 删 lock → /v1/audio/speech 503 + /setup 200 HTML
2. POST /api/setup 错 token → 401;对 token → 200 + 写 lock + 写 db
3. 重复 POST → 404(端点永久关闭)
4. /health: 安装期 installed=false,装后 installed=true
5. 损坏 db header: 自动备份 tts.db.corrupt-<ts> + 删 lock + 回安装模式
测试:
- installer: 6 个 test, 覆盖 lock 生命周期 + Detect 三态 + 损坏自愈
- middleware: 3 个 test, 覆盖白名单/denylist/自定义
- store(M0): 仍 27/27 绿, 70.7% 覆盖率
二进制大小: 9.77 → 15.87 MB (+6MB,大部分是 setup.html embed + 新包)
2026-08-29 20:44:33 +08:00
sun
dc3248d11c
chore: 转移前备份 — cleanup + project book
...
- 删 VULNERABILITY_REPORT.md(已审完,合并到 commit 历史)
- 删 middleware/ratelimit_test.go(单测延后)
- .gitignore 加 *_test.go 规则(防误提交)
- README XFF 验证段措辞更新
- 新增 PROJECT_BOOK.md(v0.1 待评审)
基线备份:目录迁移到非云盘路径前的快照。
2026-08-29 18:40:36 +08:00
sun
3b3aa3b708
chore: 清理 DEBT-2 死代码(7 文件,约 30 行)
...
VUL-003 修复期间意外发现项目遗留一批死代码,本次一并清掉:
- middleware/ratelimit_middleware.go(37 行,物理删除)
文件内 RateLimit / ConcurrencyLimit 函数从 977e9cc
2026-08-27 00:57:49 +08:00
sun
91b0c8acee
fix: VUL-005 修复日志注入(RequestURI 与上游错误体转义)
...
VUL-005 (低): 攻击者可在 HTTP 请求 URL 或上游错误响应中
注入 \n / \r 字符,伪造日志行干扰排障。无代码执行风险。
修复位置:
- middleware/logger.go: 访问日志中的 r.RequestURI 是未经
解析的原始请求行,客户端可控。转义 \n / \r 为字面字符
- adapter/volcano/synthesis.go: 上游非 200 响应体 (rawBody)
可能是攻击者控制的恶意内容,转义后再嵌入错误消息
2026-08-26 11:52:28 +08:00
sun
272565f736
fix: VUL-003 完整修复,启发式/精确双模式 XFF 解析
...
VUL-003 (中): X-Forwarded-For 信任链可被伪造 IP 绕过限流
本服务定位为公网入口,即使单人使用,公网暴露意味着攻击面
与公开服务等同,不能"够用就行"。
采用渐进式披露设计,平衡易用性与功能性:
1. 启发式模式(默认, 不设环境变量 或 TRUSTED_PROXY_HOPS=0)
- 从 XFF 链尾扫描,跳过私有 IP,返回第一个公网 IP
- 适合 90% 部署(单跳/多跳/直出),无需了解精确跳数
- 限制:多跳 CDN 场景下,限流粒度为"按 CDN 边缘 IP"
- 直出部署:整个 XFF 分支不会执行
2. 精确模式(TRUSTED_PROXY_HOPS=N, N>0)
- 从 XFF 链尾倒数第 N+1 个位置取值
- 精准到真实 client,需按实际反代跳数正确配置
- N=1:单跳反代;N=2:CDN+反代;以此类推
3. 两种模式都从链尾扫描
- XFF 首值是客户端可控的,信任首值等于信任攻击者
- 链尾由受控的反代添加,天然免疫伪造绕过
4. 默认值从 1 改为 0(行为变化)
- 旧默认:精确模式 N=1,取 XFF 末值
- 新默认:启发式模式,跳过链尾私有 IP
- 对单跳场景行为相同
- 对多跳/链尾含私有 IP 场景新版更准确(返回真实公网 IP)
5. 配套
- middleware/ratelimit_test.go:24 个表驱动测试用例,
覆盖直出/单跳/多跳/伪造/畸形/精确 N 边界,全部通过
- setting/config.go:LogStartupSummary 显示当前 XFF 模式
- .env.example:重写说明,标注默认行为 + 何时需配
- README.md:新增"反代拓扑与 X-Forwarded-For 解析"章节
(何时需要/两种模式/行为对比/为什么从链尾/启动日志验证)
6. 已知边界:TRUSTED_PROXY_HOPS=00 等被 Atoi 解析为 0 的
输入归入启发式模式,日志不会出现"精确模式 0 跳"矛盾输出。
2026-08-26 00:36:22 +08:00
sun
78c72004bf
chore: 删除 ratelimit_middleware.go.tmp 临时文件
...
与 ratelimit_middleware.go 内容完全重复(SHA256 一致,1116 字节),
且无任何代码引用 .tmp 路径,属于误提交的开发期残留文件。
2026-08-23 13:15:15 +08:00
sun
370a21760c
fix: 限流和并发中间件跳过非 /v1/ 路由,避免监控路径污染计数
2026-08-16 18:50:33 +08:00
sun
155fab6b4b
feat: add debug log control and optimize error response and cors log
...
- add DebugLog global variable controlled by BYTEDANCE_TTS_DEBUG env
- enable debug logs for cors, tts upstream, response parsing etc when debug mode is on
- update tts error response to use standardized json error format
- add dashboard and metrics path to cache-control exempt list
2026-08-15 19:03:37 +08:00
sun
81fcc9fff4
chore: 清理多余的BOM头并整理依赖与telemetry代码
...
- 移除所有文件开头的多余UTF-8 BOM头
- 简化go.mod依赖，移除未使用的uuid包
- 重构telemetry包：将Meter改为接口并拆分默认实现
2026-08-15 14:38:14 +08:00
sun
5b970f49e1
feat: 实现完整可观测性架构与火山v3适配器重构
...
重构整体架构：
1. 新增telemetry包实现零依赖的Prometheus指标系统
2. 新增metrics包集中管理业务埋点指标
3. 重构火山v3适配器，拆分client/request/response等模块
4. 替换旧的service/stats统计系统为标准指标埋点
5. 新增/metrics观测端点与完整仪表盘支持
功能更新：
- 实现基于IP的限流与并发限制，添加指标埋点
- 重构TTS控制器，支持多格式输出与完整错误分类
- 更新.env.example配置示例，新增多项可选参数
- 替换旧的volcano适配器实现，支持完整的v3 API特性
- 清理冗余代码，移除service/stats与旧adapter实现
2026-08-15 13:30:35 +08:00
sun
3dc9632c1b
refactor(setting): 集中管理环境配置并新增启动日志汇总
...
1. 将所有环境变量读取逻辑迁移至setting包统一管理，移除各模块直接os.Getenv调用
2. 新增全局配置结构体统一管理服务端口、鉴权、跨域等配置
3. 添加启动期配置汇总日志，方便运维核对环境配置生效情况
4. 重构鉴权和CORS中间件，改为读取全局配置而非直接读取环境变量
5. 优化health端点的环境变量检查逻辑，使用已加载的全局配置而非重复读取环境
2026-06-30 20:55:56 +08:00
sun
361a9d6401
fix(middleware): 修复日志输出乱码问题
...
将原本乱码的日志提示替换为简体中文正常文本，提升日志可读性
2026-06-27 14:31:10 +08:00
sun
61431e00ba
refactor: 重构并优化项目多项功能
...
1. 调整CORS中间件挂载位置，重构CORS处理逻辑
2. 重写IP获取逻辑，增加私有网络IP信任校验
3. 优化日志中间件，移除/health接口单独日志逻辑
4. 改进API密钥未配置时的提示信息
5. 重构volcano TTS调用，新增voice参数支持
6. 优化请求体过大错误处理
7. 完善统计服务，修复环形缓冲区遍历逻辑，新增去重错误日志功能
2026-06-26 19:12:50 +08:00
sun
3d50b6c69d
fix: 修复代码格式、乱码和CORS校验问题
...
1. 修复tts.go中多余的缩进错误
2. 修复main.go和auth.go中的中文乱码问题，修正日志文本
3. 修复CORS校验逻辑，将origin转为小写后再判断协议前缀
4. 修正auth.go中API密钥未配置时的提示逻辑
2026-06-23 10:23:44 +08:00
sun
977e9ccadb
build: 升级go版本到1.26并添加限流中间件
...
1. 调整go.mod将Go版本升级至1.26
2. 新增速率限制和并发限制中间件，将其加入路由中间件链
3. 重构TTS处理逻辑，将限流逻辑迁移至中间件统一处理
4. 优化CORS中间件代码，移除冗余日志和格式调整
2026-06-22 18:13:35 +08:00
sun
b92d3dbc00
fix(middleware/cors): 完善CORS中间件的日志和校验逻辑
...
1. 修复了变量缩进的格式问题
2. 添加初始化时的白名单来源打印
3. 优化origin校验逻辑，兼容大小写的协议前缀
4. 新增各阶段的CORS请求日志
5. 修正日志中的客户端IP字段名
6. 修复文件末尾缺失换行符的问题
2026-06-22 13:47:17 +08:00
sun
9b2a1d1531
feat: 添加安全中间件、优化限流器与API密钥验证
...
1. 新增安全响应头中间件强化请求安全性
2. 使用恒定时间比较修复API密钥验证时序漏洞
3. 新增限流器条目上限配置与自动清理逻辑
4. 优化CORS日志与客户端IP获取逻辑
5. 升级Go构建环境与基础镜像版本
6. 新增非root用户运行容器增强安全性
2026-05-24 15:33:27 +08:00
sun
4e1820d45b
refactor: 重构项目架构，拆分代码到模块化目录
...
将单文件tts_server.go重构为模块化项目结构，拆分出common、dto、middleware、router、controller、service、adapter、setting等目录，优化代码组织提升可维护性
2026-05-23 20:32:12 +08:00
sun