DAG-KV-Runtime 项目技术报告
2026-10-31
基于 vLLM 开源推理引擎,技术栈上采用 CUDA、TileLang 和 PyTorch,设计支持多分支 KV 状态复用、输出区间引用与分支合流的 DAG 推理运行时及分段分页 Attention 后端。
1421 words
|
7 minutes
Transformer Infra Lab 实现记录
2026-10-21
文件树
126 words
|
1 minute
GPU + Cuda +
2026-10-20
9600x + 32GB + 5060 8GB
1365 words
|
7 minutes
说不来话的小孩(1)
2026-10-20
1 句话题解
13 words
|
1 minute
AI Infra
2026-10-19
研究一下,Infra 咋学啊。
7 words
|
1 minute
Windows+WSL 调教备忘录
2026-07-25
Mac 转 Win+WSL 了。
1215 words
|
6 minutes
感受一下 Transformer
2026-01-01
Seq2Seq,输入是一段文字序列,进 Transformer 之前要先加工成统一的格式,向量。
149 words
|
1 minute
淘宝闪购
2025-11-01
SSH 操作备忘录
21 words
|
1 minute