inference 相关技术文章与安全漏洞汇总

技术文章 1

Baseten五个月估值从50亿飙至130亿美元，Cognition AI以250亿美元估值融资10亿，推理赛道正在成为AI产业的新战场。

学习 🟢

在Qwen3-4B上实现最高6.6x加速，平均接受长度10.7token/轮。CUDA原生构建器保证比特级一致，Alpaca上throughput +22%。直接可部署的推理加速方案。

7月10日 23:04

ai_tokens 🟢

LLM推理API平台，免费Lite层：无限Token，200次/天（小模型），10次/天（中大模型），20 RPM。自有数据中心，不记录日志。订阅制而非按Token计费。

6月23日 01:39

ai_tokens 🟢

AI推理云平台，注册送$5额度（促销可达$20）。支持40+开源模型（Llama 3.3/Mistral/DeepSeek等），免费模型每天1M tokens。OpenAI兼容API。已完成$1.07亿B轮融资。

6月23日 01:39

ai_tokens 🟢

Groq免费层速率调整，每日请求限制更新为1440次，支持Llama 4系列模型。推理速度极快

6月17日 01:34

ai_tokens 🟢

小米与TileRT合作发布MiMo-V2.5-Pro-UltraSpeed，首次在1万亿参数模型上实现1000 tokens/s解码速度。API通过百炼平台开放，需申请。百炼平台100万tokens免费(90天)。

6月12日 01:34

ai_tokens 🟢

NVIDIA NIM自2026年起取消此前的1000 Credits注册赠送模式，改为纯速率限制。支持100+免费模型包括DeepSeek-V4 Pro、Kimi-K2.5、GLM-5.1、Llama-4、Nemotron-3等，OpenAI 100%兼容格式，无需绑信用卡。

6月12日 01:34

GitHub 🟢

Redis作者antirez新作，DeepSeek 4 Flash/PRO本地推理引擎。支持Metal/CUDA/ROCm三大GPU后端，C语言实现，极简高性能。

6月11日 14:01

AI 🟢

Cerebras免费推理30RPM，1M tokens/天，~1000 TPS超快推理。

6月6日 01:32

AI 🟢

Groq免费推理层30RPM/14400RPD，支持Llama 4 Scout/Maverick，推理速度极快。

6月6日 01:32