作者 | 赵之齐 编纂 | 包永刚 北京一月的初雪落下前，咱们于清华见到了翟季冬传授。他手持保温杯，措辞很爽利，即便一边思索一边叙述，言辞间也险些没有搁浅、没有恍惚地带。 这位曾经带队拿下15次世界超算冠军的清华计较机系长聘传授，现在正于拆解一个行业怪象：为何于年夜模子参数狂飙、算力价格下探确当下，用户的AI落地承担却愈来愈重？ 他指出，如今Benchmark（基准测试）上的高分，于比对于用户真实需求时纷歧定管用，有时，同个模子于差别MaaS平台上跑出来的效果可能差异巨年夜，由于部门办事商为了降低成本，会对于模子举行“阉割级”量化。而面临目炫狼籍的MaaS供给商，用户要于机能、价格与不变性之间做弃取，往往光调研一轮市场报价，就已经耗尽精神。 “把选型的自动权彻底交给用户，实在是很年夜的挑战”， 翟季冬直言。这类“选择悖论”不仅熬煎着开发者，更于吞噬企业的利润——对于在企业来讲，降本增效的焦点可能并不是寻求最顶尖的模子，而是怎样调理能力得当的模子，让昂贵的年夜模子处置惩罚繁杂指令，让轻量的小模子应付一样平常使命。 洞察到这一痛点后，由翟季冬的几位卒业学生倡议的AI Infra厂商——清程极智，开发出智能路由产物AI Ping（AI 评），但愿成为算力界的“公共点评”。 他们将分离的机能数据体系性收拾，并网络用户的利用习气，公然差别模子与供给商的测评数据，并给用户保举适合的、高性价比喻案。翟季冬认为，这类产物形态，有助在撬动算力行业的马太效应——他信赖，当数据越集中，模子的选择就越精准；选择越精准，用户需要支付的成本就越低。 翟季冬 与咱们交流时，只管判定明确，翟季冬措辞时的语气却始终都是暖和的。他走进集会室时，手上拎着提早为咱们备好的饮用水；对于话竣事后，还有为北京凛凛的寒潮给咱们来访带来的困扰而“致歉”。待人的当真，也换来了学生们的真心相待——于很多博士生习气将导师称为“老板”确当下，他的博士生们仍对峙称号他为“教员”。 这份暖和的师者风采暗地里，是他对于算力行业森林规则的洞察。当年夜模子从试验室走向万千企业，机能数据与用户体验之间的信息差该怎样填平？于海内“重硬轻软”的ToB市场中，AI Infra团队又应该怎样定位本身的存于？（关在AI Infra保存路径的切磋，接待添加作者微信 Ericazhao23 交流） 这些问题的谜底，都藏于他的娓娓道来里。 更多的自由及选择，其实不象征着更年夜的幸福，有限且可比力的选项，反而能晋升决议计划效率与满足度——这一“选择悖论”，正于AI模子与算力的世界里上演。 年夜模子井喷式成长，每一个人手里都握着好几款“AI助手”。但翟季冬捕获到一个痛点：此刻许多用户上彀遴选模子，能参考的只有很尺度的Benchmark（基准测试），不少人直接冲着跑分最高的模子去——但最牛的纷歧定是最适合的。他直言：“模子刷了几多分，其实不必然能匹配用户的真实需求。” 究其缘故原由，除了了纯粹的机能，还有有许多因素会影响模子利用体验。 供应侧上，各家模子供给商的办事相应效果有所不同。以DeepSeek-v3.2模子为例，翟季冬团队调研发明，海内提供这一API办事的厂商就有几十家，但他们的API办事吞吐却笼罩从15~200 token/s，相差10倍以上；而其撑持的输入输出长度，也从8k~160k不等，相差了20倍。 用户对于此实在早有体感：去年头DeepSeek爆火后，一众办事商纷纷接入其API，许多人用过一轮后却发明，一样挪用DeepSeek模子、问出不异问题，差别供给商的输出效果却天差地别。 谜底很快浮出水面：即便接入同个模子，有的厂商会对于模子做激进的量化处置惩罚，例如从FP8酿成INT4，输出的体现天然随之转变。 连办事商的算力部署位置，也会摆布模子的挪用体验：同款模子，假如用户于北京挪用，MaaS提供方于上海或者深圳，体验城市有很年夜差异。 此外，各玩家订价计谋各别，差别阶段的促销勾当还有会致使成真相差甚远。 但用户的需求自己就是多维度的：有的更注重性价比，有的寻求不变性，有的则更于意相应速率。而差别的使命场景，也对于应着差别的年夜模子最优解—— 对于在需求是“写小说”的用户，模子擅长写调研陈诉的能力就毫无心义；而一样平常查气候、问穿搭，一个轻量级的小模子也充足用；可要是解一道繁杂的科学难题，就患上年夜参数的模子出马。 “把选型的自动权彻底交给用户，实在是很年夜的挑战”，翟季冬指出。虽然对于小我私家免用度户而言影响可能甚微，但对于企业级用户来讲，会直接激发巨年夜的成本鸿沟： 一样的预算，挪用年夜模子可能仅能撑持十万次哀求，换成小模子却能到达百万次量级。 抱负的环境是：假如能对于需求做邃密化拆分，让繁杂问题匹配年夜模子、简朴问题对于接小模子，就能实现算力成本的最优解。 而这些，都是翟季冬及清程极智团队想解决的问题。 对准这些行业痛点，清程极智团队打造出智能路由产物AI Ping（AI评）。 “AI评的‘评’，就是评测，清程对于海内MaaS供给商连续测试——既测同款模子于差别厂商手中的延迟、带宽体现，也对于比差别模子于各家平台的吞吐效率与价格成本差异”，翟季冬先容说。 拆解来看，智能路由的能力分为两层：一是办事商路由，于浩繁API办事提供者中选择最好的办事；二是模子路由，于浩繁年夜模子中选择最好的模子。 回首技能的研发，翟季冬感触，办事商路由的搭建不算是最难的事，真正难啃的硬骨头，是怎样为用户精准匹配模子。 “要给企业的问题精准匹配模子，条件是堆集他们的海量汗青数据”，但于早期，数据贮备往往不足、用户举动画像恍惚，模子的精准选择很难。 这个难点，于AI Ping的方针市场——小我私家开发者及中小企业这个群体里，被进一步放年夜： AI Ping团队发明，这种用户对于产物质量的要求险些是要“凌驾预期”，八十分的水准，于他们眼里险些等同在分歧格，这让产物打磨的难度陡增。 是以，于开初的冷启动阶段，团队选择用“笨措施”突围：一边给供给商测试年夜量数据，用Benchmark测试正确性、延迟带宽、价格；一边结合上下流企业拓展市场，于真实场景中堆集用户、沉淀数据。 解决了这个问题，另外一重磨练随即呈现：面临企业的高吞吐刚需，单一供给商的算力贮备往往难以满意。这就对于平台提出了两大体求——强盛的算力整合能力，以和国产算力接入通道的买通能力。 对于此，清程极智就于AI Infra上做了年夜量事情，把“赤兔”推理引擎与AI Ping对于接，完成为了算力资源的整合调理。 截图来自AI Ping网站 于翟季冬看来，AI Ping很像算力行业的“公共点评”，给用户打造一套垂直范畴的解决方案。 这素质上也是一种团购逻辑：聚合海量用户需求后，清程极智能以更年夜的体量与算力厂商榷价。究竟，年夜模子选型的焦点命题，始终是成本与效率的均衡。 “这自己也会形成一种马太效应”，翟季冬指出，“聚合的用户越多、网络的数据越富厚，模子匹配的精准度就越高；既能帮忙用户省去更多钱，也能帮算力厂商盘活资源，咱们的软件能力也能借此赋能”。 从2025年春夏之交筹办至今，用时近一年，AI Ping终究迎来了正式面市的时刻。 这类中立的评测甚至成为了行业“裁判”：硅基流动开创人袁进辉此前于伴侣圈说起，有的用户分不清其基在国产卡的非pro版与基在国际算力的Pro版的指标差异，在是直接抛出AI Ping的测评成果作左证。 “可以去这个网站看各项指标，很靠谱”，袁进辉如许写道。 来自偕行的反馈，已经侧面印证出AI Ping作为风向标的价值。不外，一个更实际的问题也随之浮现：对于在清程极智而言，怎样把这类数据影响力于贸易上变现？ 对于话刚开场，被问和“如今Infra行业的遍及焦急是甚么”时，翟季冬的回应直指焦点： “怎么让海内AI Infra赚到更多钱？” 于他看来，贸易化的焦点逻辑正于逐渐了了：算力需求是一个很是真正的市场，怎么经由过程办事软件把算力有用整合提供应用户，会是AI Infra行业将来的主要成长标的目的。 这一判定，也支撑起了清程极智的产物结构——年夜模子练习智能软件栈“八卦炉”、被誉为国产算力部署神器的“赤兔”年夜模子推理引擎及一站式年夜模子API评测及挪用平台AI Ping，素质上都是底层算力到用户真个一个个“出口”。此中，AI Ping便经由过程整合模子及供给商，把软件能力赋能到算力上，给用户提供token及算力。 这也是清程于这两年沉淀出来的解法。 翟季冬评论道，清程极智的焦点竞争力是中间软件层，包括编译、通讯库、并行加快等技能，基在此，他们逐渐找到了本身的定位：及芯片厂商互助，做其体系软件之上增量的部门，让年夜模子于这些芯片上阐扬出极致的效率。 缭绕这必然位，清程也于摸索多种差别的贸易化路径： 一方面，将软件与硬件打包为整机办事，针对于“买了国产卡却难落地”的痛点，让裸机用户也能做练习与微调；另外一方面，是经由过程AI Ping等平台与算力厂商互助，晋升国产算力的易用性。 而于近来与国产芯片公司的厂商交流中，翟季冬也感触感染到，各人对于软硬件高效协同的主要性已经形成共鸣，“剩下的问题，无非就是这些软件由谁去做”。 清程极智结合开创人师天麾，也不雅察到了这类行业认知的改变。他此前向雷峰网(公家号：雷峰网)暗示： “DeepSeek能用少少的算力卡及极低的成本，练习出云云年夜范围的模子，重要依赖的是模子架构设计及Infra软件技能，特别是他们把年夜量算力加快类Infra软件开源后，各人才真正意想到Infra的主要性。” 一个显著标识是，之前他还有需要及投资人注释甚么是Infra，进入2025年以后，这一步已经经可以省略了。 但于当下，行业内也传播着一种担心： “AI Infra的价值，只存于在国产算力群雄逐鹿阶段，一旦算力架构定型、年夜模子技能收敛，Infra的须要性也会年夜打扣头。” 这也是摆于所有Infra从业者眼前配合的问题：下一个能证实本身价值的“土地”会于哪里？将来假如国产算力逐渐同构，AI Infra还有有存于的须要吗？ 此前，AI Infra已经于架构适配、算子天生、并行通讯等范畴初试锋铓，不外，这远非尽头。 于翟季冬看来，Infra的生命力源在底层架构与上层软件的两重迭代：“只要模子还有于演进、算力架构还有于交融成长，Infra的需求就会连续存于”。 他指出，即即是英伟达的CUDA生态，底层芯片同构，但因为模子侧还有没有彻底收敛，推理、后练习的繁杂度仍于晋升： 文生图、文生视频等多模态模子还有于鼓起，行将推出的DeepSeek V4，还有将引入更多稀少性相干的技能难题；AI for Science、AI for Engineering等新的运用范畴迸发，也于倒逼AI Infra的底层需求发生厘革。 同时，海内算力不仅厂商多，各自的架构也其实不同一，这更决议了AI Infra的不成替换性。 翟季冬阐发，海外算力市场的架构相对于同一：英伟达与AMD占主导职位地方，两者的GPU架构均属在SIMT（单指令多线程），有很强的相似性。 反不雅海内，有的厂商选择对于标英伟达的SIMT架构，有的则主攻SIMD（单指令流大都据流）架构。 而且，于这几年里，这两种架构并不是一方绝对于压服另外一方：许多芯片厂商如今都于走架构交融的线路，经由过程扬长避短晋升机能，好比华为，最先于SIMD架构里融入SIMT的设计思绪；英伟达则正好相反。 于此基础上，即便已经有比力成熟的Infra项目，例如开源圈里炙手可热的Triton——这款由OpenAI为英伟达芯片开发的算子天生东西，于适配差别架构的国产芯片时，也必需颠末年夜量本土化革新。 而将来，跟着推理场景的周全发作，AI Infra还有将迎来新一轮的挑战。 翟季冬直言，行业此刻遍及面对一个痛点：芯片的峰值算力与现实使用率之间存于巨年夜鸿沟。一块标称300TFLOPS算力的芯片，于年夜模子练习或者推理中，现实使用率往往只有10%-20%；即即是英伟达如许的巨头，预练习场景下的算力使用率也仅能到达50%上下。 进入推理阶段后，文字、图象、视频等差别使命的算力需求差异显著，再加之对于时延的极高要求，怎样针对于差别推理场景实现硬件机能的最年夜化开释，将是AI Infra将来的焦点攻坚标的目的。 除了了这些看患上见的财产机缘，翟季冬还有于默默摸索那些“冷赛道”，好比AI for Science等短时间内难见贸易价值、但对于科技成长至关主要的范畴。 他还有与咱们分享了一段近期的交流履历：一名返国的天文系教员告诉他，射电千里镜天天城市孕育发生海量不雅测数据，他们需要高效的解决方案，来完成数据的及时处置惩罚与算法阐发——这无疑对于AI Infra的软硬件协同能力，提出了更高的要求。 这些眼下难见回报的摸索，正藏着AI Infra的本真价值。于翟季冬眼中，这也是Infra行业可以穿越周期、走向将来的底气。 作者持久存眷AI算力上下流等标的目的，接待添加微信 Ericazhao23 交流。 雷峰网 雷峰网原创文章，未经授权禁止转载。详情见转载须知。
吉公网安备 22010202000255号