这项由NVIDIA与华盛顿大学结伴完成的探讨，以技艺呈报的姿色于2026年6月15日发布，编号为arXiv:2606.17321v1，归类于推断机学习领域（cs.LG）。感意思的读者可以通过该编号在arXiv平台查阅完整论文。
你有莫得试过教一个从没用过电脑的东谈主学打字？你得先告诉他键盘在那儿，然后告诉他如何找到对应的字母，接着还要告诉他打完之后如何保存文献。每一步都笔直把手。当今，探讨东谈主员濒临的挑战更复杂：他们要教师一个AI，让它仅凭屏幕截图就能我方操作电脑——怒放文献、填写表格、在应用之间切换——就像一个真实的东谈主类用户那样。这类系统被称为"电脑操控智能体"（Computer-Use Agent，简称CUA）。
问题是，要教师这样的AI，需要多数"示范摄像"——也便是东谈主类一步步操作电脑时留住的完整纪录：每一帧截图，每一次点击和键盘输入。网罗这些数据的代价极其欣慰，因为每一条教师数据都需要一台完整运行的虚拟电脑，装置好各式软件，准备好真实文献，然后让东谈主类在上头操作。不像教AI写著述那样，拿一堆网页翰墨就能措置。
NVIDIA和华盛顿大学的探讨团队决定换一条路走：与其耗损巨资网罗东谈主类示范，不如让AI我方给我方出题、我方解题、我方留住纪录。这个系统被定名为ProCUA-SFT，最终产出了310万条教师样本，漫衍在9.3万条完整操作轨迹中，袒护2484种应用组合。教师一轮之后，被测试的AI模子在业界圭臬测试集OSWorld上的笔坦白从26.3%径直跳升到45%，足足提高了18.7个百分点。
这个收成意味着什么？且听下文渐渐谈来。
一、东谈主类示范为何反而"帮了倒忙"
在ProCUA-SFT出现之前，这个领域最大的公开教师数据集叫AgentNet，由2.25万条东谈主类真实操作轨迹组成，横跨三个操作系统。按理说，有真东谈主示范，遵守应该更好才对。
干系词推行收尾令探讨东谈主员大跌眼镜。当他们把AgentNet用来连续教师一个底本发扬还可以的模子（UI-TARS 7B，基础笔坦白26.3%）时，教师之后的模子在OSWorld测试中笔直质径直跌到了8%到10%之间——比什么都不作念还要晦气整整一半。这种"越学越差"的风景在机器学习领域有个成心的名字，叫"负搬动"，风趣是新学的内容不仅没帮上忙，反而阻挠了原有的才气。
探讨团队分析之后，合计问题出在三个场合。其一，AgentNet里的任务种类太单一，绝大多数都是单一应用内的绵薄操作经由，平均每条轨迹唯有17个法子，很少触及需要在多个软件之间反复切换的复杂任务；其二，数据中迂回跨应用推理的场景，而OSWorld测试偏巧可爱考这类题；其三，众包网罗的东谈主工示范自身质地错乱不都，噪声较大。
换句话说，用这批数据教师，就像是让一个厨师反复老练只炒一谈白菜，然后去参加需要完成整桌满汉全席的比赛——不单是莫得匡助，以至还打乱了原有的直观和节律。
既然真东谈主示范有这些错误，探讨团队决定走向另一个顶点：实足合成的轨迹数据。但合成数据相同有它我方的陷坑。
二、合成数据的老舛错：让AI去开一扇根柢不存在的门
合成数据最常见的失败模式是什么？举个例子：AI把柄屏幕上的表情，顺手生成一个任务，比如"怒放桌面上的Q3财务呈报并在其中添加图表"。但问题是，桌面上根柢就莫得这个文献。AI兴冲冲地去实行，收尾什么都找不到，系数这个词操作轨迹从一动手便是无效的。这样的放手轨迹不但奢侈了多数推断资源，更晦气的是，要是不注意把它们混入教师数据，AI会学会"诬捏持造"——在文献不存在时假装找到了，在应用莫得装置时假装怒放了。
这就好比一个学徒厨师从来没见过真实的食材，每次都在菜谱上写"取一颗鲜松露"，但厨房里根柢莫得松露。这种教师方式只会培养出一个会说谎的厨师，而不是一个真的会作念菜的东谈主。
探讨团队为了解决这个问题，假想了一套"先说明食材，再写菜谱"的机制，这亦然ProCUA-SFT系数这个词活水线中最中枢的立异之一。
三、"出题前先核查要求"：让每谈题都有解
ProCUA-SFT系数这个词数据生成经由的最先，是一台刚启动的虚拟Linux桌面。接下来的事情，可以用"厨房备课"来结伴：在认真动手烹调之前，先仔细盘货雪柜里有什么、炉子有莫得开、锅具都不都。
具体来说，系数这个词经由用到了一个单一的视觉语言大模子——Kimi-K2.5，这个模子在不同要津演出三种扮装：出题者、核查者和实行者。
出题者负责不雅察面前桌面的截图，连络操作系统的成就信息（比如哪些文献被放到了桌面上、哪些应用被事前启动了、哪些网页被怒放了），同期参考一批真实东谈主类任务行为格调参考，然青年景一个方向任务和一组二值要求判断题。所谓"二值要求判断题"，指的是一系列唯有"是"或"否"两种谜底的具体问题，比如"Q3.xlsx文献是否存在于桌面上"、"LibreOffice Calc是否已装置"、"屏幕是否处于解锁景象"。这些问题不是婉曲的，每一个都能被明确地判断。
核查者则逐个双这些要求进行核实——用兼并个Kimi-K2.5模子，但换了一套领导词——看着面前的桌面截图，逐条给出"通过"或"欠亨过"的裁决。唯有当系数要求都通逾期，这个任务才被允许投入下一步本色实行。要是有任何一个要求欠亨过，系数这个词任务就被了债，失败的要求会被如实纪录下来，并反馈给出题者，让它再行出一谈更靠近面前环境本色情况的题。这个出题-核查-了债的轮回最多可以进行几许轮，直到找到一个实足可行的任务，或者判定这个桌面景象实在出不了好题为止。
这种机制的精妙之处在于两点。其一，要求出题者在建议方向的同期必须给出可考证的要求，这免强它说东谈主话、说具体话，弗成朦胧其辞。其二，系统成就信息也被同期提供给核查者，是以即便某个文献是通事后台剧本静默上传到磁盘的、莫得在桌面截图上径直可见，核查者也能知谈它的存在，任务万般性因此大大彭胀。
四、给桌面填充真实宇宙的复杂内容
光有"出题前核查要求"还不够，因为要是桌面上摆的只是空缺的新建文档或者默许模板，AI能练到的妙技就特地有限——就像一个厨师在唯有白沸水的厨房里练手，始终无法学会处理复杂食材。
为了让任务真的有难度、有深度，探讨团队从三个开始向桌面"注入"真实内容。
第一类开始是OSWorld提供的启动成就快照。OSWorld是这个领域的巨擘测试基准，它自身附带一批多应用启动景象，米兰体育(MilanSports)官网涵盖网页浏览、末端操作和办公软件等场景。排撤回那些需要Google Drive账号的成就之后，探讨团队把这些快照用作教师数据的一部分，主要用来保证数据的广度。
第二类开始是SpreadsheetBench中的912个真实电子表格。这些表格是从集会上的Excel论坛网罗来的，范围惊东谈主——有的突出100列，有的突出2万行，包含复杂的多表交叉援用、非圭臬布局和丰富的非翰墨内容。每个表格被行为测试环境的一部分上传到虚拟桌面并在LibreOffice Calc中怒放，让AI有契机老练真的复杂的表格操作：跨表团员数据、绘画图表、将收尾导出为PDF或CSV等。
第三类开始是Zenodo10K，一个包含约1万个演示文稿（.pptx模式）的公开数据集，系数文献均接纳CC-BY 4.0开放许可左券。这批文献来自Zenodo开放科研平台，科研东谈主员在上头发布论文往往时同期上传干系的幻灯片、附录和数据文献，这些干系文献被统一编号为兼并"父纪录"。探讨团队充分讹诈了这个特色——每次教师时，立时选取一个父纪录，将其下属的系数文献全部上传到桌面，然后立时怒放一到三个演示文稿，其余文献留在桌面行为"旁不雅者文献"，让AI有机融会过文献管制器去发现和使用它们。这样的建设模拟了真实用户的责任环境：桌面上时时同期存放多个干系文献，而不是孤零零的一个。
澳门在线赌钱娱乐网入口这三类内容组合在沿途，配合前边的"先核查再出题"机制，使得每个生成的任务既真实复杂、又明确可行——既能难倒AI、又不至于难到根柢无解。
五、兼并个AI既出题又解题，摈弃"眼能手低"
传统的数据合成经由时时分为两个阶段：先由一个才气强的缠绵模子制定方向，再由实行模子去完成任务。这种单干看似合理，实则装扮风险——要是缠绵者比实行者才气强得多，缠绵者就会出一些实行者根柢完不成的题，多数轨迹就算走到一半亦然废的，以至还会教学模子"袭取不可能的任务并硬撑着走下去"。
ProCUA-SFT聘任让Kimi-K2.5包办代替三个扮装：出题、核查、实行全由兼并个模子完成，只是在不同要津使用不同的领导词。这样的假想确保出题者的贯通领域和实行者的才气领域实足重合——它不会出我方作念不到的题，也不会因为"缠绵者和实行者不是兼并个大脑"而产生信息断层。
在实行阶段，模子每一步都会看到面前桌面截图、总方向、以及一个滑动窗口内的历史纪录，然后输出一段推生机考（用`...`包裹）和一段具体的操作代码。操作代码要么是pyautogui指示（包括点击、搬动光标、按快捷键、输入翰墨、滚动、拖拽等），要么是两个特殊达成函数之一：`wait()`用于恭候模范加载，`terminate(status， answer)`用于主动告示任务完成或失败，并可选填一个翰墨姿色的谜底。
对于历史纪录的处理，探讨团队作念了一个用心的假想。由于高清截图占用多数内存和算力，他们法则：最近三步的截图以完整图像姿色保留，更早的法子则被压缩成一段翰墨提要（模式为"第k步：推理：… 回话：…"）附加在系统领导前边。这个假想的要害在于，教师时的数据模式与推理时的数据模式实足一致——AI在教师时看到的是什么样的输入结构，在本色使用时看到的便是相同的结构，不存在"教师和进修用不同题型"的问题。
六、一条轨迹变成多份老练题：步前缀张开
最朴素的作念法是，每条完整轨迹只生成一条教师样本，用临了一步的收尾来代表整条轨迹。这种作念法奢侈了轨迹中绝大多数法子蕴含的信息。
ProCUA-SFT接纳了一种叫"步前缀张开"的步履来解决这个问题。具体来说，要是一条轨迹整个有T步，就把它张开成T条孤独的教师样本。第t条样本的输入包含：总方向、前t-1步的截图历史（最近三步保留完整图像，更早的以翰墨提要呈现）、以选取t步之前的系数操作纪录；输出则是第t步的推生机考和具体操作。这样，从第一步到临了一步，每一步都成为一谈孤独的老练题。
这种处理方式有一个直观上容易结伴的刚正：越早的法子包含越多对于"如何动手任务"的信息，而这恰正是AI最难学习的部分——它需要在什么都还没作念的情况下，从一派空缺动手缠绵活动门路。把每一步都变成教师样本，2026世界杯实时比分就等于让AI在各式不同进程的中间景象下都老练过"下一步该如何作念"，而不单是是从零动手的那一刻。
系数这个词数据最终以LLaMA-Factory的ShareGPT模式输出，截图通过``占位符镶嵌对话流，教师方向是AI的推理和活动部分，同期过滤掉任何截图文献缺失的样本，临了对系数样本进行打乱和分片处理。七、如安在大范围推断集群上同期跑数千台虚拟电脑
网罗310万条法子样本，意味着需要让数以千计的虚拟Linux桌面同期运行，这自身便是一个工程挑战。
探讨团队在基础架构层面作念了两个要害方案。其一，推理推断和环境实行透彻分离。Kimi-K2.5模子被部署为一个无景象的、兼容OpenAI接口的vLLM职业端，每个数据采集进程各自领有我方的虚拟机，通过HTTP向模子职业端发送肯求。由于模子是无景象的、虚拟机环境才是运行慢的那一侧，二者可以孤独横向彭胀。在兼并批Slurm推断节点上，GPU跑模子推理，CPU跑虚拟机，高清截图数据走节点里面总线传输，幸免节点间的带宽支出。
其二，虚拟机后端接纳可插拔假想，撑持两种实足互换的模式。第一种叫Singularity腹地模式，将OSWorld的QEMU/KVM虚拟化栈打包成一个Singularity（Apptainer）模式的容器镜像，不需要root权限、不需要Docker看管进程，可以径直部署在圭臬HPC集群上。要是主机硬件撑持/dev/kvm，就用硬件加快；要是不撑持，就自动了债软件模拟，以速率换兼容性。第二种叫NVCF无职业器模式，当腹地KVM资源不可用或照旧用满时，调换的采集代码可以转而驱动NVIDIA云函数（NVCF），NVCF会自动完成容器的部署、扩缩和回收。为了不在一个注定失败的部署上奢侈付费的GPU时分，系统会在提交NVCF部署肯求之前，先把系数需要的启动化文献下载到腹地缓存，说明全部笔直后才认真发起部署。
在职务革新上，每个采集进程里面用异步线程池将"启动化虚拟机"和"采集轨迹"两个阶段活水线化，让慢速的系统启动不会胁制正在进行中的轨迹采集。限定启动虚拟机的计谋幸免了多数虚拟机同期启动时对QEMU/KVM堆栈酿成冲击。每一步轨迹数据都及时写入磁盘，确保节点级别的故障最多只示寂一条正在进行中的轨迹。
八、推行收尾：收成单谈话
教师建设方面，探讨团队使用UI-TARS 1.5 7B行为基础模子，在ProCUA-SFT和AgentNet上各教师一个完整的epoch，序列最大长度32k，批大小512，学习率2e-5，余弦学习率革新，权重衰减0.1。
测试基准是OSWorld，这是面前最具巨擘性的桌面CUA测试集，包含369个在真实Linux/Windows/macOS虚拟机中运行的任务，考生（AI模子）领有实足的键盘和鼠标达成权。
教师过程中，用ProCUA-SFT教师的模子（蓝线）从启动的约11.7%起步，在约4800个教师法子内稳步攀升至45%的峰值，全程呈现出明晰的上涨趋势。用AgentNet教师的模子（红线）则在约750个法子（一个epoch）内就堕入平台期，停滞在8%到10%之间，不但远低于未经额外教师的基础模子（26.3%的虚线），更与ProCUA版块的收成进出35个百分点。
为什么ProCUA-SFT遵守这样好，而AgentNet遵守这样差？探讨团队通过分析两个数据集的统计特色，找到了三条明晰的解释痕迹。
ProCUA的轨迹长度明显更长，平均约29.7步，而AgentNet唯有18.6步，何况ProCUA的长尾漫衍更重，施展它包含了更多需要多步缠绵的复杂任务。在应用漫衍上，近一半的ProCUA轨迹针对的是LibreOffice系列软件（Impress占24%、Calc占17%、Writer占6%），另有20%触及多应用配合——而这两类恰正是OSWorld测试中的高权重类别。AgentNet则多数结伴在单应用任务上，且Windows和Mac系统的轨迹（共约1.8万条）根柢莫得纪录应用标签，难以进行精准比较。在操作类型漫衍上，AgentNet的操作中有约63%是鼠标点击，而ProCUA唯有约41%是点击，更多的操作被分拨到键盘快捷键和翰墨输入上——尔后者自然比依赖像素精度的点击更矫捷、更可靠。
九、万般性推行：袒护哪些应用比什么都进攻
探讨团队还作念了一组成心的消融推行，探究"在教师数据中引入什么样的万般性最有价值"。他们固定了约700个教师法子的预算，从一个包含11.18万条轨迹的大池子中，按照四种不同计谋各抽取一批教师样本进行比较：不作念任何万般性达成（立时采样）、按照操作类型作念轮转采样、按照料用组合作念轮转采样、以及同期按应用组合和操作类型作念双层嵌套轮转采样。
收尾特地明确。按应用组合轮转采样的得分是30.9%，是四种计谋中独一突出基础模子（26.3%）的计谋，比立时采样的27.3%朝上3.6个百分点。反不雅按操作类型采样，得分仅24.9%；双层嵌套计谋得分25.5%，二者都不如立时采样。这个论断径直标明：在CUA数据集的维度上，应用组合的万般性才是最要害的轴，刻意均衡不同操作类型反而会滥竽充数。
十、轨迹结构分析：像舆图一样看清AI的操作旅途
探讨团队还对数据结伴的轨迹进行了深档次的结构分析，把每条轨迹概括成一张有向图：节点代表应用界面或屏幕景象，边代表触发景象滚动的操作。从这张图中，他们索求了八个描画轨迹复杂度的主义，包括屏幕节点数、滚动边数、轮回次数（反馈回退和重试步履）、总操作步数、触及的应用数目、应用切换次数、线性度分数（1.0示意实足线性的操作序列）和屏幕重访率。
基于对约3.4854万条轨迹（袒护61种应用组合）的分析，典型轨迹的中位数特征是：经过5个屏幕景象、5次景象滚动、实行19个操作。线性度中位数为0.86，标明大多数轨迹相等线性，其中42.3%实足线性（线性度=1.0），仅2.2%呈现高度非线性结构（线性度
六个具体的典型案例被用来展示这一谱系的两头。GIMP图像裁剪任务是最能够的一类，触及7个屏幕、35个操作、线性度完好意思的1.0、零轮回——AI重新到尾限定完成每个子法子，实足莫得回头路。另一个顶点是多PDF数据索求任务，需要反复在文献管制器、文档稽查器和电子表格之间穿梭，产生了10个轮回、13次回退、线性度仅0.33、共9次应用切换，景象滚动遵守（每步看望的独一屏幕数比例）低至0.17。探讨团队发现，轨迹的复杂程度并非绵薄由触及的应用数目决定——有些四应用任务可以保持高度线性（如通过末端指示完成文献转念），而另一些相同触及四个应用的任务则可能产生非常密集的交叉轮回图（如需要反复查对多个PDF后汇总到一张表格）。决定复杂度的要害，是应用之间的配合模式，而非应用的数目自身。
十一、复杂度感知数据增强：向珍稀任务学习
基于上述分析，探讨团队发现教师结伴的应用组合漫衍严重长尾化：单应用任务（尤其是LO Impress、LO Calc和Chrome）独占了多数份额，而复杂的多应用配合任务极为生分。为了粗放这一问题，他们假想了一个两阶段的增强步履。
当先，在11.18万条轨迹池中，找出应用组合出现次数不突出3次的轨迹，共鸣别出2065条"珍稀轨迹"。然后，把这些珍稀轨迹的任务方向和轨迹提要行为少样本示例，喂给任务合成活水线，指引它成心生成针对这类生分多应用配合模式的新任务。按照这种步履网罗到的353条新轨迹，组成了"ProCUA + 珍稀应用合成"子集。
与原始教师集比拟，这个子集在险些系数复杂度主义上都有明显提高：每条轨迹平均触及的应用数从2.0加多到3.3，应用切换次数从2.0加多到4.8，看望的屏幕数从6.4加多到8.6，总操作步数从26.6加多到35.2。与此同期，线性度只是隐微下落（从0.84到0.80），轮回数则险些持平（2.8 vs 2.6），施展复杂度的提高主要体当今应用跨度扩大，而非盲主义兜圈子。在应用组合漫衍上，底本险些不存在的Chrome+LibreOffice Calc、文献管制器+LibreOffice Writer、桌面+VS Code等组合，在新子结伴的占比别离达到0.6%到2.0%，照旧从可以忽略的边角料升级为有代表性的类别。
说到底，ProCUA-SFT讲的是一个对于"质地比数目进攻"的故事。2.25万条真东谈主用心录制的示范，败给了9.3万条AI自产自销的合成轨迹。输赢的要害不在于谁更极力气，而在于谁更机灵地解决了三个中枢问题：如何保证每谈老练题都真实可解，如何确保老练题有余难且有余万般，以及如何让"出题者"和"解题者"的贯通领域保持一致。
这项探讨对将来的风趣不仅限于"让AI更好地帮咱们点击鼠标"。更潜入的影响在于：它讲解了一条可以延续彭胀的合成数据坐褥旅途——跟着VLM的才气延续提高，可以径直用更强的新模子替换Kimi-K2.5，系数这个词活水线的数据质地随之情随事迁，无需再依赖腾贵的东谈主工标注。探讨团队也明确示意，规画在更强的开源模子、更多操作系统平台和外部奖励模子可用时，延续迭代ProCUA-SFT。
不由得引东谈主想考：要是AI的学习速率连续以这种方式加快，咱们距离一个"只需要说出你想作念什么、AI就能自主帮你完成任何电脑操作"的时间，到底还有多远？
想深入了解ProCUA-SFT的系数技艺细节，可以通过arXiv编号2606.17321v1检索完整论文，数据集自身也已在Hugging Face平台以ProCUA-SFT为名公开拓布。
---
Q&A
Q1：ProCUA-SFT是什么，它和平凡教师数据有什么不同？
A：ProCUA-SFT是NVIDIA与华盛顿大学共同构建的电脑操控智能体教师数据集，包含310万条操作法子样本。与平凡东谈主工标注数据不同，它实足由AI自动生成，且在生成每个任务前融会过"二值要求核查"机制说明任务在面前桌面环境下确乎可以完成，幸免了合成任务"谈听途看"的问题。此外，数据开始包含真实复杂的电子表格和演示文稿文献，教师出的AI能处理更接近真实责任场景的复杂任务。
Q2：AgentNet的东谈主工标注数据为何让模子越学越差？
A：AgentNet的22.5K条东谈主工示范在用于连续教师时导致模子笔坦白从26.3%跌至8-10%，主要因为三点：任务类型过于单一，险些全是单应用的绵薄操作，平均步数唯有17步；迂回跨应用配合任务，而OSWorld测试正好偏珍爱察这类才气；众包网罗的标注质地错乱不都，噪声阻挠了模子原有的推理才气。新学的内容不仅莫得强化旧才气，反而袒护和阻扰了它，这在机器学习中被称为"负搬动"。
Q3：ProCUA-SFT数据集是否可以公开获得？
A：可以。ProCUA-SFT数据集已在Hugging Face平台以"ProCUA-SFT"为名公开拓布2026世界杯技术统计，任何东谈主均可下载使用。需要能干的是，数据结伴援用的SpreadsheetBench电子表格文献自身未被再行分发，仅用于构建桌面启动景象；Zenodo10K演示文稿则接纳CC-BY 4.0左券，可解放使用。