AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。
原文链接>>>
有方向感，视角也没有问题。
躲闪劈棍很丝滑。
甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。
然后，他们提出了VARP智能体框架。
主要包含动作规划系统和人类引导轨迹系统。
其中动作规划系统由情境库、动作库和人类引导库组成，利用 VLMs 进行动作推理和生成，引入分解特定任务的辅助模块和自我优化的动作生成模块。
人类引导轨迹系统利用人类操作数据改进智能体性能，对于困难任务，通过查询人类引导库获取相似截图和操作，生成新的人类引导动作。
同时VARP还包含3个库：情景库、动作库和人工引导库。
这些库中存储了agent自我学习和人类指导的内容，可以进行检索和更新。
动作库中，“def new_func_a()”表示动作计划系统生成的新动作，“def new_func_h()”表示人导轨迹系统生成的动作。”def pre_func()”代表预定义的动作。
动作案例研究和相应的游戏截图。第一行和第二行中的操作是预定义的函数。第三行动作由人工制导轨迹系统生成。
SOAG会在玩家角色与敌人的每次战斗互动后总结第四行和第五行中的新动作，并将其存储在动作库中。
框架分别使用了GPT-4o（2024-0513版本）、Claude 3.5 Sonnet和Gemini 1.5 Pro。
对比人类和AI的表现结果，可以看到小怪部分AI们的表现达到人类玩家水平。
到了牯护院时，Claude 3.5 Sonnet败下阵来，GPT-4o胜率最高。
但是对于新手玩家普遍头疼的幽魂，AI们也都束手无策了。
另外研究还提到，由于VLMs推理速度受到限制，是无法实时输入每一帧画面的。它只能间隔输入关键帧，这也会导致AI在一些情况下错过boss攻击的关键信息。
以及由于游戏中没有明确的道路引导且存在很多空气墙，在没有人类引导下，智能体也不能自己找到正确的路线。
如上研究来自阿里团队，一共有5位作者。
