AutoDev 1.1.3 登场，个性化 AI 辅助：私有化大模型、自主设计 prompt、定义独特规则...

2023-11-02

在过去的半个月里，我们为开源辅助编程工具 AutoDev 添加了更强大的自定义能力，现在你可以：

使用自己部署的开源大模型
自己配置 Intellij IDEA 中的行为
自定义开发过程中的规范

当然了，如果您自身拥有开发能力的话，建议您自己基于 AutoDev 定制。毕竟，为 AutoDev 添加太多的自定义能力，会导致架构的复杂性螺旋上升。

AutoDev 现在已支持多语言（不同语言能力有所差异）、多 IDE，因此只在 JetBrains 任何一个本地 IDE 的插件市场里，搜索 AutoDev 并安装即可。

自定义大语言模型

我们通过 Thoughtworks 正在的开源底层模型平台 Gluon Meson，构建了一个统一的大语言模型接口。随后，我们测试了切换几个开源模型：清华大学 ChatGLM2-6B、阿里云通义千问 Qwen-7B 等，均可以流畅使用 —— 模型太小，在诸如需要上下文补全的能力没有那么强。

考虑到提供更好的开发者体验，现在的 AutoDev 只支持服务端的流式返回，为此我们在源码中提供了一个 FastAPI + EventSourceResponse 的示例作为参考。

请求结构

我们发送给服务端的接口将类似于：

{
  "messages": [
     { "role": "user", "message": "I'm Nihillum." },
     { "role": "assistant", "message": "OK" },
     { "role": "user", "message": "What did I just say?" }
  ]
}

根据现有的 #25 issue 设计情况，我们也将在未来提供更多的可配置的 headers 等

响应结果

对于结果来说，为了方便支持不同的模型，我们使用了 JSON Path 来处理返回结果。如下是一个简单的 JSON Path 的配置示例。

$.choices[0].content

随后，将从 content 中取值，并处理。

详细见 README.md 中的 Custom LLM Server 部分。

自定义 prompt 行为项

为了配合不同大模型的能力差异，我们参考了 JetBrains AI Assistant 的设计，也在 AutoDev 中引入了自定义行为的方式，即你可以自定义自己的行为，并配置 prompt 的上下文。诸如于，你可以自定义一个将 Rust 转为 Kotlin 语言的行为项：

为此，只需要添加一个对应的 JSON 配置即可：

{
  "prompts": [
    {
      "title": "\uD83C\uDDE8\uD83C\uDDF3 翻译成 Kotlin",
      "autoInvoke": false,
      "matchRegex": ".*",
      "priority": 1000,
      "template": "Translate the following code to Kotlin.\n${SIMILAR_CHUNK}\nCompare these snippets:\n${METHOD_INPUT_OUTPUT}\nHere is the code:\n${SELECTION}"
    }
  ]
}

其中的 priority 是用来配置在菜单中的顺序，template 则是发送给 LLM 的 prompt。除此，在 template 中，为了更好的支持一些高级的特征，我们配置了一些上下文变量：

${SELECTION}：所选代码
${SIMILAR_CHUNK}：相似的代码片段
${METHOD_INPUT_OUTPUT}：方法的输入与输出

规范变量：

${SPEC_*}：从配置文件的规范部分加载规范，比如 ${SPEC_controller}将会从配置中加载 spec.controller。

详细见 README.md 中的 Custom Action 部分。

自定义规范

在自定义操作项中，我们会定义一些不同任务的配置规则，诸如于 SPEC_controller 便会从 spec 中读取对应的内容，作为配置 prompt 的一部分：

{
  "spec": {
    "controller": "- Use BeanUtils.copyProperties in the Controller for DTO to Entity conversion.\n- Avoid using Autowired.\n- Use Swagger Annotations to indicate API meanings.\n- Controller methods should capture and handle business exceptions, rather than throwing system exceptions.",
    "service": "- Service layer should use constructor injection or setter injection; avoid using the @Autowired annotation.",
    "entity": "- Entity classes should use JPA annotations for database mapping.\n- The entity class name should match the corresponding database table name. Entity classes should use annotations to mark primary keys and table names, for example: @Id, @GeneratedValue, @Table, etc.",
    "repository": "- Repository interfaces should extend the JpaRepository interface to inherit basic CRUD operations.",
    "ddl": "- Fields should be constrained with NOT NULL constraints to ensure data integrity."
  }
}

然后，你就可以愉快地进行 AI 辅助编程了。

小结

如果大家遇到什么问题或者有什么好玩的新需求，欢迎来 GitHub 讨论：https://github.com/unit-mesh/auto-dev

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

prompt