TypeChat，用TypeScript快速接入AI大语言模子

TypeChat是C# 和 TypeScript 之父 Anders Hejlsberg全新的开源项目。利用AI在自然语言和应用程序和API之间创建桥梁，而且利用TypeScript。
如今出现了很多大型语言模子，但是怎样将这些模子最好地集成到现有的应用程序中，怎样利用人工智能来继续用户哀求并转化为我们的应用程序可以运行的内容，而且确保我们的程序是安全的，可以信托的？
TypeChat 就是为相识决如许的题目。通过编写TypeScript范例界说，而不是自然语言提示来引导语言模子提供范例良好的布局化的相应数据，用schema替代prompt。

---

准备工作

• TypeChat默认是利用openAI大概Azure openAI的api，须要提前准备好，这里我利用Azure openAI的api(比力好申请且不会被封)。如果不利用openAI可以自己实现替换，这里暂时先用openAI
  
• 安装typechat依赖
  
  1. pnpm install typechat

  复制代码
• 在根目录下.env设置openai的key
  

1. AZURE_OPENAI_ENDPOINT=https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/chat/completions?api-version=2023-05-15
2. AZURE_OPENAI_API_KEY=Your Azure OpenAI API key
4. # OPENAI_MODEL=The OpenAI model name (e.g. `gpt-3.5-turbo` or `gpt-4`)
5. # OPENAI_API_KEY=Your OpenAI API key

复制代码

---

通过自然语言哀求掘金文章列表的Demo

• 界说Schema，这就是希望模子将自然语言按照界说的范例为束缚，天生布局化的相应数据
  

1. // 定义排序类型，按照推荐or最新
2. export type SortType = "recommend" | "latest";
4. // 定义文章类型
5. export type ArticleType = "frontend" | "backend" | "android" | "ios" | "ai";
7. // 定义函数，获取文章列表
8. export type API = {
9.   getArticles(
10.     sortType: SortType,
11.     limit: number,
12.     categoryId?: ArticleType
13.   ): void;
14. };

复制代码

• 自然语言哀求并解析
  

1. import {
2.   createLanguageModel,
3.   processRequests,
4.   createProgramTranslator,
5.   evaluateJsonProgram,
6.   getData,
7. } from "typechat";
9. // 根据环境变量的配置，创建语言模型，
10. // typechat为了简化依赖，所以没有用azure或者openai的sdk，而直接通过url接口请求
11. // 如果不使用openai的模型也可以通过TypeChatLanguageModel接口实现自己的LLM交互
12. const model = createLanguageModel(process.env);
13. // 读取上一步定义的模型文件
14. const schema = fs.readFileSync(
15.   join(dirname(fileURLToPath(import.meta.url)), "Schema.ts"),
16.   "utf8"
17. );
19. // 创建一个对象，该对象可以将自然语言请求转换为程序，以JSON的形式展现，由上一步定义的API组成函数
20. const translator = createProgramTranslator(model, schema);
22. // 以交互方式或从命令行上指定的输入文件处理请求
23. processRequests("说你想干嘛--->", process.argv[2], async (request) => {
24.         // 将自然语言请求转换为T类型的对象。
25.   const response = await translator.translate(request);
26.   if (!response.success) {
27.     return;
28.   }
29.   const program = response.data;
31.   // 将JSON转换为TypeScript代码以进行验证。
32.   // 如果转换成功，则返回一个Success＜string＞对象；如果JSON无法转换，则返回Error对象。
33.   console.log(getData(translator.validator.createModuleTextFromJson(program)));
35.   /**
36.    * 使用简单的解释器评估JSON程序。函数调用会被传递给第二个参数onCall回调函数进行调度。
37.    * @param program 要评估的JSON程序
38.    * @param onCall 用于处理程序中函数调用的回调函数
39.    * @returns 返回一个promise
40.    */
41.   const result: any = await evaluateJsonProgram(program, handleCall);
43.   console.log(`Result: ${result}`);
44. });
46. const handleCall = async (func: string, args: any[]): Promise<any> => {
47.   // 对解析后的函数和参数进行处理，并返回一个promise
48.         // 请求掘金api并获取响应数据返回结果.....
49.   return
50. };

复制代码

完整代码在https://github.com/zhaomengfan/typechat-example

---

启动使命，出现交互输入，这里就是输入须要解析的自然语言

输入”看些新文章”，运行一步步打印结果

1. // 得到自然语言解析后的转换的对象 program
2. {
3.   "@steps": [
4.     {
5.       "@func": "getArticles",
6.       "@args": [
7.         "latest",
8.         10
9.       ]
10.     }
11.   ]
12. }
14. // createModuleTextFromJson将JSON转换为TypeScript代码以进行验证，
15. // 返回的TypeScript源代码为ECMAScript模块，该模块从“./schema”导入一个或多个类型，
16. // 并以适合TypeScript编译器进行类型检查的方式将这些类型与JSON对象的表示形式组合在一起
17. import { API } from "./schema";
18. function program(api: API) {
19.   return api.getArticles("latest", 10);
20. }
22. //evaluateJsonProgram评估program并且，将解析后的func,args作为参数传给onCall
23. // handleCall获取下面的func和args后进行相应处理并返回结果，这里是去请求接口
25. // func
26. getArticles
27. // args
28. [ 'latest', 10 ]

复制代码

末了得到结果

---

再实验一个例子，输入“我想看看前端推荐的内容”，并实行得到结果

1. // program
2. {
3.   "@steps": [
4.     {
5.       "@func": "getArticles",
6.       "@args": [
7.         "recommend",
8.         10,
9.         "frontend"
10.       ]
11.     }
12.   ]
13. }
15. // createModuleTextFromJson
16. import { API } from "./schema";
17. function program(api: API) {
18.   return api.getArticles("recommend", 10, "frontend");
19. }
21. // evaluateJsonProgram
22. // func
23. getArticles
24. // args
25. [ 'recommend', 10, 'frontend' ]

复制代码

以上就是一个简单的示例，根据自然语言，并根据界说的Schema解析为范例安全的布局化数据，而且根据解析的结果去进行相应的哀求获取文章列表。
官方网站也提供了一些示例可以体验一下https://microsoft.github.io/TypeChat/docs/examples/
总结：

TypeChat让我们能轻松地利用 TypeScript 范例来引导模子，可以安全的将大语言模子集成到现有的应用程序中，可以探索很多新的产物情势。
不过由于刚开源TypeChat也不是很完满，比如现在还不能对话交互。
总之，这是一个对熟悉TypeScript的你来说一个轻松利用大语言模子连策应用程序的方式，各人可以多实验实验，并持续关注。

来源：https://blog.csdn.net/github_33420275/article/details/131911834
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！