github: https://github.com/chatsapi/chatsapi 图书馆: https://pypi.org/project/chatsapi/
人工智能已经改变了各行各业,但有效部署人工智能仍然是一项艰巨的挑战。复杂的框架、缓慢的响应时间和陡峭的学习曲线给企业和开发人员带来了障碍。 chatsapi 是一个突破性的高性能 ai 代理框架,旨在提供无与伦比的速度、灵活性和简单性。
在本文中,我们将揭示 chatsapi 的独特之处、为什么它能够改变游戏规则,以及它如何帮助开发人员以无与伦比的轻松性和效率构建智能系统。
chatsapi 有何独特之处?
chatsapi 不仅仅是另一个人工智能框架;这是人工智能驱动交互的一场革命。原因如下:
- 无与伦比的性能 chatsapi 利用 sbert 嵌入、hnswlib 和 bm25 混合搜索来提供有史以来最快的查询匹配系统。
速度:chatsapi 的响应时间为亚毫秒级,是世界上最快的人工智能代理框架。其 hnswlib 支持的搜索可确保快速检索路线和知识,即使对于大型数据集也是如此。
效率:sbert 和 bm25 的混合方法将语义理解与传统排名系统结合起来,保证速度和准确性。
-
与法学硕士无缝集成
chatsapi 支持最先进的大型语言模型 (llm),例如 openai、gemini、llamaapi 和 ollama。它简化了将法学硕士集成到您的应用程序中的复杂性,使您能够专注于构建更好的体验。 -
动态路由匹配
chatsapi 使用自然语言理解 (nlu) 以无与伦比的精度将用户查询与预定义路由动态匹配。
使用 @trigger 等装饰器轻松注册路线。
使用 @extract 进行参数提取来简化输入处理,无论您的用例有多复杂。
- 设计简单 我们相信强大和简单可以共存。借助 chatsapi,开发人员可以在几分钟内构建强大的人工智能驱动系统。不再需要费力处理复杂的设置或配置。
chatsapi的优点
高性能查询处理
传统的人工智能系统要么在速度上要么在准确性上苦苦挣扎,而 chatsapi 却同时满足了这两点。无论是在庞大的知识库中寻找最佳匹配,还是处理大量查询,chatsapi 都表现出色。
灵活的框架
chatsapi 适应任何用例,无论您正在构建:
- 客户支持聊天机器人。
- 智能搜索系统。
- 人工智能驱动的电子商务、医疗保健或教育助手。
为开发者打造
由开发者设计,为开发者服务,chatsapi 提供:
- 快速入门:只需几个步骤即可设置环境、定义路线并上线。
- 定制:使用装饰器定制行为并根据您的特定需求微调性能。
- 轻松的 llm 集成:轻松在 openai 或 gemini 等受支持的 llm 之间切换。
chatsapi 如何工作?
chatsapi 的核心是通过三个步骤进行操作:
- 注册路由:使用@trigger装饰器定义路由并将它们与您的函数关联。
- 搜索和匹配:chatsapi 使用 sbert 嵌入和 bm25 混合搜索将用户输入与正确的路线动态匹配。
- 提取参数:通过@extract装饰器,chatsapi自动提取并验证参数,更容易处理复杂的输入。
结果呢?一个快速、准确且易于使用的系统。
使用案例
-
客户支持
通过极快的查询解析来自动化客户交互。 chatsapi 确保用户立即获得相关答案,提高满意度并降低运营成本。 -
知识库搜索
使用户能够通过语义理解搜索大量知识库。混合 sbert-bm25 方法可确保准确、上下文感知的结果。 -
对话式人工智能
构建能够实时理解并适应用户输入的对话式人工智能代理。 chatsapi 与顶级法学硕士无缝集成,提供自然、引人入胜的对话。
为什么你应该关心?
其他框架承诺灵活性或性能 – 但没有一个框架能够像 chatsapi 一样同时提供这两者。我们创建了一个框架:
- 比市场上任何其他产品都快。
- 更简单设置和使用。
- 更智能,其独特的混合搜索引擎融合了语义和基于关键字的方法。
chatsapi 使开发人员能够释放人工智能的全部潜力,而无需担心复杂性或性能缓慢的问题。
如何开始
chatsapi 入门很简单:
- 安装框架:
pip install chatsapi
- 定义您的路线:
from chatsapi import chatsapi chat = chatsapi() @chat.trigger("hello") async def greet(input_text): return "hi there!"
- 从消息中提取一些数据
from chatsapi import chatsapi chat = chatsapi() @chat.trigger("need help with account settings.") @chat.extract([ ("account_number", "account number (a nine digit number)", int, none), ("holder_name", "account holder's name (a person name)", str, none) ]) async def account_help(chat_message: str, extracted: dict): return {"message": chat_message, "extracted": extracted} run your message (with no llm) @app.post("/chat") async def message(request: requestmodel, response: response): reply = await chat.run(request.message) return {"message": reply}
- 对话(与法学硕士)——完整示例
import os from dotenv import load_dotenv from fastapi import fastapi, request, response from pydantic import basemodel from chatsapi.chatsapi import chatsapi # load environment variables from .env file load_dotenv() app = fastapi() # instantiate fastapi or your web framework chat = chatsapi( # instantiate chatsapi llm_type="gemini", llm_model="models/gemini-pro", llm_api_key=os.getenv("google_api_key"), ) # chat trigger - 1 @chat.trigger("want to cancel a credit card.") @chat.extract([("card_number", "credit card number (a 12 digit number)", str, none)]) async def cancel_credit_card(chat_message: str, extracted: dict): return {"message": chat_message, "extracted": extracted} # chat trigger - 2 @chat.trigger("need help with account settings.") @chat.extract([ ("account_number", "account number (a nine digit number)", int, none), ("holder_name", "account holder's name (a person name)", str, none) ]) async def account_help(chat_message: str, extracted: dict): return {"message": chat_message, "extracted": extracted} # request model class requestmodel(basemodel): message: str # chat conversation @app.post("/chat") async def message(request: requestmodel, response: response, http_request: request): session_id = http_request.cookies.get("session_id") reply = await chat.conversation(request.message, session_id) return {"message": f"{reply}"} # set chat session @app.post("/set-session") def set_session(response: response): session_id = chat.set_session() response.set_cookie(key="session_id", value=session_id) return {"message": "session set"} # end chat session @app.post("/end-session") def end_session(response: response, http_request: request): session_id = http_request.cookies.get("session_id") chat.end_session(session_id) response.delete_cookie("session_id") return {"message": "session ended"}
- 遵循 llm 查询的路由 — 单个查询
await chat.query(request.message)
基准测试
基于传统 llm (api) 的方法通常每个请求需要大约四秒的时间。相比之下,chatsapi 可以在一秒内处理请求,通常在几毫秒内,无需进行任何 llm api 调用。
472ms内执行聊天路由任务(无缓存)
21ms内执行聊天路由任务(缓存后)
862ms内执行聊天路由 数据提取任务(无缓存)
使用 whatsapp cloud api 展示其对话能力
chatsapi — 功能层次结构
chatsapi 不仅仅是一个框架;这是我们构建人工智能系统并与之交互的方式的范式转变。通过结合速度、准确性和易用性,chatsapi 为 ai 代理框架树立了新的基准。
立即加入这场革命,了解 chatsapi 为何正在改变 ai 格局。
准备好潜水了吗?立即开始使用 chatsapi,体验 ai 开发的未来。