工具调用

Mindra 的 AI 助手支持工具调用功能,可以自动执行浏览器操作,如页面导航、搜索、点击等。

什么是工具调用

工具调用允许 AI 在执行任务时,主动操作浏览器完成特定功能:

[工具调用示例截图占位符]

支持的工具有

工具名称 功能描述
navigate 跳转到指定网址
search 在搜索引擎中搜索
click 点击页面元素
scroll 滚动页面
get_content 获取页面内容
switch_tab 切换标签页

使用方法

自然语言触发

直接用自然语言告诉 AI 您的需求:

[自然语言触发截图占位符]

示例指令:

  • "打开百度"
  • "搜索 Python 教程"
  • "点击页面上的登录按钮"
  • "切换到第二个标签页"
  • "获取当前页面的所有链接"

确认执行

当 AI 需要执行工具时:

[确认对话框截图占位符]

  1. AI 会显示要执行的操作
  2. 点击「确认」执行
  3. 点击「取消」放弃操作
  4. 勾选「不再询问」可自动确认

工具详解

页面导航

让 AI 帮您打开网页:

[页面导航示例截图占位符]

使用示例:

用户:打开 GitHub
AI:我将为您打开 GitHub 网站
[执行 navigate 工具]

支持的形式:

  • 直接说网站名称:"打开百度"
  • 提供完整 URL:"访问 https://www.example.com"
  • 模糊匹配:"去谷歌"

搜索功能

让 AI 帮您搜索信息:

[搜索功能示例截图占位符]

使用示例:

用户:搜索 Python 最新版本
AI:我将为您搜索 Python 最新版本的相关信息
[执行 search 工具]

搜索选项:

  • 普通搜索:使用默认搜索引擎
  • 图片搜索:搜索相关图片
  • 新闻搜索:搜索新闻资讯

页面操作

让 AI 操作页面元素:

[页面操作示例截图占位符]

支持的操作:

  • 点击元素:"点击登录按钮"
  • 填写表单:"在搜索框输入内容"
  • 滚动页面:"向下滚动"
  • 返回上一页:"返回"

内容提取

让 AI 提取页面信息:

[内容提取示例截图占位符]

使用示例:

用户:提取这个页面的所有标题
AI:我将提取页面的标题信息
[执行 get_content 工具]

可提取的内容:

  • 页面标题和描述
  • 所有链接
  • 图片地址
  • 表格数据
  • 文章正文

组合使用

复杂任务

将多个工具组合完成复杂任务:

[复杂任务示例截图占位符]

示例场景:

用户:帮我在知乎搜索 Python 教程,
      然后打开第一个结果
AI执行流程:
1. [navigate] 打开知乎
2. [search] 搜索 Python 教程
3. [click] 点击第一个结果

自动化工作流

创建自动化操作序列:

[自动化工作流截图占位符]

  1. 告诉 AI 您的完整需求
  2. AI 会自动规划执行步骤
  3. 每个步骤执行前会确认
  4. 可以暂停或取消执行

安全设置

权限控制

管理工具调用的权限:

[权限设置截图占位符]

设置选项:

  • 总是询问:每次执行前都确认
  • 仅危险操作询问:只有敏感操作才确认
  • 自动执行:完全信任 AI,自动执行

敏感操作警告

以下操作会触发安全警告:

  • 访问非 HTTPS 网站
  • 下载文件
  • 提交表单
  • 访问已知的危险网站

使用技巧

明确指令

给 AI 清晰明确的指令:

不明确 明确
"帮我找点东西" "搜索 Python 入门教程"
"点一下" "点击页面右上角的登录按钮"
"去那个网站" "打开 GitHub 官网"

分步执行

复杂任务分步骤完成:

  1. 先让 AI 执行第一步
  2. 确认结果符合预期
  3. 再继续下一步
  4. 随时可以纠正 AI 的行为

纠错机制

如果 AI 操作错误:

  1. 立即告诉 AI 正确的操作
  2. AI 会调整并重新执行
  3. 可以撤销上一步操作
  4. 使用「停止」按钮终止当前任务

常见问题

Q: 工具调用失败怎么办?

A: 可能的原因和解决方法:

  • 网页加载超时:刷新页面后重试
  • 元素未找到:描述更具体的元素位置
  • 权限不足:检查浏览器权限设置

Q: 如何禁用工具调用?

A: 在设置中关闭:

  1. 打开设置对话框
  2. 选择「AI 设置」
  3. 关闭「启用工具调用」

Q: 工具调用是否安全?

A: Mindra 采取了多重安全措施:

  • 敏感操作需要用户确认
  • 恶意网站会被拦截
  • 所有操作都可撤销
  • 不会自动提交表单或下载文件