工具调用
Mindra 的 AI 助手支持工具调用功能,可以自动执行浏览器操作,如页面导航、搜索、点击等。
什么是工具调用
工具调用允许 AI 在执行任务时,主动操作浏览器完成特定功能:
[工具调用示例截图占位符]
支持的工具有
| 工具名称 | 功能描述 |
|---|---|
| navigate | 跳转到指定网址 |
| search | 在搜索引擎中搜索 |
| click | 点击页面元素 |
| scroll | 滚动页面 |
| get_content | 获取页面内容 |
| switch_tab | 切换标签页 |
使用方法
自然语言触发
直接用自然语言告诉 AI 您的需求:
[自然语言触发截图占位符]
示例指令:
- "打开百度"
- "搜索 Python 教程"
- "点击页面上的登录按钮"
- "切换到第二个标签页"
- "获取当前页面的所有链接"
确认执行
当 AI 需要执行工具时:
[确认对话框截图占位符]
- AI 会显示要执行的操作
- 点击「确认」执行
- 点击「取消」放弃操作
- 勾选「不再询问」可自动确认
工具详解
页面导航
让 AI 帮您打开网页:
[页面导航示例截图占位符]
使用示例:
用户:打开 GitHub
AI:我将为您打开 GitHub 网站
[执行 navigate 工具]
支持的形式:
- 直接说网站名称:"打开百度"
- 提供完整 URL:"访问 https://www.example.com"
- 模糊匹配:"去谷歌"
搜索功能
让 AI 帮您搜索信息:
[搜索功能示例截图占位符]
使用示例:
用户:搜索 Python 最新版本
AI:我将为您搜索 Python 最新版本的相关信息
[执行 search 工具]
搜索选项:
- 普通搜索:使用默认搜索引擎
- 图片搜索:搜索相关图片
- 新闻搜索:搜索新闻资讯
页面操作
让 AI 操作页面元素:
[页面操作示例截图占位符]
支持的操作:
- 点击元素:"点击登录按钮"
- 填写表单:"在搜索框输入内容"
- 滚动页面:"向下滚动"
- 返回上一页:"返回"
内容提取
让 AI 提取页面信息:
[内容提取示例截图占位符]
使用示例:
用户:提取这个页面的所有标题
AI:我将提取页面的标题信息
[执行 get_content 工具]
可提取的内容:
- 页面标题和描述
- 所有链接
- 图片地址
- 表格数据
- 文章正文
组合使用
复杂任务
将多个工具组合完成复杂任务:
[复杂任务示例截图占位符]
示例场景:
用户:帮我在知乎搜索 Python 教程,
然后打开第一个结果
AI执行流程:
1. [navigate] 打开知乎
2. [search] 搜索 Python 教程
3. [click] 点击第一个结果
自动化工作流
创建自动化操作序列:
[自动化工作流截图占位符]
- 告诉 AI 您的完整需求
- AI 会自动规划执行步骤
- 每个步骤执行前会确认
- 可以暂停或取消执行
安全设置
权限控制
管理工具调用的权限:
[权限设置截图占位符]
设置选项:
- 总是询问:每次执行前都确认
- 仅危险操作询问:只有敏感操作才确认
- 自动执行:完全信任 AI,自动执行
敏感操作警告
以下操作会触发安全警告:
- 访问非 HTTPS 网站
- 下载文件
- 提交表单
- 访问已知的危险网站
使用技巧
明确指令
给 AI 清晰明确的指令:
| 不明确 | 明确 |
|---|---|
| "帮我找点东西" | "搜索 Python 入门教程" |
| "点一下" | "点击页面右上角的登录按钮" |
| "去那个网站" | "打开 GitHub 官网" |
分步执行
复杂任务分步骤完成:
- 先让 AI 执行第一步
- 确认结果符合预期
- 再继续下一步
- 随时可以纠正 AI 的行为
纠错机制
如果 AI 操作错误:
- 立即告诉 AI 正确的操作
- AI 会调整并重新执行
- 可以撤销上一步操作
- 使用「停止」按钮终止当前任务
常见问题
Q: 工具调用失败怎么办?
A: 可能的原因和解决方法:
- 网页加载超时:刷新页面后重试
- 元素未找到:描述更具体的元素位置
- 权限不足:检查浏览器权限设置
Q: 如何禁用工具调用?
A: 在设置中关闭:
- 打开设置对话框
- 选择「AI 设置」
- 关闭「启用工具调用」
Q: 工具调用是否安全?
A: Mindra 采取了多重安全措施:
- 敏感操作需要用户确认
- 恶意网站会被拦截
- 所有操作都可撤销
- 不会自动提交表单或下载文件