网络搜索与网页内容获取

功能说明

此技能提供全面的网络搜索和网页内容获取能力。

可用工具

1. WebFetch (OpenClaw 内置)

• 功能: 获取网页内容
• 使用场景: 获取特定网页的内容

2. Tavily Skill (AI 优化搜索)

• 位置: ~/clawd/skills/tavily/
• 功能: AI 优化的网络搜索
• 命令: ~/clawd/skills/tavily/scripts/tavily.sh

Tavily 用法

# 基础搜索
~/clawd/skills/tavily/scripts/tavily.sh search <query> [max_results]

# 深度搜索
~/clawd/skills/tavily/scripts/tavily.sh search <query> --deep

# 搜索并提取
~/clawd/skills/tavily/scripts/tavily.sh extract <query> [max_results]

3. Firecrawl Skill (专业抓取)

• 位置: ~/clawd/skills/firecrawl/
• 功能: 专业网页抓取和数据提取
• 命令: ~/clawd/skills/firecrawl/scripts/firecrawl.sh

Firecrawl 用法

# 抓取单个网页
~/clawd/skills/firecrawl/scripts/firecrawl.sh scrape <url> [format]

# 搜索并抓取
~/clawd/skills/firecrawl/scripts/firecrawl.sh search <query> [limit]

# 批量爬取
~/clawd/skills/firecrawl/scripts/firecrawl.sh crawl <url> [max_pages]

使用场景

何时使用 Tavily

• 搜索互联网信息
• 获取实时数据
• 需要 AI 优化的搜索结果

何时使用 WebFetch

• 简单获取网页内容
• 快速查看页面信息

何时使用 Firecrawl

• 复杂网页抓取
• 结构化数据提取
• 批量网站爬取

示例

搜索 Polymarket 信息 (Tavily)

~/clawd/skills/tavily/scripts/tavily.sh search "Polymarket Fed decision March 2026" 5

抓取特定页面 (Firecrawl)

~/clawd/skills/firecrawl/scripts/firecrawl.sh scrape "https://polymarket.com/event/fed-decision-in-march-885"

网络搜索与网页内容获取

功能说明

此技能提供全面的网络搜索和网页内容获取能力，包括：

• 互联网搜索（新闻、信息、数据）
• 网页内容抓取和解析
• 实时数据查询
• 多源搜索结果整合

可用工具

1. OpenClaw 内置 WebSearch

• 功能: 互联网搜索
• 使用场景: 搜索新闻、信息、实时数据
• 触发: 用户问需要实时信息的问题时

2. OpenClaw 内置 WebFetch

• 功能: 获取网页内容
• 使用场景: 获取特定网页的内容
• 触发: 用户提供 URL 并要求获取内容时

3. Firecrawl MCP

• 功能: 专业网页抓取和数据提取
• 工具: mcp__firecrawl__scrape, mcp__firecrawl__crawl, mcp__firecrawl__search
• 使用场景: 复杂网页抓取、结构化数据提取、批量爬取
• 优势: 支持复杂网页、动态内容、结构化输出

使用场景

何时使用 WebSearch

• "搜索最新的 AI 新闻"
• "查找 Polymarket 最新赔率"
• "今天的天气怎么样"
• "某公司的最新股价"

何时使用 WebFetch

• "获取这个网页的内容"
• "读取这个 URL 的内容"
• "这个页面说了什么"

何时使用 Firecrawl MCP

• "抓取这个网站的所有产品信息"
• "从这个网页提取结构化数据"
• "爬取这个网站的多个页面"

工作流程

1. 分析需求: 确定需要搜索还是抓取
2. 选择工具:
   • 简单搜索 → WebSearch
   • 单页抓取 → WebFetch 或 mcp__firecrawl__scrape
   • 复杂抓取 → mcp__firecrawl__crawl
3. 执行操作: 调用相应工具
4. 整合结果: 将搜索结果整合到回答中

示例

搜索信息

用户: "搜索一下最新的 AI 新闻"
操作: 使用 WebSearch 搜索 "AI news latest"

获取网页内容

用户: "获取 https://example.com 的内容"
操作: 使用 WebFetch 或 mcp__firecrawl__scrape

结构化数据提取

用户: "从这个网页提取所有产品价格"
操作: 使用 mcp__firecrawl__scrape 并指定提取格式

注意事项

• 搜索结果可能包含过时或不准确的信息，需要验证
• 网页抓取需要遵守网站的 robots.txt 和使用条款
• 对于付费内容或需要登录的页面，可能无法直接获取
• 大量抓取可能触发反爬虫机制