Web Reader

使用 Defuddle 或 Jina AI 服务提取任意网页的干净文本内容。

核心能力

🚀 双引擎支持 - Defuddle (Obsidian CEO 出品) + Jina AI 自动回退
📝 干净输出 - 返回结构化 Markdown，无广告/导航
🔍 广泛支持 - Twitter/X、新闻网站、博客等
⚡ 无需配置 - 零 API key，即开即用
🛡️ 可靠容错 - 主引擎失败自动切换备用引擎

使用方法

基础用法

const { fetchContent } = require('./skills/web-reader');

// 获取任意网页内容（默认优先使用 Defuddle）
const result = await fetchContent('https://example.com/article');
console.log(result.title);
console.log(result.content);
console.log(result.source); // 'defuddle' 或 'jina'

指定引擎偏好

const webReader = require('./skills/web-reader');

// 优先使用 Jina AI
const result = await webReader.fetchContent(url, { prefer: 'jina' });

// 强制使用特定引擎
const defuddleResult = await webReader.fetchFromDefuddle(url);
const jinaResult = await webReader.fetchFromJina(url);

批量获取

const urls = [
  'https://twitter.com/user/status/123',
  'https://example.com/news/456'
];
const results = await webReader.batchFetch(urls);

支持的网站

类型	示例
社交媒体	Twitter/X, Reddit
新闻网站	NYT, WSJ (绕过付费墙)
博客	Medium, Substack
文档	GitHub, ReadTheDocs
任意网页	任何公开 URL

工作原理

Defuddle (Primary)

由 Obsidian CEO @kepano 开发
开源库：https://github.com/kepano/defuddle
在线服务：https://defuddle.md/<目标URL>
返回带 YAML frontmatter 的 Markdown

Jina AI (Fallback)

通过 https://r.jina.ai/http://<目标URL> 接口
Jina AI 抓取并提取正文
转换为 Markdown 格式

注意事项

免费服务，可能有速率限制
不适合需要 JavaScript 渲染的动态内容
私有/需要登录的内容可能无法访问
微信公众号文章通常无法访问（两种引擎都一样）