Puppeteer 入门：用 JavaScript 自动化浏览器，轻松抓取网页数据

2024/8/18 16:48:31 23 0 0 0

Puppeteer 入门：用 JavaScript 自动化浏览器，轻松抓取网页数据

在网络世界中，获取网页信息是很多任务的基础，比如数据分析、爬虫、自动化测试等等。传统的手动方式往往效率低下，而 Puppeteer 作为一款强大的工具，可以轻松实现浏览器的自动化，帮助你高效地完成各种网页操作。

什么是 Puppeteer？

Puppeteer 是一个 Node.js 库，它提供了一个高级 API 来控制 Chromium 或 Chrome 浏览器，你可以用它来做很多事情，包括:

自动化网页浏览
抓取网页内容
生成网页截图和 PDF
自动化表单提交
测试网页行为

安装 Puppeteer

首先，你需要在你的项目中安装 Puppeteer 库。使用 npm 或 yarn 命令即可:

npm install puppeteer
yarn add puppeteer

基础使用

以下是一个简单的 Puppeteer 代码示例，演示如何打开一个网页并抓取页面标题:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: false }); // 启动浏览器，headless 为 false 表示显示浏览器窗口
  const page = await browser.newPage(); // 创建一个新页面
  await page.goto('https://www.example.com'); // 打开目标网页
  const title = await page.title(); // 获取网页标题
  console.log('网页标题：', title); // 打印标题
  await browser.close(); // 关闭浏览器
})();

这段代码中，我们首先启动了一个浏览器实例，然后创建了一个新的页面，并打开目标网页。最后，我们获取页面标题并打印到控制台。

高级使用

Puppeteer 提供了丰富的 API，可以满足各种复杂需求。例如，你可以使用 page.evaluate() 方法在页面上下文中执行 JavaScript 代码，从而获取页面上的动态数据。

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();
  await page.goto('https://www.example.com');
  const content = await page.evaluate(() => {
    return document.querySelector('body').textContent; // 获取页面内容
  });
  console.log('页面内容：', content); 
  await browser.close();
})();

抓取网页数据

Puppeteer 可以帮助你轻松地抓取网页数据。你可以使用 page.$() 或 page.$$() 方法获取网页元素，然后使用 element.getProperty('value') 方法获取元素的值。

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  await page.goto('https://www.example.com');
  const titleElement = await page.$('h1'); // 获取标题元素
  const title = await titleElement.getProperty('textContent'); // 获取标题文本
  console.log('网页标题：', await title.jsonValue()); // 打印标题
  await browser.close();
})();

总结

Puppeteer 是一个强大而灵活的工具，可以帮助你自动化浏览器，轻松抓取网页数据，并完成各种网页操作。通过学习和使用 Puppeteer，你可以提高工作效率，简化工作流程，并实现更多创意。

Puppeteer 入门：用 JavaScript 自动化浏览器，轻松抓取网页数据