開(kāi)始！看看您是否可以自己完成此任務(wù)。與我們剛創(chuàng)建的上述程序非常相似，如果卡住，請(qǐng)向下滾動(dòng)…
GO! See if you can accomplish this on your own. It’s very similar to the above program we just created. Scroll down if you get stuck…

提示：
此挑戰(zhàn)與上一個(gè)示例之間的主要區(qū)別是需要遍歷大量結(jié)果。您可以按照以下方法設(shè)置代碼來(lái)做到這一點(diǎn)：

const result = await page.evaluate(() => {
  let data = []; // 創(chuàng)建一個(gè)空數(shù)組
  let elements = document.querySelectorAll('xxx'); // 選擇全部   
    // 遍歷每一個(gè)產(chǎn)品
    // 選擇標(biāo)題
    // 選擇價(jià)格
    data.push({title, price}); // 將數(shù)據(jù)放到數(shù)組里, 返回?cái)?shù)據(jù)； 
    // 返回?cái)?shù)據(jù)數(shù)組
});

如果您不明白，沒(méi)事！這是一個(gè)棘手的問(wèn)題…… 這是一種可能的解決方案。在以后的文章中，我將深入研究此代碼及其工作方式，我們還將介紹更高級(jí)的抓取技術(shù)。如果您想收到通知，請(qǐng)務(wù)必 在此處輸入您的電子郵件 。

方案：

const puppeteer = require('puppeteer');

let scrape = async () => {
    const browser = await puppeteer.launch({headless: false});
    const page = await browser.newPage();

    await page.goto('http://books.toscrape.com/');

    const result = await page.evaluate(() => {
        let data = []; // 創(chuàng)建一個(gè)空數(shù)組, 用來(lái)存儲(chǔ)數(shù)據(jù)
        let elements = document.querySelectorAll('.product_pod'); // 選擇所有產(chǎn)品

        for (var element of elements){ // 遍歷每個(gè)產(chǎn)品
            let title = element.childNodes[5].innerText; // 選擇標(biāo)題
            let price = element.childNodes[7].children[0].innerText; // 選擇價(jià)格

            data.push({title, price}); // 將對(duì)象放進(jìn)數(shù)組 data 
        }

        return data; // 返回?cái)?shù)組 data
    });

    browser.close();
    return result; //  返回?cái)?shù)據(jù)
};

scrape().then((value) => {
    console.log(value); // 成功!
});

結(jié)束語(yǔ)：

感謝您的閱讀！

英文原文地址：https://codeburst.io/a-guide-to-automating-scraping-the-web-with-javascript-chrome-puppeteer-node-js-b18efb9e9921

更多編程相關(guān)知識(shí)，請(qǐng)?jiān)L問(wèn)：編程入門??！

更多關(guān)于云服務(wù)器，域名注冊(cè)，虛擬主機(jī)的問(wèn)題，請(qǐng)?jiān)L問(wèn)西部數(shù)碼官網(wǎng)：m.ps-sw.cn





猜你還會(huì)喜歡下面的內(nèi)容

• 做一個(gè)獨(dú)立站需要多少錢
• 西部數(shù)碼怎樣搶注域名
• B2C 電子商務(wù)網(wǎng)站如何做推廣和優(yōu)化
• 網(wǎng)站推廣增加外鏈最好的方法
• 新手站長(zhǎng)淺談：如何在線提升產(chǎn)品轉(zhuǎn)化率
• 網(wǎng)站策劃：九大思維理念助你策劃能力提升
• 如何高效輸出移動(dòng)app產(chǎn)品原型？
• 為什么說(shuō)產(chǎn)品思考是進(jìn)行用戶體驗(yàn)設(shè)計(jì)時(shí)所不可或缺的？
• 六套 App：構(gòu)建我的產(chǎn)品設(shè)計(jì)工作流
• 如果Vine模式重來(lái)，大概就是Biu這個(gè)樣子
• 新手入門：如何做需求分析
• 產(chǎn)品狗的日常：如何更好的去分解功能點(diǎn)
• 簡(jiǎn)單明了丨如何寫出好的PRD
• 產(chǎn)品必修課——輕松搞定UML
• 如果你是個(gè)苦逼的App測(cè)試人員，這款產(chǎn)品或許能拯救你
• 手把手教你制作實(shí)用美觀的交互設(shè)計(jì)文檔

熱門標(biāo)簽

其他問(wèn)題云服務(wù)器問(wèn)題域名及賬戶問(wèn)題企業(yè)郵局市場(chǎng)咨詢云服務(wù)器云建站/云站群/小程序虛擬主機(jī)網(wǎng)絡(luò)知識(shí)企業(yè)郵箱域名注冊(cè)域名備案域名商標(biāo)注冊(cè)云主機(jī)更多標(biāo)簽...

大家感興趣的內(nèi)容