Node.jsでスクレイピング(不定期)

今回はアマゾンの公式サイトをスクレイピングしました。カテゴリの名前の抽出です。疲れてるのでこれぐらいのことしか出来てないですけどね。Pythonを使いたいけど、JavaScriptの方がしっくりきますな〜・・・。今回は、ドロップダウンメニューのカテゴリ名は抽出してないです。JSで記述されているので別の手段が必要になりそうですね。SeleniumとCasperJS,PhantomJSあたりを使えば良いのかなぁ・・・?

// Amazonのカテゴリを抽出

var client = require('cheerio-httpcli');

client.fetch('https://www.amazon.co.jp/ref=nav_logo', function(err,$,res,body) {
    var result = $('select#searchDropdownBox');

    result.each(function(idx) {
        console.log(result.eq(idx).text());
    });
});

実行結果

        すべてのカテゴリー
        Amazon デバイス
        Kindleストア 
        Prime Video
        Alexaスキル
        デジタルミュージック
        Android アプリ
        本
        洋書
        ミュージック
        クラシック
        DVD
        TVゲーム
        PCソフト
        パソコン・周辺機器
        家電&カメラ
        文房具・オフィス用品
        ホーム&キッチン
        ペット用品
        ドラッグストア
        ビューティー
        ラグジュアリービューティー
        食品・飲料・お酒
        ベビー&マタニティ
        ファッション
           レディース
           メンズ
           キッズ&ベビー
        服&ファッション小物
        シューズ&バッグ
        腕時計
        ジュエリー
        おもちゃ
        ホビー
        楽器
        スポーツ&アウトドア
        車&バイク
        DIY・工具・ガーデン
        大型家電
        クレジットカード
        ギフト券
        産業・研究開発用品
        Amazonパントリー
        Amazonアウトレット