T0000013_LesserScrapingを搭載したスクレイピングツールを使用する時の注意点

LesserScrapingを搭載したスクレイピングツールを使用する時の注意点 トラブルシューティング

このページについて

PCへのインストールなしでWebスクレイピングをすることができるようになるExcelVBA(マクロ)のクラスモジュール「LesserScraping」を搭載したツール使用時の注意点について説明をします。開発者により独自の改造を加えられている場合は、このページの内容と異なる動作となる可能性ありますので開発者へお問い合わせください。

①作業フォルダが自動的に作成されます

マクロの初回実行時には、ユーザーフォルダ直下(C:\Users\≪ユーザー名≫)に「LesserScraping」というフォルダが自動的に作成されます。ツールを削除する場合は、このフォルダも不要となるので併せて削除するようにしましょう。フォルダの内訳は以下の通りです。

browser

「LesserScraping」によるWebスクレイピングでは、普段みなさんが使用しているGoogleChrome(以下chrome)とは別のプロファイルのchromeを新規に作成して使用します。このフォルダにはスクレイピング用のchromeのショートカットが保存されます。カッコ内の意味は「プロファイル名:使用するポート番号」です。

driver

Webスクレイピングを実現するためにはブラウザのバージョンに合わせたWebドライバーが必要です。ここにはchrome用のWebドライバーであるchromedriverが保存されます。「LesserScraping」のデフォルト設定では、chromeのバージョンに合わせたchromedriver自動的にダウンロードされます。ファイル名の「_」以降の数字の並びはchromedriverのバージョンです。※chromeのバージョンではありません。

profile

新規プロファイル用のフォルダです。chromeが使用する作業用フォルダで「LesserScraping」はこの中身を編集しません。ブラウザに保存したお気に入りや、ログイン情報等が格納されています。

②マクロと同じ階層にchromeのショートカットが作成されます

マクロの初回実行時には、スクレイピング用にchromeの新規プロファイルが作成されます。このchromeへのショートカットがマクロファイルが保存されているのと同じ階層に作成されます。スクレイピング用にログイン情報等の保存が必要な場合は、このショートカットを使用します。

③マクロの初回実行時にはchromeの初回起動画面が立ち上がります

マクロの初回実行時には、chromeの初回起動画面が立ち上がります。chromeのバージョンによって挙動は異なりますがここでは執筆時点(2024/10/04)の「129.0.6668.90」での挙動について説明します。初回起動状態のchromeでのスクレイピングは一部自動操作の指示が反映しないことがあります。

初回起動時の画面の例

初回起動時の画面では下記の通り、アドレスバーなどがありません。マクロで初回実行時用の制御がされていない場合、この状態のままスクレイピングが続行されます。この画面に対するマクロからの操作は一部機能がうまく動作しません。

プライバシー強化についての通知画面

初回起動画面でchromeへのログイン有無を選択するかもしくは初回起動画面を閉じたときに、下記のようなプライバシー強化についての通知画面が表示されます。この画面では「理解した」ボタンを押さない限り、なんの操作も受け付けられません。

上記画面操作後、デスクトップにchromeのショートカットが作成されます。必要なければ削除してしまっても問題ありません。

業務用PCでスクレイピングするなら「LesserScraping」

業務用PCでExcelVBA(マクロ)からWebスクレイピングをしようとすると「Selenium Basic」の導入でつまずく方は多いです。当サイトでは劣化版Selenium Basicと呼べる「Lesser Scraping」を開発し無償で公開しています。

 

Comment