SeleniumとはWebブラウザを自動操縦するためのライブラリだ。もともとブラウザを使って自動テストを行うためのライブラリだが、今ではWeb巡回(クローリング)からデータ抽出(スクレイピング)までいろいろな自動処理に使われている。 Seleniumで可能なのは次の ...

PythonでSeleniumとWebDriverを使ってBraveを自動操作し、BATをマイニングする方法を紹介します。 BraveのベースはChromeの元となっているChromiumですので、Chromeを自動操作する方法を少し変えるだけで簡単にできます。 Braveのバージョンを確認します。Braveブラウザの ...

PythonとSeleniumでWebサイトの自動操作をしていると、検索条件の指定やフォームの入力で「プルダウンメニュー（ドロップダウンリスト）」を操作したい場面が必ず出てきますよね。例えば、都道府県やカテゴリを選択する、といったおなじみの操作です。

PythonにはデータをWebから取得する命令がいろいろある。最も簡単なのは、Pythonに標準で用意されているurllib.requestだ。これを使うと任意のURLからデータを取得できる。しかし、最近のWebサイトは、セッションという仕組みを利用していたり、JavaScriptでページを ...