スクレイピング
完全無料ツールまとめ
>
ツールテクニック
>
スクレイピングといってもいろいろな種類があります
PHPでいうSimple HTML DOM Parserはヘッドレスのスクレイピング
PythonのSeleniumで偽ブラウザで動かすスクレイピング
Chromeの拡張を利用したJavascriptなどさまざまです
それぞれのメリットデメリットを比較検討していきます。
PHPのデメリット
JSでレンダリングされるとスクレイピングは無理
Chromeの拡張ScriptAutoRunnerのデメリット
SQLでデータ操作できない
コマンドから動かすのは無理
初めの動き出しでChromeのブラウザを空けて拡張機能のJSスクリプトを実行までを手動で行う必要がある
SQLでDB操作ができないのはそのDBのエンドポイント
逆にChrome拡張の最大のメリットは
ブラウザと同じ認識なので限りなく本物のブラウザとしてサーバー側で認識されます。
なのでCAPCHAなどの怪しいブラウザと疑われることがないことです。
| セキュリティ 突破力 |
|
| Simple HTML DOM Parser | × |
| Selenium | △ |
| Chromeの拡張 ScriptAutoRunner |
〇 |
登録日：
更新日：
by
プログラマーこまつ