978-4774183671
「Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド―」
技術 lxmlを使ってみる
とりあえず動かしてみる
>>> html = lxml.html.fromstring("""
... <html>
... <head><title>ていちゅらのテストページ&l...
技術 urllib サンプル
Forbiddenに対応させたかった
HTTPステータスコードが
403:Forbidden:閲覧禁止だった場合、
ユーザーエージェントを偽装してアクセスするサンプル
#!/usr/bin/env python
# encodin...
技術 lxml cssselect beautifulsoup4 インスコ
スクレイピングに使うパッケージ類を入れる
lxmlについて
lxmlとは、Python で xml や html を扱うためのライブラリ。
libxml2 と libxslt を使ったC拡張ライブラリで、とにかく早いらしい。
l...
技術 memo-2018_1125_1611
Sessionオブジェクトを使ったクロール
複数のページをクロールするならSessionオブジェクトを使う。
r'にリクエストを送る場合TCPコネクション確率時に処理される、
暗号化(TLS/SSLハンドシェイク)の負荷を軽減してあげられ...