技術 lxmlを使ってみる
とりあえず動かしてみる
>>> html = lxml.html.fromstring("""
... <html>
... <head><title>ていちゅらのテストページ&l...
参考書
技術 技術 urllib サンプル
Forbiddenに対応させたかった
HTTPステータスコードが
403:Forbidden:閲覧禁止だった場合、
ユーザーエージェントを偽装してアクセスするサンプル
#!/usr/bin/env python
# encodin...
技術 lxml cssselect beautifulsoup4 インスコ
スクレイピングに使うパッケージ類を入れる
lxmlについて
lxmlとは、Python で xml や html を扱うためのライブラリ。
libxml2 と libxslt を使ったC拡張ライブラリで、とにかく早いらしい。
l...
技術 memo-2018_1125_1611
Sessionオブジェクトを使ったクロール
複数のページをクロールするならSessionオブジェクトを使う。
r'にリクエストを送る場合TCPコネクション確率時に処理される、
暗号化(TLS/SSLハンドシェイク)の負荷を軽減してあげられ...
技術 独プロ読破した
基本情報後の1か月読み切りに成功
Pythonを学ぶ本ではなく、知っていることの復習って感じで、
できることがたくさん増えた訳ではないけど、読んで良かったと思った。
プログラマーとして仕事をしていく上で知っておくべきこと
が...