科学・IＴ・登山の話題
投稿日：2018年10月29日 更新日：
RoboBrowserを利用していると通常のブラウザでリクエストした時とは異なりエラーがページが返ってくることが多い。
原因はいくつかあるがまず試したいのはUser-Agentの設定。
RoboBrowserを作成するときに以下のように指定する。
Browser = RoboBrowser(parser=’html.parser’,user_agent=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36′)
ではuser_agentに指定する文字列はどこから取得するか。
こちらはChromeの開発ツールを開き、ページをリクエストする。ここから[Header]->[User Agent]とたどればよい。
執筆者：admin
関連記事
タイタニックデータでEDAを実施する。 まずはライブラリの読み込み import pandas as pd import numpy as np import matplotlib.pyplot as …
matplotlib.pyplot.plot()関数では線の形式を簡単に変えることができる。 ここでは以下を説明する。 線種別、色、太さを指定 線のマーカーを指定 線種別、色、太さを指定 線種別、色、 …
numpy.empty()を使うと要素が初期化されていない配列を生成できる。要素に入る値はその時により変わるので必ず初期化後には明示的に値を設定する必要がある。 numpy.empty print(n …
相関の概要を見てみる。これによりどの変数を利用して回帰するかを考える。 sns.heatmap(d_train_w.corr(),cmap=’coolwarm’) Related posts:pyth …
ファミリーサイズを追加してみる。 ソースはこちらを参照した。 https://www.kaggle.com/lperez/titanic-a-deeper-look-on-family-size 主要 …