科学・IＴ・登山の話題
投稿日：2018年10月29日 更新日：
RoboBrowserを利用していると通常のブラウザでリクエストした時とは異なりエラーがページが返ってくることが多い。
原因はいくつかあるがまず試したいのはUser-Agentの設定。
RoboBrowserを作成するときに以下のように指定する。
Browser = RoboBrowser(parser=’html.parser’,user_agent=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36′)
ではuser_agentに指定する文字列はどこから取得するか。
こちらはChromeの開発ツールを開き、ページをリクエストする。ここから[Header]->[User Agent]とたどればよい。
執筆者：admin
関連記事
Seabornを利用してデータをビジュアル化してみる。 まずは売り上げの分布図から sns.distplot(d_train[‘y’], kde=False, rug=False, bins=50) …
重回帰分析で重みを確認するには下記を利用する。 model.coef_ ただしこれだと有効桁数が分かりにくいので有効桁数を３桁にして、さらに指数を展開する。 np.set_printoptions(p …
pipインストールでエラーが出る場合 Collecting tensorflow WARNING: Retrying (Retry(total=4, connect=None, read=None, …
https://automatetheboringstuff.com/chapter11/ さてこの辺からようやく面白くなってくる。webscrapingをするにあたり、まずはブラウザをpythonか …
numpyで三角関数の数値計算をしてみる。 ここでは以下を説明する。 三角関数 逆三角関数 角度とラジアンの変換 三角関数 numpyでサイン、コサイン、タンジェントの計算をするためにはnumpy.s …