科学・IＴ・登山の話題
投稿日：2018年10月29日 更新日：
RoboBrowserを利用していると通常のブラウザでリクエストした時とは異なりエラーがページが返ってくることが多い。
原因はいくつかあるがまず試したいのはUser-Agentの設定。
RoboBrowserを作成するときに以下のように指定する。
Browser = RoboBrowser(parser=’html.parser’,user_agent=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36′)
ではuser_agentに指定する文字列はどこから取得するか。
こちらはChromeの開発ツールを開き、ページをリクエストする。ここから[Header]->[User Agent]とたどればよい。
執筆者：admin
関連記事
scikit-learnで適切なアルゴリズムを選択するためのチートシート
http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html Related posts:Python …
import sys import os from glob import glob from janome.tokenizer import Tokenizer def main(): …
生成した配列を可視化するためにはmatplotlibが利用できる。 ここでは簡単に可視化するための使い方を見てみる。 まずはnumpyとmatplolibモジュールを読み込む。以下ではnumpyはnp …
さて今回は少し趣向を変えて別のアルゴリズムを試してみる。 アルゴリズムの試し方はこちらを参考にした。 https://www.kaggle.com/omarelgabry/a-journey-thro …
さて、今回は年齢について検証する。まずこれまでは中央値を使っていたわけだ。これをもともと年齢分布と中央値を使って更新した後の年齢分布を比較する。 import numpy as nm import p …