科学・IＴ・登山の話題
投稿日：2018年10月29日 更新日：
RoboBrowserを利用していると通常のブラウザでリクエストした時とは異なりエラーがページが返ってくることが多い。
原因はいくつかあるがまず試したいのはUser-Agentの設定。
RoboBrowserを作成するときに以下のように指定する。
Browser = RoboBrowser(parser=’html.parser’,user_agent=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36′)
ではuser_agentに指定する文字列はどこから取得するか。
こちらはChromeの開発ツールを開き、ページをリクエストする。ここから[Header]->[User Agent]とたどればよい。
執筆者：admin
関連記事
さて、ここまででフロー、文字列、型、ファイル等を扱い、基礎プログラミングとしては一段落できた。 今日からは後半戦にはいり、開発をするうえで実践で必要になる技術を学んでいく。 まずはデバッグからである。 …
pythonでpostgresqlを使うときに必要なモジュール
pip install psycopg2-binary Related posts:python data scientist bootcamp単回帰でデータフレームの形式を整えるタプルの操作
pip3 install virtualenv virtualenv myenv myenv/Scripts/activate Related posts:numpyで配列を抜き出す方法kaggle …
配列をリストから生成 numpyにおける配列はnp.arrayを使って生成する。最も基本となる方法はnp.arrayに引数としてリストを渡してやる方法である。 まずは整数の配列を生成してみる。 pri …
ここでは以下を説明する。 複数のグラフを表示する2つの方法 サブプロットのグラフを整形 複数のグラフを表示する 複数のグラフを表示するためには二通りの方法がある。 subplots()を使ってあらかじ …