科学・IＴ・登山の話題
投稿日：2018年10月29日 更新日：
RoboBrowserを利用していると通常のブラウザでリクエストした時とは異なりエラーがページが返ってくることが多い。
原因はいくつかあるがまず試したいのはUser-Agentの設定。
RoboBrowserを作成するときに以下のように指定する。
Browser = RoboBrowser(parser=’html.parser’,user_agent=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36′)
ではuser_agentに指定する文字列はどこから取得するか。
こちらはChromeの開発ツールを開き、ページをリクエストする。ここから[Header]->[User Agent]とたどればよい。
執筆者：admin
関連記事
UnionFindにおけるfind()もしくはroot()はルート（グループの根）を見つける処理である。 記述方法としては２種類ある。 whileループを回す 再帰処理 それぞれについて動きを確認して …
https://automatetheboringstuff.com/chapter11/ さてこの辺からようやく面白くなってくる。webscrapingをするにあたり、まずはブラウザをpythonか …
スクレイピングをするプログラムを開発するときに対象となる項目を取得するためにselector/xpathで指定する。 Google Chromeではselector/xpath値を簡単に取得できる。 …
KaggleでTitanic tutorialにチャレンジしてみる。 Titanic: Machine Learning from Disaster https://www.kaggle.com/c/ …
インデックスとは配列に対して[]で要素を抜き出す方法である。 マニュアルは以下になる。 Indexing Indexing Routines インデックスの方法としては以下がある。 整数値を使ったイン …