科学・IＴ・登山の話題
投稿日：2018年10月29日 更新日：
RoboBrowserを利用していると通常のブラウザでリクエストした時とは異なりエラーがページが返ってくることが多い。
原因はいくつかあるがまず試したいのはUser-Agentの設定。
RoboBrowserを作成するときに以下のように指定する。
Browser = RoboBrowser(parser=’html.parser’,user_agent=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36′)
ではuser_agentに指定する文字列はどこから取得するか。
こちらはChromeの開発ツールを開き、ページをリクエストする。ここから[Header]->[User Agent]とたどればよい。
執筆者：admin
関連記事
まずは肩慣らし print(‘Hello world!’) print(‘What is your name?’) # ask for their na …
インストールガイドはこちら https://doc.scrapy.org/en/latest/intro/install.html#intro-install anacondaにインストールする co …
スクレイピングをするプログラムを開発するときに対象となる項目を取得するためにselector/xpathで指定する。 Google Chromeではselector/xpath値を簡単に取得できる。 …
condaで環境を作るとjupyter notebookはインストールされていない。 この場合には個別にjupyterをインストールすればよい。 conda install jupyte …
pyperclipはpip3経由でインストールする。まずはpip3のインストールから。 https://bootstrap.pypa.io/get-pip.pyからget-pip.pyをダウンロードし …