機械音痴な情報系

エラーの解決方法とTips

スクレイピング

Seleniumでスクレイピングするときに「is not clickable at point (772, 590). Other element would receive the click:」的なものが出る問題

エラー発生 Seleniumでスクレイピングをする際にheadlessのオプションを追加すると以下のようなエラーが出てくる。 product_src_url_and_img_url_hash[:src_url]: https://~~. Error: unknown error: Element <a href="#" id="ms_001" style="outline:none;" title="...(M)">36</a> is not clickable at point (772, 590). Othe…

【自分用メモ】RubyでNokogiriを使ってスクレイピングする時に役に立ったサイトまとめ

大体ここらへんを見れば書き方がわかった。 クローラ作成に必須!XPATHの記法まとめ liの任意の番目の要素を取得する方法とかも載っていて◯ Nokogiriを使用したクローラーめも メソッド一覧が載っていて◯ RubyのNokogiriを使ってサイトをスクレイピングする …

lxmlを使う時にエラー「bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?」

エラー発生 Traceback (most recent call last): File "scraping.py", line 19, in <module> soup = BeautifulSoup(r.text, 'lxml') File "/home/ubuntu/anaconda3/envs/scraping-flyer/lib/python3.7/site-packages/bs4/__init__.py", line 198, in __init__ % ",".</module>…

Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで(随時更新)

Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで 今週のお題「自己紹介」 Chapter1 Wgetでスクレイピングをしてみる。WgetはHTTP/FTPを使ってサーバーからファイルをダウンロードするためのOSS。 [HTTP/HTTPSでまとめてデー…