Python

【Python】リストから空白のものを取り除く

removed_space_list = [t for t in include_space_list if t]

【Kerasエラー】Your generator is NOT thread-safe.Keras requires a thread-safe generator when`use_multiprocessing=False, workers > 1`.For more information see issue #1638.

環境 Ubuntu: 16.04 Python: 3.6 Tensorflow: 1.9.0 Keras: 2.2.0 NVIDIA Driver: 410.72 CUDA: 10.0 エラー内容 GCPで学習していたら、他のサーバでは出なかったエラーに遭遇した。 Epoch1の重みを保存した後にEpoch2〜38に以下のエラーが一気に出力され、E…

【keras】weightの中身をみるために「RuntimeError: maximum recursion depth exceeded」と「RecursionError: cannot set the recursion limit the limit is too low」を解決

やりたいこと 画像補完のプログラムを作成しているが、学習によって作成されたweightの中にnanが混ざり込んでいてうまく画像が生成されず真っ黒の画像が出てきてしまう。 そこでweight(h5ファイル)の中身を見てどこがnanになっているか確認したい。 方針1:g…

【Python】リストから空白を削除しようとするとオブジェクトが返される

空白を削除しようとしてもオブジェクトが出力される 対象とするのは以下のようなリスト。 最初と最後の中身が空白のものを削除したい。 # ['', # 'ごま', # '原宿', # 'ごまアイス専門店GOMAYAKUKI', # '濃厚ごまスムージー', # '豆乳ベース', # 'まろやかな…

lxmlを使う時にエラー「bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?」

エラー発生 Traceback (most recent call last): File "scraping.py", line 19, in <module> soup = BeautifulSoup(r.text, 'lxml') File "/home/ubuntu/anaconda3/envs/scraping-flyer/lib/python3.7/site-packages/bs4/__init__.py", line 198, in __init__ % ",".</module>…

keras-deeplab-v3-plusで人だけとってみる

github.com Semantic Segmentationで人をとってきたいのでこのアーキテクチャを使って人と背景を分ける。 準備 # 仮想環境の準備 $ conda create -n keras-deeplab-v3-plus $ source activate keras-deeplab-v3-plus # モジュールインストール $ conda insta…

シェルでは使えているPythonモジュールをJupyterNotebookで実行すると「ImportError: No module named module_name」が出てくる

問題点 はじめてPytorchを使った際に以下のようなエラーが。 ImportError: No module named torch pip installする $ pip install torch Requirement already satisfied: torch in /home/ubuntu/miniconda3/lib/python3.6/site-packages (0.4.1) 既にインス…

実行したファイルの残り時間をターミナルに表示する

機械学習のプログラムを書き始めると、大きいファイルを扱う機会が増えた。 そこでターミナルに残り時間を表示させたいと思ったので、 h5ファイルを作成する関数を例にしてメモっておく。 def create_h5(h5_fpath, image_fpaths, better_model, num): start_…

JupyterNotebookでファイルがリロードされない

リロードさせる方法 1. importlib.reload import load_weights import model importlib.reload(load_weights) importlib.reload(model) 2. autoreload 2 以下をJupyterNotebookに貼り付ける。 % load_ext autoreload # 外部のモジュールautoreloadをロード %…

Kerasで「AttributeError: 'NoneType' object has no attribute HOGEHOGE」

エラー Kerasで重みを読み込む時に以下のエラー。 model_50 = model_50.load_weights('/host/weights/weights.013-7.248.hdf5') # AttributeError: 'NoneType' object has no attribute 'load_weights' NoneType。。。 print(type(model_50)) # <class 'NoneType'> 解決策 代入</class>…

Kerasで「ImportError: Could not import PIL.Image. The use of `array_to_img` requires PIL.」とPILのエラーが出る

エラー ローカルではこのエラー見たことなかったんだけど、サーバ側で実行したらPILに関するエラーが。 Kerasで以下のようにimportしてるのにだめなのか…。 from keras.preprocessing.image import ( ImageDataGenerator, load_img, img_to_array, array_to_…

KerasでGPUを使う際に「could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR Segmentation fault (core dumped)」が発生

GPUが割り当てられない import cv2 import numpy as np import glob import os : import keras.callbacks import keras.backend.tensorflow_backend as KTF import tensorflow as tf old_session = KTF.get_session() session = tf.Session('') KTF.set_sess…

UbuntuサーバでOpenCVで動画ファイルが扱えない→sk-videoを使ってみるけどエラーが出る

動画ファイルがUbuntuサーバで扱えない サーバ内でプログラムを動かそうとした際に以下のようなエラーと遭遇。 username@ubuntu:~/Projects/keras-datagenerator$ python datagen.py /home/username/miniconda3/lib/python3.6/site-packages/h5py/__init__.p…

【自分用メモ】OpenCVで輪郭を切り抜くときに参考にしたサイト一覧

輪郭抽出 配列操作 — opencv 2.2 documentation Canny法によるエッジ検出 — OpenCV-Python Tutorials 1 documentation 画像の勾配 — OpenCV-Python Tutorials 1 documentation モルフォロジー変換 — OpenCV-Python Tutorials 1 documentation ー 輪郭: 初めの…

Pythonのloggingを学習するときに参考にしたサイト3つ

メモ python.keicode.com Pythonでロギングを学ぼう - Qiita Python の logging 力を高める | CUBE SUGAR STORAGE

condaで仮想環境を構築

condaのインストール kuro-rera.hatenablog.com 上を参考にインストールしてパスを通すだけ $ export PATH=/home/ユーザ名/anaconda3/bin:$PATH condaで仮想環境構築 構築 $ conda create -n <env_name> <install module> ex) conda create -n env_name python=2.7 $ source activate </install></env_name>…

OpenCVを使って動画をフレームごとに分割→加工→Kerasで水増し→手の形を(グー・チョキ・パー)認識をした際に参考になったサイトまとめ

これ何? OpenCVを使用したアプリケーションの作成の際に参考になったサイトを自分用にメモっておく。どんなものかというと OpenCVで動画をフレーム毎に分割 トリミング、リサイズ、回転をさせ、256x256の画像に加工 Kerasを使って動画を水増し 手の形(グー…

pandas使う時に参考になったありがたきサイト

以下のリポジトリにあがっている問題を解くにあたって参考にしたサイトをまとめておいた。 github.com Styling — pandas 0.23.1 documentation 公式。Styleについて。 Visualization — pandas 0.23.1 documentation 公式。Visualizationについて Python Jupy…

Pythonのxrange(3系からは撤廃)とシーケンス型

xrangeとは Youtubeを徘徊しているとすごく面白そうなものが…! 帰ったら真似してみよう。 機械学習で日本酒をクラスタリング Part1 スクレイピング編 途中、forループでxrangeというものをみたけどrangeと何が違うのか。 Pythonで使うrangeとxrangeについて…

MacにOpenCVをインストール

opencv-pythonは使わない 非公式らしいのでなんかこわいので使わない。 qiita.com※ 2018年6月28日追記 Windowsはopencv-pythonでインストールしたんだけど 最初から楽してこっち使えばよかった...。Macもconda使ってたら以下で一発です…(涙 $ conda install …

言語処理100本ノック with Python【第3章】

No 日付 学んだこと 20 4/13 json、gzip 21 4/14 正規表現、re、raise 22 4/16 正規表現 www.cl.ecei.tohoku.ac.jp 第3章: 正規表現 Wikipediaのページのマークアップ記述に正規表現を適用することで,様々な情報・知識を取り出します. 20. JSONデータの読…

Pythonではじめる機械学習【2章(2.1-2.2)】

Chapter 日付 2-1 4/5 2-2 4/6 2.1 クラス分類と回帰 ・教師あり機械学習は以下の2つに大別できる ・クラス分類(classification) ・2クラス分類(binary classification) →メールのスパム判定 ・多クラス分類(multiclass classification) →1章のアイリスの品…

Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで(随時更新)

Pythonによるクローラー&スクレイピング入門 設計・開発から収集データの解析まで 今週のお題「自己紹介」 Chapter1 Wgetでスクレイピングをしてみる。WgetはHTTP/FTPを使ってサーバーからファイルをダウンロードするためのOSS。 [HTTP/HTTPSでまとめてデー…

Pythonではじめる機械学習【2章(2.3)】

Chapter 日付 2.3.1 4/6 2.3.2 4/6 2.3.3 4/12、4/13 量が多いので「2.3 教師あり機械学習アルゴリズム」は別個にする。 参考書に加えAidemyで学んだことも多かったので適宜付け足していく。Aidemyの説明は大変わかりやすかったのでお勧めします。 無料でか…

言語処理100本ノック with Python【第1章】

Djangoの勉強で少し触れた程度で、内包表記やlambdaなどのThe Python! なコードを全然書いていないので、勉強がてら言語処理100本ノックを少しずつやっていく自分用まとめ記事です。Quitaに結構記事があがっていたのでそちらをぱくり参考にしつつ、学んだ部…

自分のPython(django、機械学習)の勉強方法を記録していく(随時更新)

書くきっかけ 2月からgithubに書いたコードをあげだしたからなんとなく自分でも「やってる感」はあるし、毎日本当に少しだけど前に進んでいるとは思う。 けど、具体的に何をしたか、どんなサイトをみてどう勉強したかを記録しておいたら後から勉強する友人と…

初めてPythonでWebスクレイピングする時に役立ったサイト

バイト先で、Excelデータを作成する時に、いちいち検索して、クリックしてWebページ表示してコピペして…が面倒くさい! じゃ、Webスクレイピングとかいうもので(詳しくは知らなかった)一気に引っ張ってくればいいのでは、と思ったがやり方がわからない。 コ…