機械音痴な情報系

エラーの解決方法とTips

フォルダ内のファイルをランダムにサンプリングして別のフォルダへコピーしたい

取り敢えずプログラムを動かすために、全ての画像が入っているフォルダから、 学習用、テスト用のフォルダにランダムにサンプリングして移動させたい。 find ./FROM_DIR/ | grep *.jpg | sort -R | tail -n NUM | xargs -n 1 sh -c 'cp -v $0 ./TO_DIR' コマ…

【Python】リストから空白を削除しようとするとオブジェクトが返される

空白を削除しようとしてもオブジェクトが出力される 対象とするのは以下のようなリスト。 最初と最後の中身が空白のものを削除したい。 # ['', # 'ごま', # '原宿', # 'ごまアイス専門店GOMAYAKUKI', # '濃厚ごまスムージー', # '豆乳ベース', # 'まろやかな…

【論文読み】Image Inpainting for Irregular Holes Using Partial Convolutions

Qiitaは以下から. qiita.com 面白そうな論文があったのでまとめてみました. 正直うまく訳せない部分があったり,理解に欠ける部分もあるので,指摘していただけると大変うれしく思います‍♂️ どんな論文? "Image Inpainting"とは,NVIDIAが公開した写真の…

JupyterNotebookで「Unexpected error while saving file」が発生し保存出来なくなった

JupyterNotebookで保存が出来ない ログを見てみると普段は [I 12:08:09.619 NotebookApp] ←Info:黄緑色 なのに、 [W 12:07:15.668 NotebookApp] ←Warning:オレンジ [E 12:07:15.668 NotebookApp] ←Error:赤 となっている(色は環境により異なる)。 具体的…

lxmlを使う時にエラー「bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?」

エラー発生 Traceback (most recent call last): File "scraping.py", line 19, in <module> soup = BeautifulSoup(r.text, 'lxml') File "/home/ubuntu/anaconda3/envs/scraping-flyer/lib/python3.7/site-packages/bs4/__init__.py", line 198, in __init__ % ",".</module>…

「catコマンドをリッチに!batを使う」+「zsh: correct」+「zsh: bad assignment」

batコマンドとは github.com 様々な言語に対応したリッチなcatコマンドという感じ。 以下は公式サイトから引用。 インストール $ brew install bat $ bat ViewController.swift zsh: correct 'bat' to 'at' [nyae]? 「n」とすればbatになるけどいちいち聞か…

【エラー】Jupyterで'conda' not found in path. →command not found: conda

エラー発生 jupyterを立ち上げるとブラウザに表示されるものの赤色で以下のエラーが発生。 [I 20:42:59.937 NotebookApp] Starting initial scan of virtual environments... [E 20:42:59.940 NotebookApp] 'conda' not found in path. # 赤色 はて。 conda…

zshを使用時にbyobuのウィンドウ名が現在のパスになってしまう

ウィンドウ名がリネーム出来ない 下の写真では、keras-deeplab-v3-plusにいると、ウィンドウの名前もそれと同じになってしまい、F8でリネームしようとしても直すことが出来ない。 解決策 ~/.zshrcにて以下の部分のコメントアウトをはずし、有効にする。 # Un…

【エラー】tensorflow.python.framework.errors_impl.InternalError: Failed to create session.

エラー発生 $ python test.py Using TensorFlow backend. 2018-08-27 12:36:30.830945: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AV…

JupyterNotebookを動かしているサーバが日本語化されていなくてフォルダをクリック出来ない時の対処法

フォルダがクリック出来ない scpで送ってもらったフォルダが、日本語名だったためか、JupyterNotebook上でクリックが出来なくて開けないという問題が発生した。 ファイルの最終更新日も書かれていない。 lsすると「?」で表される。 $ ls -al drwxrwxr-x 2 ub…

JupyterNotebookで実行しているPythonプログラムにGPUが割り当てられない

GPUが割り当てられない問題 ipythonだったら os.environ["CUDA_VISIBLE_DEVICES"]="0" と書いておけば割り当てることが出来たのに…。 実際は以下のように割り当てられていない。 $ nvidia-smi Sun Aug 26 18:20:39 2018 +----------------------------------…

wgetでCannot write to 'filename' (Success). → mountしたらlost+found

Dropboxからファイルをダウンロード dl=0ではなくdl=1にするとwgetで持ってこれるという知見を得た。 $ wget "https://www.dropbox.com/sh/hogehoge/fugafuga?dl=1" -O pose.zip : : HTTP request sent, awaiting response... 200 OK Length: unspecified [a…

scpコマンドでサーバのファイルをコピーする

scpの使い方 scp [オプション]転送元パス 転送先パス 尚、[転送元パス]と[転送先パス]は、ログイン名@ホスト名ってな感じで。 $ scp -rP 9999 /home/keras-deeplab-v3-plus username@12.34.56.789:/home/keras-deeplab-v3-plus コマンド 内容 r 再帰的にコピ…

sshfsで「read: Connection reset by peer」

sshfsコマンドでマウント 【エラー】read: Connection reset by peer # username確認 $ whoami # IPアドレス確認 $ ip route get 8.8.8.8 | awk '{print $NF; exit}' sshfsでマウントしようとする。 $ sshfs <username>@<IP address>:/home/ubuntu/Code/keras-deeplab-v3-plus /hos</ip></username>…

keras-deeplab-v3-plusで人だけとってみる

github.com Semantic Segmentationで人をとってきたいのでこのアーキテクチャを使って人と背景を分ける。 準備 # 仮想環境の準備 $ conda create -n keras-deeplab-v3-plus $ source activate keras-deeplab-v3-plus # モジュールインストール $ conda insta…

シェルでは使えているPythonモジュールをJupyterNotebookで実行すると「ImportError: No module named module_name」が出てくる

問題点 はじめてPytorchを使った際に以下のようなエラーが。 ImportError: No module named torch pip installする $ pip install torch Requirement already satisfied: torch in /home/ubuntu/miniconda3/lib/python3.6/site-packages (0.4.1) 既にインス…

実行したファイルの残り時間をターミナルに表示する

機械学習のプログラムを書き始めると、大きいファイルを扱う機会が増えた。 そこでターミナルに残り時間を表示させたいと思ったので、 h5ファイルを作成する関数を例にしてメモっておく。 def create_h5(h5_fpath, image_fpaths, better_model, num): start_…

JupyterNotebookでファイルがリロードされない

リロードさせる方法 1. importlib.reload import load_weights import model importlib.reload(load_weights) importlib.reload(model) 2. autoreload 2 以下をJupyterNotebookに貼り付ける。 % load_ext autoreload # 外部のモジュールautoreloadをロード %…

Kerasで「AttributeError: 'NoneType' object has no attribute HOGEHOGE」

エラー Kerasで重みを読み込む時に以下のエラー。 model_50 = model_50.load_weights('/host/weights/weights.013-7.248.hdf5') # AttributeError: 'NoneType' object has no attribute 'load_weights' NoneType。。。 print(type(model_50)) # <class 'NoneType'> 解決策 代入</class>…

Kerasで「ImportError: Could not import PIL.Image. The use of `array_to_img` requires PIL.」とPILのエラーが出る

エラー ローカルではこのエラー見たことなかったんだけど、サーバ側で実行したらPILに関するエラーが。 Kerasで以下のようにimportしてるのにだめなのか…。 from keras.preprocessing.image import ( ImageDataGenerator, load_img, img_to_array, array_to_…

AWSインスタンスをもらった時にやったこと

AWSインスタンスを割り当てられて、諸々の設定はやってあるので、それ以降自分用にやったことをメモっておく。 miniconda Miniconda — Conda 上のサイトからインストール。 $ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh b…

【Keras】超個人的な遭遇したエラーと解決法メモ

結論 どこで何を出力し、どんな役割を担っているのか一つずつ理解しながら進める。 TnsorBoardにグラフが描画されない バッチサイズは適当か確認する。 バッチサイズが64なのに、テスト段階なので、validationのデータ数を10にしていて検証されない→グラフが…

TensorBoardを表示させた際に「locale.Error: unsupported locale setting」

問題 locale.Error: unsupported locale setting 解決策 export LC_ALL="en_US.UTF-8" export LC_CTYPE="en_US.UTF-8" sudo dpkg-reconfigure locales sudoの後にピンク色の画面が立ち上がる。 一番上のAllを選択。 [ ]の中に入っているアイコンが赤色の四角…

KerasでGPUを使う際に「could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR Segmentation fault (core dumped)」が発生

GPUが割り当てられない import cv2 import numpy as np import glob import os : import keras.callbacks import keras.backend.tensorflow_backend as KTF import tensorflow as tf old_session = KTF.get_session() session = tf.Session('') KTF.set_sess…

コミットメッセージまとめofまとめ

コミットメッセージ、普段からきちんと書きたいけど、英語での表現を忘れがちなので自分用にリンクメモ。 Gitのコミットメッセージの書き方 - Qiita 【今日からできる】コミットメッセージに 「プレフィックス」 をつけるだけで、開発効率が上がった話 - Qii…

実例を元にREADMEの書き方を学ぶ

参考 リポジトリ faressoft / terminalizer Webサイト わかりやすいREADME.mdを書く - SOTA わかりやすい README 駆動開発 - Qiita

ディレクトリ内、またはサブディレクトリ毎のファイルの数を取得する方法

動画から画像を作成したり、水増しを行った時に各ディレクトリのファイルの数を一気に取得出来るので、特に2つ目のはめっちゃ便利。 ディレクトリ内のファイル数を取得 # 方法1 $ ls -U1 | wc -l # 方法2(1より遅い) $ find . -type f | wc -l lsのオプショ…

UbuntuサーバでOpenCVで動画ファイルが扱えない→sk-videoを使ってみるけどエラーが出る

動画ファイルがUbuntuサーバで扱えない サーバ内でプログラムを動かそうとした際に以下のようなエラーと遭遇。 username@ubuntu:~/Projects/keras-datagenerator$ python datagen.py /home/username/miniconda3/lib/python3.6/site-packages/h5py/__init__.p…

【自分用メモ】AtomをMarkdownエディタにするときに役立ったサイト

ウインドウを分割したプレビューはctrl + shift + M。 PC買い替えたときにまだAtom使ってたらここに書いてあるプラグインをインストールしておけばOK。 qiita.com www.kotalog.net

【自分用メモ】gitを操作するときに参考になったサイトまとめ

git

システムそのもの 配管を通ってGitを理解してみる - Tbpgr Blog commitメッセージ修正 Gitのコミットメッセージを後から変更する方法をわかりやすく書いてみた | 株式会社グランフェアズ git commit --amendでコミットメッセージを修正 commitとissueの紐づ…