ちょいメモ

【自分用メモ】gitで色々詰まったときにみる

自分の.gitconfig github.com 取り消す系 直前のcommitをやり直す $ git add -A $ git commit --amend -m "Commit message" git commitをやり直しする&取り消しする(「git commit --amend」と「git reset」) addを取り消す $ git reset HEAD <FILENAME> git add の取</filename>…

【自分用メモ】MySQLのエラー色々「ERROR 1045」「ERROR 2002 」

エラーと攻略方法 雑にメモ。 $ mysql -u root -p Enter password: ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) MySQLを停止 $ sudo mysql.server stop $ mysql -u root -p Enter password: ERROR 2002 (HY000): …

【自分用メモ】利用規約を作成する時に参考にしたサイト

テンプレート 【ひな形付】web・アプリ利用規約の書き方と9つのポイントを解説 汎用的なテンプレートの他、にSNS、ECサイト等、種類にテンプレートがあってすごく役立った(DL可)。説明も丁寧で◯ 利用規約 価格.comサイト利用規約 - 価格.com ログインしない…

ssh接続の際に「The authenticity of host [XX....] can't be established.」が発生

問題点 sshでサーバに接続する際に以下のようなエラー文が発生 The authenticity of host '[XX.XX.XX.XX]:XX [XX.XX.XX.XX]:XX' can't be established. ECDSA key fingerprint is SHA256:hogehogehogehogehogehogehogehogehogehogheog. Are you sure you wan…

フォルダ内のファイルをランダムにサンプリングして別のフォルダへコピーしたい

取り敢えずプログラムを動かすために、全ての画像が入っているフォルダから、 学習用、テスト用のフォルダにランダムにサンプリングして移動させたい。 find ./FROM_DIR/ | grep *.jpg | sort -R | tail -n NUM | xargs -n 1 sh -c 'cp -v $0 ./TO_DIR' コマ…

【Python】リストから空白を削除しようとするとオブジェクトが返される

空白を削除しようとしてもオブジェクトが出力される 対象とするのは以下のようなリスト。 最初と最後の中身が空白のものを削除したい。 # ['', # 'ごま', # '原宿', # 'ごまアイス専門店GOMAYAKUKI', # '濃厚ごまスムージー', # '豆乳ベース', # 'まろやかな…

lxmlを使う時にエラー「bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?」

エラー発生 Traceback (most recent call last): File "scraping.py", line 19, in <module> soup = BeautifulSoup(r.text, 'lxml') File "/home/ubuntu/anaconda3/envs/scraping-flyer/lib/python3.7/site-packages/bs4/__init__.py", line 198, in __init__ % ",".</module>…

「catコマンドをリッチに!batを使う」+「zsh: correct」+「zsh: bad assignment」

batコマンドとは github.com 様々な言語に対応したリッチなcatコマンドという感じ。 以下は公式サイトから引用。 インストール $ brew install bat $ bat ViewController.swift zsh: correct 'bat' to 'at' [nyae]? 「n」とすればbatになるけどいちいち聞か…

zshを使用時にbyobuのウィンドウ名が現在のパスになってしまう

ウィンドウ名がリネーム出来ない 下の写真では、keras-deeplab-v3-plusにいると、ウィンドウの名前もそれと同じになってしまい、F8でリネームしようとしても直すことが出来ない。 解決策 ~/.zshrcにて以下の部分のコメントアウトをはずし、有効にする。 # Un…

【エラー】tensorflow.python.framework.errors_impl.InternalError: Failed to create session.

エラー発生 $ python test.py Using TensorFlow backend. 2018-08-27 12:36:30.830945: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AV…

JupyterNotebookを動かしているサーバが日本語化されていなくてフォルダをクリック出来ない時の対処法

フォルダがクリック出来ない scpで送ってもらったフォルダが、日本語名だったためか、JupyterNotebook上でクリックが出来なくて開けないという問題が発生した。 ファイルの最終更新日も書かれていない。 lsすると「?」で表される。 $ ls -al drwxrwxr-x 2 ub…

wgetでCannot write to 'filename' (Success). → mountしたらlost+found

Dropboxからファイルをダウンロード dl=0ではなくdl=1にするとwgetで持ってこれるという知見を得た。 $ wget "https://www.dropbox.com/sh/hogehoge/fugafuga?dl=1" -O pose.zip : : HTTP request sent, awaiting response... 200 OK Length: unspecified [a…

scpコマンドでサーバのファイルをコピーする

scpの使い方 scp [オプション]転送元パス 転送先パス 尚、[転送元パス]と[転送先パス]は、ログイン名@ホスト名ってな感じで。 $ scp -rP 9999 /home/keras-deeplab-v3-plus username@12.34.56.789:/home/keras-deeplab-v3-plus コマンド 内容 r 再帰的にコピ…

sshfsで「read: Connection reset by peer」

sshfsコマンドでマウント 【エラー】read: Connection reset by peer # username確認 $ whoami # IPアドレス確認 $ ip route get 8.8.8.8 | awk '{print $NF; exit}' sshfsでマウントしようとする。 $ sshfs <username>@<IP address>:/home/ubuntu/Code/keras-deeplab-v3-plus /hos</ip></username>…

シェルでは使えているPythonモジュールをJupyterNotebookで実行すると「ImportError: No module named module_name」が出てくる

問題点 はじめてPytorchを使った際に以下のようなエラーが。 ImportError: No module named torch pip installする $ pip install torch Requirement already satisfied: torch in /home/ubuntu/miniconda3/lib/python3.6/site-packages (0.4.1) 既にインス…

実行したファイルの残り時間をターミナルに表示する

機械学習のプログラムを書き始めると、大きいファイルを扱う機会が増えた。 そこでターミナルに残り時間を表示させたいと思ったので、 h5ファイルを作成する関数を例にしてメモっておく。 def create_h5(h5_fpath, image_fpaths, better_model, num): start_…

JupyterNotebookでファイルがリロードされない

リロードさせる方法 1. importlib.reload import load_weights import model importlib.reload(load_weights) importlib.reload(model) 2. autoreload 2 以下をJupyterNotebookに貼り付ける。 % load_ext autoreload # 外部のモジュールautoreloadをロード %…

Kerasで「AttributeError: 'NoneType' object has no attribute HOGEHOGE」

エラー Kerasで重みを読み込む時に以下のエラー。 model_50 = model_50.load_weights('/host/weights/weights.013-7.248.hdf5') # AttributeError: 'NoneType' object has no attribute 'load_weights' NoneType。。。 print(type(model_50)) # <class 'NoneType'> 解決策 代入</class>…

Kerasで「ImportError: Could not import PIL.Image. The use of `array_to_img` requires PIL.」とPILのエラーが出る

エラー ローカルではこのエラー見たことなかったんだけど、サーバ側で実行したらPILに関するエラーが。 Kerasで以下のようにimportしてるのにだめなのか…。 from keras.preprocessing.image import ( ImageDataGenerator, load_img, img_to_array, array_to_…

AWSインスタンスをもらった時にやったこと

AWSインスタンスを割り当てられて、諸々の設定はやってあるので、それ以降自分用にやったことをメモっておく。 miniconda Miniconda — Conda 上のサイトからインストール。 $ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh b…

コミットメッセージまとめofまとめ

コミットメッセージ、普段からきちんと書きたいけど、英語での表現を忘れがちなので自分用にリンクメモ。 Gitのコミットメッセージの書き方 - Qiita 【今日からできる】コミットメッセージに 「プレフィックス」 をつけるだけで、開発効率が上がった話 - Qii…

実例を元にREADMEの書き方を学ぶ

参考 リポジトリ faressoft / terminalizer Webサイト わかりやすいREADME.mdを書く - SOTA わかりやすい README 駆動開発 - Qiita

ディレクトリ内、またはサブディレクトリ毎のファイルの数を取得する方法

動画から画像を作成したり、水増しを行った時に各ディレクトリのファイルの数を一気に取得出来るので、特に2つ目のはめっちゃ便利。 ディレクトリ内のファイル数を取得 # 方法1 $ ls -U1 | wc -l # 方法2(1より遅い) $ find . -type f | wc -l lsのオプショ…

Pythonのloggingを学習するときに参考にしたサイト3つ

メモ python.keicode.com Pythonでロギングを学ぼう - Qiita Python の logging 力を高める | CUBE SUGAR STORAGE

sshポートフォワーディング

sshポートフォワーディング サーバ上の資源をjupyterでいじる。 ## SSHポートフォワーディング $ ssh hoge_server -L 8080:localhost:8080 # 入った後にポート指定をしてjupyter立ち上げ $ jupyter notebook --port 8080 [I 16:20:42.864 NotebookApp] Servi…

ssh公開鍵コピーコマンド忘れるからメモっとく

忘れがち # Mac $ pbcopy < ~/.ssh/id_rsa.pub # Ubuntu $ sudo apt-get install xsel $ cat ~/.ssh/id_rsa.pub | xsel --clipboard --input # Windows $ clip < ~/.ssh/id_rsa.pub## 参考 [Macのpbcopyをubuntuでも使う - Qiita](https://qiita.com/yoshiky…

gitのエイリアスコマンドを設定する

エイリアスコマンド 忘れそうだからメモ。 # 設定 ## こんなふうにも出来るけど $ alias gi="git init" $ alias gs="git status" $ alias ga="git add" $ alias gcm="git commit -m" ## 今回はこうするよ $ git config --global alias.co checkout $ git con…

就活で利用した便利なアプリ2つ。

3月1日から始まった就職活動が終わりました。やったぁ〜。 採用担当の人たちの多くが「色々な分野を見てみたらいい」と言っていたし、実際どんな会社がどんなことやってるのかに興味があったので、短い期間ではあったけど会社説明会にはそこそこ足を運びまし…

GPSの情報をTerminalで取得する

作成しているアプリケーションでGPSを使うようなのでメモっておく。 うちの研究室ではこれを買った。 http://www.gpsdgps.com/product/pr_br-355s4.htm マニュアル通りやろうとしてCD-ROM入れようとしたけどWindowsのみだったので断念。 どうやらTerminalでG…

UbuntuのTerminalの紫色の色コード

UbuntuのTerminalの紫色いいな〜と思い、MacのTerminalやその他色々なところで設定したいと思い始めた。 そこで「Ubuntu 色 コード」とかでググってもなかなか出てこないので画像から色コードを抽出してくれるサイトを利用して調べてみた。利用したのは以下…