python

Macでmecabを使うまで

% brew install mecab % brew install mecab-ipadic ターミナルで使用できることを確認 % mecab condaで利用できるようにするため % conda install -c anaconda swig % pip install mecab-python3 pythonで利用できることを確認 condaの環境で、以下のコマン…

pythonのfor文、rangeとenumerate、早いのはどっち?

今回は、20ループを10回繰り返した時間で対決 準備 import random A = [[random.random()] * 1000 for i in range(1000)] range %%timeit -n 20 -r 10 A_sum = 0 for j in range(len(A)): for k in range(len(A[j])): A_sum += A[j][k] enumerate %%timeit -…

macでpip install mpi4pyでエラー

macでpip install mpi4pyでエラーが出たのでやり方まとめ brew install mpich brew install mpich を実行したところXcodeを入れろとの指示 Xcodeインストール コマンド出始めやったところ、反応がない。 もう一回実行してみると、ポップアップが。手順に従っ…

matplotlib日本語化

matplotlib日本語化した時のメモ from matplotlib import rcParams rcParams['font.family'] = 'sans-serif' rcParams['font.sans-serif'] = ['Hiragino Maru Gothic Pro', 'Yu Gothic', 'Meirio', 'Takao', 'IPAexGothic', 'IPAPGothic', 'VL PGothic', 'No…

pip install seabornできない

pip install seabornでインストールエラーが出てしまった時の対応方法 pip install beautifulsoup4 pip install html5lib を実行してから pip install seaborn を行ったらできました。

conda installではいらないものメモ

mysql-connector-python conda install -c conda-forge mysql-connector-python 途中まで書いていたけれど、諦めました

zsh: command not found: condaへの対応

環境はMac Big Sur % sw_vers ProductName: macOS ProductVersion: 11.0.1 BuildVersion: 20B29 % echo "source /opt/anaconda3/etc/profile.d/conda.sh" >> ~/.zshrc そして、一回ターミナルを閉じてもう一回開くと % conda -V conda 4.9.2 無事できた! an…

pyenv install でエラーが出た時の対処法

Pythonの開発環境を用意しよう!(Mac) | プログラミングの入門なら基礎から学べるProgate[プロゲート]これを見ながら進めていましたが、エラーが出てしましました。 % pyenv install 3.6.5 python-build: use openssl from homebrew python-build: use rea…

大きめのデータをインポートする場合は、pythonプログラム書いて入れたほうが安定する。

表題の件、プログラム書いたほうが安定します。 ということで書いておきます。 ''' Created on Nov 15, 2020 @author: haruka ''' #DB import mysql.connector import pandas as pd import math import datetime dt_now = datetime.datetime.now() nowdateti…

ImportError: bad magic number in と言うエラーが出たときの対処法

pythonで ImportError: bad magic number in というエラーが出てきたので、対処法です。 問題は.pycというファイルができていたことでした。これがあると、エラーが出てしまいます。 なので、 rm *.pyc でOK

cronでプログラムを自動的に定期的に動かす

cronでプログラム(今回はpython)を自動的に動かす方法を書いておきます。 cronとは? cron とは、ジョブ(スクリプト)を自動実行するためのデーモンプロセスです。 cron の設定ガイド ということで、自動的にそして定期的にジョブ(プログラム)を実行する…

FitbitのAPIを使う(2)APIをpythonで叩く準備

crulで叩いて情報を取得してもいいのですが、今回結果をDBに保存したいということもあり、pythonを使うことにしました。 今回はPythonで情報を取得するための準備です。 python-fitbitの準備 git clone https://github.com/orcasgit/python-fitbit cd python…

日の出入りと気象データのスクレイピング

研究で気象データと日の出入りデータを使いたかったので、スクレイピングしてみました。[ポイント] python(BeautifulSoup)を利用して、 気象庁|過去の気象データ検索と各地のこよみ (日の出入り、月の出入り、南中時、月齢) - 国立天文台暦計算室のデータを…

pythonでmySQLに接続する

備忘録です。自分のメモです。 mySQL接続 #database接続 import mysql.connector dbh = mysql.connector.connect( host='ホスト名', port='3306', db='データベース名', user='ユーザ名', password='パスワード', charset='utf8' ) cur = dbh.cursor() デー…

fastTextで文章分類(python)

文章を分類したくなったので、fastTextを用いて分類することにしました。[ポイント] ・pythonでfastTextを利用 ・テキスト分類 データ 今回は元々収集していたtweetデータを用いて分類していきます。今回私は、3つのカテゴリに分割しました。 ラベル1:人が呟…

ちょっとだけテキストマイニング-形態素解析

例えばチャットbotを作るとき、どの単語をどの文章ラベルとして登録すればいいのか迷ったりしませんか? 最近はなんとなくで教師データを入れておけば、自動的に学習してくれますが、一度自分で分析しておくことで、なんとなく関係性を確認することができる…