データアナリストくんのblog

データアナリストとして働いている人がちょっと調べる内容をまとめるブログ

2023-02-08から1日間の記事一覧

AWS Athenaにawswranglerを用いてテーブルを作成

普段の業務でクラウドサービスとしてAWSを利用しています。 データ集計業務や分析ではAthenaというサービスを使ってますが、SQLでは面倒な処理(pivotなど)はPythonでやりたくなります。 PythonからAthena上にテーブルを作る際に便利なpakcage「awswrangler…

matplotlib での日本語の文字化けを回避する

pip installするだけでmatplotlibで日本語がつかえるようになります。 インストール pip install japanize-matplotlib これだけでokです。 実行 import matplotlib.pyplot as plt import japanize_matplotlib # インポートするだけ l = [1,2,3,5,8,13,21] pl…

sedコマンドでテキストファイル内のダブルクォーテーションを削除する方法

sed -i -e 's/"//g' hoge.csv

matplotlibで2軸plotをするテンプレート

2軸でデータを可視化したい際によく忘れてしまうのでメモ的に。 テンプレートでは.plotと折れ線グラフになっているが、ここは.barにすれば棒グラフになります。 import matplotlib.pyplot as plt %matplotlib inline fig = plt.figure(figsize=(10, 5)) ax1 …

Pandasでtsvファイルを読み込む

tsvファイル(タブ区切り)を読み込むread_table()を使う場合 import pandas as pd df = pd.read_table('file_name.tsv') read_csv()を使う場合 import pandas as pd df = pd.read_csv('file_name.tsv', sep='\t') pandas.read_csv ドキュメント pandas.read…