Python の相関関係: ビジュアル作成のガイド

今日のブログでは、 Python の相関関係を視覚化するプロセスと、これらのビジュアルを LuckyTemplates にインポートする方法について説明します。このチュートリアルの完全なビデオは、このブログの下部でご覧いただけます。

目次

• 相関関係を理解する
• Python 相関用のパッケージ
• データの属性
• Python 相関データセット
• Python 相関: 散布図の作成
  • 追加の散布図パラメータ
  • カテゴリ変数の使用
  • 他の変数との相関関係
• Python 相関: 回帰プロットの作成
• Python 相関: 相関行列の作成
  • 複数 x 単一変数の相関
• Python 相関: ヒート マップの作成
  • 1 つの変数を使用したヒート マップ
• Python 相関: 階段ビジュアルの作成
  • LuckyTemplates の階段ビジュアル
• 結論

相関関係を理解する

これは、さまざまな種類の相関関係を示す素晴らしい画像です。 

左から開始すると、完全な正の相関があり、相関値が 1 であることを意味します。次に、降順に正の相関が続き、0 になります。 

中央のグラフには相関がないことが示されており、相関値が 0 に等しいことを示しています。 

最後に、右側は 0 から減少する負の相関値を示しています。右端のグラフは、相関値が -1 の完全な負の相関です。

Python 相関用のパッケージ

このチュートリアルでは 4 つのパッケージを使用します。最初のパッケージはデータ操作に使用され、変数pdとして保存されるPandasです。 

視覚化には、これらの関数を簡単に使用できるようにplt変数として保存されたMatplotlibを使用します。Seaborn、統計視覚化ライブラリはsnsとして保存されます。最後に、npとして保存されるNumpy は、線形代数に使用されます。 

データには、Seaborn のサンプル データセットを使用します。次に、 sns 変数を使用して、以下に示すようにダイヤモンドデータセットを取り込みます。。

データの属性

dataset.info 関数を使用してデータの属性を表示できます。この関��は、以下の最後の列にあるように、さまざまなデータ型をすべて表示します。

相関関係は数値変数に対してのみ機能するため、ほとんどの場合は数値変数を調べることに注意してください。ただし、いくつかのカテゴリ変数を視覚化に利用する方法も学びます。 

Python 相関データセット

dataset.headとして記述された関数 head を使用すると、次のようなデータの上位 5 行を取得できます。

最初の列にはcaratがあり、その後にカテゴリ変数Cut、color、およびclarityが続き、残りのデータの数値が続きます。 

Python 相関: 散布図の作成

相関関係を視覚化し、2 つの変数を確認する場合、通常は散布図を確認します。 

したがって、Seaborn ライブラリを使用して、上で保存したデータをdata=datasetとして渡す散布図関数を使用して散布図を作成しました。次に、X 変数と Y 変数 (それぞれカラットと価格)を特定しました。 

これは Seaborn ライブラリを使用して作成した散布図です。 

この散布図は非常に密集していることがわかります。これは、約 54,000 行のデータがあり、ポイントが必ずしも最良の方法で表現されているわけではないためです。

Shift + Tab キーを押すと、散布図のスタイルを設定するさまざまな方法が表示されます。散布図に追加できるさまざまなパラメーターのリストが表示されます。 

さらに下にスクロールすると、リストされた各パラメーターの機能に関する情報が表示されます。 

追加の散布図パラメータ

少し詳しく見てみましょう。以下に示す最初の散布図の白い線がややわかりにくいため、  linewidth=0にできます。

不透明度を制御できるようにアルファを調整することも必要です。例としてalpha=0.2を使用しましょう。ただし、もちろん、これを 0.1 に変更することもできます。 

これらのパラメータを追加して[実行]をクリックすると、散布図が白線なしでより不透明になることがわかります。 

パラメータを調整して、探している最高のビジュアルを得ることができます。 

カテゴリ変数の使用

カテゴリ変数の一部を利用してビジュアルを改善することもできます。たとえば、データにはダイヤモンドの カットがあることがわかっています。

私たちができることは、hue='cut'としてhueパラメーターを使用してそのカット カテゴリを渡すことです。これにより、色を変更することでこれらのポイントを視覚化できるようになります。 

もちろん、アルファなどのパラメーターをさらに追加することもできます。これを再度追加して 0.2 に設定し、ビジュアルがどのように変化するかを確認します。「実行」をクリックすると、少しの違いがわかるでしょう。 

パラメータをいじって、探しているビジュアルを取得できます。また、明瞭度などのさまざまなカテゴリを使用することもできます。これにより、明瞭度のカテゴリが得られ、その散乱のわずかに異なるビューも得られます。

他の変数との相関関係

価格とカラット以外の他の値がどのように相関しているかについても興味があるかもしれません。したがって、そのダイヤモンドとDepthの数値次元である tableの散布図を見ると、1 対 1 の線形関係がないことがわかります。

DepthやPriceなど、他の 2 つの変数も確認できます。グラフによると、データは中央のエリアに集中していることがわかります。

Python 相関: 回帰プロットの作成

2 つの変数間の線形関係を評価できる回帰プロットに進みましょう。 

そこで、今回は散布図関数の代わりにregplot関数を使用します。同じ構造体、つまりデータ、次に X 変数と Y 変数を渡します。 

結果には、変数間の線形関係を測定する線が表示されます。また、私たちの価値観がその回帰直線の周りをどのように周回しているのかも明らかです。

現時点ではそれほど美しいビジュアルではありませんが、より良いビジュアルを得るために最適化することができます。たとえば、Matplotlib 変数を使用してスタイルを渡すことができます。コード plt.style.use('dark_background') を使用して、スタイルを暗い背景に変更できます。 

同じ回帰プロットを取得し、散布図と線にいくつかのキーワードを渡します。回帰直線に赤の色と 1 の線幅を使用してみましょう。これはline_kws={“color” : “red”, 'linewidth' : 1) と書きます。 

散布キーワードでは、色を白、エッジの色をグレー、不透明度を 0.4 に設定して、scatter_kws ={“color” : “white”, 'edgecolor' : 'grey', 'alpha' : 0.4 と書きます。 ）。 

これらのパラメータにより、以下に示す少し異なるビューが得られます。 

Python 相関: 相関行列の作成

これまでのところ、2 つの変数のみを含む散布図を見てきましたが、すべての変数の相関関係も調べたい場合があります。

これは、dataset.corr として表される相関と呼ばれるデータ フレーム関数を備えたデータセットを使用して実行されます。そして、これらの各変数の相関関係を示す行列が得られます。 

上の表の数値は、これらすべての変数間の線形関係に焦点を当てた ピアソン相関関係を表しています。

ただし、変数が完全に線形相関しているかどうかがわからない場合は、線形部分よりも影響力に重点を置いた、別のタイプの相関関係を使用できます。これはスピアマン相関と呼ばれます。 

Shift + Tab を押すと、これらすべてに関する情報を確認できます。下にスクロールすると、スピアマンの順位相関、ピアソンの相関係数、およびデータを測定するさまざまな方法が表示されます。 

先ほどの相関行列を振り返ると、価格とカラットがかなりよく相関していることがわかります。

これらはここでのプロットからのもので、0.92 で非常に線形であることがわかります。 

代わりにスピアマン相関を使用すると、影響またはランクは 0.96 と少し高くなります。

これらのさまざまなタイプの相関により、これらの変数間の相関のさまざまな属性を検出できるようになります。 

複数 x 単一変数の相関

すべての変数と 1 つの変数 (たとえば、価格) だけの相関関係の方が気になるため、行列を見たくない場合があります。

次にできることは、dataset.corrに続いて'price'を使用して価格を分離することです。 

この表では、価格がすべてのさまざまな数値変数と相関していることがわかります。これを行う理由は、視覚的なプロットのためです。 

それでは、ヒート マップを使用して相関行列を視覚化してみましょう。

Python 相関: ヒート マップの作成

関数 sns.heatmap を使用して、この相関変数を Seabornヒート マップに渡すことができます。

これにより、次のようなヒート マップが得られます。

ここでも、設定にパラメータを追加できます。パラメータlinewidths=1を渡し、 annot=Trueを使用して注釈を追加できます。 

そして、ヒート マップがまったく異なって見えることがわかります。現在、非常に優れたヒート マップができています。 

線と注釈を追加することの有用性がわかります。繰り返しますが、Shift + Tab を押すと、そこに入力できるさまざまなパラメータがすべて表示されます。 

次に、コードに method='spearman 'を追加してみてください。そうすれば、ユースケースに応じて異なるタイプの相関関係を使用する方法がわかります。

1 つの変数を使用したヒート マップ

次に、1 つの変数を分離し、負から正への相関関係を示すヒート マップを作成します。

これにより、以下のヒート マップが得られます。

もちろんスタイリングも変えることができます。たとえば、cmapパラメーターをcmap='coolwarm'として使用できます。これにより、色が寒色と暖色に変わり、黒い背景も除去されます。 

「実行」をクリックすると、以下のヒートマップが表示されます。涼しい場合は青のバーがあり、暖かい場合は赤いバーがあります。 

方向を変更して、マップをカラー バーに揃えることもできます。これを行うには、sort_valuesパラメーターを編集し、ascending=Falseを追加します。 

これは、最も相関性の高いもの (赤いバー) から最も相関性の低いもの (青いバー) まで進みます。 

Python 相関: 階段ビジュアルの作成

の相関関係を視覚化する高度な方法の 1 つは、マスクを使用して、すでに行ったすべての相関関係をブロックすることです。 

Numpy を使用してこれを行うことができ、いくつかの TRUE 関数と FALSE 関数を使用して、相関関係の階段を視覚化します。 

結果は次のようになります。

これを LuckyTemplates にパイプする方法を見てみましょう。

LuckyTemplates の階段ビジュアル

まず、LuckyTemplates を開きます。別のビジュアルを確認できるように、アボカド データセットを導入しました。このデータセットは [フィールド] ペインに表示されます。[視覚化] ペインの下にある Pythonアイコンをクリックして、Python ビジュアルを初期化します。

?で示されるすべての数値変数を追加してデータセットを作成する必要があります。。これらの変数の横にあるチェックボックスをクリックして変数を追加します。 

データセットができたので、Jupyter ノートブックに移動して、先ほど作成したこのコードをコピーします。

次に、コードを LuckyTemplates の Python スクリプト エディターにコピーします。 

次に、ビジュアルを選択します。これは階段のビジュアルです。Jupyter に戻り、階段のビジュアルに使用したコードをコピーします。

コードを Python スクリプト エディターに貼り付けます。

最後に、Python スクリプトで必要なplt.showを使用していることを確認します。コードの最後の行にplt.showを追加し、スクリプト エディターの右上隅にある実行アイコンをクリックします。

より大きなビジュアルにするには、ボックスを少し引き伸ばして、隅で実行されているスクリプトが見えるようにします。ヒート マップのビジュアルが完成しました。これは非常に見栄えがします。

そして、LuckyTemplates では、データセットに応じてそのビジュアルがどのように変化するかを明確に確認できます。たとえば、[視覚化] ペインの[スライサー]アイコンをクリックして、 [フィールド] ペインの [入力]に移動できます。

これにより、データセット内に従来型とオーガニック型の 2 つのタイプが得られます。1 つのタイプ (たとえば、organic)をクリックすると、ヒート マップが変化することがわかります。 

次に従来型をクリックしても変更が適用されます。

これらのフィルターを機能させるには、Pythonスクリプトのデータセットにカテゴリ変数が必要であることに注意してください。ご覧のとおり、作成したデータ セットにはtype が含まれており、その方法でビジュアルをフィルターできるようになりました。 

Python での LuckyTemplates テキスト分析でのデータ モデルの関係の構築
| はじめに
LuckyTemplates データ レポートでの Python スクリプト

結論

このブログでは、ピアソン相関やスピアマン順位相関などのさまざまな方法を使用して、Python と LuckyTemplates で相関関係を視覚化する方法を学習しました。 

散布図、回帰プロット、相関行列、ヒート マップ、階段ビジュアルを作成して、データ セットに最適なビジュアルを取得できるようになりました。さまざまなパラメータを使用して、スタイルやビジュアルを改善することもできます。 

ではごきげんよう、