本コースでは自然言語処理の基本について学んでいきます。
最新のAIを理解していく上でも古典的な自然言語処理を理解しておくことは非常に重要です。
自然言語処理とは、機械に人間の言葉を理解してもらう試み。
いきなり最新のAIを学ぼうとするのではなくて古くから取り組まれてきた自然言語処理の領域をしっかり理解していきましょう!
簡単にアニメーションで概要を理解してもらったあとは、Pythonで手を動かしながら学んでいってもらいます。
まずはlivedoorニュース記事をMeCabという形態素解析エンジンで分かち書きし、tf-idfやWord2VecやDoc2Vecというアプローチでベクトル化していきます。
その上でCOS類似度を使い、どの記事同士が似ているのかを見ていきます。
また、OpenAIが提供するEmbeddingsAPIを使ったベクトル化方法についても触れていきます。
自然言語処理を基本から理解していきましょう!