後期 水曜日 3講時. 単位数: 2. 担当教員/Instructor: LYU ZEYU. 履修年度: 2024. 科目ナンバリング: LIH-OSO613J. 使用言語: 日本語.
計算人文社会学研究演習Ⅱ
計算社会科学と自然言語処理
Computational Social Science and Natural Language Processing
計算社会科学研究でよく用いられる自然言語処理技術の知識と応用能力を習得する。ニューラルネットワーク、単語埋め込み、ファインチューニングなどの概念を学ぶとともに、Word2vecモデルの実装、深層学習による文書分類、大規模言語モデルの応用など実践的な能力を身につける。
This course focuses on the knowledge and techniques that widely applied in computational social science research.
Students will learn concepts, such as h as neural networks, word embeddings, and fine-tuning as well as hands-on application skills such as Word2vec model implementation, deep learning based text classification, and applications of large language models.
テキスト分析の一連のプロセスを理解し、Python で実装することを目標とする。
The aim is to understand a series of text analysis processes and put them into practice using Python.
1.イントロダクション
2.自然言語処理の基礎
3.深層学習の基礎
4.ニューラルネットワーク
5.誤差逆伝播法
6.Pytorch
7.Word2vec モデル
8.Word2vec の実装
9.Word2Vecが人文・社会科学研究における応用
10.RNN
11.Seq2Seq
12.Attention
13.Transformerアーキテクチャ
14.BERT
15.大規模言語モデル
復習課題+出席[70%],期末課題[30%]
Lewis Tunstall, Leandro von Werra,Thomas Wolf,「機械学習エンジニアのための Transformers ―最先端の自然言語処理ライブラリによるモデル開発」, オライリージャパン
斎藤 康毅, 「ゼロから作る Deep Learning ❷ ―自然言語処理編」, オライリージャパン
Delip Rao, Brian McMahan,「Deep Learning for NLP with Pytorch」, O'Reilly
参考書と配布資料などで予習・復習をする。
(1)前期の計算人文社会学研究演習 I と併せて参加することが望ましい。あるいは、Python の基本的な使い方についての習熟を求める。
(2)本講義では Python の実習を含むため、PC を準備できることが望ましい。