行動科学演習 / Behavioral Science (Seminar)

後期 水曜日 ３講時. 単位数: 2. 担当教員/Instructor: ＬＹＵ ＺＥＹＵ. セメスター: 6. 履修年度: 2024. 科目ナンバリング: LHM-OSO302J. 使用言語: 日本語.

主要授業科目/Essential Subjects

計算社会科学の応用

授業題目

計算社会科学と自然言語処理

Course Title (授業題目)

Computational Social Science and Natural Language Processing

授業の目的と概要

計算社会科学研究でよく用いられる自然言語処理技術の知識と応用能力を習得する。ニューラルネットワーク、単語埋め込み、ファインチューニングなどの概念を学ぶとともに、Word2vecモデルの実装、深層学習による文書分類、大規模言語モデルの応用など実践的な能力を身につける。

Course Objectives and Course Synopsis(授業の目的と概要)

This course focuses on the knowledge and techniques that widely applied in computational social science research.
Students will learn concepts, such as h as neural networks, word embeddings, and fine-tuning as well as hands-on application skills such as Word2vec model implementation, deep learning based text classification, and applications of large language models.

学習の到達目標

テキスト分析の一連のプロセスを理解し、Python で実装することを目標とする。

Learning Goals(学習の到達目標)

The aim is to understand a series of text analysis processes and put them into practice using Python.

授業内容・方法と進度予定

1.イントロダクション
2.自然言語処理の基礎
3.深層学習の基礎
4.ニューラルネットワーク
5.誤差逆伝播法
6.Pytorch
7.Word2vec モデル
8.Word2vec の実装
9.Word2Vecが人文・社会科学研究における応用
10.RNN
11.Seq2Seq
12.Attention
13.Transformerアーキテクチャ
14.BERT
15.大規模言語モデル

成績評価方法

復習課題+出席［70％］，期末課題［30％］

教科書および参考書

Lewis Tunstall, Leandro von Werra,Thomas Wolf,「機械学習エンジニアのための Transformers ―最先端の自然言語処理ライブラリによるモデル開発」, オライリージャパン
斎藤 康毅, 「ゼロから作る Deep Learning ❷ ―自然言語処理編」, オライリージャパン
Delip Rao, Brian McMahan,「Deep Learning for NLP with Pytorch」, O'Reilly

授業時間外学習

参考書と配布資料などで予習・復習をする。

その他

(1)前期の計算人文社会学研究演習 I と併せて参加することが望ましい。あるいは、Python の基本的な使い方についての習熟を求める。

(2)本講義では Python の実習を含むため、PC を準備できることが望ましい。