先端機械学習

1. Toyotaro Suzumura: “Graph Neural Network” This lecture introduces the fundamental concepts of Graph Neural Networks (GNNs). It covers message passing, convolutional architectures, large-scale variants, and research on integrating GNNs with large language models. 2. Masatoshi Hanai: “Materials Informatics and Data Infrastructure for Big Science and AI” This lecture introduces property prediction with GNNs, structure prediction using generative models, and large-scale neural network potentials in materials science. It also explores next-generation data infrastructure for efficiently managing the rapidly expanding research data. 3. Masahiro Tanaka (Microsoft): “Advancing Large-Scale Deep Learning: Challenges and Practices” This lecture focuses on memory bottlenecks and computational efficiency in large-scale deep learning. It highlights DeepSpeed’s ZeRO, DeepSpeed-Ulysses, and ongoing efforts to overcome these challenges. 4. Asim Munawar (IBM T.J. Watson Research Center): “Reasoning Revolution: Cracking the Code of LLM Intelligence” This lecture examines how Large Language Models (LLMs) reason, process information, and solve complex tasks. It also explores their limitations and the challenge of aligning outputs with human expectations. 5. Md Mostafizur Rahman (Rakuten Group, Inc.): “Embeddings: Theory and Applications” This lecture surveys the theoretical foundations of embeddings, which compress high-dimensional data into lower-dimensional continuous spaces. It addresses Knowledge Graph Embeddings and real-world uses in recommender systems, fraud detection, and semantic search. 6. Yuichiro Yasui (Nikkei Inc.): “Structuring Unstructured Data in Media and Solving Data-Driven Problems” This lecture illustrates data-driven problem-solving in media by structuring news articles with NLP and constructing knowledge graphs. It also covers scheduling optimization for journalists and user behavior analysis through web data. 7. Tatsuhiro Chiba (IBM Research - Tokyo): “The Large Scale AI Infrastructure for LLM Training and Inference” This lecture explores large-scale AI infrastructure for training and inference of foundation models. It discusses how system software and AI accelerators enhance model performance, supported by ongoing research examples. 8. Yoshiaki Tanaka (University of Montreal): “AI and Machine Learning-Based Analysis of Patient-Derived Single-Cell Sequencing Data” This lecture addresses key considerations when applying AI and machine learning to biomedical data, especially genomic sequencing data. It also explains how to tailor these techniques to patient-derived single-cell sequencing data. 9. Rudy Raymond (JPMorganChase & Co.): “An Introduction of Quantum Machine Learning and the Role of AI in Quantum Computing” This lecture introduces quantum computation basics, including quantum bits, circuits, and Variational Quantum Circuits for machine learning. It also shows how classical machine learning extends the capabilities of quantum computing. 10. Gakuto Kurata (IBM Research - Tokyo): “AI for Business: AI Research at IBM” This lecture outlines IBM Research’s approach to foundation models and generative AI, emphasizing trust, transparency, and open-source development. It also highlights strategies to lower barriers for AI adoption in enterprise environments.

Each class will primarily be held in person, supplemented with slide presentations. 原則対面・スライドを用いて講義を行う。

Evaluation will be based on written report assignments. レポート課題によって評価する。

なし

なし

なし

以下、授業計画を日本語にしたものである。 --- 1. 鈴村豊太郎「Graph Neural Network」 本講義では、グラフ構造を有するデータに対する高精度な機械学習手法として注目を集めるグラフニューラルネットワーク（Graph Neural Networks, GNN）の基礎理論と応用分野を概説する。まず、メッセージパッシングに基づくGNNの原理的背景や代表的アーキテクチャを整理し、大規模グラフや動的グラフへの拡張手法を取り上げる。続いて、レコメンダシステム、金融、マテリアルズ・インフォマティクス、求人マッチング、脳科学、モビリティなど多岐にわたる実用的応用事例を示す。さらに、近年注目されるGNNと大規模言語モデル（Large Language Models）の統合研究を概観し、今後の展望について論じる。本講義を通じて、グラフ構造を扱う最先端の手法とその応用可能性に関する包括的な知見を提供することを目的とする。 2. 華井雅俊「マテリアルズ・インフォマティクスと大規模な科学研究における次世代データインフラについて」 本講義では、”マテリアルズ・インフォマティクス” つまり材料研究における機械学習の応用に関してまず述べる。GNNを使った物性予測問題やGenerative Modelを使った構造予測問題、また、ニューラルネットワークポテンシャルなどの大規模データを用いた基盤モデルの取り組みを紹介する。次に、理論分野での課題と実験分野での課題が相互に関連する近年の材料研究において、肥大化する研究データを効率的に管理・利用するための次世代情報インフラについて解説する。理論分野においてはスーパーコンピュータから出力される巨大な理論計算結果、実験分野においては大型実験施設や自動実験施設から出力される実観察データを効率的に集約・管理するためのデータシステムに関して論ずる。 3. 田仲 正弘（マイクロソフト）「大規模深層学習の最前線: 技術的課題と実践」 本講義では、大規模深層学習におけるスケーラビリティと効率性の課題、およびその解決に向けた技術を解説する。深層学習モデルや訓練データの規模拡大に伴う様々な技術的課題、特に大規模モデルの学習におけるメモリや計算効率の問題を概観する。次に、DeepSpeed がこれらの課題をどのように解決するかを紹介し、特にメモリ効率を向上させる ZeRO や、長い系列を学習するための DeepSpeed-Ulysses などの最適化手法を取り上げる。最後に、講演者がこれまでに参加した Phi-3 をはじめとする大規模深層学習プロジェクトでの経験を通じて得た知見を共有するとともに、最先端の研究開発の動向について議論する。 4. Asim Munawar（IBM T.J. Watson Research Center）「Reasoning Revolution: Cracking the Code of LLM Intelligence」 近年、大規模言語モデル（LLMs）の登場により、これまで実現が困難と考えられていた自然言語処理能力が人工知能分野で次々に実証されつつある。本講義では、これらのモデルがいかに推論を行い、情報を処理し、問題解決につなげているのかを詳細に議論する。具体的には、LLMsが推論を模倣するための技術的背景や限界、そして生成された出力を人間の期待に合わせる際に直面する課題などを中心に解説する。さらに、実践的な事例や最新の研究成果をもとに、LLMsの内部構造を理解し、その推論能力を効果的に活用する方法を学ぶ。本講義は、こうした高度な自然言語処理技術に興味を持ち、その応用と課題について深く学びたい受講者に有益な内容となることを目指す。 5. Md Mostafizur Rahman （楽天技術研究所）「Embeddings: Theory and Applications」 Embeddingは機械学習およびデータ表現の根幹をなす技術であり、高次元のデータを低次元の連続空間に写像することで、有意義な関係性を保持したまま効率的な処理を可能にする。本講義では、Embeddingの理論的基盤を掘り下げ、データ内に潜むセマンティック構造や関係性をどのように捉え、表現するかを検討する。特に、構造化された知識ベースに含まれるエンティティと関係を密なベクトル空間にエンコードし、推論や推測タスクを強化するKnowledge Graph Embeddings (KGE)を取り上げる。具体的には、translationalモデル、行列分解モデル、深層学習を基盤とする手法など、多様なKGEモデルを概説し、リンク予測やエンティティ分類などにおける有効性を示す。さらに、推薦システム、不正検知、セマンティック検索といった実社会における活用事例を紹介する。 6. 安井雄一郎（日本経済新聞社）「メディアにおける非構造化データの構造化とデータ駆動型の問題解決」 本講義では、メディア分野におけるデータ活用の具体的な手法と、それによる課題解決の可能性を包括的に検討する。自然言語処理を用いて記事テキストを構造化し、企業データベースなどの外部情報を組み合わせて知識グラフを構築する方法をはじめ、数理最適化を応用した記者のシフトスケジューリング、さらにユーザの閲覧行動データを活用したユーザ理解の手法を取り上げる。これらの事例を通じて、実務上の問題をデータ駆動的なアプローチで解決するための分析技術およびモデリング手法を習得するとともに、メディア領域におけるデータ利用の有用性と課題を多角的に探究することを目指す。 7. 千葉 立寛（IBM東京基礎研究所） 「基盤モデルの学習および推論を支える AI Infrastructure」LLMに代表される基盤モデルは、生成AIやAIエージェントなどの革新的なAI技術の中核として注目を集めている。これらのモデルは進化の速度が極めて速い一方、学習や推論には膨大な計算資源を要し、省電力かつ高速な処理手法の開発が課題となっている。本講義では、基盤モデルの学習および推論に用いられる大規模AIインフラストラクチャを概観し、その上で稼働するシステムソフトウェアの進化やAIアクセラレータの性能向上が、モデルの最適化にどのように貢献しているかを具体的な研究事例や実装例とともに考察する。 8. 田中義章（モントリオール大学） 「AI・機械学習による患者由来1細胞シークエンシングデータの解析」 近年のAI技術の急速な発展は、画像処理や自然言語処理といった領域で顕著な成果を挙げている。一方、生物学・医学分野へのAI応用は、他分野に比べるとまだ成熟段階にあり、多くの課題を抱えている。本講義では、既存のAIや機械学習の技術を生物学・医学データ（特にゲノムシーケンスデータ）に適用する際に留意すべき点と、それらの技術をどのように最適化すればより有効に活用できるかを考察する。具体的には、(1) 生物学・医学分野のデータ特性を反映させたAI技術の実装上の留意点、(2) そうした技術を最適化して高精度かつ実用的な成果を得る方法を、事例や最新研究の動向を交えながら解説する。 9. Rudy Raymond（JPMorganChase & Co.） 「An introduction of Quantum Machine Learning and the role of AI in Quantum Computing」 本講義では、まず量子計算の基礎をなす量子ビットおよび量子回路の概念に触れながら、Quantum Machine Learning（量子機械学習）の基礎を解説する。また、変分量子回路（Variational Quantum Circuits: VQCs）の仕組みを概観し、それらが機械学習における分類タスクなどにどのように応用可能かを示す。さらに、量子計算の限界を拡張する上で重要な役割を担う古典的な機械学習手法も取り上げ、量子技術との相互補完的な活用の可能性を探究する。 10. 倉田岳人（IBM東京基礎研究所）「ビジネスのためのAI : IBM におけるAI研究」 AIはビジネスの在り方を根本的に変革しつつある一方で、一般に普及しているモデルは高コストかつ閉鎖的である場合が多い。こうした状況を踏まえ、IBM Researchが取り組む高性能な基盤モデルや生成AIシステムの開発において、いかに信頼性と透明性を中核に据えた技術革新を進めているかを本講義で解説する。AI開発への参入障壁を大幅に下げるためのオープンソース化の意義や、エンタープライズAIにおける具体的な実践方法についても説明し、多様な組織や研究者がAI技術を活用しやすい環境を構築するための方策を考察する。