Tohoku University Repository (TOUR) / 東北大学機関リポジトリ

Tohoku University博士（工学）要約のみthesi

DENG, JUNYI

 
論文内容要約 
 Electric vehicles (EVs) are rapidly growing, with the global stock expected to reach 220 million by 2030. 
LiFePO4 (LFP) is a low-cost, safe, non-toxic, and recyclable cathode material used widely in EVs. Its stable 
olivine-phase structure allows efficient lithium-ion movement and recycling. With the rapid increase in EV 
production, demand for LFP and phosphorus will rise, putting pressure on phosphorus sources. The demand 
of phosphorus in LFP challenges the traditional distribution of P in agriculture fields. To address limited 
phosphate resources, alternative phosphorus sources are required. One of the sources is steelmaking slag. 
 The steel industry produces over 1.8 billion tons of steel products annually, generating large amounts of 
steelmaking slag. Steelmaking slag contains phosphorus, which is enriched during dephosphorization and 
limits its use. This phosphorus offers a potential new resource. While steelmaking slag has not been used for 
LFP production, its potential as a phosphorus source is being explored. Other elements in slag, such as Ca, 
Si, Mg, Al, and Mn, may affect the synthesis of LFP, which is a key focus of this study.  
 Based on the previous studies of LFP synthesis, FePO4 has been chosen as an intermediate product for 
synthesizing LFP. This study innovatively uses steelmaking slag as a phosphorus source to produce LFP. 
The feasibility of this approach, the effects of elements in slag on LFP formation and the structure evolution 
of LFP formation are key issues to research.  
 Two methods of using steelmaking slag to produce LFP has been adopted in this study. One is to adopt the 
hydrometallurgy method. After selective leaching of steelmaking slag, FePO4 is precipitated from the 
leachate containing phosphorus, and LFP is synthesized from this FePO4 as raw material. The other is to 
directly conduct a high-temperature reduction reaction of the steelmaking slag with carbon and additional 
           でん じゅんい 
氏 名          DENG JUNYI 
研究科，専攻の名称 東北大学大学院工学研究科（博士課程）金属フロンティア専攻 
学 位 論 文 題 目          Production of LiFePO4 by Using Steelmaking Slag as a Phosphorus 
Source（製鋼スラグをリン原料としたLiFePO4の製造） 
論 文 審 査 委 員          主査 東北大学教授 植田 滋 東北大学教授 三木 貴博 
             東北大学教授 柴田 浩幸  
 
FeO to capture the phosphorus in the steelmaking slag in the form of Fe-P alloys, and then precipitate 
FePO4 from the acid leaching of the reduced steel slag containing the Fe-P alloys, and then prepare LFP 
from the FePO4. 
 Specifically, when the hydrometallurgy method uses steelmaking slag leachate, FeCl3 solution was 
titrated into the leachate in order to obtain FePO4 precipitates. This process needed to control the titration 
amount of Fe3+ to ensure that the Fe/P molar ratio was 0.6, and at the same time the pH needed to be 
controlled at 3, in order to prevent the formation of other phases. The amorphous precipitate was washed 
and then calcined at 700℃ in air to obtain FePO4 crystals. Ultimately, 61% of the phosphorus in the 
steelmaking slag was utilized to obtain FePO4. The FePO4 crystals were mixed with Li and C sources 
(LiOH·H2O and glucose) in a ratio of FePO4: LiOH·H2O: C eq. as 1.00: 1.06: 2.00 and reacted in Ar gas at 
700℃ for 10 hours to obtain LFP crystals. In this process, the amount of C also needed to be controlled to 
prevent excessive reduction of Fe3+ to Fe. 
 For the preparation of LFP by a pyro-process, the first step was to obtain a product containing Fe-P alloys 
by a carbothermic reduction reaction. Additional FeO was dosed in the slag to ensure that as much of the 
reduced P as possible was captured by the Fe during the reduction process. The results showed that 86% of 
the phosphorus in the steelmaking slag was present in the reduced product as Fe-P alloys when 20% FeO 
was added. Secondly, after the reduced steelmaking slag containing Fe-P alloys was crushed at high voltage 
pulse distinguish device and leached in acid solution, 58% of the phosphorus in the slag was finally realized 
to be utilized in the formation of FePO4 by adjusting the pH to 3 and the Fe/P molar ratio at 0.6 in the 
leachate. Finally, the FePO4 was also mixed with Li source (LiOH·H2O) and C source(glucose) and then 
reacted at high temperature in Ar at 700℃ for 10 hours to obtain LFP crystals. 
 Both methods confirmed the feasibility of preparing LFP from steelmaking slag as a phosphorus source, 
and the impurity elements in the steelmaking slag had no effect on the crystallization of FePO4 and LFP 
during the process. Comparing the two methods, the utilization of phosphorus from steelmaking slag in the 
hydrometallurgy method was slightly higher, and at the same time, the hydrometallurgy method consumed 
less energy, so the hydrometallurgy method for the production of LFP was considered to be the better 
method. 
 Both of these methods included a phase evolution from FePO4 to LFP in the high temperature. However, 
previous studies only focused LFP structural changes during battery operation at room temperature and 
suggested a solid solution phase at temperatures above 350°C, but there is no experimental data to confirm 
this. Thus, the structure evolution of the FePO4-LFP at high temperatures was analyzed in this study by 
mixing different concentration of FePO4 and LFP and calcined the mixture in Ar at 500~700℃. 
 During the transformation of FePO4 to LFP, both olivine-phase FePO4 and quartz-phase FePO4 
transformed to intermediate phase (Fe2P2O7) before eventually converted to LFP. When only 5~10% of 
FePO4 is reduced to LFP, the crystal transition occurred in the solid phase, and the intermediate product 
appeared and persisted. When 50% of the FePO4 is transformed into LFP, LFP crystals began to appear in 
the solid phase, while the intermediate products slowly disappeared. The generation of intermediates 
started as early as 500°C and remained stable. The generation of the intermediate phases depended on the 
reducing potential of the system. In this study, the crystal structures as well as the temperature influenced 
the movement of lithium ions, which determined the reducing potential of the system.  
 With innovatively finding the results of the evolution of the phase structure between FePO4 and LFP at 
high temperature, the gap in the evolution of the phase structure of LFP prepared from FePO4 at the high 
temperature stage is filled. And this study will provide a strong theoretical support for the subsequent 
research as well as industrial production. 


English

Production of LiFePO4 by Using Steelmaking Slag as a Phosphorus Source

ハン, デンシ

儒家神道における神話と儀礼の再構築 ―垂加神道を中心として

ZHANG, PEICHANG

氏  名（本籍地） 張
ちょう
 裴
はい
暢
ちょう
 （中国） 
 
学 位 の 種 類 博 士 （経済学） 
 
学 位 記 番 号 経博 第 222 号 
 
学位授与年月日 令和 7 年 3 月 25 日 
 
学位授与の要件 学位規則第 4 条第 1 項該当 
 
研 究 科 、 専 攻 東北大学大学院経済学研究科（博士課程後期 3 年の課程） 
 経済経営学専攻 
 
学 位 論 文 題 目 Essays on Risk Preference, Inequality, and Economic Growth 
（リスク選好、所得格差、経済成長に関する論考） 
 
博士論文審査委員 （主査） 
 教 授  北 川  章 臣 教 授  永 易  淳 
  准教授  浅 野  康 司 
 
論 文 内 容 の 要 旨 
 
This thesis includes essays on risk preference, inequality, and economic growth. The thesis comprises 
three chapters concerned with risk preference, inequality, and economic growth are organized as 
follows. In the first chapter, I build an expanding variety model where agents derive utility from risky 
investments. Only sufficiently wealthy individuals are willing to invest in risky innovations in the 
model. When the income of wealthy individuals is insufficient, their incentives to engage in 
entrepreneurship are limited. The model reveals a correlation between the trickle-down effect and 
the economic takeoff. Innovation pioneered by the rich brings new varieties into the economy and 
raises the poor’s income. The poor, in turn, are encouraged to innovate, and the economy enters a 
takeoff stage. 
In the second chapter, I extend the model in the first chapter to analyze the optimal contract 
between investors and entrepreneurs in different stages of growth. In the extended model, the buyout 
fund emerges endogenously in the economy with large income inequality. Due to the desire to invest 
in entrepreneurship, the well-endowed are willing to acquire business ideas from the entrepreneurs at 
a price proportional to their income. Meanwhile, the under-endowed tend to sell their business ideas 
to smooth their consumption. In contrast, buyout funds fade out in the economy with less income 
inequality. The extended model reveals a novel channel that inequality can benefit growth through 
the buyout funds. 
The third chapter presents another parsimonious quality ladder growth model in which agents 
derive utility from undertaking risky innovation. In this chapter, I refer to the agents’ propensity to 
engage in high-risk and potentially high-reward activities as the challenging spirit and explore its 
implications for inequality and economic growth. In the former two chapters, inequality is exogenous, 
while this chapter focuses on the endogenous co-evolution of income distribution and economic 
development. The key reason for the endogenous evolution of income distribution is that wealthy 
individuals tend to undertake more radical innovation. The model thus asserts that whether the effect 
of inequality on growth is beneficial or detrimental depends on the productivity of radical innovation. 
In an economy with advanced radical innovation productivity, the income share of the high-income 
class tends to increase in the long run. In contrast, inequality stabilizes at a certain level in an 
economy with relatively low radical innovation productivity. 
 
論 文 審 査 結 果 の 要 旨 
 
本論文は、リスク選好、不平等、経済成長に関する論考である。本論文は 5 章から成り、以下のよう
に構成されている。 
まず、第１章で標準的なリスク選好モデルでは、イノベーション投資は上場企業に対する投資よりも
収益率が低いにも関わらず、そうした投資を行う富裕な個人が存在する事実が説明できないことが指
摘され、第２章では、その代替案として、経済主体がイノベーションからスリルを感じるようなリスク選好
モデルが構築される。このモデルでは、十分に所得の高い個人だけがイノベーション投資を行う。経済
成長の初期段階ではイノベーション投資を行う経済主体は存在しないが、資本蓄積によって一部の
人々の所得がある水準に到達すると、彼らはイノベーション投資を始める。この投資は経済で生産され
る中間財の数を増やすことで、より貧しい人々の所得を高めるトリクルダウン効果を持つ。そして、最終
的にすべての人々がイノベーション投資を行う「離陸」を経済は経験することが示される。第３章では、
第２章のモデルを拡張し、投資家と起業家の金融契約が成長段階によってどう異なるかが分析されて
いる。このモデルでは、潤沢な資金を持つ投資家は起業家から自分の所得に見合った価格でビジネ
ス・アイデアを得ようとする一方で、資金に恵まれない起業家は消費を平滑化するためにビジネス・アイ
デアを売却する。こうしたバイアウト・ファンドは、投資家と起業家の所得格差の少ない経済ではその成
長とともに消えていくが、格差の大きな経済では永続することが示される。第４章では、ハイリスク・ハイリ
ターン活動を好む経済主体の傾向をチャレンジ精神と呼び、それが所得分配と経済成長に与える影
響、特に両者の共進化が分析されている。所得分配が内生的に進化するのは、富裕層はより急進的
なイノベーションを行う傾向があるからであり、不平等が成長に及ぼす影響は急進的イノベーションの
生産性に依存する。急進的イノベーションの生産性が高い経済では、高所得層の所得シェアは長期
的に上昇する傾向があるのに対し、急進的イノベーションの生産性が相対的に低い経済では、不平等
は一定の水準で安定することが示される。第５章は結びである。 
本論文で検討された起業と経済成長の問題は近年関心を集めるものであり、その重要性は極めて
高い。また、本論文の分析は正確であり、そこで得られた結論は示唆に富む。以上の理由により、本論
文は博士（経済学）を授与するに十分な内容を有すると判断した。 


Essays on Risk Preference, Inequality, and Economic Growth

軍司, 健太

 
 1 
 
氏名（本籍地）  軍司 健太 （東京都） 
学 位 の 種 類   博 士（情報科学） 
学 位 記 番 号   情 博 第 ８６７ 号 
学位授与年月日  令和 7年 ３月２５日 
学位授与の要件  学位規則第４条第１項該当 
研究科、専攻   東北大学大学院情報科学研究科（博士課程）応用情報科学専攻 
学位論文題目   An Object Map Construction Using Geometric and Semantic Information  
(幾何情報と意味情報による物体マップの構築) 
論文審査委員   （主査）東北大学准教授 田所 諭 
             東北大学教 授 大野 和則  東北大学教 授 橋本 浩一 
             東北大学教 授 平田 泰久 
                     （工学研究科） 
 
論 文 内 容 の 要 旨 
 
第１章 緒論 
従来の大量生産はコスト削減に貢献するが、資源浪費や環境汚染、需要変動への対応困難など
の課題がある。これに対し、柔軟な生産ラインは、小ロット多品種生産に適応し、無駄を削減し
ながら生産効率を向上させる。特に、モジュール化された work unit やモバイルロボットの導入
により、生産ラインの再構成に迅速に対応可能となる。本論文では、生産環境における移動ロボ
ットによる work unit の数と種類を考慮した空間認識技術の研究に焦点を当てる。ロボットが自
ら work unit を認識することで生産ラインの機器を IOT 化せずに作業者の好みや生産品に従って
変化する生産ラインに対して自律的に適応できる知能の開発を行う。 
 
第 2章 Work Unit情報の事前知識を活用したオブジェクトマップ構築 
本章では、Work Unit 内のオブジェクト配置制約を、グラフ理論を用いて表現し、これをグラ
フベース SLAM 技術に統合した LayoutSLAM を提案する。work unit 内のオブジェクト配置の変動
を正規分布でモデル化することで、製造環境で繰り返し使用される同一プロセスに対応する work 
unitのオブジェクト配置制約を統一的に表現できるようにした。 
また、work unit に代表的な特徴を付与する支援ツールを開発し、準備プロセスの効率化を図
った。提案する LayoutSLAM は、オブジェクト位置推定精度 0.251m、ロボット軌道推定精度 0.252m 
を達成した。従来のグラフベース SLAM（オブジェクト位置推定精度: 0.468m、ロボット軌道推定
精度: 0.478m）と比較して、オブジェクト位置推定精度を 60.49%、ロボット軌道推定精度を 
50.44% 向上させた。 
さらに、オブジェクト配置が事前情報と異なる環境においても、提案手法は推定精度の向上を
示した。また、未観測オブジェクトが観測データに含まれていた場合でも、関連する work unit
を特定できればオブジェクトの位置補正が可能であることを確認した。 
 これらの結果は、work unit 情報を活用することで、ロボットが最小限の観測データで歪みの
ないオブジェクトマップを構築できることを示しており、未観測オブジェクトを含む再構成され
た生産ラインにおいても有効であることを示唆している。 
 
第 3章 ロボットセンサ観測からの Work unitの推定 
本章では、グラフベース SLAMの枠組みの中で、work unit内のオブジェクト配置制約を幾何学
的特徴から自動抽出し、グラフ表現として統合する LayoutSLAM++を提案する。 
本手法では、ロボットが取得するセンサ情報とオドメトリ情報の確率を考慮し、製造環境に配
置された長方形の設備のエッジ整列特性を抽出することで、物理的に離れたオブジェクト間の関
係を特定する。さらに、エッジ整列に基づくオブジェクト間の相対距離制約を計算し、これをグ
ラフベース SLAM に組み込むことで、オブジェクトマップ構築時の歪みを低減しながらレイアウト
 
 2 
情報を推定する。 
提案する LayoutSLAM++は、オブジェクト配置の変動が少ない環境において、94.7% の精度で work 
unit を抽出することに成功した。また、推定された work unit 情報をグラフベース SLAM に統合
することで、オブジェクト位置推定精度を 5.7% 向上させた。 
これらの結果は、生産ラインの再構成によって work unit の数や種類が変化した場合でも、ロボ
ットが空間内のオブジェクト配置から work unit を自律的に認識し、この情報をオブジェクトマ
ップ構築に活用できることを示している。 
 
第 4章 大規模言語モデルを活用した work unitの精度向上 
本章では、GPT-4 によって生成されたオブジェクト共起情報がロボットのシーン理解に有用かど
うかを、ScanNet v2 データセットを用いて評価した。さらに、GPT-4 の共起情報を用いて 
LayoutSLAM++ におけるオブジェクトマッチングを推定し、意味的および幾何学的なつながりに基
づいたオブジェクトマップ構築手法を検討した。 
GPT-4 によって生成された共起情報の評価では、再現率 (Recall) が 0.78、適合率 (Precision) 
が 0.29 であり、偽陰性（False Negative）が少なく、偽陽性（False Positive）が多い傾向が
見られた。さらに、共起係数と幾何学的マッチングスコアを組み合わせることで、GPT-4 が生成
する複数の共起候補を評価し、幾何学的なつながりのみを用いた場合と比較して、work unit の
推定精度が向上することを確認した。 
これらの結果は、GPT-4 によって生成される共起係数が実環境におけるシーン理解に有用である
ことを示しており、製造環境における work unitの認識精度を向上させる可能性を示唆している。 
 
第 5章 Gazebo シミュレータを用いた高精度メカナムローバーモデルの構築 
本章では、高い運動再現性と低い計算負荷を両立したメカナムローバーモデルを提案する。 
本モデルでは、パッシブ回転ローラーに異方性摩擦を適用し、その形状を複数の球で近似する手
法を採用した。これにより、メカナムホイールの外形を忠実に再現しつつ、計算負荷を軽減する
ことが可能となった。 
検証の結果、提案モデルは、Gazebo シミュレータ上で従来モデルの 3 倍以上のシミュレーショ
ン速度を達成しながら、実車両に近いシミュレーション精度を維持できることが確認された。 
これらの成果は、高い運動再現性とリアルタイム操作性を兼ね備えたメカナムローバーのシミュ
レーションモデルの開発に成功したことを示している。本モデルを活用することで、製造環境に
おけるメカナムローバー向けのインテリジェントシステムの開発が大幅に進展することが期待さ
れる。 
 
第 6章 結論 
本研究では、製造環境における特徴的な Work unit をグラフ理論により用いて表現し、その構
造情報を SLAM（Simultaneous Localization and Mapping）技術に統合することで、幾何学的お
よび意味的なつながりを考慮したオブジェクトマップの構築手法を提案した。 
提案手法は生産ラインが再構成され、オブジェクトの配置が変化した場合でも、新たな環境に
おける work unit を自動的に認識し、その認識結果に基づいて部品運搬ロボットの動作詳細を調
整することが可能になる。 
論 文 審 査 結 果 の 要 旨 
 
運搬ロボットを利用して柔軟に生産ラインを変容可能なスマート工場において、日々配置が変わる
作業台や椅子などの物体地図の構築が課題である。スマート工場には、似た作業ユニットが複数配置
され、人間が作業しやすい様にその位置を変更する。しかし、これまでの手法では、似た物体配置が
複数存在して、かつ、内部の物体配置が日々変化している場合は、地図の構築が困難である。本研究
は、作業ユニット内の物体の配置とその変化をグラフと分散で扱うことで、物体地図を構築する研究
に取り組んでいる。本論文は、その成果をまとめたもので、全編 6 章からなる。 
第 1 章は序論であり、スマート工場における地図構築の課題を説明している。 
第 2 章では、作業ユニットを構成する物体の相対距離と分散の情報を組み込んだ物体地図構築とし
て LayoutSLAM を提案している。事前知識として与えられた作業ユニット内の物体の幾何学的な配置
を利用することで、物体の位置や姿勢が日々変化する場合や、一部の観測データしか得られない場合
において、正確な物体地図の構築を可能にする。これは、工学的に重要な知見である。 
第 3 章では、作業ユニット内の幾何学的な配置関係をロボットの観測情報から推定し、かつ、その
推定結果を利用して物体地図を構築する LayoutSLAM++を提案している。作業ユニット内の物体配置
の条件を変えて推定性能を評価している。これは、工学的に重要な知見である。 
第 4 章では、大規模言語モデル（LLM）から作業ユニット内の物体の繋がりを獲得する方法とその
精度を検証している。実世界で収集した ScanNet を利用して、ChatGPT-4 の推論結果を評価し、LLM
は空間に存在する可能性がある物体の組合せを予測出来ることを示している。予測結果を利用するこ
とで、作業ユニットの推定精度が向上することは、実用的に重要な知見である。 
第 5 章では、高精度で計算量の少ないメカナムローバーのシミュレーション方法を提案している。
仮想空間を利用して大量の評価データの収集が可能になる。これは、工学的に重要な知見である。 
第 6 章は結論である。 
以上要するに本論文は、運搬ロボットを利用して生産ラインを変容可能なスマート工場において、
日々配置が変わる作業ユニット内の物体の相対位置と分散の部分グラフの情報から、物体地図を構築
する方法の提案と有効性を検証したもので、応用情報科学ならびに人間-ロボット情報学の発展に寄与
するところが少なくない。 
よって、本論文は、博士(情報科学)の学位論文として合格と認める。 
   


幾何情報と意味情報による物体マップの構築

Tohoku University博士（経営学）thesi

FENG, YOUXIN

Sustainability of Community-based Social Enterprises in China and Japan: A Dual-perspective Strategy

Tohoku University博士（国際文化）要約のみthesi

蘇, 欣

Japanese

拡張の意味を有する日本語動詞の多義性の研究 ―中国人日本語学習者を視座として―

Tohoku University博士（学術）要約のみthesi

マスロー, セバスティアン

危機言説の政治学 ―北朝鮮問題と日本の安全保障政策の変化を事例に―

小林, 悟郎

 
 1 
 
氏 名  小林
こばやし
 悟郎
ごろう
 
学 位 の 種 類  博 士（情報科学） 
学 位 記 番 号  情 博 第 ８５３ 号 
学位授与年月日  令和７年 ３月２５日 
学位授与の要件  学位規則第４条第１項該当 
研究科、専攻  東北大学大学院情報科学研究科（博士課程）システム情報科学専攻 
学位論文題目  Norm-based Analysis of Transformers 
         （ノルムを用いたトランスフォーマーモデルの分析） 
論文審査委員  （主査）東北大学教 授 鈴木 潤 
              東北大学教 授 山田 和範  東北大学教 授 住井 英二郎 
             東北大学教 授 乾 健太郎  東北大学准教授 坂口 慶祐 
 
論 文 内 容 の 要 旨 
 
第１章 序論 
 近年、トランスフォーマーネットワークが深層学習における中心的技術となり、深層学習モデルの
大規模化が進むとともに大きな性能向上がもたらされた。特に ChatGPT をはじめとする大規模言語
モデルは、多様な言語処理タスクで驚異的な能力を発揮し、幅広い実用化に注目が集まっている。し
かしその高い性能と引き換えに、巨大かつ複雑な深層学習モデルは、内部の処理や推論の過程を理解
することがますます困難となっており、解釈性の低さ（ブラックボックス性）が深刻な課題となって
いる。例えば、医療や災害対応といった意思決定の根拠が求められる実応用の妨げとなるほか、モデ
ル改善の手がかりを得る目的にも、トランスフォーマーモデルの内部挙動を理解していくこと、その
ための分析手法を確立することが重要である。 
 トランスフォーマーモデルの内部挙動を分析するこれまでの試みでは、トランスフォーマーネット
ワークを構成するモジュールのうち核である注意機構の途中計算結果であるアテンション重みを観察
する手法が一般的に用いられてきた。この手法では、言語モデルが内部で言語の構造や意味を捉えて
いることを示唆する興味深い観察が得られた一方で、文頭や句読点に過剰に注目しているという非直
感的な観察も報告されてきた。本研究では、この既存手法がモデルの大部分を無視した、ごく限定的
な分析手法であるという問題点を指摘し、これを解決するためにベクトルノルムを用いた分析手法を
提案する。具体的には、モデルの計算処理を数理的に分解していくことでベクトルの足し算で表し、
ベクトルのノルム（長さ）によって各入力単語への注目度を定量化するという手法である。まずは、
注意機構に対してこの手法を適用し、続いて他の構成モジュール（残差結合、層正規化、フィードフ
ォワードネットワーク）を段階的に分析対象に組み込んでいくことでモデルの内部機序をより包括的
に解明する。実験では、従来手法よりも直感的な観察結果を得たほか、未解明だった内部挙動や性質
を明らかにする。 
 
第 2 章 背景 
 
 2 
本章では、トランスフォーマーの基本構造と、トランスフォーマーモデルを分析する既存の手法につ
いて述べ、本研究の背景知識を補完する。トランスフォーマーの各層は、注意機構、残差結合、層正
規化、フィードフォワードネットワークの 4 つのモジュールから構成されている。それぞれの演算に
ついて数式および言葉で説明する。トランスフォーマーモデルを分析する従来手法として、代表的な
ものを大きく 6 種類に分けて紹介する。（1）単語間の相互作用に注目する注意マップは、主に注意重
みを観察することで分析されてきた。 （2）フィードフォワードネットワークの分析は、その重みパ
ラメータを解釈することによって近年大きく注目を集めている。（3）モデルの中間表現にどんな情報
が符号化されているのか、長く分析されており、プロービングと呼ばれる手法が代表的である。（4）
表現空間における中間表現の分布や特徴などの幾何的性質の分析では、表現の異方性や外れ値の存在
が明らかにされてきた。（5）モデルから一部のパラメータやモジュールを枝刈りする試みから、その
冗長性が示唆されてきている。（6）近年では機械論的解釈可能性という標語のもとで詳細な内部挙動
や、特定の機能や振る舞いを実現する回路（サブネットワーク）の特定が進んでいる。本研究で提案
する一連の新たな分析手法は、主に（1）注意マップの分類に属する。 
 
第 3 章 ノルムを用いた注意機構の分析 
 本章では、注意重みを観察する従来の分析手法の欠点を指摘し、ベクトルノルムを用いた新たな分
析戦略によってトランスフォーマーの核である注意機構を分析する。 
 注意重みは、トランスフォーマーを構成する 4 つのモジュールのうちの 1 つである注意機構の内部
で途中計算結果として算出される重み付け値である。したがって、この注意重みを観察する分析方法
は、3 つのモジュールの振る舞いを無視し、注意機構についても部分的にしか振る舞いを反映してい
ない。モデル内部の振る舞いについて誤解を導く可能性のあるごく単純な例を用いて、この欠点を説
明する。 
 この欠点を解消するため、ベクトルノルムを用いた新たな分析戦略を提案する。具体的には、次の
2 段階で行う。（i）分析対象の計算処理を分配則などによる式変形で数理的に分解し、各入力に紐づ
いたベクトルの足し算の形で表す（加法分解する）。（ii）ベクトルのノルム（長さ）を測ることによ
って対象の計算処理において、出力計算に各入力単語がどれほど寄与したか（各入力単語にどれほど
注目したか）を定量化する。特に本章では、この分析戦略を注意機構に対して適用し、注意重みだけ
でなく、それ以外の処理も考慮して注意機構を分析する。 
 提案手法でいくつかのトランスフォーマーモデルに対して分析を行うと、従来観察されてきた、文
頭・文末・句読点に注目が偏る不自然な内部挙動が消え、より人間の直感に近い観察が得られた。さ
らに、分析手法の違いによってこのような観察結果の違いが生じる仕組みについても調査し、注意機
構の内部処理について理解を深め、その原因についても論じた。 
 
第 4 章 残差結合と層正規化を組み込んだ分析 
 本章では、第 3 章で提案したノルムを用いた分析の対象を注意機構に加えて残差結合と層正規化を
含めるように拡張し、これらのモジュールの影響や、モジュール同士の力関係について分析する。 
 残差結合は、各モジュールの出力に元の入力を加算することで元の情報を保持する役割を担い、層
正規化はベクトルの正規化と要素毎のアフィン変換を行う。注意機構は文脈単語の情報を参照して混
ぜ合わせるモジュールであり、自身の情報を保持する残差結合とは相反する役割である。また、層正
規化の変換は、特定要素の引き伸ばしや縮退によってこれらの働きを上書きしうる。これらの理由か
 
 3 
ら、注意機構単体でなく、残差結合および層正規化を考慮した分析はモデルの内部理解を深める上で
重要であるが、注意重みによる既存の分析手法では見落とされてきた。 
 注意機構、残差結合、層正規化の 3 つのモジュールからなる処理全体に対して、ノルムを用いた分
析を適用する。第 3 章で述べた、式変形による加法分解が可能であればこの拡張は容易に行える。残
差結合は単純な加算であり、層正規化は正規化計算時の平均および標準偏差の値を定数とみなせば減
算と除算であるため、分配則によって加法分解が可能である。 
 トランスフォーマー穴埋め言語モデルに対して、この分析手法を適用し、残差結合が注意機構の効
果をこれまでの想定以上に弱めており、モデル内の各層では周囲文脈の情報を徐々に取り込んでいる
ことを明らかにした。単語間の相互作用に対する層正規化の影響はそこまで大きくなかった。また、
各単語が周囲文脈の情報をどれだけ強く取り込んでいるかを混ぜ率として定量化してみると、混ぜ率
が単語の出現頻度と相関していることが分かり、モデルが暗黙的に単語の重要度を出現頻度に基づい
て調整していることが示唆された。 
 
第 5 章 フィードフォワードネットを組み込んだ分析 
 本章では、ノルムを用いた分析の対象を更にフィードフォワードネットワークを含めるように拡張
し、層全体まで分析対象を広げ、フィードフォワードネットワークの働きや、モジュール同士の相互
作用について分析する。 
 フィードフォワードネットワークは、二つの線形層と活性化関数による変換を行う。フィードフォ
ワードネットワークが持つパラメータ数は層の 3 分の 2 を占めており、第 3 章および第 4 章で観察さ
れた単語間の相互作用を大きく上書きしうる表現力を持っている。近年、フィードフォワードネット
ワークは知識格納モジュールであると考えられているが、単語間の相互作用への影響については分か
っていない。 
 注意機構、残差結合、層正規化、フィードフォワードネットワークの 4 モジュール（1 層）の処理
全体に対して、ノルムを用いた分析を適用する。第 3 章で述べた、式変形による加法分解が可能であ
ればこの拡張は容易に行える。フィードフォワードネットワークには非線形な変換である活性化関数
が含まれており、他のモジュールと違って分配則による加法分解が不可能である。そこで、機械学習
モデルの解釈技術である入力帰属法を用いて、非線形変換を足し算に分解する工夫を行うことで、分
析対象を加法分解でき、ノルムを用いた分析を実現した。 
 複数のトランスフォーマー言語モデルに対して、この分析手法を適用し、フィードフォワードネッ
トワークが頻出フレーズや固有表現を構成するような関連深い単語同士の参照を強めていることを明
らかにした。さらに、フィードフォワードネットワークによる影響は、直後の残差結合と層正規化に
よって大きく打ち消される傾向も発見した。これはトランスフォーマーモデルの冗長性を示唆する重
要な発見である。打ち消しの具体的な仕組みについても調査し、それが特定要素の外れ値を介して実
現されていることを明らかにした。 
 
第 6 章 関連研究との接続 
 本研究の手法および結果が、トランスフォーマーモデルを分析する既存研究とどう接続するかを述
べる。特に、第 2 章で導入した 6 種類の分類それぞれに対して論じる。 
 本研究は（1）注意マップに分類され、既存手法の代替となる手法群を提案するとともに新たな洞
察を多く提供しており、後続研究が進められ大きな広がりを見せている。これまでの（2）フィード
 
 4 
フォワードネットワークの分析では、その重みパラメータの解釈から知識格納モジュールとしての見
方が一般的となっていたが、本研究の結果から、フィードフォワードネットワークが単語間の参照に
も作用していることが示唆された。フィードフォワードネットワークの働きについて新たな見方を提
供しているが、どちらの見方が適切か、あるいは両立しているのか、については今後の調査が期待さ
れる。これまで長く行われてきた（3）モデルの中間表現にどんな情報が符号化されているのかの分
析で得られたいくつかの洞察は、本研究の結果と一致する。既に（4）表現空間における中間表現の
分布や特徴などの幾何的性質の分析で発見されていた外れ値について、本研究では、フィードフォワ
ードネットワークの働きを打ち消すことに使われていることを明らかにした。この結果は（5）モデ
ルの冗長性を示唆するものである。本研究で提案した一連の分析手法群は（6）機械論的解釈可能性
の道具として有用であると考えられ、実際に既に採用された例もある。 
 
第 7 章 結論 
 本研究では、トランスフォーマーモデルの内部挙動を分析するための手法群を新たに提案し、実験
から数多くの洞察を提供した。これらの手法群は幅広い分野で使われうる。また、得られた洞察は今
後のモデルの改善に繋がることが期待される。 
 今後の課題として、より大規模なモデルへの適用、層をまたいだ相互作用の分析、洞察に基づくモ
デル改善の試行などが挙げられる。本研究は、トランスフォーマーモデルの内部挙動について理解を
大きく深め、より信頼性の高いAI システムの将来的な開発に貢献するものである。 
論 文 審 査 結 果 の 要 旨 
 
自然言語処理は近年、トランスフォーマーと呼ばれる深層学習ネットワークアーキテクチャの登場
によって大きな発展を遂げた。しかし、トランスフォーマーを採用したモデルは巨大で複雑な構造を
持つため、モデルの処理や意思決定の過程を理解することが困難であるというブラックボックス性の
問題を抱えており、医療や災害現場などへの利用にリスクが生じる上に、モデル改善の手がかりを得
づらい。本論文は、ベクトルノルムを用いてモデルの内部挙動を網羅的に分析するもので、全編 7 章
からなる。 
第 1 章は序論であり、研究の背景と目的について論じている。 
第 2 章では、トランスフォーマーに関する背景知識と、トランスフォーマーモデルの分析を行う従
来研究について網羅的に論じている。 
第３章では、従来の分析手法の欠点を指摘し、ベクトルノルムを用いた新たな分析戦略によってト
ランスフォーマーの核である注意機構を分析した。提案手法で分析を行うと従来観察されていた不自
然な内部挙動が消え、人間の直感に近い結果となることを示し、この仕組みと原因についても論じて
いる。 
第４章では、ベクトルノルムを用いた分析を拡張し、従来の分析で無視されてきたモジュールであ
る残差結合と層正規化を考慮した分析方法を確立した。この分析方法を用いることで、モデルが入力
されたテキストの各単語を処理する際に内部では文脈情報が少しずつ参照されていくことを明らかに
した。また、モデル内部での文脈情報への参照の強さは単語の出現頻度と相関関係にあることを発見
した。 
第５章では、ベクトルノルムを用いた分析をさらに拡張し、従来分析において無視されてきたモジ
ュールであるフィードフォワードネットワークを考慮した分析方法を確立した。この分析方法を用い
ることで、モデル内部でフィードフォワードネットワークが関連深い単語同士の参照を強めているこ
とを明らかにした。また、フィードフォワードネットワークの働きが直後の残差結合および層正規化
で強く打ち消される傾向を発見した。これはトランスフォーマーモデルの冗長性を示す重要な知見で
あり、今後のモデル改善につながることが期待される。 
第６章では、トランスフォーマーモデルの分析を行う従来研究との接続について論じている。 
第７章は結論であり、本論文の貢献について論じている。 
以上、本論文は、自然言語処理で大きな成功を収めているトランスフォーマーモデルの内部挙動を
分析する方法論を提案することで解釈性や透明性の向上をもたらすとともに、モデルに対する理解を
深め、改善につながる知見を数多く提供したものであり、情報科学の発展に寄与するところが少なく
ない。 
よって、本論文は博士（情報科学）の学位論文として合格と認める。 


ノルムを用いたトランスフォーマーモデルの分析

application/pdf紀要類(bulletin)850981 bytesdepartmental bulletin pape

浅沼, 良子

柏倉, 栄子

柳原, 真智子

八重樫, 妹子

吉田, 和子

中川, 佳子

小泉, 裕子

浅野, 玲子

深谷, 真理子

<原著>中堅看護婦の「看護実践上の課題解決」を目
指した学習方法の一考察 : 実践に生かす看護理論
をもちいた学習プロセスの分析
著者 浅沼 良子, 柏倉 栄子, 柳原 真智子, 八重樫 妹子
, 吉田 和子, 中川 佳子, 小泉 裕子, 浅野 玲子, 
深谷 真理子
雑誌名 東北大学医療技術短期大学部紀要 = Bulletin of
College of Medical Sciences, Tohoku University
巻 11
号 1
ページ 105-114
発行年 2002-02-28
URL http://hdl.handle.net/10097/33786












<原著>中堅看護者の「看護実践上の課題解決」を目指した学習方法の一考察 : 実践に生かす看護理論をもちいた学習プロセスの分析

紀要類（bulletin）departmental bulletin pape

Not a member yet