163559 research outputs found
Sort by
나노초 자발 레일레이-브릴루앙 산란의 광분산을 이용한 비침습적 가스 특성의 측정
No full text학위논문(박사) -- 서울대학교 대학원 : 공과대학 기계공학부, 2024. 8. 도형록.본 연구에서는 저에너지의 나노초 레이저 펄스를 가변압력 테스트셀 내로 집광하여, 다양한 실험 조건들에서 자발 레일레이-브릴루앙 산란 신호를 생성 및 수집하였고 고분해능 광분산기를 통해 수집된 신호를 스펙트럼상으로 분산시켜 2차원의 간섭 패턴들로 변환하였다. 변환된 간섭 패턴들에서 다수의 1차원 벡터 형태의 간섭 데이터들을 추출한 후, 서포트 벡터 기반의 데이터 주도 분류 및 회귀 학습을 통해 산란 신호를 생성한 가스 분자의 종류의 분류 및 해당하는 밀도(압력) 값들로의 회귀를 수행하였다. 본 방법이 다수의 가스 특성들을 높은 정확도로 측정 및 추정할 수 있었고 추후 다양한 연구들로 활용될 수 있음을 확인하였다.
나노초 레이저 펄스의 에너지를 효과적으로 제어하기 위해, 레이저 유도 붕괴 한계점의 특성에 대해 간단한 광학 모델링을 하였으며, 이를 통해 산란 신호의 신호 대 잡음비를 높이는 한편, 불필요한 레이저 유도 붕괴의 생성을 효과적으로 억제하였다. 특정 방향의 편광 및 에너지로 공급된 광자는 초점 근처의 가스 분자들과 탄성 또는 비탄성적으로 에너지 및 모멘텀을 교환하여 그에 따른 다양한 산란 신호를 생성하였다. 광자의 편광에 의해 단일 중성 가스 분자들은 쌍극자 진동을 하며 탄성 신호인 레일레이 산란을 분출하며, 분자들이 연속체로서의 성질을 띄는 조건에 도달하면, 전기변형 효과 또는 분자들 자체의 무작위적 분포로 의한 운동에 의해 음향 양자적 특성을 갖게 되어 비탄성 산란을 일으켜 브릴루앙 사이드밴드 신호를 생성한다. 자발 레일레이-브릴루앙 산란은 별도의 광자의 공급에 의한 격자무늬와의 공진이 없기 때문에, 신호 자체적인 불안정성을 갖게 된다. 하지만, 넓은 입체각을 통해 신호를 수집할 수 있으며, 광학 수집 장치의 구성이 간단하여 본 연구에서 사용되었다.
수집된 자발 레일레이-브릴루앙 산란은 스펙트럼상에서 매우 좁게 분포되어 있어 이를 측정하기 위해, 매우 높은 분해능을 갖는 단일 페브리-페로 에탈론(간섭계)인 가상 이미지화된 위상 배열(VIPA)을 사용하였다. VIPA는 1차원으로 집광 되어 입력된 빔에 대하여 1차원적 광분산을 일으키며, VIPA의 후면부를 통과한 광자들은 다양한 차수의 보강간섭을 일으키게 된다. 이 광자들은 부가적인 원형 렌즈에 의해 재집광되어 최종적으로 원형 형태의 2차원 간섭 패턴을 생성한다. 이를 효과적으로 해석하고 데이터 주도 학습에 쓰일 데이터 세트를 생성하기 위해 프레넬 근사 및 적분 방정식을 이용하였으며, VIPA와 주변 광학체들을 통과하는 광자들의 전반적인 과정을 모델링하였다. 모델링을 통해 1차원적 형태의 초기 자발 레일레이-브릴루앙 신호들이 광분산기인 VIPA에 의해 단일 방향으로만 광분산되고, 잔여 방향에 대해서는 기존의 위치 정보가 보존됨을 확인하였으며, 이는 실험 결과와도 일치하였다.
모델링을 통해, 2차원 간섭 패턴들에서 다수의 1차원 벡터 형태의 데이터들을 추출하였고, 이를 정규화한 후, 직교 적합 분해(POD)를 통하여, 기존의 자발 레일레이-브릴루앙 산란 신호의 불안정성과 기타 교란 신호들이 혼합된 원래의 고차원 데이터에서 차원 축소를 통해 선택된 수의 대표적인 스펙트럼 형상들을 추출할 수 있었다. 기존의 데이터를 추출된 대표 형상들에 조사함으로써 직교 적합 분해 계수를 유도하였다. 추출된 형상들은 재구성되어 기존의 데이터를 정량적으로 충분히 대변하는지를 확인하였다. 직교적합분해 계수는 앞서 정규화 과정에서 얻어진 각 스펙트럼 벡터들의 적분값들과 함께 데이터 주도 학습에 사용될 데이터 세트로 구성되었다. 서포트 벡터 기반의 데이터 주도학습을 이용하여, 초매개변수를 조절하였고 커널 함수를 적절히 선택 및 적용하였으며, 이를 통해 주어진 데이터 세트 내의 특정 비율의 훈련 세트들을 이용하여 분류 및 회귀모델들을 도출하였다. 사용된 훈련 세트 자체의 불안정성과 다수의 교란 신호가 존재함을 고려하여, 훈련된 모델들에서 과적합이 발생할 가능성이 충분하였으므로, 다양한 종류의 교차검증 방법들을 통해 이를 방지하였다. 훈련된 모델들에 잔여 테스트 데이터 세트들을 대입하여 최종 성능을 예측하였으며, 다양한 평가 변수들을 도입하여 검토하였고 모두 넓은 유동 범위 내에서 높은 정확도를 나타내었다. 이를 통해, 본 연구에서 제시한 방법이 다수의 가스 특성을 측정하는 데 적합함을 효과적으로 증명하였다.
주요어: 자발 레일레이-브릴루앙 산란, 가상 이미지화된 위상 배열, 직교적합분해, 서포트 벡터, 가스 종류 분류, 밀도 회귀
학번: 2019-37161Spontaneous Rayleigh-Brillouin scattering (SRBS) is induced by loosely converging low-energy nanosecond laser pulse and spectrally dispersed by a virtually imaged phased array (VIPA) to generate 2D optical fringe patterns enabling statistical analysis of molecule-specific, condition-dependent physical information included in their spectral structure. The incident photons are scattered by a single molecular scatterer to form a centered, i.e., unshifted, Rayleigh peak, as the electric dipole and its oscillation are induced inside a neutral molecule by an electric field emanating photons outwardly with directional dependence. Meanwhile, molecules in a group exhibit characteristics of acoustic phonons and, therefore, propagate at the speed of sound to scatter incident photons accompanying inelastic transfer of energy and momentum. Then, the symmetrically distanced Brillouin sidebands reside near the Rayleigh peak in the spectral domain. The resultant spectral structure of SRBS spans only a few GHz-order, while the temporal width coincides with that of the incident photon. The generation of SRBS requires only a single probe beam lacking a coherent intensity grating, which spatially confines molecular bulk motion by electrostrictive force exhibiting comparably enhanced signal stability. Therefore, the SRBS enables the detection of unconfined, i.e., random, molecular bulk motion occurring near the focal volume, then, photons scatter being detectable by a compact optical setup and in broad-angle, while the acquired signal is highly susceptible to inherent signal instability.
To extract molecular physical information from a spectrally-concentrated SRBS, a high-resolution spectrometer is a prerequisite. The VIPA is one of the solid single-body etalon that is compact guaranteeing parallelism between two optical surfaces, and capable of 1D spectral dispersion accompanying angular tunability. Therefore, the VIPA efficiently induces angular and chromatic separation of the incident beam adjusting the number of cycles of transmission and subsequent reflection. The VIPA disperses SRBS signal in a limited spectral range but with a high resolution, and it converts the original image space to object space comprised of frequency and intensity information yielding the 2D optical fringe pattern. The simplified optical modeling of photon propagation along the VIPA and guiding optics is proposed using Fresnel approximation and an auxiliary imaginary divergence in the form of the integral equation. The intensity distribution and free spectral range (FSR) of the fringe pattern are modeled to validate how the spatially distributed physical information of interacting gas molecules is conveyed to the object plane. The experimental results corroborate the theoretically modeled fringe patterns that the 1D original signal propagating with the divergence is transformed into circularly distributed and spectrally dispersed fringe patterns maintaining spatial information along a non-dispersed axis. Therefore, the raw datasets for data-driven analysis are formed by extracting multiple 1D fringe patterns from different spatial positions, then, normalized, combined with a single-dimension integration factor, and split into test/train dataset with a specific ratio to derive the support-vector-based models extending the capability of the proposed method as a multi-properties calibration tool.
The SRBS signal resides in multi-dimension data space due to various additional sources, e.g., Mie scattering and stray SRBS signal, and its inherent instability originated in randomly distributed bulk motion of interacting molecules. Therefore, representative spectral features should be properly selected and extracted by the decomposition method. Proper orthogonal decomposition (POD) performs efficient dimensionality reduction of input dataset and yields mode coefficients, which are acquired by projecting original data on the selected, limited number of mode bases being sorted by corresponding mode energy. The raw datasets are preliminarily normalized by integration value to trace the transformation of spectral structure being free of absolute intensity, then, representative mode coefficients are obtained, while the number of coefficients is preemptively adjusted by comparing original and POD-reconstructed data. The final train/test dataset is comprised of the POD-derived coefficients and integration factor, which corresponds to the total Rayleigh scattering intensity in a limited flow regime.
The data-driven analysis utilizes multiple support vectors (SVs) for species classification (SVC) and species-specific density regression (SVR) to derive (I) an optimal hyperplane separating classifiable data and (II) the error boundaries allowing user-designated soft deviation, respectively. Then, the train dataset yields prediction models. As the SRBS is highly noisy, resultant SVC and SVR models are susceptible to overfitting requiring the preemptive check by resubstitution and cross-validation. Then, the models predict the results utilizing the test dataset yielding evaluation parameters, e.g., accuracy, correlation coefficient, and root-mean-squared error, which indicate the overall prediction performance of the model. The resultant evaluation parameters of the SVC and SVR models show that the proposed method successfully classifies multiple species and estimates their density with prediction accuracy in a reasonable range.
Keywords: Spontaneous Rayleigh-Brillouin Scattering, Virtually Imaged Phased Array, Proper Orthogonal Decomposition, Support Vector, Species Classification, Density Regression
Student Number: 2019-37161Abstract (English) i
Contents iv
List of Tables vi
List of Figures vii
Nomenclature xiii
Chapter 1 1
1. Introduction 1
1.1. Photon-matter Interaction 1
1.2. Spontaneous Rayleigh-Brillouin Scattering (SRBS) 7
1.2.1. Rayleigh-Brillouin Scattering (RBS) 7
1.2.2. Coherent/Spontaneous Generation 11
1.3. Previous Research 13
1.4. Objective of Research 16
Chapter 2 19
2. Control of Pulse Energy 19
2.1. Laser-induced Breakdown (LIB) 19
2.2. Modeling of Breakdown Characteristics 23
2.3. Experimental Setup 27
2.4. Results and Discussion 32
2.4.1. Transmitted Laser Pulse Energy without Seed-electrons 32
2.4.2. Breakdown Characteristics of ESLIB 32
2.4.3. Pulse Profile Modification 37
Chapter 3 42
3. Experimental Details 42
3.1. Generation of SRBS 42
3.2. Acquisition of SRBS 49
3.2.1. Virtually Imaged Phased Array (VIPA) 49
3.2.2. Optical Setup 53
Chapter 4 57
4. Theoretical Modeling of Photon Propagation 57
4.1. Fresnel Diffraction Integral 57
4.2. Intensity Distribution of Fringe Pattern 60
4.3. Acquisition of Two-dimensional Fringe Pattern 66
Chapter 5 76
5. Data-driven Analysis 76
5.1. Data-extraction and Normalization 76
5.2. Proper Orthogonal Decomposition (POD) 87
5.3. Support Vector Classification and Regression 104
Chapter 6 111
6. Concluding Remarks 111
References 116
Abstract (Korean) 122박
정지 비행을 위한 퍼덕이는 날개 형상 및 날갯짓 최적 설계
No full text학위논문(박사) -- 서울대학교 대학원 : 공과대학 기계공학부, 2024. 8. 최해천.Flying insects exhibit remarkable diversity in wing morphology and kinematics, enabling a wide range of flight behaviors, including a hovering flight. As biological organisms are typically multi-functional, natural selection acting on flight behavior is likely to result in adaptive changes in wing shape and motions. However, in insect flights, while the functional morphology and kinematics have received much attention, selective pressures on flight performance and associated wing shapes and motions remain to be explored. Here, we address this question by optimizing wing shape and motions of a hovering flapping flight using multi-objective optimization considering vertical force generation and flight power consumption. Given Reynolds number of 100 (based on the wing mean chord length and wing tip velocity) and wing aspect ratio of 5, a Pareto front of the optimal wing shapes and motions is obtained using a quasi-steady aerodynamic model (Oh et al. 2020) together with a non-dominated sorting genetic algorithm (NSGA-II). The results show a trade-off between the vertical force generation and flight power consumption where generating a larger vertical force comes at the cost of greater flight power consumption. According to the change in power loading with the increase of vertical force, three distinct optimal solutions are identified from the Pareto front, each prioritizing a specific flight performance: minimum power consumption, maximum flight efficiency, and maximum vertical force generation. The results reveal that optimal wing shape and motions characteristics significantly differ depending on the desired flight performances as well as the mechanisms of vertical force generation and flight power consumption. Furthermore, the results are qualitatively valid even for different Reynolds number and aspect ratio. Lastly, the optimization results are compared with the hovering flights of honeybee, mosquito and rhinoceros beetle. We find that the measured wing shape and motions of honeybee and mosquito are qualitatively similar to those of power minimizing optimal solutions. On the other hand, the measured wing shape and motions of rhinoceros beetle are different to those of power minimizing optimal solution, indicating that they are not optimal in terms of flight power consumption. Instead, their wing shape and motions are more advantageous for reducing the peak torque during the flapping cycle in spite of consuming a larger total flight power. Keywords: flapping wing, hovering flight, insect flight, multi-objective optimization, numerical simulation, aerodynamics Student number: 2019-30906본 연구에서는 다목적 최적화를 사용해 정지 비행하는 날개의 최적 형상과 날갯짓을 연구하였다. 준정상 공력 모델과 비지배 정렬 유전 알고리즘 (NSGA-II)을 사용해 수직력을 최대화하고 비행 전력 소비를 최소화하는 다양한 날개 형상과 날갯짓을 도출했으며, 수직력 발생과 비행 전력 소비 및 비행 효율의 상관관계를 나타내는 파레토 전선을 구하였다. 수직력이 증가할수록 비행 전력 소비는 증가하는 반면, 비행 효율은 CFY=0.48을 기준으로 증가하다 감소하는 경향을 보였다. 그 결과, 파레토 전선에서 서로 다른 비행 성능에 우선순위를 두는 3개의 최적 날개 형상과 날갯짓을 도출했으며 (최소 비행 전력 소비, 최대 비행 효율, 최대 수직력 발생), 날개의 수직력 발생과 비행 전력 소비 메커니즘을 연구했다. 나아가, 수치해석을 통해 날개 주변의 유동 특성을 확인했다. 최소 비행 전력 소비를 만족시키는 날개는 뿌리 근처에 대부분의 시위가 분포되어있는 형상을 가졌으며, 왕복운동의 끝에서 선행회전을 통해 높은 회전순환을 유도하여 수직력을 발생시는 것을 확인했다. 반면, 비행 효율을 극대화하는 날개는 시위 분포가 날개 끝부근으로 이동한 형태를 가진다. 또한, 높은 날갯짓 반경에서 받음각을 높여 더 큰 앞전 와류가 생성되며 수직력과 비행 전력 소비가 증가하는 것을 확인했다. 이때, 수직력의 증가가 비행 전력의 증가보다 적기 때문에 비행 효율은 극대화되는 효과를 확인했다. 수직력을 최대화하는 날개는 피칭축을 앞단에 위치시켜 곧은 앞단 형상을 가지며, 적은 날갯짓 반경에서도 지속적으로 받음각을 변화시키고 선행회전을 통해 수직력을 극대화하였다. 하지만, 날개의 피칭 운동으로 인한 전력 소비가 크게 증가하여 비행 효율이 떨어지는 단점을 확인했다. 파레토 전선의 주요 특성과 이와 관련된 최적의 날개 형상과 날갯짓은 레이놀즈 수와 종횡비의 변화에도 일관되게 유지되어 본 연구의 결과가 다른 비행 조건에도 적용될 수 있음을 보여주었다.
마지막으로, 최적화 결과를 꿀벌, 모기, 장수풍뎅이의 정지 비행과도 비교하였다. 주어진 날개 길이에 대한 꿀벌과 모기의 측정된 날개 형상과 날갯짓은 곤충 무게와 동일한 수직력을 발생시키는 최적화 결과와 매우 유사했으며, 이는 정지 비행시 비행 전력을 최소화하는 측면에서 이들의 날개 형상과 날갯짓이 최적임을 제시했다. 반면, 장수풍뎅이의 경우, 측정된 날개 형상의 시위 분포가 날개 뿌리 근처에 더 집중되어 있었고, 최적화 결과와 비교했을 때 피칭축이 날개 앞단에 더 가깝게 위치하는 것으로 확인했다. 특히 장수풍뎅이와 같은 날개 형상과 날갯짓은 정지 비행에 필요로하는 비행 전력 소모가 최적이 아님에도 불구하고 날개를 움직이는데 필요로하는 최대 토크를 줄이는데 유리하다는 것을 발견했다. 결과적으로, 본 연구에서 제시한 최적화 결과를 통해 곤충 비행을 모방한 초소형 비행체를 개발하고 정지 비행하는 곤충의 다양한 날개 형상과 날갯짓을 이해하는데 매우 중요한 역할을 할 것으로 생각한다.Abstract i
Contents iii
List of Figures v
List of Tables viii
1 Introduction 1
2 Models for a hovering flapping flight 6
2.1. Parameterization of wing kinematics and planform shape 6
2.2. Aerodynamic force generation and power consumption 8
3 Multi-objective optimization 14
4 Numerical details 17
5 Results and discussion 23
5.1. Optimal design of wing shape and motions of a hovering flapping flight 23
5.2. Variation of the Reynolds number and aspect ratio 27
5.3. Numerical simulation on the optimal wing shapes and motions 29
5.4. Comparison with hovering insect flights 32
6 Conclusions 50
References 53
Abstract (in Korean) 58박
딥러닝을 이용한 대장 용종의 광학 진단에서의 분포 외 데이터 탐지와 불확실성 정량화
No full text학위논문(석사) -- 서울대학교 대학원 : 데이터사이언스대학원 데이터사이언스학과, 2024. 8. 김형신.The rise in colorectal cancer highlights the need for early detection and accurate diagnosis of colorectal polyps. This dissertation introduces a novel method to enhance optical diagnosis by integrating Out-of-Distribution detection and uncertainty quantification, assisting endoscopists in identifying hyperplastic and adenomatous polyps and managing Out-of-Distribution polyps that have not been exposed to train the baseline model. Despite advancements, classifying polyps during colonoscopy is challenging due to variability among endoscopists and complex polyp types. Current Computer-Aided Diagnosis systems achieve expert-level accuracy in distinguishing hyperplastic and adenomatous polyps but lack interpretability and the ability to handle Out-of-Distribution polyps. This research develops a Computer-Aided Diagnosis system, Colood, that accurately classifies polyps, detects Out-of-Distribution polyps, and quantifies prediction uncertainty. Using advanced techniques for data augmentation, model training, and confidence calibration, Colood is tested on diverse datasets, including real colonoscopy videos, to improve colorectal polyp diagnosis and patient outcomes. The complete pipeline of Colood has achieved dominant performance over other techniques.본 연구는 대장 용종 분류 모델의 훈련 시 노출되지 않은 용종, 즉 out-of-distribution 용종을 탐지하고 딥러닝 모델의 불확실성을 정량화하여 대장 내시경 전문의의 용종 광학 진단에 도움을 주는 컴퓨터 보조 진단 시스템을 구축하고 효과를 입증했다. 대장 내시경 시 과형성과 선종성 용종을 식별하고 추후 치료를 위한 병리 검사 여부를 판단하는 것은 많은 비용 감소 효과를 불러올 수 있다. 하지만 내시경 검사 중 용종을 검사하는 것은 복잡한 용종의 모양과 다양한 용종 유형으로인해 전문의에게도 어려운 일이다. 하지만 현재의 컴퓨터 보조 진단 시스템은 과형성과 선종성 용종을 구분하는데 전문가 수준의 정확성을 달성했지만 해석 가능한 결과값과 Out-of-distribution 용종을 처리하는 연구는 지금까지 없었다. 이 연구는 용종을 정확하게 분류하고 Out-of-Distribution 용종을 탐지하며 예측 불확실성을 정량화하는 컴퓨터 보조 진단 시스템인 Colood를 개발했다. 다양한 의료 기관에서 수집한 대장 내시경 NBI 이미지와 비디오를 포함한 데이터 세트에서 실험을 한 결과, Colood의 전체 파이프라인이 좋은 성능을 보였다. Colood는 대장 내시경 시 광학 진단에 사용될 수 있는 완전한 컴퓨터 보조 진단 시스템으로 활용될 수 있다.Abstract i
Chapter 1 Introduction 1
Chapter 2 Background 5
2.1 Polyp Classification 5
2.2 Uncertainty Quantification in Polyp Classification 6
2.3 Out-of-Distribution Detection 7
2.4 Out-of-Distribution in medical field 9
Chapter 3 Method 10
3.1 Scenario and System Requirement 10
3.2 Classification Model 11
3.2.1 Training Strategy 11
3.2.2 Model Selection 12
3.2.3 Confidence Calibration 12
3.2.4 Threshold Setting 13
3.3 Out-of-Distribution Detection 15
3.3.1 OOD Detection Methods 15
3.3.2 Method Selection 16
3.4 Integrating Classification and OOD Detection 18
3.4.1 Integration of Models 18
3.4.2 Pipeline Design 19
3.5 Colood: A complete Computer-Aided Diagnosis 20
Chapter 4 Experiments 22
4.1 Performance Metrics 22
4.2 Dataset 23
Chapter 5 Evaluation 25
5.1 Classification Model 25
5.2 OOD Detection Module 26
5.3 Classification pipeline 28
5.4 Colood: A complete pipeline 30
Chapter 6 Conclusion 32
Appendix A Out-of-Distribution Performance 34
Appendix B Overall Accuracy 36
국문 초록 43석
Insights into the Early Cretaceous Magmatism and Tectonic Setting of the Korean Peninsula
No full text학위논문(석사) -- 서울대학교 대학원 : 자연과학대학 지구환경과학부, 2024. 8. 박정우.The Early Cretaceous period on the Korean Peninsula is geologically crucial for understanding the magmatic history and tectonic evolution of East Asia. This epoch bridges the Jurassic and Late Cretaceous subduction-related magmatism, separated by a magmatic hiatus. Moreover, the Korean Peninsula links the Chinese continental margin and the Japanese trench. This study examines the petrogenesis of the Early Cretaceous Seolhwa Igneous Complex (SIC) in the southwestern part of the Korean Peninsula. By conducting a comprehensive analysis that includes petrography, sensitive high-resolution ion microprobe (SHRIMP) zircon U-Pb dating, whole-rock major and trace element geochemistry, Sr-Nd-Pb isotope compositions, and mineral chemistry data, we aim to provide insights for the characteristics of the Early Cretaceous magmatism and the evolutionary history of the Korean Peninsula. The SIC comprises two distinct rock suites: the northern granodioritic and the southern dioritic. The zircon U-Pb ages of the southern suite diorite agree within the error range, indicating a single crystallization event at 110.70 Ma ± 0.49 Ma (mean square weighted deviation; MSWD=1.4). In contrast, the northern granodioritic suite displays a broader range of 110~120 Ma, indicating a protracted magmatic history. The weighted mean age of the northern suite granite was 116.0 ± 1.3 Ma (MSWD=8.0). Although the emplacement ages of the two suites may not be concurrent, they form a singular trend in major and trace element variance diagrams and share isotopically enriched characteristics, suggesting they are comagmatic. Despite experiencing some differentiation, the low SiO2 (53-61 wt.%) and high compatible element contents (Mg# 59.1-64.9; Ni=66-210 ppm) of the southern suite diorites indicate they originated from the mantle rather than the crust. However, their enriched isotopic compositions [(87Sr/86Sr)i = 0.7136-0.7138; eNd(t)= -15.1 to -14.1] and arc-like geochemistry (negative Nb-Ta anomalies, enrichment in LILE, and depletion in HFSE) suggest contributions from subducted crustal materials, probably via mantle metasomatism. In contrast, the northern granodioritic suite exhibits clear signs of crustal assimilation. Inherited ancient cores are abundant in zircons (7 out of 37), and the degree of enrichment correlates with SiO2 contents [( 87Sr/86Sr)i = 0.7129-0.7168; Nd(t)= -13.8 to -17.3]. Also, the suite shows adakitic affinity characterized by high SiO2 (up to 71.5 wt.%), Al2O3 (up to 15.7 wt.%), Sr (up to 562 ppm), and Sr/Y ratios (up to 70). Mass balance and Rayleigh fractionation models suggest that assimilation-fractional crystallization (AFC) can account for major and trace element variations of the suite and the development of their adakitic affinity. The updated age of SIC raises the need to reinvestigate the ages of Mesozoic rocks, which are primary evidence supporting the arc-front magmatism model. The Early Cretaceous igneous rocks in the Korean Peninsula, including the SIC, show higher geochemical diversity with more mafic and alkalic nature and enriched Sr and Nd isotopic signatures than the Late Cretaceous igneous rocks of typical continental arc magma characteristics. They occur as small intrusions or thin layers in sedimentary sequences of Cretaceous basins and are sporadically distributed in the Korean Peninsula. In contrast, the Late Cretaceous igneous suites are located mainly in the southeastern part of the Korean Peninsula, proximal to the paleo trench of the East Asian active continental margin. The distribution and chemistry of the igneous rocks suggest different tectonic environments between the Early and Late Cretaceous magmas. We suggest that regional extension and lithospheric thinning of the East Asian continental margin and subsequent asthenospheric upwelling during the Early Cretaceous resulted in partial melting of diverse mantle sources, including the enriched lithospheric mantle of the SIC.
Keyword: East Asia, Early Cretaceous, granite petrogenesis, slab retreat, lithospheric thinning Student number: 2022-22492설화 화성암 복합체는 전기 백악기의 심성암체로, 설화산을 기준으로 북부에는 화강암이 남부에는 섬록암이 산출된다. 두 암체의 206Pb–238U 연대는 화강암이 117.81 ± 0.91 Ma, 섬록암이 110.70 ± 0.49 Ma로 관입 시기는 차이가 있으나 지화학적으로 유사한 특징을 보인다. 두 계열은 주원소와 미량원소의 SiO2 함량에 따른 변화 경향성을 공유하고, Nb-Ta 음의 이상값, 큰이온친석원소의 부화와 고장력원소의 결핍 등 섭입대의 특징을 가지며 미량원소 패턴이 서로 유사하다. 이는 두 암체가 서로 유사한 마그마 근원 물질 및 분화과정을 통해 형성되었음을 지시한다. 북부의 화강암 내에서 남부의 섬록암과 유사한 성분의 포유체가 발견된다는 점도 화강암과 섬록암이 근원암과 진화 과정을 일부 공유하고 있다는 점을 뒷받침해준다.
섬록암은 60 이상의 높은 마그네슘수, 그리고 69-210 ppm의 Ni, 70-510 ppm의 Cr 등 높은 호정성 원소 함량을 갖는데, 일반적으로 지각의 용융으로 형성되는 암석에 비해 상대적으로 높은 값을 보인다. 이는 섬록암의 모마그마가 맨틀 기원임을 지시한다. 섬록암은 연약권 맨틀 기원의 마그마보다 부화된 SrNd 동위원소 값을 가지고 있는데[(87Sr/86Sr)i = 0.7136~0.7138; εNd(t)= -14.1~-15.1], 이는 마그마 형성 시 대륙 지각 물질의 관여가 있었음을 지시한다. 섭입대 특징을 보이는 미량원소 패턴 역시 이를 지시한다. 그러나 섬록암의 동위원소 값이 마그마 분화도와 관계없이 일정하고, 저어콘에서 상속핵이 발견되지 않는 점은 지각 동화의 영향이 미미했음을 지시한다. 따라서 높은 호정성 원소 함량과 부화된 비호정성 미량원소 및 동위원소 조성이 동시에 나타나는 섬록암의 특성은 근원암인 맨틀 자체가 부화되어 있었기 때문으로 생각된다. 반면에 화강암은 동위원소 값이 균일하지 않고[(87Sr/86Sr)i = 0.7129~0.7168; εNd(t)= -13.8~17.3], 분화도가 높아짐에 따라 동위원소비의 부화도가 높아지는데, 이는 분화과정에서 지각 동화가 일어났음을 지시한다. 화강암에서 분리된 저어콘에서 관찰되는 오래된 상속핵이 역시 이를 뒷받침한다. Nd 동위원소 혼합 모델 또한 섬록암의 평균 조성에 경기육괴 기반암이 35% 이상 혼합될 경우 화강암의 부화 패턴을 재현할 수 있음을 뒷받침한다. 질량균형모델링 결과 역시 남측 섬록암계열과, 분화도가 가장 낮은 북측 화강섬록암까지의 주원소와 미량원소의 변화 경향성을 단순 분별 결정작용으로 설명할 수 있음을 뒷받침한다. 섬록암질 암석의 분화는 각섬석 11.7%, 흑운모 4.1%, 단사휘석 6.1%, 사방휘석 0.6%, 사장석 12.7% 등 약 35%의 분별결정작용으로, 섬록암에서 화강섬록암까지의 분화는 각섬석 12.6%, 흑운모 6.4%, 사장석 11.6% 등 약 30%의 분별결정작용으로 설명이 가능했다. 그리고 이 결과는 실제 박편에서 관찰되는 광물 조성과도 잘 일치하였다. 화강섬록암 계열의 경우 지각동화와 분별결정작용 모두의 영향을 받은 것으로 생각되며, 질량균형 모델을 통해 10.5%의 지각동화와 약 37.8%의 분별결정작용으로 (각섬석 13.3%, 흑운모 3.0%, 사장석 21.4%) 진화과정을 설명할 수 있음을 확인하였다. 설화 화성암 복합체의 관입 시기인 전기 백악기에는 섭입하던 고태평 양판의 섭입각 증가와 해구의 후퇴에 의하여 동아시아 대륙 연변부의 넓은 지역에 인장 응력이 가해진 것으로 생각된다. 부화된 동위원소 및 미량원소의 특징을 보이는 설화 섬록암 마그마는 이러한 확장성 환경에서 연약권 맨틀이 상승하여 열을 공급함에 따라 대륙 암석권에 남아있었던 부화된 맨틀이 용융되며 형성된 것으로 설명할 수 있다. 한반도 전역에서 관찰되는 설화 섬록암과 같은 부화된 동위원소의 특징을 보이는 전기 백악기 고철질 암석이들은 고포타슘 칼크-알칼라인에서 알칼라인에 해당하는 알칼리도와 다양한 미량원소 함량 및 패턴의 변화를 보이는데, 이는 부분 용융에 참여한 암석권 맨틀의 불균질성을 지시한다. 이러한 전기 백악기 고철질 화성암의 지구화학적 특징은 성숙한 대륙 화산호의 환경에서 형성된 후기 백악기 고철질 화성암과 체계적인 차이를 보인다. 이러한 전기 백악기 전암 조성의 높은 성분적 다양성은 섭입하는 판의 후퇴로 인한 확장성 환경에서 다양한 근원암이 녹을 수 있었던 것이 주요 요인인것으로 생각된다.
주요어 : 동아시아, 전기백악기, 화강암 성인, 슬랩 후퇴, 암석권 맨틀 용융 학번 : 2022-22492Abstract i
TABLE OF CONTENTS iv
LIST OF FIGURES vi
LIST OF TABLES ix
LIST OF APPENDICES x
1. Introduction 1
2. Geological background 5
3. Field Observation and Petrography 10
3.1 Northern granodioritic suite 12
3.2 Southern dioritic suite 13
4. Analytical Methods 16
4.1 SHRIMP zircon U-Pb analysis 16
4.2 Electron microprobe analysis 17
4.3 Whole-rock major and trace element analysis 18
4.4 Whole-rock Sr-Nd-Pb analysis . 20
5. Results 21
5.1 SHRIMP U-Pb zircon geochronology 21
5.2 Mineral chemistry 26
5.3 Whole-rock major and trace element geochemistry 29
5.4 Whole-rock Sr-Nd-Pb isotope geochemistry 44
5.5 Mineral thermobarometry and hygrometry 46
6. Discussion 49
6.1 Constraining the timing of magmatism 49
6.1.1 The emplacement age of the southern dioritic suite 49
6.1.2 The emplacement age of the northern granodioritic suite 50
6.2 Petrogenesis of the southern dioritic suite 57
6.2.1 Evolution of the southern dioritic suite diorites 57
6.2.2 Magma source of the southern dioritic suite 62
6.2.3 Origin of primary melts and characteristics of the mantle source 65
6.3 Petrogenesis of the northern granodioritic suite 74
6.3.1 Fractional crystallization and assimilation 74
6.3.2 Origin of adakitic signatures 77
6.4 Implications for Korean Cretaceous magmatism . 81
6.4.1 Early Cretaceous magmatism in the Korean Peninsula 81
6.4.2 The comparison of Early and Late Cretaceous magmatism 83
7. Conclusion 92
Appendix 96
References 127
국문 초록 148
감사의 글 150석
큐브위성 랑데부를 위한 초정밀 GPS 상대항법
No full text학위논문(박사) -- 서울대학교 대학원 : 공과대학 항공우주공학과, 2024. 8. 기창돈.본 논문에서는 큐브위성 랑데부를 위한 초정밀 GPS 상대항법 문제를 다룬다. 일반적인 중대형 위성에 적용되는 상대항법 문제와 달리, 상용품으로 구성된 저가의 큐브위성 플랫폼으로 자율 랑데부 임무를 수행하는 상황을 고려한다. 이 경우, 큐브위성 플랫폼의 공간적 한계로부터 직결되는 하드웨어적 성능 저하 문제를 포함하여 효율적이고 신뢰할 수 있는 GPS 상대항법 시스템 설계 문제로 재구성된다. 대부분의 큐브위성용 상대항법 시스템들이 GPS를 부가적 측정치로 활용하고 반송파 측정치의 미지정수를 고정하지 않는 것을 감안하면, 현존하는 큐브위성용 GPS 상대항법 기법으로는 센티미터급에 도달하기 위한 실시간 미지정수 해법에 효과적으로 도달할 수 없음을 알 수 있다.
지금까지의 큐브위성용 상대항법 시스템은 대부분 상대위성을 영상으로 인식하는 알고리듬에 치중한 나머지 GPS 수신기로부터 제공되는 상대위치를 지나치게 보수적으로 활용하는 경향이 있다. 이와 달리, 제안되는 큐브위성용 초정밀 상대항법은 GPS 수신기만으로 실시간 센티미터급 상대항법을 제공하여 저궤도 큐브위성의 임무 수행 능력 향상에 설계 목표를 두고 있다. 즉, 단일주파수 GPS 측정치만을 사용하는 상황에서도 다양한 센서를 탑재한 상대항법 시스템과 대등한 성능을 제공함으로써 큐브위성의 공간적 한계를 극복함과 동시에 기존의 반송파 측정치에 내포된 미지정수의 실시간 고정 문제를 근본적으로 해결하고자 한다.
이를 위해, 먼저 해치 필터를 통해 잡음 성능을 향상한 의사거리 기반의 DGPS (Differential GPS) 상대항법을 수행하고, 여기에 포함된 위치오차로부터 반송파 측정치에 내포된 미지정수 검색 공간의 통계적 특성을 분석한다. 하지만 DGPS 기반 미지정수 통계적 특성만으로는, 지상 RTK 시스템에서 다중 주파수 반송파 측정치의 선형 조합 기법을 사용하는 것과 같은 효과적인 검색 공간을 활용하기 어렵다. 따라서, 제시된 통계적 특성과 공간 특성 지표인 ADOP (Ambiguity Dilution of Precision) 조건을 동시에 도출하여 LAMBDA 기법의 미지정수 결정 성공률을 향상한 RTK (Real-Time Kinematics) 상대항법을 수행한다. 저궤도 환경은 충분한 가시위성이 확보될 뿐만 아니라 측정치 품질이 우수하다. 따라서 단일 주파수만으로 센티미터급에 도달하기 위한 미지정수 고정 문제에서 최소한의 계산량으로 신뢰성 확보가 가능함을 유추할 수 있다.
또한, 주어진 DGPS 상대위치와 관측치로부터 가중 최소 제곱법을 활용한 미지정수 재귀 필터식을 유도한다. 유도된 필터는 일반적인 RTK에서 활용되는 비선형 칼만 필터와 유사한 구조를 갖고 있으나, 측정치 갱신만을 활용하여 효과적으로 미지정수 검색 범위를 개선한 점이 다르다. 기존 방법의 시스템 동적 모델의 시간 갱신을 통한 경험적 미지정수 추정 대신, 제안된 방법은 추정된 초기 상대위치로부터 미지정수 관측치의 통계적 특성을 순차적으로 반영한다. 이로써 미지정수 후보 탐색 범위를 좁히고 최소한의 연산량으로 미지정수 결정 신뢰도를 향상할 수 있다. 다시 말해, ADOP를 획기적으로 개선해 가시위성이 최소한으로 확보되는 상황에서도 강건하게 미지정수 결정 성공률을 100% 보장하고 잔여 오차를 최소화함으로써 미지정수 해결의 연산 부담을 경감시킨다.
제안된 시스템의 또 다른 장점 중 하나는 랑데부를 수행하는 위성 간의 상대 역학 모델을 통해 사이클슬립을 검출하고, 이를 활용하여 위성 간 통신 실패 상황에서도 궤도전파를 통해 상대운동을 예측할 수 있다는 점이다. 두 큐브위성의 근접 운용에 대해 유도된 선형 상대운동 모델로부터 산출된 상대가속도를 활용하여 사이클슬립을 판별하고 상대위성의 운동을 예측할 수 있다.
제안된 초정밀 GPS 상대항법 시스템의 유용성을 보이기 위해, 저궤도 시뮬레이션과 지상 환경에서 수집된 측정치를 통한 성능 검증 결과가 제시된다. 저궤도 환경에서 위성의 고속 기동으로 인한 GPS 위성군 변화에서도 제안된 알고리듬이 대응될 수 있음을 보인다. 또한, 실제 큐브위성 플랫폼에 대응하는 하드웨어 제작을 통해 측정치 성능 저하를 예측하고, 최악의 상황을 가정한 지상 환경 측정치를 활용하더라도 제안된 알고리듬이 효과적으로 미지정수를 해결하고 우수한 상대항법 성능을 제공함을 확인한다. 제안된 상대항법 시스템은 단일 주파수 GPS 수신기만으로 정밀한 성능을 보장할 뿐만 아니라 저가의 위성 플랫폼에서도 활용될 수 있는 실용성으로 인해 다양한 임무에서 활용될 수 있을 것으로 기대된다.This dissertation addresses the challenge of achieving precise GPS relative navigation for CubeSat rendezvous missions. Unlike conventional methods applied to medium and large satellites, this research focuses on autonomous missions utilizing low-cost, commercially-available CubeSat platforms. In this context, the design challenges for an efficient and reliable GPS relative navigation system are redefined to include issues related to hardware performance degradation, which are directly linked to the spatial limitations of the CubeSat platform. It is found that most existing relative navigation systems for CubeSats employ GPS only as a supplementary measurement and do not resolve the carrier phase integer ambiguities, making centimeter-level accuracy difficult to achieve through real-time ambiguity resolution.
Previous systems predominantly used algorithms that rely on electro-optical methods to recognize target satellites, often conservatively utilizing the relative position data provided by GPS receivers. By contrast, the proposed high-precision GPS relative navigation system aims to achieve real-time, centimeter-level accuracy using solely GPS receivers, thereby enhancing the operational capabilities of CubeSats in low Earth orbit (LEO). This system seeks to overcome the spatial limitations of CubeSats and fundamentally address the real-time ambiguity-fixing problems inherent in carrier phase measurements.
The approach begins with relative navigation between the chaser and target satellites using Differential GPS (DGPS), utilizing a Hatch filter to reduce noise. It then analyzes the statistical characteristics of the search space for carrier phase ambiguities derived from positional errors. However, the statistical characteristics of ambiguities based solely on DGPS are insufficient to utilize efficient search spaces such as those employed by linear combination techniques of multi-frequency carrier-phase measurements in ground-based Real-Time Kinematics (RTK) systems. Thus, the study combines these characteristics with the spatial characteristic index, Ambiguity Dilution of Precision (ADOP), to enhance the success rate of the LAMBDA method for carrier phase ambiguity resolution, thereby implementing RTK relative navigation. The LEO environment, with its many visible satellites and high-quality measurements, suggests that reliable ambiguity resolution with minimal computation is achievable–even with single-frequency measurements.
Additionally, a recursive filter for carrier phase ambiguity estimation, derived using weighted least squares from DGPS relative positions and observations, is introduced. This filter (similar to the nonlinear Kalman filter used in standard RTK) refines the ambiguity search range with updates solely from single-frequency measurements. Unlike conventional methods that rely on empirical estimates of carrier phase ambiguities through dynamic model time updates, this approach sequentially reflects the statistical characteristics of observed ambiguities from estimated initial relative positions. In this way, it is possible to narrow down the candidate search range and enhance the reliability of ambiguity resolution with minimal computational demand. Importantly, this also ensures a robust 100% success rate in resolving integer ambiguities, even with minimal satellite visibility, while minimizing residual errors and reducing the computational burden of ambiguity resolution.
Another advantage of the proposed system is its ability to detect cycle slips through the relative dynamics model between rendezvousing satellites, which facilitates the prediction of relative motion via orbit propagation–even in scenarios of communication failure. Relative accelerations derived from the linear relative motion model of closely operating CubeSats are used to determine cycle slips and predict the motion of the target satellite.
In order to demonstrate the utility of the proposed precise GPS relative navigation system, performance verification results from simulations in LEO and ground-based measurements are presented. The algorithm adapts to changes in the arrangement of GPS satellites caused by their high-speed maneuvering in orbit. Furthermore, hardware that corresponds to actual CubeSat platforms is used to predict and confirm both the resolution of ambiguities and the superior relative navigation performance–even under worst-case ground measurement scenarios. As a result, the proposed relative navigation system ensures both high accuracy of the single-frequency GPS receivers and high applicability for various missions because it is compatible with low-cost satellite platforms.ABSTRACT i
TABLE OF CONTENTS iv
LIST OF FIGURES viii
LIST OF TABLES xiv
ABBREVIATIONS xvi
NOMENCLATURE xviii
CHAPTER 1. INTRODUCTION 1
1.1 Motivation and Purpose 1
1.2 Former Research 6
1.3 Outline of the Dissertation 15
1.4 Contributions 17
CHAPTER 2. SNUGLITE-III CUBESAT RENDEZVOUS MISSION 21
2.1 System Configuration 21
2.2 Concept of Operations and Mission Scenario 24
2.3 Hardware Limitations of CubeSat Platform 26
2.3.1 GPS Receiver 26
2.3.2 GPS Patch Antenna 29
2.3.3 On-Board Computer 31
2.4 Communication and Data Constraints 33
2.4.1 Inter-Satellite-Links 33
2.4.2 Transmission Data Standards 35
CHAPTER 3. RELATIVE MOTION OF SPACECRAFT IN LOW EARTH ORBIT 37
3.1 Coordinate Systems 37
3.1.1 Earth-Centered Inertial (ECI) Frame 39
3.1.2 Earth-Centered Earth-Fixed (ECEF) Frame 40
3.1.3 Local-Horizontal Local-Vertical (LVLH) Frame 41
3.1.4 Body Frame 42
3.1.5 Antenna Frame 43
3.2 Orbital Mechanics 44
3.2.1 The Two-Body Problem 44
3.2.2 Keplerian Orbit Elements 46
3.2.3 Space Perturbations. 48
3.3 Relative Motion of Two Spacecraft 49
3.3.1 General Cartesian Expression of Relative Motion 49
3.3.2 Nonlinear Equations of Relative Motion 52
3.3.3 Linear Equations of Relative Motion 54
CHAPTER 4. GPS RELATIVE NAVIGATION USING SINGLE FREQUENCY MEASUREMENT 59
4.1 Overview of GPS Relative Navigation System 59
4.2 Pseudorange-based Relative Navigation 64
4.2.1 Differential GPS Relative Navigation 64
4.2.2 Position-domain DGPS 65
4.2.3 Range-domain DGPS with Hatch Filter 66
4.2.4 Orbit Propagation with Doppler Average Filter 73
4.3 Carrier-phase-based Precise Relative Navigation 79
4.3.1 Real-Time Kinematic Relative Navigation 79
4.3.2 DGPS-based Ambiguity Resolution 84
4.3.3 Recursive Ambiguity Filter 88
4.3.4 Ambiguity Dilution of Precision and Validation 92
4.4 Cycle-Slip Detection using Rendezvous Dynamics 97
CHAPTER 5. SIMULATION STUDY OF GPS RELATIVE NAVIGATION 101
5.1 Simulation Environment 101
5.2 Pseudorange-based Relative Navigation Results 106
5.3 Carrier-phase-based Precise Relative Navigation Results 111
5.4 Cycle-Slip Detection Results 126
CHAPTER 6. EXPERIMENTAL VERIFICATION OF GPS RELATIVE NAVIGATION 127
6.1 Design Consideration on GPS Patch Antenna 127
6.2 Ground Environment Experiment Setup 136
6.3 Experimental Results 142
6.3.1 Effects of Ground Plane Design on GPS Patch Antenna 142
6.3.2 Pseudorange-based Relative Navigation Results 145
6.3.3 Carrier-phase-based Precise Relative Navigation Results 151
6.3.4 Cycle-Slip Detection Results 165
CHAPTER 7. CONCLUSIONS 166
BIBLIOGRAPHY 170
국문요약 180박
몽골의 신체활동 개발에 대한 공공 정책 : 1911-1940
No full text학위논문(석사) -- 서울대학교 대학원 : 사범대학 체육교육과,글로벌스포츠매니지먼트전공, 2024. 8. Kim Yukyoum.Public Policy on Physical Activity Development in Mongolia:1911-1940 Oyunbileg Zorigoo Global Sport Management, Department of Physical Education The Graduate School of Education Seoul National University Physical activity is one of the most important things in human life. It helps to improve not only our physical but also mental health. Many researches show that people who are active in physical activity have better mental health and wellbeing. One of the cultural heritages of Mongolia-The Naadam, is the beginning of a new generation of physical sports, the main physical tool of the population, have gone through a long and difficult path in history, and the physical activity development is naturally included in one part of the history of social development. This study examined the historical development perspective of physical activity in Mongolia, the government's policy on physical activity and the ways to improve the population's awareness of physical activity and sports during the beginning of modern Mongolia. Because it is very important to know when and how physical activity started to develop in our country.인간의 삶에서 가장 중요한 것들중에서 신체 활동입니다. 신체 활동은 우리의 육체적 건강뿐만 아니라 정신적은 건강에도 도움이 된다. 많은 연구에 따르면 신체 활동을 잘 하는 사람들의 정신 건강 및 웰빙은 안 하는 사람들하고 비교하면 훨씬 낫다고 한다. 몽골의 문화유산 중 하나인 나담이라는 축제는 신세대 체육 스포츠의 시작이자 인구의 주요 신체 활동으로서 역사상 길고 힘든 길을 걸어왔으며 신체 활동 발달은 자연스럽게 사회 발전 역사의 한 부분이다. 우리나라에서는 신체활동이 언제, 어떻게 발전하기 시작했는지를 아는 것은 매우 중요하기 때문에 본 연구는 몽골의 신체활동의 역사적 발전과 정부의 신체활동에 대한 정책 또는 국민의 신체활동과 스포츠에 대한 인식 제고 방안을 조사를 하였다.Abstract . ii
List of Tables vii
List of Figure 8
CHAPTER 1. INTRODUCTION . 9
1.1 Study background 9
1.2. Research Significance 13
1.3. Research Purpose . 14
1.4. Research Questions . 14
CHAPTER 2. LITERATURE REVIEW. 15
2.1. Concept of Physical activity 15
2.1.1. Physical activity policy 16
2.2. History of Modern Mongolia . 19
2.2.1. Mongolian Revolution 1911 20
2.2.2. Mongolian peoples revolution 1921 22
2.3. The Policy Triangle Model . 25
CHAPTER 3. METHOD 27
3.1. Study design 27
3.1.1. Data collection 28
3.1.2. Data analysis . 30
CHAPTER 4. FINDINGS . 31
4.1. Public policies for PA development 31
4.1.1. Public policies 1911-1921 31
4.1.2. Public policies 1921-1940 33
4.1.3. From Autonomous Mongolia to Peoples revolution 41
CHAPTER 5. DISCUSSION 51
5.1. Discussion 51
5.1.1. PA development during 1911-1921 51
5.1.2. PA development during 1921-1940 54
5.2. Research contribution 56
5.2. Limitation and future research 57
5.3. Conclusion 57
References . 59
국문 초록 . 63석
라비노비츠 플뢰어 호몰로지와 플뢰어 기신열
No full text학위논문(박사) -- 서울대학교 대학원 : 자연과학대학 수리과학부, 2024. 8. 강정수.Let Y be a prequantization bundle over a closed spherically monotone symplectic manifold Σ. Adapting an idea due to Diogo and Lisi, we study a split version of Rabinowitz Floer homology for Y in the following two settings. First, Σ is a symplectic hyperplane section of a closed symplectic manifold X with a certain monotonicity condition; in this case, X \ Σ is a Liouville filling of Y . Second, the minimal Chern number of Σ is greater than one, which is the case where the Rabinowitz Floer homology of the symplectization R × Y is defined. In both cases, we construct a Gysin-type exact sequence connecting the Rabinowitz Floer homology of X \Σ or R×Y and the quantum homology of Σ. We also provide several applications and computational results based on this exact sequence.이 논문에서는 닫힌 단조로운 사교 다양체 Σ 위의 선양자화다발 Y의 라비노비츠 플뢰어 호몰로지에 대해 다룬다. Σ가 닫힌 단조로운 사교 다양체 X의 사교 초평면 단면인 경우 여공간 X\Σ는 Y의 리우빌 채움이 되고 X\Σ의 라비노비츠 플뢰어 호몰로지가 정의된다. Σ의 최소 천 수가 2 이상인 경우에 대해서는 Y의 사교화 공간인 R×Y의 라비노비츠 플뢰어 호몰로지가 리우빌 채움 없이 잘 정의된다. 위의 두 가지 기하적 상황에서 우리는 라비노비츠 플뢰어 호몰로지와 Σ의 양자 호몰로지를 연결하는 플뢰어 기신 완전열을 건설한다. 그리고 플뢰어 기신 완전열을 사용한 응용과 라비노비츠 플뢰어 호몰로지의 계산을 소개한다.Abstract i
1 Introduction 1
1.1 Background 1
1.2 Geometric Setting 3
1.3 Split symplectic homology 4
1.4 Main results 6
1.5 Summary of proof 10
1.6 Applications 11
2 Geometric setup 16
2.1 Symplectic hyperplane sections 16
2.2 Reeb orbits and indices 20
2.3 Index positivity and fillability conditions on Y 25
3 Ordinary Gysin exact sequence 31
3.1 Morse functions on Σ and Y 31
3.2 Ordinary Gysin exact sequence 33
4 Split Floer moduli spaces 40
4.1 ∨-shaped Hamiltonians 40
4.2 Almost complex structures 43
4.3 Chains of pearls 46
4.4 Split Floer cylinders 52
4.5 Fredholm analysis for punctured Floer cylinders 65
5 Split continuation Floer moduli spaces 70
5.1 Split Floer continuation cylinders 70
5.2 Proof of Proposition 5.5 77
6 Rabinowitz Floer homology and Floer Gysin sequence 92
6.1 Split Floer chain complex 92
6.2 Split Rabinowitz Floer homology 93
6.3 Floer Gysin sequence 95
6.4 Proofs of corollaries 102
7 S1-equivariant Rabinowitz Floer homology 106
7.1 S1-equivariant Morse homology 106
7.2 S1-equivariant Floer cylinders 108
7.3 S1-equivariant Rabinowitz Floer homology 114
8 Examples and computations 118
8.1 Unit cotangent bundles of spheres 118
8.2 Complements of projective hypersurfaces 124
8.3 Unit cotangent bundle of CP2 133
8.4 Comparison with loop homology 136
Abstract (in Korean) 154박
도메인 변환 데이터와 매니폴드 내 위치정보를 이용한 재생산 기반 멀티 클래스 이상탐지 방법
No full text학위논문(박사) -- 서울대학교 대학원 : 공과대학 기계항공공학부, 2024. 8. 김도년.The development of deep learning technology and technological advances in storing and managing large amounts of data have led to the study of anomaly detection techniques using large amounts of data. In particular, reconstruction-based models that generate distributions of data with similar features to the training data in feature space and feature representations in manifolds have been the subject of recent active study. These models are used to identify abnormal data using reproduced images. However, it should be noted that all of these methods are suitable for learning from labeled single-class data, but are not suitable for multi-class data. This is because multi-class data has different features in different situations within the data that is determined to be normal, such as real-world data. This study has revealed that reconstruction-based models are susceptible to multi-class problem. When the training data is mapped into the feature representation space, classes with disparate features are distributed in a manner that precludes their separation. Consequently, the reconstruction performance of data situated within the region where the actual feature representation distribution overlaps is degraded, rendering it challenging to perform anomaly detection. Consequently, the objective is to enhance the reconstruction performance of anomaly detection models by facilitating the clustering of distinct classes during the learning process of the feature representation. In this paper, we propose a method inspired by the hourglass structure to ensure that feature representations in the mapping space are well clustered with the same class. By leveraging the fact that the training data and the transformed data obtained through domain transformation share the same class information, we cluster the feature representations in a manner that ensures their location information is identical. This method is an unsupervised learning approach that does not utilize the class labels of the training data, but instead relies on the location information of the two feature representations. Due to the hourglass structure, the two feature representations are automatically clustered at the center. Furthermore, since the training data is drawn from different domains, the feature representations located in the two mapping spaces are automatically clustered. Consequently, the method has the effect of clustering the same class without the need for the class label. There are several problems with using the location of the two feature representations to automatically perform clustering. Since the clustering locations are not chosen, there can be many local minima that minimize the loss function. Moreover, if the distributions of the features on the two manifolds have the same alignment, the clustering locations for each class can be the same. Both of these problems cause different classes to cluster together instead of separating, so we propose an area- and orientation-based loss function to limit this special situation. With the proposed method, the model will learn to avoid clumping of feature distributions and optimize each class feature representation to the global minimum. The novel anomaly detection method proposed in this paper employs a clustering approach to discriminate between multiple classes by analysing the feature representations of a reconstruction-based model. The proposed method, which performs clustering without identifying a center, is highly resilient to data imbalance. It is also capable of effectively detecting anomalous data with a limited amount of data where the class label is unknown. Moreover, it is anticipated that this approach will make a significant contribution to tasks that require clustering in addition to anomaly detection models by utilizing structural features. Keyword : Anomaly Detection, Reconstruction-based model, Multi-class Problem, Data Imbalance, Deep Learning Student Number : 2014-21852딥러닝 기술의 발달과 수많은 데이터를 저장 및 관리할 수 있는 기술적 진보로 인해 대량의 데이터를 활용한 이상 탐지 기술이 연구되고 있습니다. 특히 재생산 기반 모델을 이용하여 특징 공간에서 훈련 데이터와 유사한 특징을 갖는 데이터의 분포를 생성하고, 매니폴드 내 특징표현을 이용해 재생산한 이미지를 이용해 비정상 데이터를 판별하는 방식이 최근 활발히 연구되고 있습니다. 하지만 이런 모든 방법들은 라벨링된 단일 클래스 데이터를 이용한 학습에 적합한 모델이며, 실제 데이터처럼 정상으로 판별되는 데이터 내에 여러가지 상황의 다른 특징을 갖는 멀티 클래스에는 적합하지 않습니다. 본 연구에서는 재생산 기반 모델이 멀티 클래스에 취약한 요인으로 훈련 데이터를 특징표현 공간에 매핑하는 과정에서 서로 다른 특징을 가진 클래스가 구분되지 않고 섞이는 방식으로 분포되기 때문으로 보았습니다. 실제 특징표현 분포가 중첩된 영역에 위치한 데이터의 복원 성능이 저하되었으며, 이로 인해 이상 탐지를 수행하는데 어려움을 주었습니다. 따라서 모델이 특징표현을 학습하는 과정에 서로 다른 클래스끼리 클러스터링 되도록 매핑시키으로써 이상 탐지 모델의 복원 성능을 향상시키고자 하였습니다. 본 논문에서는 매핑 공간에 특징표현이 동일 클래스끼리 잘 클러스터링 되도록 하기 위해 모래시계 구조에서 착안하여 동일 클래스끼리 뭉칠 수 있는 방법을 제안했습니다. 훈련 데이터와 도메인 변환을 통해 얻은 변환 데이터는 동일한 클래스 정보를 갖고 있다는 사실을 이용하여 두 특징표현의 위치정보가 같아지도록 하는 방식으로 특징표현이 클러스터링 되게 하였습니다. 이 방법은 훈련 데이터의 클래스 label을 이용하지 않고 오직 두 특징표현의 위치정보만을 이용하는 비지도 학습입니다. 모래시계 구조로 인해 두 특징표현은 자동으로 중심에 밀집되게 됩니다. 또한, 도메인이 다른 데이터에 대해 학습했기 때문에 두 매핑공간에 위치한 특징표현은 자동으로 클러스터링이 되어 있는 상태입니다. 따라서 클래스 정보을 모르더라도 동일 클래스끼리 밀집시켜주는 효과가 있습니다. 두 특징표현의 위치정보를 이용하여 자동으로 클러스터링을 수행하는 방법에는 몇가지 문제가 있습니다. 클러스터링이 되는 위치를 선정하지 않았기 때문에 손실함수를 최소화하는 다수의 Local minimum이 발생할 수 있습니다. 또한, 두 매니폴드에 위치한 특징표현의 분포가 동일한 배치를 갖게 되면, 각 클래스가 갖는 클러스터링 위치가 동일해질 수 있습니다. 두 문제 모두 서로 다른 클래스가 떨어지지 않고 밀집되어 버리는 문제를 야기합니다. 따라서 이런 특별한 상황을 제한하고자 면적과 방향기반의 손실함수를 제안합니다. 제안한 방법을 통해 모델은 특징표현 분포가 하나로 뭉치는 경우를 방지하고 각 클래스 특징표현이 Global minimum으로 최적화 될 수 있도록 학습하게 됩니다.. 본 논문에서 제시한 새로운 이상 탐지 방법은 재생산 기반 모델의 특징표현을 클러스터링함으로써 다수의 클래스가 잘 구분될 수 있도록 학습합니다. 제안 방법의 구조적 특성으로 인해 데이터 불균형과 부족에 상당히 강건한 것을 확인할 수 있으며, 클래스 정보를 알 수 없는 적은 양의 데이터 만으로 비정상 데이터를 효과적으로 검출할 수 있다. 또한 중심을 구하지 않고 클러스터링을 수행하기 때문에 데이터 부족 또는 불균형으로 인해 발생하는 분류 문제에 적용가능하다. 게다가 구조적 특징을 이용한 방법으로 이상 탐지 모델 외에 클러스터링을 요구하는 작업에 큰 기여를 할 것으로 기대됩니다 Keywords이상 탐지, 재구성 기반 모델, 멀티 클래스 데이터셋 문제, 특징 표현 공간, 매니폴드 매핑 공간, 딥러닝 Student Number : 2014-21852Abstract i
Contents iv
List of Figures viii
List of Tables xv
Chapter 1. Introduction 1
1.1 Motivation of the dissertation 1
1.2 Research scope and overview 4
1.3 Thesis outline 6
Chapter 2. Conventional Methods 8
2.1 Introduction 8
2.2 Concept and Characteristics of Anomaly Detection 10
2.2.1 Statistical Anomaly Detection 11
2.2.2 Deep learning-based Anomaly Detection 13
2.3 One-class Classification (OCC) 15
2.3.1 Reconstruction-based Method 17
2.3.2 Feature map-based Method 18
2.4 Multi-class Anomaly Detection 19
2.4.1 Configuration of Multi-class Dataset 20
2.4.2 State-of-the-art Research for Multi-class Dataset 21
2.4.3 Issue of Multi-class Dataset 24
2.5 Conclusion 25
Chapter 3. Clustering of Unlabeled Multi-class Dataset 26
3.1 Background & Issues 27
3.1.1 Overview 28
3.1.2 Difference between One-class and Multi-class Dataset 30
3.1.3 Issues of Multi-class in MNIST & Solution 31
3.2 Problem Definition 34
3.2.1 Overview of the Reconstruction-based AD 34
3.2.2 Limitations of Reconstruction-based AD 37
3.3 Domain Transform & Location Information in Manifold 38
3.3.1 Feature Representation Clustering Method with Distance-
based Loss Function 38
3.3.2 Feature Transformed Data Generated by Domain
Transforms 45
3.3.3 Network Architecture and Total Loss Function 48
3.4 Experiment Results 51
3.4.1 Set-up 51
3.4.2 One-class Dataset 53
3.4.3 Multi-class Dataset 58
3.5 Conclusions 66
Chapter 4. Loss Function for Choosing the Optimal Point 68
4.1 Background & Issues 69
4.1.1 Overview of Model with Distance Loss 70
4.1.2 Local Minimum Problem 68
4.1.3 Issue of Reverse Positioning 74
4.2 Loss Function for Choosing the Optimal Point 76
4.2.1 Area-based Loss Function 76
4.2.2 Direction-based Loss Function 84
4.2.3 Network Architecture and Total Loss Function 91
4.3 Experiment Results 94
4.3.1 Set-up 94
4.3.2 One-class Dataset 95
4.3.3 Multi-class Dataset 97
4.4 Conclusions 108
Chapter 5. Model Robustness for Data Imbalance and Domain Type 110
5.1 Introduction 110
5.2 Domain Transform Effect 112
5.2.1 Description of Additional Research for Domain Transform
Effect 112
5.2.2 Experiment Results 113
5.3 Effect on Data Imbalance and Scarcity 129
5.3.1 Description of Additional Research for
Data Imbalance 129
5.3.2 Experiment Results 131
5.4 Application to Anomaly Detection of Wafer Image 140
5.4.1 Description of Confirming the Effect of the Proposed Method
through Other datasets 140
5.4.2 Experiment Results 141
5.5 Conclusions 144
Chapter 6 . Conclusions 145
Bibliography 150
국문 요약 158박
모델 경량화를 위한 최적 양자화 파라미터 탐색 연구
No full text학위논문(박사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2024. 8. 유승주.심층 신경망 (DNN) 은 다양한 분야에서 그동안 극복하지 못했던 문제들을 해결하고 있다. 하지만 심층 신경망이 실생활에 적용되기 위해서는 에지 디바이스와 같이 계산 장치들의 자원이 제약된 환경에서 효율적으로 동작할 수 있도록 만드는 것이 중요하다. 즉, 이러한 종류의 디바이스들은 심층 신경망이 실시간으로 수행될 수 있도록 최소한의 수행 시간과 전력 소비를 요구한다. 서버 장치와 같은 환경에서도 역시 에지 디바이스와 유사하게 모델의 빠른 배포 및 온라인 학습을 위한 심층 신경망 모델의 고속 훈련을 필요로 한다. 따라서 심층 신경망을 최고의 속도와 높은 에너지 효율성을 위해 경량화하며 모델의 정확도를 유지하는 것은 심층 신경망이 실생활에 활용될 수 있도록 만들기 위해 매우 중요하다.
양자화 (Quantization) 는 심층신경망 경량화를 달성하기 위해 가장 적용하기 적절한 최적화 방법이다. 모델을 구성하는 가중치 (weight) 와 입력 (activation) 이 가지는 비트 수 (bit-width) 를 적게 사용하여 심층 신경망 계산의 복잡도를 줄인다. 이런 값들을 더 적은 비트 수로 표현하면 동일한 수행시간 내에 더 많은 계산을 수행할 수 있으며 더 간단한 구조의 하드웨어 리소스를 활용할 수 있게 된다. 즉, 속도와 에너지 효율이 크게 증가할 수 있다. 기존 연구에서는 8-비트 및 4-비트 수준의 양자화에서 좋은 결과를 보여왔으며, 근래 최신의 연구에서는 극도로 낮은 2-비트 양자화의 가능성이 보여지고 있다.
양자화는 효율성 측면에서 상당한 이점을 제공하지만 모델 정확도가 감소하는 상충점이 존재한다. 이는 비트 수에 비례하여 나타나는 표현력에 의해 발생한다. 비트 수를 적게 사용하면 가중치와 입력이 나타내어질 수 있는 값의 범위가 제한되는데 이로 인해 정보 손실이 발생하고 잠재적으로 모델의 전체 품질이 저하되며 반대의 경우에는 정보 손실이 적어지게 되나 오히려 효율성을 감소시키게 된다.
본 학위논문에서는 양자화에서 나타나는 정보 손실과 품질 저하를 완화하여 효율성과 정확성 사이의 적절한 균형점을 달성하는 방법을 제시한다. 첫째로 가중치와 입력에 대한 최적의 스케일링 인자를 찾는 BASQ (Branch-wise Activation-clipping Search Quantization) 양자화 방법을 소개한다. BASQ는 다양한 모델 구조에서 정보 손실 없는 양자화를 가능하게 하면서 모델 품질 저하를 최소화하는 임계 값 (clipping value) 을 탐색한다. 탐색된 임계 값을 이용하여 매우 낮은 2-비트 수준의 양자화에서도 높은 정확도를 보여준다. 둘째로 모델의 각 계층 (layer) 에 대한 최적의 비트 수를 찾는 혼합 정밀도 양자화 (mixed-precision quantization) 방법인 MetaMix를 소개한다. MetaMix는 혼합 정밀도 양자화에서 발생하는 불안정성을 해결하고 레이어 별 민감도를 고려하여 모델의 품질을 저하시키지 않는 효율적인 양자화를 가능하게 한다. MetaMix는 불안정성을 줄이는 비트 선택 단계 (bit-selection phase) 와 이전 단계에서 최적으로 선택된 비트 수 결과를 활용하여 고품질의 모델을 완성시키는 가중치 훈련 단계 (weight training phase) 를 통해 낮은 연산량을 가지면서도 높은 정확도를 보여준다.
양자화는 상당한 이점을 제공하지만 양자화에 사용되는 매개변수 (parameter) 를 적절히 찾아내는 것에는 많은 어려움이 있다. 본 학위 논문은 이러한 문제를 극복하여 양자화를 통한 고효율 저손실의 심층신경망 최적화 기술을 달성하는 것에 중점을 둔다.Deep neural networks (DNNs) are revolutionizing various fields, but their widespread adoption hinges on efficient processing, especially on resource-constrained edge devices. These devices demand real-time execution with minimal latency and power consumption. Similarly, server-side operations require high-speed training of DNN models for rapid deployment and online training, enabling continuous improvement. Therefore, optimizing DNNs for superior speed and energy efficiency, while maintaining accuracy, is crucial for their continued advancement.
Quantization offers a powerful technique to achieve this optimization. It reduces the complexity of DNN computations by lowering the bit-width of weights and activations. Representing these values with fewer bits enables performing more operations within the same timeframe and utilizing simple structured hardware resources. This translates to significant gains in speed and energy efficiency. Recent advancements show promising results with 8-bit and 4-bit quantization, and research is exploring the potential of extremely low-bit quantization (e.g., 2-bit).
However, there is a critical trade-off. While quantization offers significant advantages in efficiency, it can become the result of reduced model accuracy. This stems from the inherent relationship between bit-width and expressive power. Lowering the bit-width limits the range of values that weights and activations can represent, leading to information loss and potentially degrading the model's overall quality.
This dissertation proposes several novel methods to address this information loss and mitigate the quality drop associated with quantization, aiming to achieve the best possible balance between efficiency and accuracy. Searching for clipping threshold called Branch-wise Activation-clipping Search Quantization (BASQ) is proposed to find optimal scaling factors for weights and activations during extremely low-bit quantization (e.g., 2-bit). BASQ searches for the clipping threshold value that minimizes information loss while enabling lossless quantization on various network architectures. Searching for bit-width called MetaMix, a novel mixed-precision quantization method that addresses the challenge of finding the optimal bit-width for each layer, is proposed. MetaMix tackles the instability encountered in mixed-precision quantization and considers layer-wise sensitivity to achieve efficient deployment without sacrificing accuracy. It consists of a bit selection phase that reduces activation instability and a weight training phase that leverages the bit selection results for fast and high-quality training.
This dissertation is organized in following order. In Chapter 2, we introduce the preliminaries and backgrounds of the deep neural network quantization. Main problems in quantization for deep neural network introduced in Chapter 3. In Chapter 4, we propose our first solution – the quantization searching method for the low-bit quantization. In Chapter 5, we propose our second solution – the mixed-precision searching. Chapter 6 gives discussion and Chapter 7 gives conclusion of the overall solutions in dissertation.
While quantization offers large advantages, significant challenges remain in finding the optimal settings with quantization parameters. This dissertation focuses on overcoming these challenges to achieve efficient and accurate DNN deployment using quantization techniques.Abstract i
Contents iv
List of Tables viii
List of Figures xi
Chapter 1. Introduction 1
Chapter 2. Backgrounds 4
2.1. Quantization 4
2.2. Quantization Effects on Hardware 6
2.2.1. Energy Efficiency 6
2.2.2. Area Efficiency 8
2.2.3. Latency Efficiency 8
2.3. Quantization Types 9
2.3.1. FP / Integer Quantization 9
2.3.2. Uniform / Non-uniform Quantization 10
2.3.3. Symmetric / Asymmetric Quantization 14
2.3.4. Static / Dynamic Quantization 16
2.3.5. Single-precision / Mixed-precision Quantization 20
2.3.6. Post Training Quantization (PTQ) / Quantization Aware Training (QAT) 20
Chapter 3. Problem Definition 23
Chapter 4. Searching for Clipping Threshold: Enabling Low-bit Quantization 27
4.1. Introduction 27
4.2. Related Works 30
4.2.1. Low-bit Quantization 30
4.2.2. Neural Architecture Search 31
4.3. Preliminary 32
4.4. Branch-wise Activation-clipping Search Quantization 33
4.4.1. Search Space Design 35
4.4.2. Search Strategy 36
4.5. Block Structure for Low-bit Quantization 40
4.5.1. New Building Block 40
4.5.2. Flexconn: A Flexible Block Skip Connection for Fully Skip-Connected Layers 42
4.6. Experiments 43
4.6.1. Evaluation with MobileNet-v2 and MobileNet-v1 45
4.6.2. Evaluation with ResNet-18 48
4.7. Ablation Study 50
4.7.1. Effects of Components 50
4.7.2. Importance of Searching L2 Decay Weight in Discrete Search Space 57
4.7.3. Loss Landscape Comparison 58
4.7.4. Clipping Threshold Behavior 60
4.7.5. Training Schedule 62
4.7.6. Search Block 63
4.7.7. Binary (1-bit) BASQ 63
4.7.8. Comparison with NAS Method 67
4.7.9. Relationship between searched result and quantization error 68
4.8. Conclusion 69
Chapter 5. Searching for Bit-width: Mixed Precision Quantization 70
5.1. Introduction 70
5.2. Related Works 73
5.2.1. Trainable Quantization 74
5.2.2. Mixed-precision Quantization 74
5.3. Activation Instability on Mixed-Precision Quantization 75
5.4. MetaMix – a Meta-State Precision Searcher 79
5.4.1. Overall Training Flow 79
5.4.2. Bit-Meta Training 80
5.4.3. Bit-Search Training 84
5.5. Experiments 86
5.5.1. Training Details 86
5.5.2. Comparison on Single-Precision Quantization 89
5.5.3. Comparison on Mixed-Precision Quantization 95
5.5.4. Training Cost 98
5.6. Ablation Study 99
5.6.1. Effects of Meta-State Model 99
5.6.2. Effects of Fixed Meta-State Model 105
5.6.3. Effects of iterative bit-meta and bit-search training 107
5.6.4. Power-of-two-bit based mixed-precision 108
5.6.5. Weight Mixed-precision Quantization 109
5.7. Conclusion 110
Chapter 6. Discussion 112
6.1. Searching both Optimal Clipping-threshold and Bit-width 112
6.2. Toward Wider Target Applications 113
6.3. Applicable Hardware Structures 114
6.4. Availability on Post Training Quantization 115
Chapter 7. Conclusion 116
Bibliography 118박
시계열분석을 위한 분해 기반의 데이터 증강 기법과 준지도 표현 학습 기법 연구
No full text학위논문(박사) -- 서울대학교 대학원 : 공과대학 산업공학과, 2024. 8. 박종헌.The rapid advancements in data collection methods and storage technologies have dramatically increased the variety and volume of time series data available. Although this data is pivotal for numerous industrial applications and decision-making processes, a significant challenge arises due to the labor-intensive and time-consuming nature of data labeling. This challenge is compounded by the continuous accumulation of data, which leads to a scenario where unlabeled data far outnumbers the labeled data.
In response to these challenges, this thesis employs deep learning-based representation learning techniques within a semi-supervised framework for time series analysis. These techniques facilitate automated labeling for subsets of data, aiding decision-making processes in scenarios with limited labeled data. By integrating deep learning into representation learning, our method effectively addresses the imbalance between labeled and unlabeled data, extracting valuable insights even from sparsely labeled datasets.
This thesis initially proposes a deep learning-based representation model, termed NNCLR-TS, designed to extract features from univariate time series data using a novel single-step, semi-supervised contrastive learning approach. This model comprises an encoder for representation extraction, and a memory structure known as the support set, which aids in pseudo-labeling and facilitates nearest neighbor operations. Within the encoder, two convolutional networks analyze the data from both temporal and frequency perspectives, allowing the model to learn a diverse range of features. Furthermore, the Support set, a dedicated memory structure, stores representations extracted by the encoder in a latent space. This arrangement aids in pseudo-labeling and the selection of training pairs via nearest-neighbor operations.
Appropriate augmentation techniques are essential for contrastive learning. We introduce a novel time series decomposition-based data augmentation technique based on STL decomposition. Unlike jittering and scaling, which may compromise intrinsic time series characteristics such as periodicity, our proposed augmentation technique preserves these features, resulting in more natural augmented data.
We also propose new loss functions that utilize label information, enhancing the learning performance beyond traditional contrastive learning loss functions. These include loss functions considering the similarity within a batch and between the nearest neighbors of given data. This novel approach not only improves the model's accuracy but also ensures its applicability in various real-world scenarios.
The proposed model is applied to various time series classification datasets to validate its performance in univariate time series classification. We investigate performance improvements achieved by utilizing label information, even in scenarios with minimal labeled data.
Finally, we adapt the proposed model for anomaly detection tasks within a self-supervised framework, applying it to various anomaly detection datasets. We assess the model's performance using metrics like precision and recall and explore the potential for performance enhancement through transfer learning.
Our experimental results demonstrate that, in both time series classification and anomaly detection tasks, the proposed model outperforms existing semi-supervised and self-supervised representation learning models.데이터 수집 수단 및 저장 기술의 발전에 따라 활용할 수 있는 시계열 데이터의 종류 및 양이 증가하고 있다. 이러한 데이터는 다양한 산업 현장에서 필수적인 역할을 하며, 그 데이터가 갖고 있는 의미를 파악함으로써 의사결정에 도움을 받을 수 있게 된다. 이를 위해 일반적으로 전문가의 레이블링 작업이 필수적으로 요구된다. 그러나, 지속적으로 수집되는 대량의 데이터를 전문가가 일일이 레이블하는 것은 비효율적이며 시간과 비용이 많이 든다는 문제가 있다.
이에, 본 논문은 준지도 학습 기법을 이용하여 시계열 분석을 진행한다. 이 기법은 일부 데이터만 레이블링이 되어 있는 상황에서 나머지 데이터에 대한 자동화된 레이블링을 가능하게 하여, 사용자의 의사결정에 도움을 줄 수 있다.
본 논문은 먼저 단변량 시계열 데이터로부터 대조적 학습을 통해 표현을 추출하는 모델을 제안한다. 인코더 내부의 두 개의 합성곱 연산 기반의 네트워크는, 데이터를 시간적 관점 뿐만 아니라 주파수적 관점에서도 접근하여 다양한 특징을 모델이 학습할 수 있도록 한다. 또한 메모리 구조의 차용을 통해 인코더로부터 추출된 표현을 잠재 공간 내에 저장해두고 이를 수도 레이블링 및 최근접이웃 연산을 통한 학습쌍 선정을 할 수 잇도록 한다.
대조적 학습에는 적절한 증강 기법이 필수적으로 요구된다. 본 논문에서는 STL기법을 기반으로 하는 새로운 시계열 분해 기반의 데이터 증강 기법을 제안한다. 이 때 분해된 각 요소 중 일부 요소에 대해서 샘플링 기반의 변형을 가함으로써 기반 데이터의 분포를 따르는 증강된 데이터를 생성할 수 있도록 한다. 지터링 및 스케일링 등은 시계열의 주기성 등의 특징을 해칠 수 있는 위험성이 존재하는 반면, 제안된 증강 기법은 시계열의 특징을 따르도록 하여 보다 더 자연스러운 증강된 데이터를 생성할 수 있도록 한다.
본 논문에서는 레이블 정보를 활용할 수 있는 새로운 손실함수를 제안한다. 배치내 데이터간의 유사도를 고려하는 손실함수와, 주어진 데이터의 최근접이웃간의 유사도를 고려하는 손실함수를 새롭게 제안함으로써 기존 대조적 학습 손실함수에서 활용할 수 없었던 레이블 정보를 활용하여 학습 성능을 높일 수 있도록 한다.
제안된 모델을 다양한 시계열 분류 데이터셋에 적용하여 단변량 시계열 데이터 분류 문제에서의 성능을 검증한다. 레이블이 극히 일부만 존재하는 상황에서 레이블 정보를 활용했을 때 성능이 향상될 수 있는지 탐구한다.
마지막으로 레이블 정보를 활용할 수 없는 이상 탐지 문제를 위해 제안 모델을 자기지도 학습 상황에 맞춰 모델을 수정한다. 수정된 모델을 여러 이상 탐지 데이터셋에 적용하여 정밀도 및 재현율 등의 지표를 통해 모델의 성능을 검증한다. 또한 전이학습을 통한 모델의 성능 향상 가능성을 탐구한다.
실험결과 분석을 통해 시계열 분류 문제 및 이상 탐지 문제에서 제안모델이 기존 준지도 및 자가지도 표현 학습 모델에 비해 더 뛰어난 성능을 보임을 확인한다.Abstract i
Contents vii
List of Tables x
List of Figures xiv
Chapter 1 Introduction 1
1.1 Background and Motivation 1
1.2 Objectives 4
1.3 Thesis Outline 6
Chapter 2 Literature Review 7
2.1 Semi-supervised Learning 7
2.2 Representation Learning in Time Series 11
2.2.1 Traditional Methods 11
2.2.2 Deep Learning Approaches 12
2.2.3 Contrastive Learning 13
2.3 Data Augmentation for Time Series Data 17
2.3.1 Random Transformation 17
2.3.2 Data-driven Approaches 18
2.4 Time Series Classification 20
2.5 Anomaly Detection 23
Chapter 3 Proposed Method 26
3.1 Preliminaries 26
3.2 Nearest Neighbor Contrastive Learning for Time Series 28
3.2.1 Model Architecture 28
3.2.2 Representation Encoder 32
3.2.3 Support Set & Pseudo-labeling 34
3.2.4 Nearest Neighbor 37
3.3 Decomposition-based Data Augmentation 39
3.3.1 Time Series Decomposition 39
3.3.2 Augmentation Method 41
3.4 Contrastive & Similarity Loss 44
3.4.1 Normalized Temperature-scaled Cross-entropy Loss 44
3.4.2 Instance-wise Cross-entropy Loss 47
3.4.3 Intra-batch Similarity Loss 50
3.4.4 Triplet Loss for Representation Learning 52
Chapter 4 Time Series Classification 54
4.1 Problem Definition 54
4.2 Experimental Settings 56
4.2.1 Datasets 56
4.2.2 Implementations Details 58
4.2.3 Baseline Models 59
4.3 Results 61
4.3.1 Performance Comparison with Baseline Models 61
4.3.2 Analyzing the Effect of the Ratio of Labeled Data 64
4.3.3 Evaluating the Robustness of NNCLR-TSs Pseudo-Labeling to Dataset Biasness 67
4.3.4 Model Training Time Analysis 74
4.4 Model Analysis 77
4.4.1 Loss Coefficients 77
4.4.2 Support Set Size Capacity 79
4.4.3 Augmentation Methods 80
4.4.4 Ablations on Model Architecture 83
4.5 Visualized Explanations 86
Chapter 5 Anomaly Detection 88
5.1 Problem Definition 88
5.2 Self-supervised Adaptation of NNCLR-TS 90
5.3 Experimental Settings 91
5.3.1 Datasets 91
5.3.2 Implementation Details 93
5.3.3 Baseline Models 95
5.4 Results 97
5.5 Model Analysis 101
5.5.1 Representation Dimensions 101
5.5.2 Effect on the Augmented Part of STLDDA 103
5.5.3 Evaluating Cross-domain Adaptability with Transfer Learning 105
5.6 Visualized Explanations 110
Chapter 6 Conclusion 114
6.1 Summary and Contributions 114
6.2 Limitations and Future Research 117
Bibliography 119
국문초록 144
감사의 글 146박