AI/Machine learning(24)
-
비트코인 가격 예측 모델
Regression 모델로 예측 data loading import pandas as pd dataset = pd.read_csv('bitcoin.csv')dataset.head() Date Open High Low Close Adj Close Volume 0 2017-01-01 963.66 1003.08 958.70 998.33 998.33 147775008 1 2017-01-02 998.62 1031.39 996.70 1021.75 1021.75 222184992 2 2017-01-03 1021.60 1044.08 1021.60 1043.84 1043.84 185168000 3 2017-01-04 1044.40 1159.42 1044.40 1154.73 1154.73 344945984 ..
2024.01.12 -
Surprise
CF와 MF 기반 추천 시스템을 구현하고 test 할 수 있는 package surprise는 scikit package의 일부 설치 pip install scikit-surprise error: Microsoft Visual C++ 14.0 is required… 에러가 발생하면서 설치가 되지 않을 시, https://visualstudio.microsoft.com/ko/vs/community/ 에 방문하여 Visual Studio Community 2022를 download 한 후, 이를 설치합니다. 설치 시 수정을 누르고, 를 check 하여 설치한 후, PC를 reboot 해야 합니다. Anaconda 환경에서 설치하고자 할 때는, 다음과 같이 설치합니다. conda activate myenv c..
2022.05.15 -
Latent factor model: matrix factorization
Serious ^ | Amadeus The Color | purple | Avengers | | | Sens and | Ocean's Lethal Sensibility | 11 Weapon geard geared toward | toward females | males The lion king | The | Independence Princess | day Diary | v Dumb and Dummer Funny 모든 영화를 2가지 관점으로 분류 남성취향, 여성취향 or 진지한 영화, 재밌는 영화 영화를 벡터로 mapping Latent factor model: matrix factorization CF는 대표적인 '메모리 기반'의 추천 알고리즘이다. 반면에 Matrix Factorization은 '모델..
2022.05.15 -
데이터 마이닝 1
대용량 데이터에서 '중요한' 정보를 뽑아내고 의미있는 결과를 도출하는 절차를 '데이터 마이닝' 이라 한다. 혹은 데이터 안에서 자동으로 통계적 규칙이나 패턴을 찾는 것을 의미하기도 한다. 데이터 마이닝이 발전한 이유는 요즘 많은 테크 기업들이 적극적으로 도입하고 있는 '추천' 기술과 관련이 있다. 요즘과 같이 딥러닝을 이용한 추천 시스템 이전에는 머신 러닝 기법은 Factorialization Machine 등의 기법을 사용했으며 (Netflix), 그 이전에는 마켓-바스켓 모델이라던가, A-priori 알고리즘 등의 데이터 마이닝에서 다루는 알고리즘등이 사용되어 왔다. Market-basket model 어떤 제품 i를 구입했을 시 j라는 제품도 함께 살지 안 살지에 대한 것을 예측하는 모델이다. co..
2022.05.14 -
CF model with visual information
Introduction 표지 디지안이 구매에 영향을 미치는 요인이 매우 크다. 68% 이미지를 CNN을 사용하여 정형 데이터 화 한 후, CF에 적용한다. Nueral CF 초기 CF는 Nearest Neighbor 중심 이후 Matrix Factorization 기반 CF 행렬 분해법 기반 CF은 사용자-아이템의 평점 행렬 R을 사용 R을 U와 V로 분해하고 손실함수를 통해 학습하여 R'을 계산하여 추천 CF를 신경망으로 구현하여 성능을 높이고자 하는 시도들이 이뤄지고 있다. 초기시도 Restricted Boltzmann Machine (RBM)을 CF에 적용한 RBM-CF Auto-encoder 기반 모델 AutoRec처럼 CF 알고리즘을 Auto encoder로 구현한 모델 Attention-bas..
2022.03.27 -
언어모델
word2vec 언어모델 방식 CBOW: 주변으로 중심단어를 예측 skip-gram: 중심으로 주변 단어 예측 CBOW 입력 벡터의 차원이 7x1이고(BoW), 은닉층이 3x1이라면, Win은 7x3의 matrix임 이 7x3의 가중치 matrix를 훈련을 통해 학습 이 가중치 벡터가 embedding vector가 됨 이는 분산 표현이며 분산 표현은 고정길이 dense 벡터임 word2vec의 문제 단어의 순서를 고려하지 않음 RNN word2vec의 순서 고려 불가 문제를 해결하는 네트워크 시예열(문자열의 각 단어) 데이터 각각을 RNN에 순차적으로 feed 하고 중간계층(은닉층)에서 이전 처리 결과의 상태를 유지하여 반영 이론적으로는 무한의 상태 기억이 가능하나, 실제로는 기울기 값의 감소 등으로 ..
2022.03.13