들어가며

AI (Artificial Intelligence)

머신 러닝(기계학습)

기계 학습 machine learning
- 학습종류
  - 지도 학습(Supervised Learning): 레이블이 지정된 데이터를 사용하여
  - 비지도 학습(Unsupervised Learning): 레이블이 없는 데이터를 사용하
  - 강화 학습(Reinforcement Learning): 모델이 환경과 상호 작용하며 최적의 결정이나 행동을 학습
- 분류, 회귀, 클러스터링, 차원 축소 등의 다양한 기계 학습 알고리즘 이해하기.
https://cafe.naver.com/lisper/2560
Machine Learning: The Art and Science of Algorithms that Make Sense of Data (Peter Flach) ML 시작하기에 최적의 책입니다. Tensorflow 등 요즘 유행하는 실용 지식은 없습니다!! 대신 50년에 걸친 인공지능 발전의 결과물을 체계적으로 정리한 책입니다. 이론적으로 접근하는 편이라..읽기 매우 어렵습니다. 중간중간 논문을 찾아 봐야하는 경우도 많습니다. 하지만..이책을 완독하면 현대 ML에 대한 기본이해는 꽉잡고 들어가는 겁니다.

쑥~읽을수 있는 책이 아닙니다. 하루 한장 읽기도 버겁내요. 하지만 보람 있습니다.

No bullshit guide to math and physics (Ivan Savov) ML은 확률통계, 이산수학, 미적분 에 대한 이해가 없으면 접근이 어렵습니다. 이를 위해 수학적 기초를 프로그래머(라고 쓰고 수포자라고 읽는다) 기준으로 쓴 책입니다. 머리에 쏙쏙 들어옵니다. 완독을 강추 합니다.

key component
data
model	AlexNet, GoogLeNet, LSTM, Deep AutoEncoders, GAN ...
loss function	모델을 어떻게 학습할지
optimizer	최적화

loss function
- regression task - 회귀
- classification task - 분류
- probabilistic task - 확률

https://bbongcol.github.io/deep-learning-bookmarks/ https://github.com/teddylee777/machine-learning

year
2020	Self Supervised Learning
2019	BIG language Models
2018	BERT	Bidirectional Encoder Representations from Transformers
2017	Transformer	Attention Is All You Need
2015	ResNet	Residual Networks // 네트워크를 깊게 쌓으면서 테스트에도 성능이 나오기 시작함
2015	GAN	Generative Adversarial Network
2014	Adam Optimizer
2014	Encoder/Decoder	NMT(뉴럴 머신 트렌스레이션) 문제를 풀기위한
2013	DQN	deepmind - 강화 학습 가능한 심층 신경망을 이용
2012	AlexNet	CNN, 역사적으로 딥러닝 성능을 입증

https://dennybritz.com/posts/deep-learning-ideas-that-stood-the-test-of-time/

허깅페이스

https://huggingface.co/
- AI 모델 공유
- AI 모델 학습에 대한 데이터 공유
- https://huggingface.co/learn/nlp-course/ko/chapter1/1
라마2 (Llama 2) 한국어 언어 모델 사용법 (Llama-2-7B 한글 모델)
https://www.markhneedham.com/blog/2023/10/18/ollama-hugging-face-gguf-models/
- pip install huggingface-hub
https://github.com/davidkim205/komt
- Korean Multi-task Instruction Tuning
- huggingface-cli download davidkim205/komt-mistral-7b-v1-gguf ggml-model-q8_0.gguf --local-dir downloads --local-dir-use-symlinks False
- Modelfile
  - echo "FROM ./downloads/ggml-model-q8_0.gguf" > Modelfile
- ollama create ggml -f Modelfile

딥 러닝

약어	풀네임	설명
ANN	Artificial Neural Network	인공신경망 사람의 신경망 원리와 구조를 모방하여 만든 기계학습 알고리즘
DNN	Deep Neural Network	모델 내 은닉층을 많이 늘려서 학습의 결과를 향상시키는 방법
CNN	Convolution Neural Network	Convolution Layer와 Pooling Layer를 복합적으로 구성하여 알고리즘을 만듭니다.
RNN	Recurrent Neural Network	알고리즘은 반복적이고 순차적인 데이터(Sequential data)학습에 특화

MLP는 다층 퍼셉트론(Multi-Layer Perceptron)
- ANN // hidden layer=1
- DNN // hidden layer=N

https://www.boostcourse.org/opencourse

선형 모델 비선형 모델

딥 러닝의 기초 학습:
- 신경망의 기본 구조와 작동 방식 이해.
- 역전파와 그래디언트 기반 최적화 기술 학습.
- CNN(합성곱 신경망), RNN(순환 신경망)과 같은 특수한 신경망 구조에 대해 배우기.

생성형 AI

deeplearning4j

https://github.com/deeplearning4j/
- https://github.com/clojure-interop/deeplearning4j
Attention Is All You Need
- https://blog.research.google/2017/08/transformer-novel-neural-network.html
Javaでディープラーニングをするためのファーストステップ
머신러닝 - 데이터주도
- 딥러닝 - 뉴럴 네트워크
  - 생성형ai

<혼자 공부하는 머신러닝+딥러닝>의 코드 저장소입니다. https://github.com/rickiepark/hg-mldl

https://namu.wiki/w/%EB%94%A5%20%EB%9F%AC%EB%8B%9D 밑바닥부터 시작하는 딥러닝 1,2,3,4 https://www.coursera.org/learn/neural-networks-deep-learning 모두를 위한 머신러닝/딥러닝 강의

모두를 위한 딥러닝 강좌 시즌 1

Neural Networks

Neural networks are function approximators that stack affine transformations followed by nonlinear transformations.

Linear Neural Networks

NPL(Natural Language Processing)

자연어 처리

etc

github cloud Llama 2 code llama-7a/34b mistral-7b

ollama

https://github.com/jmorganca/ollama
https://ollama.ai/
Running Ollama on Windows ! Ubuntu Version | (Much Awaited Video)
- Step 1: Turn Windows Features on or off (Virtual Machine Platform and Windows System for Linux)
- Step 2: Go to Command Prompt and say “wsl --install”
- Step 3: In the Command Prompt type “wsl --user root -d ubuntu”
- Step 4: Type curl https://ollama.ai/install.sh | sh
- ollama serve
- ollama run llama2
ui
- https://github.com/ollama-webui/ollama-webui
  - git clone https://github.com/ollama-webui/ollama-webui.git && cd ollama-webui/
  - cp -RPp example.env .env
  - https://github.com/nvm-sh/nvm
    - nvm install 16
    - nvm use 16
  - npm i && npm run build
  - cd ./backend
    - sudo apt install python3-pip
  - pip install -r requirements.txt
    - pip install uvicorn
  - sh start.sh
    - python3 -m uvicorn main:app
  - http://localhost:8000
    - Model not selected??
  - cd ~/ollama-webui/backend && python3 -m uvicorn main:app
- https://github.com/oobabooga/text-generation-webui.git
taskweaver
- https://microsoft.github.io/TaskWeaver/docs/llms/ollama
Google Colab
- https://colab.research.google.com/
- https://research.google.com/colaboratory/faq.html?hl=ko
mojo
- https://www.modular.com/max/mojo
- https://github.com/modularml/mojo


GGML	GPT-Generated Model Language
GGUF	GPT-Generated Unified Format	2023.08.21

Stable Diffusion

Stability AI에서 오픈소스 라이선스로 배포한 text-to-image 인공지능 모델.
webui
- AUTOMATIC 1111
  - https://github.com/AUTOMATIC1111/stable-diffusion-webui
- GLADIO
  - https://github.com/gradio-app/gradio
  - Gradio is an open-source Python package that allows you to quickly build a demo or web application for your machine learning model, API, or any arbitrary Python function.

diffusion encoding 노이즈를 점층적으로 적용하여 이미지를 노이즈화 하는 단계 decoding 학습을 바탕으로 노이즈를 제거하여 이미지를 만드는게 가능한가 denoising

Whisper AI OpenAI에서 개발한 자동 음성 인식(Automatic Speech Recognition, ASR) 모델이다. https://github.com/openai/whisper

MacOs
- Core ML
  - https://developer.apple.com/ko/machine-learning/core-ml/

study.ai