Useful-LLM-Link

개인기록용 링크모음

• Used for Korean

LLM 모델

Index	내용	링크
0	LLM Explorer	https://llm.extractum.io/
1	ChatGPT by OPENAI	https://chat.openai.com/
2	Claude by anthropic	https://claude.ai/chats
3	오픈소스 모델 챗봇	https://labs.perplexity.ai/
4	오픈소스 모델 데모	https://replicate.com/explore
5	상업적 이용가능한 LLM	https://github.com/eugeneyan/open-llms?fbclid=IwAR1dW3jADiCLrUUXZsRz8FpQnpkcsu5Hl_bhPa4iClyH8vyTMU9UIE1Ufy4
6	한국어 언어모델 사고력 벤치마크 순위	https://lk.instruct.kr/
7	금융 LLM 리더보드	https://llm-leaderboard.org/
8	멀티모달 챗봇 Reka	https://chat.reka.ai/chat

프롬프트 엔지니어링 & 업무 효율화

Index	내용	링크
1	프롬프트 엔지니어링을 통한 업무 효율화	https://jehyunlee.github.io/2024/02/22/General-43_kierchatgpt/
2	프롬프트 엔지니어링 가이드	https://www.promptingguide.ai/
3	프롬프트 엔지니어링 논문	https://www.promptingguide.ai/papers
4	파인튜닝,프롬프트 튜닝,프롬프트 엔지니어링 차이	https://moon-walker.medium.com/the-art-of-prompt-engneering-1-prompt-engineering%EC%9D%B4%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80-4a7a88ce67c
5	Delimiter를 활용한 Prompt Formatting - 정확한 지시사항 전달의 핵심	https://velog.io/@samuel_cogdex/Delimiter%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-Prompt-Formatting-%EA%B8%B0%EB%B2%95-%EC%A0%95%ED%99%95%ED%95%9C-%EC%A7%80%EC%8B%9C%EC%82%AC%ED%95%AD-%EC%A0%84%EB%8B%AC%EC%9D%98-%ED%95%B5%EC%8B%AC

Langchain & RAG(Retrieval-Augmented Generation)

Index	내용	링크
1	랭체인 한국어 튜토리얼	https://github.com/teddylee777/langchain-kr
1	RAG for LLMs 관련 논문 링크	https://www.promptingguide.ai/research/rag
2	Vector DB로 ChatGPT 보정하기(feat. OpenAI)	https://breezymind.com/vector-db-openai-response-optimize/
3	LangChain이란? LangChain으로 강력한 LLM 서비스 구축하기	https://hipster4020.tistory.com/m/189
4	Chroma - Vector database	https://opentutorials.org/module/6369/32376
5	빵형: 여러 문서에서 검색/질문/답변하는 QA 챗봇 만들기	영상: https://www.youtube.com/watch?v=ftXLn9DE7YY 소스: https://colab.research.google.com/drive/1MlrF0Mo8KHrxcrAeulCP3t9hroc073YN?usp=sharing
6	Chroma DB Tutorial: A Step-By-Step Guide	https://www.datacamp.com/tutorial/chromadb-tutorial-step-by-step-guide
7	랭체인 공식 문서	https://python.langchain.com/docs/get_started/introduction
8	LangChain을 이용한 Linkendin 이력서 요약 / 질문하기 , QA	https://velog.io/@acdongpgm/ChatGPT-LangChain%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-Linkendin-%EC%9D%B4%EB%A0%A5%EC%84%9C-%EC%9A%94%EC%95%BD-%EC%A7%88%EB%AC%B8%ED%95%98%EA%B8%B0
9	테디노트 - 랭체인(langchain) + 웹사이트 크롤링 - 웹사이트 문서 요약	https://teddylee777.github.io/langchain/langchain-tutorial-05/
10	테디노트 - 랭체인(langchain) + 허깅페이스(HuggingFace) 모델 사용법	https://teddylee777.github.io/langchain/langchain-tutorial-02/
11	파이썬 Chat GPT로 인사 평가 의견을 자동 요약하기 (엑셀 읽어서 요약)	https://jgws.tistory.com/6
12	Falcon7B + Chromadb - Hands On Guide 랭체인 없이 크로마DB와 Falcon7B와 결합했고, 임베딩의 경우도 오픈소스 활용하여 구현	https://mlengineering.medium.com/integrating-vector-databases-with-llms-a-hands-on-guide-82d2463114fb
13	llmware - RAG을 포함한 LLM 기반 어플리케이션 개발용 통합 프레임워크	https://github.com/llmware-ai/llmware
14	메타데이터 강화가 포함된 LangChain 문서만들기	https://medium.com/@fabio.matricardi/metadata-metamorphosis-from-plain-data-to-enhanced-insights-with-retrieval-augmented-generation-8d1a8d5a6061
15	엔디비아 GEN AI 실습 예제	https://github.com/NVIDIA/GenerativeAIExamples/blob/main/docs/README.md#getting-started
16	RAG에 대하여	영상: https://www.youtube.com/watch?v=NfQrRQmDrcc 발표자료: https://aifactory.space/task/2719/discussion/830
17	LangChain으로 Multimodal과 RAG 활용하기	https://github.com/kyopark2014/llm-multimodal-and-rag
18	프로덕션을 위한 고성능 RAG 응용 프로그램 구축	https://docs.llamaindex.ai/en/stable/optimizing/production_rag/
19	LlamaParse를 사용한 고급 RAG	https://github.com/run-llama/llama_parse/blob/main/examples/demo_advanced.ipynb
20	밑바닥부터 시작하는 RAG 예제	https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
21	카카오톡 RAG	https://github.com/teddylee777/kakaotalk-gpt
22	한국어 순위 재정렬을 활용한 RAG 성능 올리기	https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/
23	그래프 RAG	https://aws.amazon.com/ko/blogs/tech/amazon-bedrock-graph-rag/

llama 활용 개발 예제

Index	내용	링크
1	GPU에서 동작하는 Llama2 챗봇 구현 샘플	https://junia3.github.io/blog/chatbotgpu
2	Langchain으로 LLaMA2 cpp 버전 사용하기	https://knowslog.tistory.com/entry/Langchain으로-LLaMA2-cpp-버전-사용하기
3	로컬 환경에 ollama로 Llama 2 실행 및 LangChain으로 애플리케이션 개발	https://suwani.tistory.com/163

LLM 비동기처리

Index	내용	링크
1	Langchain을 이용한 비동기 호출에 대한 아주 간단한 샘플	https://bcho.tistory.com/1409
2	세마포어(Semaphore) / 비동기 링크 모음 / 요약	https://cafe.naver.com/aidev/480
3	socket, 큐, fastapi에서 BackgroundTasks의 Semaphore - 비동기 공유메모리 - pending 제어 대화 내용	https://cafe.naver.com/aidev/474

cpu 또는 저사양 동작 가능한 llm 관련 참고 사이트

Index	내용	링크
1	최대 24배 빠른 vLLM의 비밀 파헤치기	https://tech.scatterlab.co.kr/vllm-implementation-details/
2	Llama2 13B 이용 text-generation-webui	https://github.com/oobabooga/text-generation-webui
3	vLLM vs llama.cpp	https://www.reddit.com/r/LocalLLaMA/comments/18g21af/vllm_vs_llamacpp/
4	저사양 서버로 LLM 실행 기술 - vLLM	https://doooob.tistory.com/1118
5	QLoRA 4090 1개로도 lama2 7B 파인튜닝 가능??	https://github.com/vllm-project/vllm
6	CPU에서llama2 cpp 설치	https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
7	오리온 모델	https://github.com/OrionStarAI/Orion
8	맥북에어와 미니에서도 7B모델 파인튜닝 가능한 시대 ?? - Mistral-7B QLoRA	https://github.com/ml-explore/mlx-examples/tree/main/lora

책

Index	제목	링크
0	딥러닝을 이용한 자연어처리 입문	https://wikidocs.net/book/2155
1	만들면서 배우는 생성AI	https://www.yes24.com/Product/Goods/122338458
2	쉽고 빠르게 익히는 실전 LLM	https://www.yes24.com/Product/Goods/124721227

강좌

Index	내용	링크
1	Upstage와 함께 하는 글로벌 OpenLLM 리더보드 1위 모델 리뷰 & LLM 모델 Fine-tuning	https://fastcampus.co.kr/data_online_llmpaper?utm_source=media&utm_medium=viral&utm_campaign=prd%5E231123%5E234291&utm_content=teacher%5Eup_teacher%5E234291
2	ChatGPT API를 활용한 챗봇 서비스 구축 with LangChain & Semantic Kernel	https://fastcampus.co.kr/data_online_langchain
3	비용을 줄이는 LLM	https://fastcampus.co.kr/data_online_prompt
4	Neo4j 무료 LLM 강의	https://graphacademy.neo4j.com/categories/llms/

한국어 특화 LLM

Index	내용	링크
1	kiqu-70b : Miqu-70B-Alpaca-DPO 모델을 기반으로 한국어 데이터셋을 사용하여 SFT+DPO 훈련을 진행하여 제작	https://huggingface.co/maywell/kiqu-70b
2	Synatra-Mixtral-8x7B	https://huggingface.co/maywell/Synatra-Mixtral-8x7B
3	Bge-m3 한글 임베딩	https://python.langchain.com/docs/integrations/text_embedding/bge_huggingface https://huggingface.co/BAAI/bge-m3
4	젬마 7B 한국어 모델	https://huggingface.co/beomi/gemma-ko-7b
5	투디지트 한글 LLM 파인튜닝	허깅페이스 : https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard 깃허브 : https://github.com/davidkim205/nox
6	Gemma 한국어 요약 모델 파인튜닝	https://devocean.sk.com/blog/techBoardDetail.do?ID=165703&boardType=techBlog

• Pseudo-Lab/Korean_LLM_Benchmark_Test: GitHub: https://github.com/Pseudo-Lab/Korean_LLM_Benchmark_Test

• 오픈 코-LLM 리더보드: https://littlefoxdiary.tistory.com/124

• **Bge-m3 Config

논문 및 기사:

• 한국어 LLM 성능 평가를 위한 벤치마크 구축: https://github.com/Pseudo-Lab/Korean_LLM_Benchmark_Test
• K-MMLU: 한국어 언어 이해 평가 벤치마크: https://www.sedaily.com/NewsView/29VSXCSWOD
• 한국어 LLM 모델 성능 비교 분석: https://www.youtube.com/watch?v=rQIG_B6XcUw
• 투디지트 한글 LLM : NIA Open ko-llm leaderboard에서 1등,2등, 5등

각 사이트 및 논문의 특징:

• Pseudo-Lab/Korean_LLM_Benchmark_Test: 한국어 LLM 모델들의 성능을 다양한 Task로 평가하는 벤치마크 테스트
• K-MMLU: 한국어 시험 데이터를 기반으로 만든 한국어 언어 이해 평가 벤치마크
• 오픈 코-LLM 리더보드: 누구나 한국어 LLM 모델을 등록하고 다른 모델과 성능을 비교할 수 있는 공개 플랫폼
• 한국어 LLM 성능 평가를 위한 벤치마크 구축: 한국어 LLM 모델 성능 평가를 위한 벤치마크 구축 방법을 제시하는 논문
• K-MMLU: 한국어 언어 이해 평가 벤치마크: K-MMLU 벤치마크의 설계 및 평가 결과를 소개하는 논문
• 한국어 LLM 모델 성능 비교 분석: 다양한 한국어 LLM 모델들의 성능을 비교 분석하는 논문