Arquitetura RAG Privada com MySQL
Prompt técnico para criar pipelines RAG usando MySQL como vector store. Ideal para empresas que precisam manter dados privados sem usar serviços externos.
Crie uma arquitetura RAG (Retrieval-Augmented Generation) privada e segura. ## Contexto - Empresa: [NOME_EMPRESA] - Base de conhecimento: [TIPO: PDF / banco de dados / wiki] - Volume: [MB/GB] - Privacidade: máximo (sem dados saindo para APIs externas) - LLM: [Ollama Llama3 / Claude / GPT-4] ## Arquitetura ### 1. Ingestão - Parser de PDF, DOCX, TXT, HTML - Chunking: 512 tokens, overlap: 50 - Limpeza e normalização - Metadados por chunk ### 2. Embeddings - Modelo: nomic-embed-text ou text-embedding-3-small - Dimensão: 768 ou 1536 - Batch processing ### 3. Armazenamento MySQL CREATE TABLE documents ( id BIGINT PRIMARY KEY AUTO_INCREMENT, content TEXT NOT NULL, embedding JSON NOT NULL, source VARCHAR(255), chunk_index INT, metadata JSON, created_at DATETIME DEFAULT CURRENT_TIMESTAMP ); ### 4. Busca semântica - Similaridade coseno em SQL - Threshold: 0.75 - Top-K: 5 - Reranking por relevância ### 5. Geração - Construção do contexto - Prompt com citações - Resposta com referências ### 6. API REST - POST /query - POST /ingest - GET /documents - DELETE /document/:id ## Stack - Python 3.11 + FastAPI - SQLAlchemy + MySQL 8+ - LangChain ou LlamaIndex Gere o código completo do sistema RAG.