Skip to content

🚀 AI-powered JSON transformation system with NotebookLM-style interface. Transform documents into enriched knowledge structures using Claude AI, RAG, and semantic analysis.

Notifications You must be signed in to change notification settings

aptyp78/JSON_EVO

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

JSON_EVO 🚀

Персональная LLM система для образовательных инноваций

Революционная парадигма

LLM как JSON-трансформер: Вся революция с LLM заключается в том, что появилась сквозная технология, которая позволяет исходный JSON преобразовать в обогащенный JSON.

JSON (minimal) → [(RAG + LLM + FT) * Guardrails] → JSON (enriched)

Вместо "чат-бота" мы получаем интеллектуальный движок трансформации структур знаний.

🎯 Интеграция с AnythingLLM

JSON_EVO базируется на AnythingLLM через MCP!

AnythingLLM предоставляет:

  • LLM - OpenAI, Anthropic, локальные модели
  • RAG - встроенная векторная БД и семантический поиск
  • Workspaces - изолированные пространства знаний
  • MCP - интеграция через Model Context Protocol

Все в одном месте!

Концепция

Исходный JSON (минимальный):

{
  "concept": "квантовая запутанность",
  "student_level": "beginner",
  "context": "физика 10 класс",
  "learning_style": "visual",
  "prior_knowledge": ["атом", "электрон"]
}

Обогащенный JSON (результат):

{
  "original": {...},
  "explanation": {
    "simple": "Простое объяснение...",
    "detailed": "Детальное объяснение...",
    "metaphors": ["метафора 1", "метафора 2"],
    "examples": ["пример 1", "пример 2"]
  },
  "connections": {
    "prerequisites": ["что нужно знать"],
    "next_topics": ["что изучать дальше"],
    "real_world_applications": ["применение"]
  },
  "visualizations": [...],
  "assessment": {...},
  "personalization": {...},
  "learning_path": {...}
}

Архитектура

Формула трансформации:

JSON → [(RAG + LLM + FT) * Guardrails] → Enriched JSON
          ↑
    AnythingLLM (через MCP)

Где:

  • AnythingLLM - предоставляет LLM + RAG через MCP
  • FT - адаптирует под образовательную специфику (планируется)
  • Guardrails - валидирует на входе и выходе

Быстрый старт

1. Установка AnythingLLM

# Docker (рекомендуется)
docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v anythingllm-storage:/app/server/storage \
  mintplexlabs/anythingllm:latest

# Открой: http://localhost:3001
# Создай workspace "json_evo_workspace"
# Получи API ключ в Settings → API Keys

2. Установка JSON_EVO

# Базовая установка (только для работы с AnythingLLM)
./setup.sh
source .venv/bin/activate

# ИЛИ для разработки с полным стеком LLM/RAG/FT:
# pip install -r requirements-dev.txt

О зависимостях:

  • requirements.txt - минимальный набор (~15 пакетов) для работы с AnythingLLM
  • requirements-dev.txt - полный стек (~40 пакетов) с OpenAI, Anthropic, LangChain, torch, transformers

Рекомендуется использовать requirements.txt, так как AnythingLLM уже содержит всё необходимое!

3. Настройка

Создай .env из .env.example:

cp .env.example .env

Добавь в .env:

ANYTHINGLLM_API_KEY=your-api-key-here
ANYTHINGLLM_BASE_URL=http://localhost:3001
ANYTHINGLLM_WORKSPACE=json_evo_workspace

4. Первая трансформация!

python examples/transformations/anythingllm_example.py

Использование

Через Python код:

from src.transformers.anythingllm_transformer import create_anythingllm_transformer

# Создаем трансформер
transformer = create_anythingllm_transformer()

# Входной JSON
input_data = {
    "concept": "нейронные сети",
    "student_level": "intermediate",
    "learning_style": "visual"
}

# Трансформация (AnythingLLM автоматически использует RAG!)
result = transformer.transform(input_data)

# Обогащенный JSON
enriched = result["enriched_data"]
quality = result["quality_metrics"]

Через API:

# Запусти сервер
python main.py

# Отправь запрос
curl -X POST http://localhost:8000/transform/concept \
  -H "Content-Type: application/json" \
  -d '{
    "concept": "квантовая запутанность",
    "student_level": "beginner"
  }'

Структура проекта

JSON_EVO/
├── src/
│   ├── schemas/              # JSON схемы (Pydantic)
│   ├── transformers/         # JSON трансформеры
│   │   ├── anythingllm_transformer.py  # Трансформер с AnythingLLM
│   │   └── pipeline.py
│   ├── llm/                  # LLM интеграция
│   │   ├── anythingllm_adapter.py  # Адаптер AnythingLLM
│   │   └── llm_manager.py
│   ├── metrics/              # Метрики качества
│   └── api/                  # FastAPI endpoints
│
├── config/
│   └── anythingllm_mcp_setup.md  # Инструкции по настройке
│
└── examples/
    └── transformations/
        └── anythingllm_example.py  # Примеры использования

API Endpoints

Основные:

  • POST /transform/concept - трансформация концепта (с AnythingLLM RAG!)
  • POST /transform - универсальная трансформация
  • POST /transform/batch - batch трансформация
  • GET /quality/analyze - анализ качества

Утилиты:

  • GET / - информация о системе
  • GET /health - health check
  • GET /pipeline/info - информация о пайплайне

Метрики качества

Система автоматически оценивает:

  • Enrichment Completeness - полнота обогащения (0-1)
  • Structural Validity - структурная валидность (0-1)
  • Semantic Coherence - семантическая связность (0-1)
  • Personalization Quality - качество персонализации (0-1)
  • Educational Value - образовательная ценность (0-1)
  • Overall Score - общая оценка (0-1)

Технологии

  • Python 3.10+
  • AnythingLLM - LLM + RAG через MCP 🔥
  • FastAPI - REST API
  • Pydantic V2 - JSON schemas
  • Model Context Protocol - интеграция MCP

Настройка AnythingLLM MCP

Подробная инструкция: config/anythingllm_mcp_setup.md

Добавление в Claude Code:

claude mcp add anythingllm

Конфигурация ~/.config/claude-code/claude_desktop_config.json:

{
  "mcpServers": {
    "anythingllm": {
      "command": "npx",
      "args": ["-y", "anythingllm-mcp-server@2.0.0"],
      "env": {
        "ANYTHINGLLM_API_KEY": "your-api-key",
        "ANYTHINGLLM_BASE_URL": "http://localhost:3001"
      }
    }
  }
}

Roadmap

  • v0.1: Базовая структура проекта
  • v0.2: JSON Transformation Engine
  • v0.3: Интеграция AnythingLLM через MCP 🔥
    • AnythingLLM Adapter
    • AnythingLLM Transformer
    • LLM Manager с MCP
    • Примеры использования
    • Документация по настройке
  • v0.4: Guardrails и валидация
  • v0.5: Fine-tuning моделей
  • v0.6: Веб-интерфейс (JSON renderer)
  • v1.0: Production release

Преимущества AnythingLLM

  1. Все в одном - LLM + RAG + векторная БД
  2. Гибкость - поддержка разных провайдеров (OpenAI, Anthropic, локальные)
  3. Простота - один API для всего
  4. MCP - стандартная интеграция через Model Context Protocol
  5. Workspace - изоляция разных наборов знаний
  6. UI - удобный интерфейс для управления

Примеры

Запуск примера с AnythingLLM:

python examples/transformations/anythingllm_example.py

Тестирование API:

# Запусти сервер
python main.py

# В другом терминале
python examples/api_usage_example.py

Философия

JSON_EVO - это не просто "чат с LLM".

Это движок эволюции знаний, где:

  • Каждый JSON - это структурированное знание
  • Каждая трансформация - это обучение
  • Каждая метрика - это понимание
  • Каждый интерфейс - это персонализация

AnythingLLM предоставляет мощный фундамент:

  • LLM для генерации
  • RAG для контекста
  • Workspaces для организации знаний

Мы меняем парадигму от "текст в → текст из" к "структура знаний → обогащенная структура знаний".

Документация

Лицензия

MIT


Готов к революции в образовании! 🚀

Powered by AnythingLLM через Model Context Protocol

About

🚀 AI-powered JSON transformation system with NotebookLM-style interface. Transform documents into enriched knowledge structures using Claude AI, RAG, and semantic analysis.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published