Perancangan Agen AI Lokal Mandiri Berbasis LLM Melalui Orkestrasi N8N Untuk Memori Percakapan Pada RAG

Abstract

Pemanfaatan model bahasa besar (Large Language Model atau LLM) melalui layanan awan kerap menimbulkan beban biaya dan risiko privasi data. Penelitian ini mengembangkan agen AI lokal berbasis LLM yang terintegrasi dengan N8N, PostgreSQL pgVector, dan Ollama untuk menjawab tantangan tersebut. Sistem yang dirancang bertujuan menciptakan agen AI mandiri yang dapat beroperasi sepenuhnya secara lokal tanpa ketergantungan pada API eksternal. Proses pengembangan melibatkan integrasi orkestrator N8N untuk alur kerja percakapan, penyimpanan memori berbasis vektor melalui pgVector, dan inferensi LLM lokal menggunakan Ollama. Pengujian menggunakan model Mistral:7B menunjukkan bahwa agen mampu menyimpan memori percakapan secara persisten dan melakukan information retrieval yang relevan dengan konteks. Konfigurasi optimal dicapai pada parameter sampling temperature 0,5, top-P 0,9, dan max token 500. Seluruh skenario black-box testing berjalan sesuai rencana. Hasil menunjukkan bahwa prototipe agen AI ini dapat dijalankan secara lokal dengan baik, menjaga privasi data dan tidak bergantung pada penyedia layanan eksternal. Rancangan ini sangat sesuai diterapkan pada organisasi dengan sumber daya terbatas, kebutuhan privasi tinggi, dan skala pengguna kecil hingga menengah.