markettrack.id – Penerapan Kecerdasan Buatan (AI) di lingkungan produksi telah menjadi fokus utama perusahaan, namun banyak organisasi masih kesulitan mendapatkan keuntungan finansial terukur dari investasi besar mereka.
Tantangan seperti privasi data, pengendalian biaya, dan pengelolaan beragam model AI menghambat langkah perusahaan menuju operasional AI skala penuh.
Menanggapi isu-isu krusial ini, Red Hat meluncurkan Red Hat AI 3, evolusi signifikan dari platform AI enterprise mereka, yang dirancang untuk menjembatani kesenjangan antara eksperimen dan produksi.
Platform AI hybrid cloud-native terbaru dari Red Hat ini membawa kemampuan inferensi terdistribusi yang kuat untuk beban kerja AI tingkat produksi.
Red Hat AI 3 mengintegrasikan inovasi dari Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI), dan Red Hat OpenShift AI untuk menyederhanakan kompleksitas inferensi AI berkinerja tinggi dalam skala besar. Tujuannya adalah memberdayakan tim IT dan engineer AI agar dapat berinovasi lebih cepat dan efisien.
Dengan fondasi yang berlandaskan pada open standard, platform ini menawarkan pengalaman yang lebih konsisten dan terpadu bagi para pemimpin IT untuk memaksimalkan nilai dari investasi mereka pada teknologi komputasi akseleratif.
Organisasi kini dapat meningkatkan dan mendistribusikan beban kerja AI di berbagai lingkungan hybrid dan multi-vendor.
Kemampuan ini sangat penting mengingat fokus perusahaan bergeser dari pelatihan model AI ke fase “menjalankan” atau inferensi enterprise AI di lingkungan produksi.
Inferensi AI Skalabel dan Hemat Biaya untuk Produksi
Fase inferensi menuntut solusi yang skalabel dan hemat biaya, dan Red Hat AI 3 menekankan hal ini dengan pengembangan yang berasal dari proyek komunitas vLLM yang sangat sukses dan llm-d.
Red Hat OpenShift AI 3.0 memperkenalkan ketersediaan umum llm-d, yang merevolusi cara Large Language Model (LLM) beroperasi di Kubernetes.
Llm-d memungkinkan inferensi terdistribusi yang cerdas melalui pemanfaatan orkestrasi Kubernetes dan performa vLLM.
Pemanfaatan llm-d, bersama dengan teknologi open source yang penting, menghasilkan manfaat utama bagi organisasi:
- Mengurangi Biaya dan Meningkatkan Waktu Respon: Hal ini dicapai melalui penjadwalan model berbasis inferensi yang cerdas dan penyajian yang terpisah.
- Menyederhanakan Operasional dan Keandalan Maksimal: Ini didukung oleh langkah-langkah yang jelas untuk mempermudah penerapan model skala besar di Kubernetes.
- Memaksimalkan Fleksibilitas: Keuntungan ini berasal dari dukungan lintas platform untuk menjalankan inferensi LLM di berbagai akselerator hardware, termasuk NVIDIA dan AMD.
Llm-d dikembangkan di atas vLLM, berevolusi dari mesin inferensi single node berkinerja tinggi menjadi sistem penyajian yang terdistribusi, konsisten, dan skalabel.
Sistem ini terintegrasi kuat dengan Kubernetes dan dirancang untuk performa yang bisa diprediksi, ROI yang terukur, dan perencanaan infrastruktur yang efektif.
Peningkatan ini secara langsung mengatasi tantangan dalam menangani beban kerja LLM dengan variabel tinggi dan model masif seperti model Mixture-of-Experts (MoE).
Membangun Kolaborasi dan Fondasi Agentic AI
Red Hat AI 3 dirancang untuk memberikan pengalaman terpadu dan fleksibel yang sangat penting untuk kolaborasi dalam membangun solusi AI generatif yang siap produksi.
Platform ini memberikan nilai nyata melalui alur kerja terpadu bagi platform engineer dan AI engineer untuk mengeksekusi strategi AI mereka.
Tiga kemampuan baru yang berfokus pada peningkatan produktivitas dan efisiensi ini meliputi:
- Kemampuan Model as a Service (MaaS): Dikembangkan di atas inferensi terdistribusi, fitur ini memungkinkan tim IT menjadi penyedia MaaS mereka sendiri. Mereka dapat menyajikan model bersama secara terpusat dan memberikan akses sesuai permintaan kepada pengembang AI dan aplikasi AI , yang mendukung pengelolaan biaya lebih baik dan use case sensitif privasi data.
- AI Hub: Memperkuat platform engineer untuk mengelola aset-aset AI penting dengan menyediakan central hub dengan katalog model yang terkurasi. Selain itu, ia juga memiliki registry untuk mengelola lifecycle model dan lingkungan penerapan untuk mengkonfigurasi aset AI di OpenShift AI.
- Gen AI Studio: Menyediakan lingkungan uji coba yang interaktif dan stateless untuk engineer AI berinteraksi dengan model dan membuat prototipe aplikasi gen AI baru dengan cepat. Studio ini mencakup AI asset endpoint untuk menemukan model yang tersedia dan server MCP, memfasilitasi interaksi model dengan tools eksternal.
Agen AI diprediksi akan mengubah cara aplikasi dibangun, dan alur kerja kompleks serta otonomnya akan membutuhkan kemampuan inferensi yang besar.
Oleh karena itu, perilisan Red Hat OpenShift AI 3.0 menjadi langkah penting untuk menghadirkan sistem agentic AI yang skalabel.
Red Hat memperkenalkan Unified API layer berbasis Llama Stack untuk menyelaraskan pengembangan agen dengan standar industri seperti protokol interface LLM yang kompatibel dengan OpenAI. Red Hat juga menjadi pengadopsi awal Model Context Protocol (MCP), sebuah standar kuat untuk menyederhanakan interaksi model AI dengan tools eksternal yang vital bagi agen AI modern.
Red Hat AI 3 juga menghadirkan toolkit modular dan dapat diperluas untuk kustomisasi model, yang dibangun di atas fungsi InstructLab.
Toolkit ini menyediakan libraries Python khusus yang memberikan fleksibilitas dan kontrol lebih besar kepada para pengembang.
Ia didukung oleh proyek open source seperti Docling, yang menyederhanakan ingestion dokumen tidak terstruktur menjadi format yang bisa dibaca AI.
Semua ini didukung oleh pusat evaluasi terintegrasi, yang membantu engineer AI memonitor dan memvalidasi hasil, mendorong mereka jadi lebih percaya diri dalam memanfaatkan proprietary data.
Joe Fernandes, vice president dan general manager Unit Bisnis AI Red Hat, menyatakan bahwa platform open source kelas enterprise ini akan meminimalkan hambatan kompleksitas, biaya, dan kontrol, sehingga tim IT dapat mengoperasionalkan AI generasi berikutnya dengan lebih percaya diri.
SF-Admin
