LiteRT.js: Mesin Inferensi AI Web Berperforma Tinggi dari Google, Dijelaskan

Google telah merilis LiteRT.js, sebuah binding JavaScript dari library inferensi on-device miliknya, LiteRT (dahulu TensorFlow Lite), yang dibuat untuk menjalankan model machine learning dan AI langsung di dalam browser web. Intinya sederhana: mengambil runtime cross-platform yang sudah dioptimalkan, yang sudah menggerakkan AI on-device di Android, iOS, dan desktop, lalu menghadirkannya ke web developer dengan karakteristik performa yang sama — privasi pengguna yang lebih baik, tanpa biaya inferensi server, dan latensi yang cukup rendah untuk pengalaman real-time.
Bagi tim yang sudah menjalankan model .tflite di mobile, LiteRT.js diposisikan sebagai jalur deployment ke web yang lebih mulus dibanding pendekatan kernel-JavaScript milik TensorFlow.js. Bagi yang lain, ini adalah opsi baru untuk membangun fitur AI — text generation, deteksi objek, pemrosesan audio — yang berjalan sepenuhnya di sisi client, tanpa round-trip ke server untuk setiap panggilan inferensi.
Daftar Isi
- Apa Bedanya dengan TensorFlow.js
- Manfaat LiteRT.js Bagi Web Developer
- 1. Konversi PyTorch & Kuantisasi yang Disesuaikan
- 2. Akselerasi Hardware Native di CPU, GPU, dan NPU
- Performa dan Dampak di Dunia Nyata
- Lihat Langsung Aksinya
- Deteksi Objek Ultralytics YOLO
- Estimasi Kedalaman Monokular
- Upscaling Gambar 4x
- Memulai dengan LiteRT.js
- Selanjutnya Apa
Apa Bedanya dengan TensorFlow.js
Runtime AI web sebelumnya seperti TensorFlow.js mengandalkan kernel berbasis JavaScript, yang meninggalkan cukup banyak performa di atas meja dibanding implementasi native yang spesifik-platform. LiteRT.js sebaliknya mengompilasi runtime native asli milik Google — yang sama persis dipakai di mobile dan desktop — ke WebAssembly, sehingga browser mendapatkan optimasi sungguhan, bukan reimplementasi JavaScript dari optimasi tersebut.
Runtime tersebut menyasar akselerasi hardware lewat tiga backend: XNNPACK untuk inferensi CPU, ML Drift untuk inferensi GPU lewat WebGPU, dan jalur NPU yang akan datang lewat WebNN API (saat ini masih eksperimental di Chrome dan Edge). Rilis awal ini disertai npm package @litertjs/core dan kumpulan demo langsung untuk dicoba sebelum mengintegrasikan apa pun.
Manfaat LiteRT.js Bagi Web Developer

Karena LiteRT.js berbagi stack terpadu dengan LiteRT di platform lain, aplikasi web otomatis mewarisi peningkatan performa, perbaikan kuantisasi, dan optimasi hardware yang sama yang Google rilis untuk Android, iOS, dan desktop — bukan versi web yang dikelola terpisah dan selalu tertinggal. Ada dua kemampuan yang paling menonjol bagi developer yang mengevaluasinya.
1. Konversi PyTorch & Kuantisasi yang Disesuaikan
Dengan LiteRT Torch, model PyTorch dikonversi ke format LiteRT dalam satu langkah, langsung siap memanfaatkan akselerasi hardware berbasis browser. Google mempublikasikan panduan memulai untuk alur konversinya.
Untuk penghematan ukuran dan kecepatan lebih lanjut, AI Edge Quantizer memungkinkan Anda mengatur skema kuantisasi per layer, bukan seragam di seluruh model — mengorbankan presisi hanya di bagian yang mampu ditoleransi model, yang cenderung menjaga kualitas output lebih baik dibanding kuantisasi menyeluruh. Ada contoh colab lengkap yang menunjukkan teknik ini pada model sungguhan.
2. Akselerasi Hardware Native di CPU, GPU, dan NPU
- CPU: XNNPACK, library CPU on-device Google yang sudah dioptimalkan, dengan dukungan multi-thread yang solid dan build relaxed-SIMD untuk performa ekstra.
- GPU: ML Drift yang menggerakkan WebGPU, solusi akselerasi GPU on-device andalan Google, kini dibawa ke browser.
- NPU: WebNN API (eksperimental di Chrome dan Edge) menyasar NPU khusus untuk inferensi yang hemat daya dan berlatensi sangat rendah, di perangkat yang mendukungnya.

Performa dan Dampak di Dunia Nyata
Google membandingkan LiteRT.js dengan runtime AI web yang sudah ada, di model computer vision klasik dan pemrosesan audio. Hasil utamanya: LiteRT.js mengungguli runtime web lain hingga 3x lebih cepat, baik pada inferensi CPU maupun GPU.

Benchmark dilakukan pada MacBook Pro Apple 2024 dengan chip Apple Silicon M4, dalam lingkungan browser yang terkontrol. Hasil masing-masing pengguna bisa berbeda tergantung kapabilitas GPU lokal, thermal throttling, dan optimasi driver browser.
Google juga membandingkan langsung tiga backend eksekusi — CPU lewat XNNPACK, WebGPU, dan WebNN lewat Apple CoreML — di berbagai jenis model AI populer. Untuk pekerjaan yang sensitif terhadap latensi seperti object tracking, transkripsi audio, atau manipulasi gambar, mengarahkan inferensi lewat GPU atau NPU (WebGPU atau WebNN) memberi peningkatan kecepatan 5–60x dibanding eksekusi CPU standar.

Benchmark dilakukan pada MacBook Pro Apple 2024 dengan chip Apple Silicon M4, dalam lingkungan browser yang terkontrol. Hasil masing-masing pengguna bisa berbeda tergantung kapabilitas GPU lokal, thermal throttling, dan optimasi driver browser.
Lihat Langsung Aksinya
Kode sumber demo tersedia di repository GitHub LiteRT dan lewat Ultralytics. Beberapa demo langsungnya:
Deteksi Objek Ultralytics YOLO
Ultralytics, perusahaan di balik keluarga model deteksi objek dan segmentasi gambar real-time YOLO (You Only Look Once) yang banyak dipakai, kini menyediakan dukungan export LiteRT resmi langsung di dalam Python package-nya. Artinya, men-deploy model Ultralytics YOLO ke mobile, edge, dan browser cukup dengan beberapa baris kode, dari proses export sampai runtime.
Estimasi Kedalaman Monokular
Depth Anything mengubah feed webcam biasa menjadi point cloud 3D interaktif secara real time. Dengan menjalankan model Depth-Anything-V2 lewat LiteRT.js di WebGPU, demo ini menghitung kedalaman per-piksel dan memetakan video ke ruang 3D yang responsif, langsung di browser.
Upscaling Gambar 4x
Demo Real-ESRGAN melakukan upscale gambar 4x sepenuhnya di browser, dengan cara meng-upscale patch berukuran 128x128 piksel menjadi 512x512 lalu menyusunnya kembali menjadi gambar akhir.
Memulai dengan LiteRT.js
Mengintegrasikan LiteRT.js dirancang agar mudah, baik saat memulai dari nol maupun saat memigrasikan pipeline TensorFlow.js yang sudah ada — library ini menyembunyikan kerumitan tuning di level hardware sehingga Anda bisa fokus pada model dan UI di sekitarnya. Berikut gambaran proses loading, compiling dengan akselerasi GPU, dan menjalankan inferensi pada model .tflite:
import { loadLiteRt, loadAndCompile, Tensor } from '@litertjs/core';
await loadLiteRt('path/to/wasm/directory/');
const model = await loadAndCompile('path/to/your/model.tflite', { accelerator: webgpu });
const inputTypedArray = new Float32Array(1 * 3 * 244 * 244);
const inputTensor = new Tensor(inputTypedArray, [1, 3, 244, 244]);
const results = await model.run(inputTensor);
// results is a Tensor stored on GPU. To move it to CPU & convert to a
// typedArray:
const resultArray = (await results[0].moveTo('wasm')).toTypedArray();Instruksi setup lengkap, demo lainnya, dan referensi API ada di dokumentasi LiteRT.js.
Selanjutnya Apa
Google menyebut roadmap ke depan berfokus pada integrasi WebNN yang lebih dalam untuk performa NPU native, serta dukungan yang lebih optimal untuk generative AI on-device di browser. Sementara itu, berikut beberapa sumber yang layak disimpan:
- Model: model .tflite yang sudah dilatih tersedia di Kaggle atau LiteRT Hugging Face Community.
- Mulai membangun: dokumentasi lengkap LiteRT.js.
- Ambil package-nya: @litertjs/core di npm.
- Berkontribusi: kirim feedback atau laporkan bug di halaman GitHub issues.
- Dukungan LLM: LiteRT-LM.js menambahkan dukungan browser untuk menjalankan LLM, lewat JavaScript API miliknya sendiri.
- Migrasi dari TensorFlow.js? Google mendokumentasikan jalur migrasinya untuk pipeline yang sudah ada.
Gambaran besarnya di sini bukan soal satu angka benchmark tertentu, melainkan apa yang menjadi mungkin begitu runtime inferensi yang mendekati native menjadi warga kelas satu di platform web: fitur AI yang tidak membocorkan data pengguna ke server, tidak mengantre di belakang rate limit API, dan tidak menambah latensi jaringan di setiap interaksi. Bagi web developer yang selama ini mengamati AI di sisi client matang di mobile dari pinggir lapangan, LiteRT.js adalah sinyal paling jelas bahwa kemampuan yang sama kini hadir di browser.
Sumber: LiteRT.js, Google's high performance Web AI Inference — Google Developers Blog, oleh Ping Yu, Marko Ristić, Matthew Soulanille, dan Chintan Parikh.




Komentar