Apa Itu Peningkatan COBOL dan Fortran dari OpenAI: MultiLangBench dan Hasil Evaluasi Migrasi COBOL

Tangkapan layar halaman resmi OpenAI — MultiLangBench — OpenAI — MultiLangBench · SumberDiambil: 20 Oktober 2026

Tangkapan layar menampilkan halaman resmi pada tanggal pengambilan dan mungkin berbeda dari saat artikel diterbitkan. Pilih gambar untuk memperbesar.

Pada 19 Oktober 2026 (pukul 21.00 di hari yang sama, waktu Jepang), OpenAI menerbitkan artikel berjudul "Advancing coding in low-resource programming languages" (Memajukan pemrograman di bahasa pemrograman sumber daya rendah). Isinya, model AI terbaru OpenAI kini jauh lebih mampu menulis program, sekaligus memindahkannya ke bahasa lain, dalam bahasa pemrograman lama seperti COBOL, Fortran, dan Visual Basic. Bersamaan dengan itu, OpenAI merilis kerangka evaluasi baru bernama MultiLangBench di GitHub.

Angka dalam artikel ini adalah angka yang sama di beberapa laporan media tentang pengumuman OpenAI, ditambah penjelasan evaluasi yang dipublikasikan di GitHub. Semua skor yang disebutkan diukur oleh OpenAI sendiri.

Apa itu "bahasa sumber daya rendah"

Model AI belajar memprogram dengan mempelajari program dan penjelasan dalam jumlah besar, yang banyak di antaranya ada di internet. Bahasa yang banyak dipakai seperti Python dan JavaScript punya banyak contoh untuk dipelajari, tetapi bahasa seperti COBOL dan Fortran memiliki jauh lebih sedikit program dan dokumen publik, sehingga selama ini AI kesulitan menanganinya. Bahasa yang minim bahan pelatihan seperti ini disebut "bahasa sumber daya rendah".

COBOL terutama dipakai untuk pengolahan data administrasi, sedangkan Fortran terutama untuk perhitungan ilmiah dan teknik. Menurut laporan media, dalam artikelnya OpenAI menyebut COBOL menopang lebih dari 40% layanan perbankan online, 80% pembayaran kartu secara langsung, dan 95% transaksi ATM, serta menjelaskan bahwa Fortran dipakai untuk prakiraan cuaca dan analisis keselamatan reaktor nuklir.

Evaluasi baru MultiLangBench

MultiLangBench meminta model AI membangun ulang perangkat lunak database SQLite dari nol dalam 20 bahasa. SQLite adalah perangkat lunak database kecil yang banyak dipakai.

Menurut penjelasan yang dipublikasikan di GitHub, cara kerjanya sebagai berikut.

Model hanya diberi dokumentasi SQLite 3.40.1, lalu diminta menulis program yang berperilaku sama dalam bahasa yang ditentukan
Model tidak boleh terhubung ke internet, dan SQLite dihapus dari lingkungan sebelumnya
Sekitar 24.000 tes yang dibuat dari tes milik SQLite sendiri memeriksa apakah hasilnya sama dengan SQLite asli (biasanya 272 di antaranya yang dipakai)
Menulis dalam bahasa yang berbeda dari yang ditentukan, atau mencampur beberapa bahasa, dianggap gagal

Ke-20 bahasa tersebut adalah C, C#, C++, COBOL, Common Lisp, Fortran, Go, Java, JavaScript, Lean, OCaml, PHP, PowerShell, Python, Ruby, Rust, Scala, Swift, Visual Basic, dan Zig. Tes dan lingkungannya dirilis dengan Apache License 2.0.

Skor yang dipublikasikan OpenAI

Menurut laporan media, hasil utama yang dipublikasikan OpenAI adalah sebagai berikut. Angkanya menunjukkan persentase tes yang lulus.

GPT-6 Astra: rata-rata 87,4% di 20 bahasa, dan di atas 83% di 19 dari 20 bahasa
GPT-6 Luna: rata-rata 40,3%, dengan biaya sekitar 0,77 dolar AS per sekali jalan
GPT-5.6 Sol: rata-rata 26,8%, dengan biaya 3,48 dolar AS per sekali jalan

Per bahasa, skor GPT-6 Astra dilaporkan naik sebagai berikut dibandingkan GPT-5.6 Sol.

COBOL: dari 10,9% menjadi 72,1%
Fortran: dari 21,4% menjadi 83,5%
OCaml: dari 25,6% menjadi 85,8%
Visual Basic: dari 27,5% menjadi 89,4%

Bahkan pada GPT-6 Astra, COBOL masih menjadi bahasa dengan skor terendah di antara 20 bahasa.

Evaluasi pemindahan program COBOL ke bahasa lain

OpenAI juga memaparkan hasil evaluasi kedua, yaitu "evaluasi migrasi COBOL". Dalam evaluasi ini, model menulis ulang program COBOL ke salah satu dari C++, Java, Kotlin, Python, atau Rust, lalu diperiksa apakah keluarannya sama persis byte demi byte dengan program aslinya. Evaluasi ini mengukur apakah perilaku yang sama bisa dipertahankan saat migrasi, yaitu pekerjaan memindahkan sistem lama ke bahasa yang lebih baru.

Menurut laporan media, hasilnya sebagai berikut.

GPT-6.1 Sol (pengaturan penalaran sedikit): 86,6%
GPT-6.1 Sol (pengaturan penalaran banyak): 97,9%
GPT-5.6 Sol (pengaturan penalaran sedikit): 5,4%

Sejauh yang dapat dipastikan redaksi CoAI, belum diketahui berapa banyak program yang dipakai dalam evaluasi ini, apa isinya, atau apakah kerangka evaluasinya akan dipublikasikan.

Di mana bisa dipakai dan hal yang perlu diperhatikan

Menurut laporan media, peningkatan ini berlaku di ChatGPT dan juga di model terbaru yang tersedia melalui API. Ini bukan peluncuran produk baru, melainkan pengumuman bahwa kemampuan model yang sudah ada meningkat. Sejauh yang dapat kami pastikan, tidak ada keterangan khusus mengenai penerapannya di Codex maupun informasi dalam bahasa Jepang.

OpenAI mengingatkan bahwa migrasi sistem sungguhan tetap memerlukan pemeriksaan oleh ahli serta pengujian yang disesuaikan dengan aturan bisnis sistem tersebut dan keterhubungannya dengan sistem lain.

Kaitannya dengan sistem lama di Jepang

Di Jepang pun, penanganan sistem inti lama (sistem yang menopang operasional utama perusahaan) telah lama menjadi persoalan. Dalam Laporan DX tahun 2018, Kementerian Ekonomi, Perdagangan, dan Industri Jepang (METI) memperingatkan "jurang 2025", yaitu masalah sistem lama yang menjadi penghambat sehingga DX (transformasi melalui teknologi digital) tidak berjalan. Dalam laporan ringkasan Komite Modernisasi Sistem Lama yang disusun METI pada Mei 2025, disebutkan bahwa 61% perusahaan yang menjawab survei masih memiliki sistem lama (legacy system), dan jumlah tenaga TI terus berkurang seiring perginya para teknisi berpengalaman.

Banyak sistem lama yang berjalan di mainframe (komputer bisnis berukuran besar) ditulis dalam COBOL. Jika AI mampu membaca dan menulis bahasa seperti ini dengan benar, AI berpotensi membantu memahami program lama yang dokumen spesifikasinya sudah tidak ada, serta membantu memindahkannya ke bahasa yang lebih baru.

Pandangan Redaksi CoAI

Selama ini, evaluasi kemampuan pemrograman AI berfokus pada bahasa yang banyak dipakai seperti Python dan JavaScript. Pengumuman OpenAI kali ini bermakna karena menyoroti COBOL dan Fortran yang masih berjalan di bank, pemerintahan, dan bidang lain, serta karena kerangka evaluasinya ikut dipublikasikan. Dengan tes yang bisa dipakai siapa saja, model dari perusahaan lain pun jadi lebih mudah dibandingkan dalam kondisi yang sama.

Di sisi lain, angka yang dipaparkan diukur oleh OpenAI sendiri, dan isi evaluasi migrasi COBOL belum dapat kami pastikan. Pada sistem yang menangani uang atau data pribadi, perbedaan perilaku sekecil apa pun bisa berujung pada masalah besar. Meskipun AI dipakai untuk migrasi, sebaiknya tetap berpegang pada pemeriksaan oleh ahli dan pengujian yang memadai, seperti yang dikatakan OpenAI sendiri.