Project summary

Saya mulai mengembangkan dynamic constraint boundary (DCB) dari sebuah pertanyaan yang sebenarnya cukup sederhana: apakah sebuah AI harus selalu memilih tindakan berdasarkan prediksi, atau apakah mungkin sebuah agen mempunyai batas internal yang dapat berubah berdasarkan kondisi, pengalaman, riwayat, dan apa yang terjadi sebelumnya?..

Saya mulai dari pertanyaan tersebut, tetapi semakin saya eksperimen, pertanyaannya justru semakin banyak...

Saya membuat prototype DCB dan mulai melakukan beberapa eksperimen. Salah satunya adalah maze.https://tinyurl.com/m3jw57wt Pada pengujian awal, hasil DCB tidak selalu lebih baik. Pada maze tertentu success rate DCB bahkan kalah tipis dari baseline. Tetapi ketika saya melihat metrik lain, saya menemukan sesuatu yang membuat saya penasaran: jumlah langkah bisa jauh lebih sedikit, operasi lebih hemat, dan collision hampir nol. Runtime memang masih lebih lambat. Pada beberapa seed DCB juga sangat rendah, tetapi pada seed lain bisa mencapai sekitar 98–100%.

Awalnya saya melihat ini sebagai kegagalan. Tetapi kemudian saya bertanya lagi: apakah DCB memang gagal mencari jalan, atau justru terlalu berhati-hati karena mempertahankan constraint internalnya? Apakah agen tersebut lebih memilih tidak mengambil tindakan tertentu daripada melakukan trial and error yang berisiko? Saya belum tahu jawabannya. Justru itu yang ingin saya uji.

Eksperimen semantic https://tinyurl.com/mrxhd55k kemudian menghasilkan pertanyaan lain. Awalnya saya ingin menguji DCB sebagai sistem yang bisa membedakan prompt aman dan berbahaya, terutama terhadap jailbreak. Tetapi dalam proses tuning dan pengujian, muncul beberapa perilaku yang tidak saya duga.

Misalnya prompt sederhana seperti "tolong bantu saya" tidak selalu langsung EXECUTE. Dalam beberapa kondisi DCB memilih WAIT / CLARIFY. Awalnya saya menganggap ini mungkin kesalahan klasifikasi. Tetapi setelah saya pikirkan lagi, apakah prompt tersebut memang cukup jelas untuk langsung dieksekusi? Membantu seseorang bisa berarti banyak hal. Jika konteks berikutnya ternyata "tolong bantu saya merakit bom", maka keputusan untuk langsung membantu dari prompt pertama tentu berbeda dengan keputusan setelah konteksnya jelas.

Dari sini saya mulai melihat bahwa WAIT / CLARIFY mungkin bukan sekadar kegagalan klasifikasi. Bisa jadi tidak memilih tindakan adalah bagian penting dari mekanisme pengambilan keputusan.

Saya kemudian melakukan history effect, state dependency, forbidden map, boundary adaptation, dan decision boundary scan. Beberapa eksperimen menunjukkan bahwa perubahan kondisi internal seperti beta, history, dan boundary dapat mengubah keputusan meskipun input yang diberikan sama.

Saya belum mengatakan bahwa ini sudah membuktikan DCB lebih baik daripada AI yang ada sekarang. Saya juga belum menganggap semua hasil ini sebagai bukti final. Ada kemungkinan sebagian hasil berasal dari implementasi, parameter, encoder semantik, atau artefak eksperimen.

Tetapi saya sekarang mempunyai cukup banyak pertanyaan yang menurut saya layak diuji lebih serius.

Tujuan proyek ini adalah mengetahui apakah mekanisme Dynamic Constraint Boundary benar-benar menghasilkan perilaku yang berbeda secara sistematis, apakah boundary dapat beradaptasi, apakah state dan history benar-benar memengaruhi keputusan, dan apakah mekanisme tersebut dapat membuat agen lebih mampu mempertahankan integritasnya dalam lingkungan yang berubah.

What are this project's goals? How will you achieve them?

Tujuan utama saya bukan membuat klaim bahwa DCB sudah menyelesaikan AI safety. Saya justru ingin mengetahui apakah ide dasarnya benar-benar bekerja..

Saya ingin menguji beberapa hal

Pertama, apakah perubahan internal pada DCB benar-benar dapat mengubah keputusan terhadap input yang sama..

Kedua, apakah WAIT / CLARIFY dapat menjadi state keputusan yang bermakna, bukan hanya kesalahan ketika sistem tidak tahu harus memilih EXECUTE atau BLOCK.

Ketiga, apakah boundary dapat berubah berdasarkan pengalaman dan history, tetapi tetap mempunyai pola yang bisa diukur dan direproduksi...

Keempat, saya ingin melihat apakah mekanisme ini mempunyai keuntungan atau trade-off dalam lingkungan seperti maze. Saya tertarik terutama pada hubungan antara success rate, jumlah langkah, operasi, collision, dan runtime. Jika DCB kadang gagal tetapi collision sangat rendah dan langkahnya lebih sedikit, saya ingin tahu apakah itu hanya kebetulan atau memang konsekuensi dari mekanisme constraint.

Untuk mencapainya saya akan melanjutkan eksperimen secara bertahap. Saya ingin membuat baseline comparison yang lebih baik, melakukan pengujian dengan banyak seed, mengulang eksperimen, melakukan ablation terhadap komponen DCB, melakukan stress test, dan menguji kondisi yang lebih dinamis.

Saya juga ingin menguji failure case, bukan hanya mencari hasil yang bagus. Kalau DCB gagal, saya ingin tahu kenapa gagal. Kalau boundary berubah, saya ingin tahu apa yang menyebabkannya berubah. Kalau keputusan berubah dari WAIT menjadi EXECUTE, saya ingin mengetahui apakah perubahan tersebut dapat diprediksi dari perubahan state internal.

Bagi saya, bagian ini penting karena saya tidak ingin hanya mendapatkan satu demo yang terlihat bagus. Saya ingin mengetahui apakah ada mekanisme di belakang pola tersebut.

How will this funding be used?

Pendanaan akan saya gunakan terutama untuk melanjutkan eksperimen dan membuat prototype DCB menjadi lebih terukur...

Bagian pentingnya adalah komputasi untuk menjalankan eksperimen dengan jumlah seed dan kondisi yang lebih banyak. Saya juga membutuhkan lingkungan untuk melakukan simulasi maze dan eksperimen semantic secara
berulang...

Secara sederhana, saya membutuhkan:

• laptop untuk pengembangan dan eksperimen;

• internet dan kebutuhan operasional;

• penyimpanan untuk kode, data, hasil benchmark, dan dokumentasi;

• cloud computing untuk eksperimen yang membutuhkan komputasi lebih besar;

• dan dukungan waktu penelitian sekitar $12.000 untuk satu tahun.

Dukungan waktu penelitian merupakan bagian yang cukup penting bagi saya. Saya melakukan penelitian ini secara mandiri, sehingga waktu untuk melakukan eksperimen, membaca hasil, memperbaiki kode, mencari anomali, dan mengembangkan pertanyaan baru harus dibagi dengan kebutuhan hidup lainnya. Dukungan ini akan memberi saya kesempatan untuk mengalokasikan waktu yang lebih besar secara khusus untuk penelitian..

Saya tidak menganggap USD 25.000 sebagai biaya yang pasti akan dihabiskan seluruhnya. Angka tersebut lebih saya lihat sebagai batas maksimum yang memungkinkan penelitian berjalan selama satu tahun tanpa terlalu sering terhenti karena keterbatasan perangkat, komputasi, atau waktu.

Who is on your team? What's your track record on similar projects?

Saat ini proyek ini terutama saya kerjakan sendiri sebagai independent researcher...

Track record yang bisa saya tunjukkan saat ini lebih banyak berasal dari proses pengembangan DCB itu sendiri: prototype, simulasi, benchmark, stress test, eksperimen semantic, dan serangkaian pengujian untuk mencoba memahami mekanisme yang muncul.

What are the most likely causes and outcomes if this project fails?

Kemungkinan terbesar proyek ini gagal adalah karena ide DCB ternyata tidak menghasilkan mekanisme yang cukup konsisten ketika diuji dengan baseline yang lebih kuat dan kondisi yang lebih kompleks...

Pada maze juga ada hasil yang menarik tetapi belum jelas. Beberapa seed memberikan hasil sangat buruk sedangkan seed lain sangat baik. Bisa saja ini menunjukkan adanya mekanisme kehati-hatian DCB, tetapi bisa juga hanya menunjukkan bahwa algoritmanya belum cukup stabil...

Jika proyek ini gagal, akibatnya terutama adalah hipotesis DCB tertentu harus ditolak atau diperbaiki. Saya tidak melihat itu sebagai sesuatu yang sia-sia. Saya lebih memilih mengetahui bahwa suatu mekanisme tidak bekerja daripada mempertahankan klaim yang ternyata tidak benar...

Namun jika eksperimen berikutnya menunjukkan bahwa pola tersebut tetap muncul secara konsisten, maka kita mungkin mempunyai dasar yang lebih kuat untuk mengembangkan DCB lebih jauh.

How much money have you raised in the last 12 months, and from where?

Saya tidak menerima pendanaan dari apapun sebelumnya, proyek ini saya kerjakan secara mandiri menggunakan dana pribadi saya sendiri...