HUMAN‑IN‑THE‑LOOP DECISION SOVEREIGNTY THEORY (HILDST)
Versi: 1.0 – Final untuk Publikasi | Tanggal: 21 Februari 2026
ABSTRAK
Kecerdasan buatan (AI) semakin banyak digunakan untuk mendukung, dan dalam beberapa kasus menggantikan, pengambilan keputusan manusia. Namun, pergeseran ini menimbulkan pertanyaan fundamental: sejauh mana manusia boleh menyerahkan kedaulatan pengambilan keputusan kepada mesin? Di mana batas antara alat bantu dan pengganti? Dan bagaimana kita memastikan bahwa manusia tetap memegang kendali, terutama untuk keputusan-keputusan yang berdampak besar pada kehidupan, hak, dan martabat manusia?
Human‑in‑the‑Loop Decision Sovereignty Theory (HILDST) adalah teori mekanisme spesifik yang mengembangkan kerangka sistematis untuk menegakkan dan melindungi kedaulatan manusia dalam proses pengambilan keputusan yang melibatkan AI. Sebagai turunan dari Pre‑Decision Governance (PDG) dan Cognitive Accountability Architecture (CAA), HILDST berargumen bahwa kedaulatan keputusan harus tetap berada pada manusia, dan setiap penggunaan AI harus dirancang dengan mekanisme yang memastikan manusia memiliki kendali yang bermakna, terutama pada titik-titik kritis dalam proses pengambilan keputusan.
HILDST merumuskan empat pilar utama: (1) Mandatory Human Review – kewajiban bahwa keputusan strategis tertentu harus melalui review manusia sebelum dieksekusi; (2) Right to Override – hak manusia untuk mengesampingkan rekomendasi AI; (3) Informed Consent & Understanding – kewajiban bahwa manusia yang membuat keputusan memahami secara memadai rekomendasi AI dan implikasinya; dan (4) Sovereignty by Design – prinsip bahwa kedaulatan manusia harus diintegrasikan ke dalam desain sistem AI sejak awal, bukan sebagai tambahan.
Dengan mengintegrasikan wawasan dari literatur human‑computer interaction (HCI), etika AI, teori kedaulatan politik, akuntabilitas kognitif, dan nilai-nilai Islam tentang khalifah (kepemimpinan manusia) dan amanah (tanggung jawab), HILDST menyediakan landasan bagi pengembangan instrumen praktis seperti Decision Sovereignty Matrix, Human‑in‑the‑Loop Protocol, Informed Consent Checklist, dan Sovereignty by Design Principles. Teori ini melengkapi AIDAT, ABMGT, AITEMT, dan EDLT dengan fokus pada aspek paling fundamental: siapa yang memegang kendali final atas keputusan.
Kata Kunci: Human‑in‑the‑Loop, Kedaulatan Keputusan, Kontrol Manusia, Pengawasan AI, Override, Informed Consent, Akuntabilitas Kognitif, Tata Kelola AI, Khalifah, Amanah
1. PENDAHULUAN
1.1 Fenomena yang Belum Cukup Dijelaskan
Seiring dengan semakin canggihnya sistem AI, terjadi pergeseran bertahap dalam peran manusia dalam pengambilan keputusan:
| Tingkat Keterlibatan Manusia | Deskripsi | Contoh |
|---|---|---|
| Human‑only | Manusia mengambil keputusan sepenuhnya tanpa bantuan AI | Keputusan tradisional, rapat tanpa alat bantu AI |
| Human‑in‑the‑loop (HITL) | AI memberikan rekomendasi, manusia mengambil keputusan final, setelah mempertimbangkan rekomendasi tersebut | Sistem rekomendasi (diagnosis berbantuan AI, rekomendasi investasi) |
| Human‑over‑the‑loop | AI mengambil keputusan secara otomatis, tetapi manusia mengawasi dan dapat mengintervensi jika diperlukan | Sistem otomatis dengan dashboard monitoring (trading algoritmik dengan pengawasan) |
| Human‑out‑of‑the‑loop | AI mengambil keputusan sepenuhnya secara otomatis tanpa campur tangan manusia | Trading algoritmik sepenuhnya otomatis, sistem rekomendasi konten tanpa filter |
Kekhawatiran muncul ketika kita bergerak ke kanan spektrum ini, terutama untuk keputusan yang berdampak signifikan pada kehidupan, hak, dan martabat manusia:
| Domain | Contoh Keputusan | Risiko Jika Manusia Keluar dari Loop |
|---|---|---|
| Kesehatan | Diagnosis penyakit, rekomendasi pengobatan, prioritas pasien | Kesalahan medis, malpraktik, kehilangan nyawa, ketidakadilan akses |
| Hukum | Penentuan hukuman, keputusan pembebasan bersyarat, penilaian risiko residivisme | Ketidakadilan, pelanggaran hak asasi, diskriminasi sistemik |
| Keuangan | Persetujuan kredit, keputusan investasi, deteksi fraud | Diskriminasi, kerugian finansial massal, kerugian nasabah |
| Pekerjaan | Rekrutmen, promosi, pemutusan hubungan kerja | Diskriminasi, ketidakadilan, pelanggaran hak pekerja |
| Militer | Penggunaan senjata otonom, penentuan target | Pelanggaran hukum perang, kematian sipil, eskalasi konflik |
| Layanan Publik | Penentuan kelayakan bantuan sosial, alokasi sumber daya publik | Ketidakadilan distributif, eksklusi kelompok rentan |
Tanpa kerangka yang jelas tentang kedaulatan manusia, kita berisiko menciptakan dunia di mana keputusan‑keputusan penting dibuat oleh mesin tanpa pengawasan yang memadai, dan ketika terjadi kesalahan, tidak ada yang bertanggung jawab (responsibility gap).
1.2 Posisi dalam Hierarki Teori
HILDST adalah teori mekanisme spesifik yang berfokus pada penegakan kedaulatan manusia dalam pengambilan keputusan berbantuan AI. Ia merupakan pelengkap dari teori‑teori AI governance lainnya, dengan fokus pada aspek kontrol dan kewenangan final.
┌─────────────────────────────────────────────────────────────┐
│ COGNITIVE ACCOUNTABILITY ARCHITECTURE │
│ (Meta‑Teori) │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ PRE‑DECISION GOVERNANCE (PDG) │
│ (General Integrative Theory) │
└─────────────────────────────────────────────────────────────┘
│ │ │ │
▼ ▼ ▼ ▼
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ FRAMING │ │ OPTION │ │ INFORMATION │ │ DELIBERATIVE │
│ GOVERNANCE │ │ ARCHITECTURE │ │ FILTERING │ │ STRUCTURE │
└─────────────────┘ └─────────────────┘ └─────────────────┘ └─────────────────┘
│ │ │ │
└────────────────┼────────────────┼────────────────┘
▼ ▼
┌─────────────────────────────────────────────────┐
│ AI GOVERNANCE THEORIES │
├─────────────────┬─────────────────┬─────────────┤
│ AIDAT │ ABMGT │ AITEMT │
│ (Akuntabilitas) │ (Mitigasi Bias) │ (Transparansi)
├─────────────────┴─────────────────┴─────────────┤
│ EDLT │
│ (Batas Delegasi Epistemik) │
├─────────────────────────────────────────────────┤
│ ═════ HILDST ═════ │
│ (Human‑in‑the‑Loop Decision Sovereignty) │
└─────────────────────────────────────────────────┘
1.3 Tujuan dan Kontribusi
- Mendefinisikan kedaulatan manusia dalam pengambilan keputusan berbantuan AI sebagai prinsip normatif dan operasional.
- Mengembangkan kerangka konseptual untuk mengklasifikasikan tingkat keterlibatan manusia dan menentukan ambang batas di mana human‑in‑the‑loop menjadi wajib.
- Menyediakan instrumen praktis bagi organisasi untuk merancang sistem yang menghormati dan menegakkan kedaulatan manusia.
- Mengintegrasikan wawasan dari berbagai disiplin (HCI, etika AI, teori politik, akuntabilitas kognitif, nilai‑nilai Islam) ke dalam satu kerangka yang koheren.
- Menjelaskan bagaimana kedaulatan manusia merupakan prasyarat bagi akuntabilitas, keadilan, dan legitimasi keputusan berbantuan AI.
2. LANDASAN TEORETIS
2.1 Konsep Kedaulatan dalam Filsafat Politik
| Konsep | Tokoh | Relevansi dengan HILDST |
|---|---|---|
| Kedaulatan sebagai kekuasaan tertinggi | Jean Bodin, Thomas Hobbes | Dalam pengambilan keputusan, manusia harus memegang kekuasaan tertinggi; AI adalah alat, bukan penguasa. |
| Legitimasi berasal dari yang diperintah | John Locke, Rousseau | Keputusan yang mempengaruhi manusia harus dapat dikaitkan dengan otoritas manusia yang sah. |
| Kontrak sosial | Rousseau | Ada kesepakatan implisit bahwa manusia tidak boleh menyerahkan kedaulatan sepenuhnya kepada mesin. |
2.2 Human‑Computer Interaction dan Human‑AI Collaboration
| Tokoh | Kontribusi | Relevansi dengan HILDST |
|---|---|---|
| Shneiderman, B. (2020;2022) | Human‑centered AI, level of automation | AI harus dirancang untuk memperkuat, bukan menggantikan, kemampuan manusia. HILDST mengadopsi prinsip human‑centered. |
| Endsley, M. R. (2017) | Situational awareness | Manusia harus tetap memiliki pemahaman situasi yang memadai untuk dapat mengintervensi jika diperlukan. HILDST memastikan hal ini. |
| Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000) | Model tingkatan otomatisasi | HILDST menentukan level otomatisasi yang sesuai untuk berbagai jenis keputusan. |
2.3 Teori Akuntabilitas dan Tanggung Jawab
| Konsep | Tokoh | Relevansi dengan HILDST |
|---|---|---|
| Akuntabilitas sebagai hubungan sosial | Bovens, M. (2007) | Ada pihak yang bertanggung jawab. Jika AI mengambil keputusan, siapa yang bertanggung jawab? HILDST memastikan ada manusia. |
| Prinsip tanggung jawab | Jonas, H. (1984) | Manusia memiliki tanggung jawab moral atas konsekuensi tindakan yang berada di bawah kendalinya. |
| Responsibility gap | Matthias, A. (2004) | Kesenjangan tanggung jawab ketika AI mengambil keputusan. HILDST menutup gap ini dengan memastikan manusia dalam loop. |
2.4 Etika AI dan Prinsip Kontrol Manusia
| Prinsip | Sumber | Relevansi dengan HILDST |
|---|---|---|
| Human agency and oversight | EU High‑Level Expert Group on AI (2019) | Sistem AI harus mendukung otonomi manusia dan pengawasan manusia. HILDST mengoperasionalkan prinsip ini. |
| Human‑in‑command | Floridi, L., et al. (2018) | Manusia harus memiliki kewenangan untuk mengesampingkan keputusan AI. |
| Dignity of the human person | Prinsip etika universal | Martabat manusia mensyaratkan bahwa keputusan yang mempengaruhi hidupnya tidak sepenuhnya diserahkan kepada mesin. |
2.5 Nilai‑Nilai Islam: Khalifah dan Amanah
| Nilai | Sumber | Relevansi dengan HILDST |
|---|---|---|
| Khalifah (Kepemimpinan Manusia) | QS. Al‑Baqarah: 30 | Manusia ditunjuk sebagai khalifah di muka bumi, memegang amanah kepemimpinan, termasuk dalam pengambilan keputusan. |
| Amanah (Tanggung Jawab) | QS. Al‑Ahzab: 72 | Manusia memikul amanah yang tidak dipikul makhluk lain. HILDST memastikan amanah tidak didelegasikan ke mesin. |
| 'Adl (Keadilan) | QS. Al‑Ma'idah: 8 | Keadilan mensyaratkan adanya pihak yang bertanggung jawab dan dapat dimintai pertanggungjawaban. |
| Syura (Musyawarah) | QS. Asy‑Syura: 38 | Proses pengambilan keputusan yang melibatkan musyawarah adalah nilai penting; HILDST mewujudkannya melalui mandatory review dan informed override. |
2.6 Keterkaitan dengan Teori AI Governance Lainnya
| Teori | Fokus | Hubungan dengan HILDST |
|---|---|---|
| AIDAT (AI‑Assisted Decision Accountability) | Akuntabilitas manusia atas keputusan berbantuan AI | HILDST menyediakan mekanisme (mandatory review, right to override) untuk mewujudkan akuntabilitas tersebut. |
| ABMGT (Algorithmic Bias Mitigation) | Mitigasi bias algoritmik | Human review dapat menangkap bias yang terlewat oleh deteksi otomatis. HILDST memungkinkan koreksi bias oleh manusia. |
| AITEMT (AI Transparency & Explainability) | Transparansi dan explainability | Penjelasan diperlukan agar manusia dapat membuat keputusan informed saat review atau override. HILDST bergantung pada AITEMT. |
| EDLT (Epistemic Delegation Limit) | Batas delegasi epistemik ke AI | HILDST mengimplementasikan batas delegasi dengan memastikan keputusan kritis tetap melibatkan manusia. |
2.7 Keterkaitan dengan Pilar PDG
| Pilar PDG | Kontribusi ke HILDST |
|---|---|
| Framing Governance | Manusia harus tetap terlibat dalam framing masalah; AI tidak boleh melakukan framing sendiri. |
| Option Architecture | Manusia harus mempertimbangkan opsi yang dihasilkan AI, tetapi tetap memiliki hak untuk memilih opsi lain (override). |
| Information Filtering | Manusia perlu memahami informasi yang disajikan AI (transparansi) untuk dapat melakukan review yang informed. |
| Deliberative Structure | HILDST, melalui mandatory human review, adalah bagian dari struktur deliberasi. |
3. DEFINISI DAN KONSEP INTI
3.1 Definisi Kedaulatan Manusia dalam Pengambilan Keputusan (Decision Sovereignty)
Dalam konteks HILDST, kedaulatan manusia dalam pengambilan keputusan didefinisikan sebagai:
Prinsip bahwa manusia memegang kendali final dan otoritas tertinggi atas keputusan‑keputusan yang berdampak signifikan terhadap kehidupan, hak, atau kepentingannya, dan bahwa penggunaan AI dalam proses tersebut harus dirancang untuk memperkuat, bukan menggantikan, kendali dan tanggung jawab manusia.
3.2 Definisi Human‑in‑the‑Loop (HITL)
Suatu paradigma desain sistem di mana manusia terlibat secara aktif dalam proses pengambilan keputusan, biasanya dengan meninjau, memvalidasi, atau mengesampingkan rekomendasi yang dihasilkan oleh AI, sebelum keputusan final dieksekusi.
3.3 Spektrum Keterlibatan Manusia
| Level | Nama | Deskripsi | Kedaulatan Manusia |
|---|---|---|---|
| Level 0 | Human‑only | Manusia mengambil keputusan tanpa bantuan AI | Tertinggi |
| Level 1 | AI‑assisted | AI memberikan informasi atau analisis, manusia memutuskan | Tinggi |
| Level 2 | AI‑recommended | AI memberikan rekomendasi, manusia memutuskan setelah review | Sedang‑Tinggi |
| Level 3 | Human‑in‑the‑loop | AI mengambil keputusan, tetapi manusia harus menyetujui sebelum eksekusi | Sedang |
| Level 4 | Human‑over‑the‑loop | AI mengambil keputusan secara otomatis, manusia mengawasi dan dapat mengintervensi | Rendah‑Sedang |
| Level 5 | Human‑out‑of‑the‑loop | AI mengambil keputusan sepenuhnya otomatis tanpa campur tangan manusia | Rendah |
3.4 Prinsip Dasar HILDST
| Prinsip | Penjelasan |
|---|---|
| Kedaulatan manusia adalah hakiki | Tidak dapat didelegasikan atau dihilangkan, terutama untuk keputusan berdampak tinggi. |
| AI adalah alat, bukan agen moral | AI tidak dapat memegang tanggung jawab; tanggung jawab tetap pada manusia. |
| Kontrol harus bermakna | Human‑in‑the‑loop bukan sekadar formalitas; manusia harus memiliki waktu, informasi, dan wewenang yang memadai. |
| Transparansi adalah prasyarat | Manusia tidak dapat membuat keputusan informed tanpa penjelasan yang memadai (lihat AITEMT). |
| Desain sejak awal (by design) | Kedaulatan manusia harus diintegrasikan ke dalam desain sistem, bukan ditambahkan kemudian. |
4. EMPAT PILAR HUMAN‑IN‑THE‑LOOP DECISION SOVEREIGNTY THEORY
Pilar 1: Mandatory Human Review (Kewajiban Review Manusia)
Pertanyaan kunci: Untuk keputusan apa manusia wajib terlibat secara aktif (mereview, mempertimbangkan) sebelum keputusan dieksekusi?
| Dimensi | Indikator | Metode Pemenuhan | Instrumen |
|---|---|---|---|
| Ambang Batas Risiko | Ada klasifikasi keputusan berdasarkan tingkat risiko (dampak pada individu, masyarakat, keuangan, reputasi); untuk risiko tinggi, wajib human review | Matriks klasifikasi risiko, kebijakan tertulis | Decision Risk Matrix |
| Jenis Keputusan | Keputusan yang mempengaruhi hak, kebebasan, atau kesejahteraan individu (pekerjaan, kredit, kesehatan, hukum) wajib di‑review | Daftar positif/negatif, regulasi | List of Protected Decisions |
| Frekuensi Review | Tidak semua keputusan perlu di‑review, tetapi sampling untuk kepastian kualitas untuk risiko rendah | Sampling audit, protokol monitoring | Audit Sampling Protocol |
| Kualifikasi Reviewer | Reviewer (manusia) memiliki kompetensi yang memadai untuk mengevaluasi rekomendasi AI (memahami domain, memahami keterbatasan AI) | Sertifikasi, pelatihan, penunjukan | Reviewer Competency Framework |
| Dokumentasi Review | Setiap proses review didokumentasikan, termasuk hasil review dan alasan keputusan | Log review, formulir | Review Log Template |
Proposisi HILDST 1: Semakin tinggi risiko dan dampak suatu keputusan, semakin wajib mandatory human review dilakukan sebelum eksekusi.
Pilar 2: Right to Override (Hak untuk Mengesampingkan)
Pertanyaan kunci: Apakah manusia memiliki kewenangan dan kemampuan untuk mengesampingkan rekomendasi AI, dan apakah proses override tersebut didesain agar bermakna?
| Dimensi | Indikator | Metode Pemenuhan | Instrumen |
|---|---|---|---|
| Kewenangan Formal | Ada kebijakan yang secara eksplisit memberikan hak override kepada manusia (individu tertentu atau dalam kondisi tertentu) | Kebijakan tertulis, SK penunjukan | Override Policy |
| Kemudahan Override | Proses override tidak rumit, dapat dilakukan dalam waktu yang memadai, dan tidak memerlukan keahlian teknis yang tinggi | Desain UI/UX, prosedur cepat, tombol override yang jelas | Override Mechanism (UI) |
| Informed Override | Override harus didasarkan pada pemahaman, bukan sekadar intuisi atau keengganan. Manusia harus memiliki akses ke penjelasan (AITEMT) untuk melakukan override yang informed. | Integrasi dengan AITEMT, pelatihan | Informed Override Protocol |
| Dokumentasi Override | Setiap override didokumentasikan beserta alasannya, untuk keperluan audit, pembelajaran, dan akuntabilitas | Log override, formulir | Override Log |
| Review Override | Override yang signifikan (misal: menyangkut keputusan besar atau sering terjadi) dapat direview oleh atasan atau komite untuk memastikan kualitas dan konsistensi | Mekanisme eskalasi, sampling audit | Override Review Board |
Proposisi HILDST 2: Semakin mudah, cepat, dan informed proses override, semakin efektif kedaulatan manusia dipertahankan dalam praktik.
Pilar 3: Informed Consent & Understanding (Persetujuan dan Pemahaman yang Informed)
Pertanyaan kunci: Apakah manusia yang membuat keputusan (atau yang terkena dampak) memahami secara memadai rekomendasi AI, implikasinya, serta keterbatasan sistem?
| Dimensi | Indikator | Metode Pemenuhan | Instrumen |
|---|---|---|---|
| Ketersediaan Penjelasan | AI menyediakan penjelasan yang memadai (lihat AITEMT) tentang rekomendasi dan faktor‑faktor yang mempengaruhinya | Integrasi dengan AITEMT, Explainability Report | Explainability Output |
| Pemahaman Reviewer | Reviewer (manusia) dapat menjelaskan kembali (dengan kata‑kata sendiri) alasan di balik rekomendasi AI dan faktor‑faktor kuncinya | Tes pemahaman, wawancara, simulasi | Comprehension Test |
| Kesadaran Keterbatasan | Reviewer sadar akan keterbatasan AI (potensi bias, ketidakpastian, data yang digunakan, batasan model) | Training, disclaimers, dokumentasi | Limitations Statement |
| Persetujuan yang Informed (untuk individu terdampak) | Jika keputusan mempengaruhi individu secara langsung (misal: penolakan kredit, diagnosis medis), mereka berhak mendapatkan penjelasan dan memberikan persetujuan (atau menolak) jika diperlukan | Informed consent form, portal pengguna | Informed Consent Form |
| Hak untuk Menolak | Individu berhak menolak keputusan yang sepenuhnya otomatis dan meminta peninjauan oleh manusia | Opt‑out mechanism, prosedur banding | Opt‑out Protocol |
Proposisi HILDST 3: Kualitas keputusan manusia (dalam mereview dan melakukan override) meningkat seiring dengan tingkat pemahaman mereka terhadap rekomendasi AI dan keterbatasannya.
Pilar 4: Sovereignty by Design (Kedaulatan melalui Desain)
Pertanyaan kunci: Apakah prinsip kedaulatan manusia telah diintegrasikan ke dalam desain sistem AI sejak awal, bukan sebagai tambalan setelah sistem berjalan?
| Dimensi | Indikator | Metode Pemenuhan | Instrumen |
|---|---|---|---|
| Human‑centered Default | Default sistem adalah melibatkan manusia, bukan otomatisasi penuh. Untuk keputusan strategis, workflow dimulai dengan notifikasi ke manusia. | Desain workflow, arsitektur sistem | Workflow Diagram |
| Transparansi Kontrol | Titik‑titik intervensi manusia harus jelas, mudah diakses, dan dipahami dalam antarmuka pengguna. | UI/UX design, user manual | Interface Design |
| Redundansi dan Fail‑safe | Ada mekanisme cadangan jika manusia tidak tersedia atau gagal merespons (misal: eskalasi ke atasan, penundaan otomatis). | Escalation procedure, fail‑safe protocol | Redundancy Plan |
| Pelatihan dan Edukasi | Pengguna (reviewer) dilatih untuk menggunakan kedaulatan mereka secara efektif: memahami kapan harus review, kapan melakukan override, bagaimana membaca penjelasan. | Training program, simulasi | Training Module |
| Evaluasi Berkala | Efektivitas mekanisme kedaulatan dievaluasi secara berkala (misal: seberapa sering override dilakukan, kualitas override, kepuasan pengguna). | Audit, survei, wawancara | Sovereignty Audit |
Proposisi HILDST 4: Sistem yang dirancang dengan prinsip sovereignty by design lebih mungkin mempertahankan kedaulatan manusia dalam praktik dibandingkan sistem yang menambahkan kontrol manusia sebagai fitur tambahan (afterthought).
5. MODEL MEKANISME KAUSAL HILDST
┌─────────────────────────────────────────────────────────────────┐
│ HUMAN‑IN‑THE‑LOOP DECISION SOVEREIGNTY THEORY │
│ (Empat Pilar: Mandatory Review, Right to Override, │
│ Informed Understanding, Sovereignty by Design) │
└───────────────────────────┬─────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────┐
│ PERUBAHAN INSENTIF INSTITUSIONAL │
│ • Mandatory review → insentif untuk tidak bergantung buta │
│ • Right to override → insentif keberanian mengambil keputusan │
│ • Informed understanding → insentif untuk belajar dan paham │
│ • Sovereignty by design → insentif desain yang bertanggungjawab│
└───────────────────────────┬─────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────┐
│ TRANSFORMASI PENGAMBILAN KEPUTUSAN │
│ • Manusia terlibat aktif di titik kritis │
│ • Override dilakukan dengan pemahaman, bukan asal‑asalan │
│ • Keputusan didasarkan pada sintesis AI + judgment manusia │
│ • Sistem dirancang untuk memfasilitasi, bukan menggantikan │
└───────────────────────────┬─────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────┐
│ PENINGKATAN KUALITAS & LEGITIMASI │
│ • Keputusan lebih berkualitas (AI + manusia) │
│ • Akuntabilitas jelas (ada manusia yang bertanggung jawab) │
│ • Kepercayaan publik meningkat │
│ • Risiko "responsibility gap" berkurang │
│ • Kedaulatan manusia terjaga │
└─────────────────────────────────────────────────────────────────┘
6. PROPOSISI DAN HIPOTESIS
6.1 Proposisi Utama per Pilar
| Pilar | Proposisi |
|---|---|
| Mandatory Review | P1: Semakin tinggi risiko dan dampak suatu keputusan, semakin wajib mandatory human review dilakukan sebelum eksekusi. |
| Right to Override | P2: Semakin mudah, cepat, dan informed proses override, semakin efektif kedaulatan manusia dipertahankan dalam praktik. |
| Informed Understanding | P3: Kualitas keputusan manusia (dalam mereview dan melakukan override) meningkat seiring dengan tingkat pemahaman mereka terhadap rekomendasi AI dan keterbatasannya. |
| Sovereignty by Design | P4: Sistem yang dirancang dengan prinsip sovereignty by design lebih mungkin mempertahankan kedaulatan manusia dalam praktik dibandingkan sistem yang menambahkan kontrol manusia sebagai fitur tambahan. |
6.2 Hipotesis Kausal
- H1: Organisasi yang menerapkan HILDST secara komprehensif menunjukkan tingkat akuntabilitas yang lebih tinggi (diukur dengan indikator seperti keberhasilan banding, kepuasan pengguna, dan rendahnya gugatan hukum).
- H2: Terdapat korelasi positif antara kualitas informed understanding (Pilar 3) dan kualitas override (Pilar 2). Semakin baik pemahaman manusia, semakin tepat keputusan override yang diambil.
- H3: Sistem dengan sovereignty by design (Pilar 4) memiliki probabilitas lebih rendah untuk mengalami "automation bias" (kecenderungan manusia terlalu percaya pada rekomendasi AI dan malas melakukan review kritis).
- H4: Kejelasan mandatory human review (Pilar 1) berkorelasi negatif dengan jumlah keputusan bermasalah yang ditemukan setelah implementasi.
- H5: Efek positif HILDST terhadap kualitas keputusan lebih kuat pada domain dengan risiko tinggi (kesehatan, keuangan, hukum) dibandingkan domain dengan risiko rendah.
7. INSTRUMEN HUMAN‑IN‑THE‑LOOP DECISION SOVEREIGNTY THEORY
7.1 Decision Sovereignty Matrix
| Tingkat Risiko | Contoh Keputusan | Level Keterlibatan Manusia yang Wajib | Mekanisme |
|---|---|---|---|
| Sangat Tinggi (dampak pada nyawa, hak fundamental, kebebasan) | Diagnosis kanker, keputusan pengadilan, persetujuan senjata, penolakan kredit besar | Human‑in‑the‑loop – manusia mengambil keputusan final setelah mempertimbangkan rekomendasi AI (wajib review) | Mandatory review, informed override, dokumentasi |
| Tinggi (dampak finansial besar, reputasi, kesejahteraan signifikan) | Persetujuan kredit menengah, rekrutmen karyawan, rekomendasi investasi besar | Human‑over‑the‑loop – AI merekomendasikan, manusia dapat mengawasi dan mengintervensi, sampling audit | Dashboard monitoring, sampling audit, right to override |
| Sedang (dampak terbatas, dapat dikoreksi) | Rekomendasi produk, prioritas layanan, penjadwalan | Human‑on‑the‑loop – AI mengambil keputusan rutin, manusia campur tangan jika ada keluhan atau anomali | Mekanisme banding, audit berkala |
| Rendah (dampak minimal, mudah dikoreksi) | Sorting email, rekomendasi konten non‑sensitif | Human‑out‑of‑the‑loop – AI mengambil keputusan otomatis | Pengawasan oleh desain, evaluasi periodik |
7.2 Human‑in‑the‑Loop Protocol (Ringkasan)
| Langkah | Aktivitas | PIC | Durasi | Dokumen |
|---|---|---|---|---|
| 1. Notifikasi | Sistem memberi notifikasi kepada reviewer bahwa ada keputusan yang memerlukan review (email, notifikasi aplikasi). | Sistem | Real‑time | - |
| 2. Penyajian Informasi | Sistem menyajikan rekomendasi AI beserta penjelasan (lihat AITEMT), termasuk faktor‑faktor kunci, tingkat keyakinan, dan alternatif (jika ada). | Sistem | - | Explanation Report |
| 3. Review | Reviewer mempelajari rekomendasi, informasi pendukung, dan penjelasan. | Reviewer | Bervariasi (sesuai SLA) | - |
| 4. Keputusan | Reviewer memutuskan: setuju, modifikasi, atau tolak (override). Jika override, harus memberikan alasan. | Reviewer | - | Override Form |
| 5. Dokumentasi | Keputusan, alasan, dan (jika override) alasan override dicatat dalam sistem. | Reviewer/Sistem | - | Decision Log |
| 6. Eskalasi (opsional) | Jika ada perbedaan pendapat internal atau keraguan, dapat dieskalasi ke atasan atau komite. | Reviewer | - | Escalation Form |
7.3 Informed Consent & Understanding Checklist
| Pertanyaan untuk Reviewer | Ya | Tidak | Catatan |
|---|---|---|---|
| Apakah Anda memahami bagaimana AI sampai pada rekomendasi ini (faktor‑faktor utama)? | ☐ | ☐ | |
| Apakah Anda mengetahui keterbatasan AI ini (data yang digunakan, potensi bias, akurasi per subkelompok)? | ☐ | ☐ | |
| Apakah Anda dapat menjelaskan kembali rekomendasi AI dengan kata‑kata sendiri kepada orang awam? | ☐ | ☐ | |
| Apakah Anda mempertimbangkan informasi di luar rekomendasi AI (konteks, faktor non‑kuantitatif) dalam keputusan Anda? | ☐ | ☐ | |
| Apakah Anda yakin dengan keputusan Anda (tingkat keyakinan 1‑5)? | ___ / 5 | ||
| Apakah Anda bersedia bertanggung jawab atas keputusan ini? | ☐ | ☐ | |
Jika jawaban "Tidak" untuk salah satu pertanyaan di atas, pertimbangkan untuk menunda keputusan dan berkonsultasi lebih lanjut atau meminta penjelasan tambahan.
7.4 Sovereignty by Design Principles
| Prinsip | Deskripsi | Implementasi |
|---|---|---|
| Human‑centered default | Default sistem adalah melibatkan manusia, bukan otomatisasi penuh, untuk keputusan strategis. | Workflow dimulai dengan notifikasi ke manusia; sistem tidak boleh mengeksekusi tanpa persetujuan untuk keputusan berisiko tinggi. |
| Transparency of control | Titik‑titik intervensi manusia harus jelas, mudah diakses, dan dipahami dalam antarmuka pengguna. | UI/UX yang jelas, tombol override mudah ditemukan, penjelasan tentang konsekuensi override. |
| Feedback loop | Sistem harus memberi umpan balik tentang konsekuensi keputusan manusia (misal: jika override dilakukan, apa hasilnya?). | Dashboard, notifikasi hasil, laporan periodik. |
| Graceful degradation | Jika manusia tidak tersedia (sakit, cuti), sistem harus "turun" ke mode aman (menunda keputusan, eskalasi ke atasan), bukan otomatisasi penuh tanpa pengawasan. | Escalation procedure, fail‑safe protocol. |
| Learnability | Pengguna harus dapat belajar menggunakan kedaulatan mereka secara efektif melalui pelatihan, dokumentasi, dan tooltips. | Pelatihan, dokumentasi, tooltips dalam antarmuka. |
7.5 Sovereignty Maturity Index (SMI)
| Level | Deskripsi | Karakteristik |
|---|---|---|
| Level 1: Ad‑hoc | Tidak ada mekanisme sistematis untuk memastikan kedaulatan manusia. Keputusan AI sering diambil tanpa review, tidak ada kebijakan override. | • Tidak ada matriks risiko • Tidak ada protokol review • Pengguna tidak terlatih • Reaktif jika terjadi masalah |
| Level 2: Reaktif | Ada mekanisme reaktif, biasanya setelah masalah muncul (misal: setelah ada keluhan). Override mungkin dilakukan secara informal. | • Audit setelah keluhan • Override mungkin secara informal • Belum ada kebijakan formal |
| Level 3: Terdefinisi | Ada kebijakan dan prosedur tertulis untuk human‑in‑the‑loop, mandatory review, dan override. | • Matriks klasifikasi risiko • Prosedur review terdokumentasi • Pelatihan dasar diberikan |
| Level 4: Terkelola | Mekanisme kedaulatan dijalankan secara sistematis, dimonitor, dan dievaluasi. | • Review dilakukan konsisten sesuai matriks • Log override dianalisis untuk perbaikan • Metrik kepatuhan dipantau |
| Level 5: Optimal | Kedaulatan manusia terintegrasi penuh dalam desain sistem (sovereignty by design) dan budaya organisasi. | • Sovereignty by design • Pengguna sangat terlatih • Pembelajaran dari override dan banding terinstitusionalisasi • Inovasi dalam mekanisme kedaulatan |
8. INTEGRASI DENGAN TEORI AI GOVERNANCE LAINNYA
| Teori | Integrasi dengan HILDST |
|---|---|
| AIDAT (AI‑Assisted Decision Accountability) | AIDAT menegaskan bahwa manusia bertanggung jawab; HILDST memastikan manusia memiliki kendali (review, override) untuk memenuhi tanggung jawab itu. |
| ABMGT (Algorithmic Bias Mitigation) | Human review (Pilar 1 HILDST) adalah mekanisme mitigasi bias tambahan di luar mitigasi teknis ABMGT. Manusia dapat menangkap bias yang terlewat oleh algoritma. |
| AITEMT (AI Transparency & Explainability) | Penjelasan dari AITEMT diperlukan agar manusia dapat melakukan review yang informed (Pilar 1) dan override yang informed (Pilar 2). HILDST bergantung pada AITEMT. |
| EDLT (Epistemic Delegation Limit) | EDLT menentukan batas delegasi epistemik; HILDST mengimplementasikan batas tersebut dengan memastikan bahwa keputusan di luar batas tetap melibatkan manusia (mandatory review). |
9. IMPLEMENTASI HILDST
9.1 Langkah‑langkah Implementasi
| Fase | Aktivitas | Output |
|---|---|---|
| 1. Komitmen Pimpinan | Manajemen puncak menetapkan bahwa kedaulatan manusia adalah prinsip non‑negoisiable dalam penggunaan AI. | Kebijakan tertulis, SK penunjukan AI Governance Officer |
| 2. Pemetaan Risiko | Identifikasi semua keputusan berbantuan AI dan klasifikasikan menggunakan Decision Sovereignty Matrix. | Matriks risiko per sistem/keputusan |
| 3. Desain Ulang Workflow | Untuk keputusan berisiko tinggi dan sedang, pastikan ada mandatory human review dalam workflow. | Workflow baru (SOP) |
| 4. Pengembangan Mekanisme Override | Pastikan override mudah dilakukan dan informed (dengan penjelasan). Integrasikan dengan AITEMT. | UI/UX, prosedur, formulir override |
| 5. Pelatihan | Latih reviewer/pengguna tentang cara menggunakan kedaulatan mereka, memahami penjelasan AI, dan kapan harus melakukan override. | Program pelatihan, modul |
| 6. Pemantauan | Pantau efektivitas mekanisme HILDST (kepatuhan review, frekuensi dan kualitas override, kepuasan pengguna). | Dashboard, log, laporan berkala |
| 7. Evaluasi | Evaluasi berkala (tahunan) dan lakukan perbaikan berdasarkan data dan umpan balik. | Laporan evaluasi, rekomendasi perbaikan |
9.2 Peran dan Tanggung Jawab
| Peran | Tanggung Jawab |
|---|---|
| AI Governance Officer / Chief AI Ethics Officer | Bertanggung jawab atas kebijakan, implementasi, dan kepatuhan HILDST di seluruh organisasi. |
| Reviewer (Manusia) | Melakukan review keputusan sesuai protokol (Pilar 1), melakukan override jika perlu (Pilar 2), memastikan pemahaman (Pilar 3). |
| Desainer Sistem / Developer | Memastikan prinsip sovereignty by design (Pilar 4) diimplementasikan dalam arsitektur dan antarmuka sistem. |
| Trainer | Melatih pengguna tentang penggunaan kedaulatan, pemahaman penjelasan AI, dan protokol HILDST. |
| Auditor Internal | Menguji kepatuhan terhadap HILDST, mengevaluasi efektivitas mekanisme. |
10. STUDI KASUS HIPOTETIS
Kasus 1: Sistem Diagnostik Medis di Rumah Sakit
| Aspek | Penerapan HILDST |
|---|---|
| Keputusan | Diagnosis awal kanker berdasarkan hasil mammogram dan data pasien (risiko sangat tinggi). |
| Mandatory Review (P1) | Semua diagnosis "suspect" dari AI wajib direview oleh dokter spesialis radiologi sebelum dikomunikasikan ke pasien. Sistem tidak mengizinkan hasil dikirim tanpa review. |
| Right to Override (P2) | Dokter dapat mengesampingkan rekomendasi AI (misal: merekomendasikan biopsi meskipun AI bilang "jinak") dengan satu klik, tetapi harus memberikan alasan (misal: ada faktor risiko keluarga yang tidak tertangkap AI). |
| Informed Understanding (P3) | AI menyediakan heatmap area yang dicurigai dan probabilitas (dari AITEMT). Dokter terlatih membaca ini. Ada sesi pelatihan rutin. |
| Sovereignty by Design (P4) | Sistem dirancang agar diagnosis AI tidak otomatis masuk ke rekam medis tanpa review dokter. Ada notifikasi dan antarmuka yang jelas. |
| Hasil | Akurasi diagnosis meningkat (AI + dokter), kesalahan minimal, dokter tetap memegang kendali, pasien percaya. |
Kasus 2: Sistem Persetujuan Kredit di Bank
| Aspek | Penerapan HILDST |
|---|---|
| Keputusan | Persetujuan kredit konsumen (risiko sedang‑tinggi). |
| Mandatory Review (P1) | Untuk kredit di atas threshold tertentu (Rp 100 juta), wajib review oleh analis kredit. Untuk kredit kecil, sampling audit. |
| Right to Override (P2) | Analis dapat menyetujui kredit yang ditolak AI, atau menolak yang disetujui AI, dengan catatan alasan (misal: "nasabah memiliki potensi bisnis yang tidak tercermin dalam data historis"). |
| Informed Understanding (P3) | AI menjelaskan faktor‑faktor utama yang mempengaruhi skor (feature importance dari AITEMT). Analis terlatih membaca ini. |
| Sovereignty by Design (P4) | Dashboard analis menampilkan rekomendasi AI, riwayat nasabah, dan tombol override yang mudah. Ada notifikasi jika ada anomali. |
| Hasil | Proses lebih cepat, tetap adil, ada manusia yang bertanggung jawab, kepuasan nasabah meningkat. |
11. KETERBATASAN DAN BATASAN
| Keterbatasan | Penjelasan | Mitigasi |
|---|---|---|
| Beban kognitif reviewer | Human review untuk semua keputusan bisa membebani dan menyebabkan kelelahan (fatigue), yang justru menurunkan kualitas review. | Terapkan secara proporsional (matriks risiko), gunakan sampling untuk risiko rendah, rotasi reviewer. |
| Kecepatan proses | Human review memperlambat proses, yang mungkin tidak dapat diterima dalam situasi yang membutuhkan kecepatan tinggi. | Desain workflow yang efisien, beri waktu yang memadai tetapi terbatas. Prioritaskan kecepatan hanya untuk keputusan yang memang membutuhkan. |
| Kualitas review yang bervariasi | Tidak semua review berkualitas; bisa dipengaruhi oleh kelelahan, bias, atau kurangnya pemahaman. | Training, standarisasi, audit kualitas review, umpan balik. |
| Override sewenang‑wenang | Manusia bisa mengesampingkan AI tanpa alasan kuat (misal: karena tidak suka AI, atau karena terlalu percaya diri). | Wajib dokumentasi alasan, review periodik atas pola override, umpan balik. |
| Desain yang buruk | Jika sistem tidak dirancang dengan baik (sovereignty by design tidak diterapkan), mekanisme kedaulatan bisa diabaikan atau sulit digunakan. | Terapkan sovereignty by design sejak awal, uji dengan pengguna, iterasi desain. |
12. KESIMPULAN
Human‑in‑the‑Loop Decision Sovereignty Theory (HILDST) menawarkan kerangka sistematis untuk menegakkan dan melindungi kedaulatan manusia dalam pengambilan keputusan berbantuan AI. Dengan empat pilar—Mandatory Human Review, Right to Override, Informed Understanding, dan Sovereignty by Design—HILDST memastikan bahwa manusia tetap memegang kendali final, terutama untuk keputusan‑keputusan yang berdampak signifikan pada kehidupan, hak, dan martabat manusia.
HILDST melengkapi AIDAT (akuntabilitas), ABMGT (mitigasi bias), AITEMT (transparansi), dan EDLT (batas delegasi) dengan fokus pada aspek paling fundamental: siapa yang memegang kendali final. Dalam ekosistem AI governance yang utuh:
- AIDAT memastikan manusia bertanggung jawab.
- ABMGT memastikan AI tidak bias.
- AITEMT memastikan AI dapat dijelaskan.
- EDLT memastikan batas delegasi tidak dilanggar.
- HILDST memastikan manusia memiliki kendali dan kedaulatan.
Berakar pada nilai‑nilai Islam tentang khalifah (kepemimpinan manusia) dan amanah (tanggung jawab), HILDST menegaskan bahwa kedaulatan manusia adalah hakiki dan tidak dapat didelegasikan. Manusia adalah khalifah yang memegang amanah pengambilan keputusan, dan AI hanyalah alat untuk membantu menunaikan amanah tersebut, bukan untuk menggantikannya.
Dengan menerapkan HILDST, organisasi dapat:
- Menghindari "responsibility gap" di mana tidak ada yang bertanggung jawab atas keputusan AI.
- Meningkatkan kualitas keputusan melalui sinergi antara kecerdasan manusia dan AI.
- Membangun kepercayaan publik dengan menunjukkan bahwa manusia tetap memegang kendali.
- Mematuhi regulasi yang semakin ketat tentang pengawasan manusia dalam AI.
- Menjunjung tinggi martabat manusia dan nilai‑nilai kemanusiaan di era digital.
DAFTAR PUSTAKA
1. Shneiderman, B. (2020). Human‑Centered Artificial Intelligence: Reliable, Safe & Trustworthy. International Journal of Human‑Computer Interaction.
2. Shneiderman, B. (2022). Human‑Centered AI. Oxford University Press.
3. Endsley, M. R. (2017). From Here to Autonomy: Lessons Learned from Human Factors Research. Human Factors.
4. Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A Model for Types and Levels of Human Interaction with Automation. IEEE Transactions on Systems, Man, and Cybernetics.
5. Bovens, M. (2007). Analysing and Assessing Accountability: A Conceptual Framework. European Law Journal.
6. Jonas, H. (1984). The Imperative of Responsibility. University of Chicago Press.
7. Matthias, A. (2004). The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. Ethics and Information Technology.
8. Floridi, L., et al. (2018). AI4People—An Ethical Framework for a Good AI Society. Minds and Machines.
9. EU High‑Level Expert Group on AI. (2019). Ethics Guidelines for Trustworthy AI.
10. CAA (Cognitive Accountability Architecture). (2026). Accountability‑Based Universal Wisdom and Trust.
11. PDG (Pre‑Decision Governance). (2026). Accountability‑Based Universal Wisdom and Trust.
12. AIDAT (AI‑Assisted Decision Accountability Theory). (2026). Accountability‑Based Universal Wisdom and Trust.
13. ABMGT (Algorithmic Bias Mitigation Governance Theory). (2026). Accountability‑Based Universal Wisdom and Trust.
14. AITEMT (AI Transparency & Explainability Mandate Theory). (2026). Accountability‑Based Universal Wisdom and Trust.
15. EDLT (Epistemic Delegation Limit Theory). (2026). Accountability‑Based Universal Wisdom and Trust.
"Ingatlah ketika Tuhanmu berfirman kepada para malaikat: 'Sesungguhnya Aku hendak menjadikan seorang khalifah di muka bumi.'" (QS. Al‑Baqarah: 30)
"Sesungguhnya Kami telah menawarkan amanah kepada langit, bumi, dan gunung‑gunung; maka semuanya enggan untuk memikulnya dan mereka khawatir akan mengkhianatinya, dan dipikullah amanah itu oleh manusia." (QS. Al‑Ahzab: 72)
"Kedaulatan bukan tentang menolak teknologi, tetapi tentang memastikan bahwa teknologi melayani manusia, bukan sebaliknya. Dalam setiap keputusan yang penting, harus ada manusia yang memegang kendali dan bersedia bertanggung jawab."
