Sistem Memotret Buku Penghubung Tulisan Tangan dari Sekolah, Meminta AI Membacanya, dan Menampilkannya di Display Rumah

Selamat pagi, saya Masakin.

Buku penghubung yang dibawa anak dari sekolah, ditulis tangan. Terkadang bentuk hurufnya unik, dan butuh waktu untuk memahaminya.

Saya membuat sistem yang meminta bantuan AI untuk bagian “membaca lalu menyampaikan ke keluarga” ini. Kali ini saya akan memperkenalkan langkah nyatanya, dari pra-pemrosesan gambar sampai update tampilan.

Awalnya Karena “Waktu Melihat Kembali Sering Tidak Cocok”

Buku penghubung baru bisa disadari keberadaannya kalau anak mengeluarkannya dari tas sekolah. Begitu disadari, kadang sudah sore hari.

Saya ingin isinya selalu bisa dilihat siapa saja di keluarga, kapan saja. Karena itu, saya membuat sistem yang menampilkan isi buku penghubung di display yang dipasang di ruang keluarga.

Alur Sistemnya

Yang saya lakukan ada 4 langkah berikut.

1. Memotret halaman buku penghubung dengan smartphone
2. Mengoreksi orientasi gambar, karena foto teks vertikal kadang tidak tegak
3. Meminta AI mentranskrip teksnya
4. Menulis hasilnya ke data, dan memperbarui tampilan display

Dari pemotretan sampai update tampilan, campur tangan manusia hanya di bagian “memotret” saja. Proses selanjutnya didesain mengalir otomatis.

Merapikan Gambar yang Dipotret agar Bisa Dibaca

Foto yang diambil dengan iPhone, kalau langsung dipakai, kadang orientasinya salah dikenali oleh AI. Format HEIC khususnya, meski bisa dibuka di image viewer standar, terkadang tidak didukung oleh tools pembaca gambar AI.

Karena itu, saya konversi dulu ke JPEG sambil menyamakan orientasinya. Kalau di Mac, ini bisa diselesaikan dengan command sips yang sudah terpasang standar.

# Konversi HEIC ke JPEG
sips -s format jpeg IMG_xxxx.HEIC --out notice.jpg

# Kalau teks vertikal terlihat horizontal, putar 90 derajat searah jarum jam
sips -r 90 notice.jpg --out notice_rot.jpg

Setelah dikonversi sekali, saya periksa orientasinya, dan kalau masih salah, tambahkan 90 derajat lagi atau balik 180 derajat. Setelah mencoba beberapa kali dan menemukan sudut yang tepat, sisanya cukup dijadikan script untuk konversi yang sama.

Selain itu, kalau gambar utuh langsung dipakai, hurufnya terlalu kecil dan sulit dibaca, jadi saya memotong area yang berisi teks padat dengan PIL (Pillow) sebelum dibaca.

from PIL import Image

im = Image.open("notice_rot.jpg")
# memotong area teks di tengah (sesuaikan dengan ukuran lembar sebenarnya)
im.crop((1300, 500, 3100, 2800)).save("zoom_main.jpg", quality=95)

Dibanding memberikan gambar utuh, memperbesar hanya area yang berisi teks padat sebelum diberikan, jelas meningkatkan akurasi pembacaan AI.

Cara Menghadapi Tulisan Tangan

Ini adalah bagian yang paling saya perhatikan. Tulisan anak lebih memiliki ciri khas dibanding tulisan orang dewasa. Meski dibaca AI, tidak selalu bisa dibaca dengan akurasi 100%.

Karena itu, saya selalu menyisipkan kalimat berikut dalam instruksi ke AI.

Ini adalah buku penghubung tulisan tangan anak. Meski ada bagian
yang sulit dibaca, jangan diisi dengan tebakan. Transkrip hanya
bagian yang bisa dibaca dengan yakin, dan bagian yang tidak bisa
dibaca ditandai sebagai "tidak terbaca" beserta posisinya.

Kalau diisi dengan tebakan, ada risiko informasi yang salah tersampaikan ke keluarga. Meminta AI menjawab “tidak tahu” secara jujur, pada akhirnya menghasilkan sistem yang lebih bisa dipercaya. Bagian yang tidak terbaca, akhirnya dilengkapi oleh manusia.

Kalau dipikir-pikir, sistem ini dimulai dari pemotretan lewat smartphone. Update tampilan pun, akhirnya selesai lewat komunikasi internet. Baik dari sisi masuk maupun keluar, semuanya bergantung pada koneksi. Kontrak sendiri pun jadi ingin ditinjau ulang.

Cara Menyimpan Data yang Ditampilkan

Konten yang sudah dibaca, saya simpan dalam format JSON sederhana. Program di sisi display membaca file ini dan menghasilkan HTML.

{
  "updated": "2026-09-01T07:30:00+09:00",
  "valid_for": "2026-09-01",
  "schedule": ["1 September (Selasa)", "1 Bahasa Jepang", "2 Matematika", "3 Olahraga", "4 Musik"],
  "homework": ["Latihan menulis kanji"],
  "items": ["Kotak alat menggambar"],
  "notice": []
}

Elemen pertama array dijadikan judul, dan sisanya disusun dalam format “jam pelajaran - mata pelajaran”. Pada hari tidak ada catatan, schedule ini dijadikan array kosong seluruhnya, dan homework maupun items diperlakukan sama. Pada hari lupa memotret, struktur ini dikembalikan menjadi null seluruhnya, dan di sisi display ditampilkan pesan “silakan periksa buku penghubung”.

Saya juga mencatat “berapa slot jam pelajaran hari ini yang terisi”. Angka ini punya kegunaan tersendiri yang cukup menarik.

Yang Bisa Disadari dari “Jumlah Slot yang Terisi”

Kalau kolom jam pelajaran terisi penuh, berarti itu hari biasa. Tapi ada hari yang hanya terisi sebagian.

Hari seperti itu bisa jadi ada kemungkinan pulang lebih awal atau jadwal khusus. Kalau jumlah slot yang terisi lebih sedikit dari perkiraan, saya tidak langsung mencerminkannya begitu saja, tapi menyisipkan konfirmasi dengan menandai “kemungkinan pulang lebih awal atau jadwal setengah hari”.

Saya mendesain sistem ini agar bisa menangkap kesadaran bukan hanya dari teks buku penghubung, tapi juga dari “jumlah informasi itu sendiri”. Ini adalah hal yang berbeda dari akurasi transkripsi, tapi diam-diam sangat membantu.

Cara Mengotomatisasi Update Tampilan

Setelah JSON diperbarui, tampilan dicerminkan lewat 2 langkah berikut.

1. Menjalankan script yang membaca JSON dan menghasilkan ulang HTML
2. Mengirim instruksi reload ke browser di sisi display

Instruksi reload ini bukan sekadar memperbarui halaman, tapi dilakukan dengan urutan “hapus cache → hapus data tersimpan → reload URL”. Karena kalau cache di sisi browser masih tersisa, meski script dijalankan ulang, tampilannya kadang tetap yang lama.

Saya memeriksa apakah pencerminan berhasil dengan cara berikut.

• Apakah setiap langkah reload sudah merespons normal, yaitu HTTP status 200
• Apakah metadata “waktu pembuatan” yang disematkan di HTML yang dihasilkan, sudah sesuai waktu yang diharapkan

Kalau salah satunya gagal, saya juga menyiapkan cara fallback: bukan reload lewat network, tapi restart aplikasi di sisi display itu sendiri. Karena layarnya akan sempat gelap sebentar, ini hanya dipakai saat sudah dipastikan perlu.

Trik di Sisi Tampilan

Di display, saya hanya menampilkan ringkasan buku penghubung hari itu. Kalau teks mentah ditampilkan begitu saja, informasinya terlalu banyak dan akhirnya tidak ada yang melihat.

• Yang harus dilakukan hari ini, seperti barang bawaan atau persiapan untuk besok
• Apakah ada bagian yang tidak terbaca
• Kalau ada kemungkinan pulang lebih awal, disebutkan juga

Dengan mempersempit informasi, cukup dilihat sekilas saat lewat pun sudah memadai.

Yang Saya Rasakan Setelah Mencoba

Yang paling bagus adalah hilangnya kondisi “menunggu ada yang menyadari”. Asal sudah dipotret, siapa pun di keluarga bisa mengakses informasi yang sama.

Di sisi lain, saya tidak menyerahkan semuanya ke AI. Kalau muncul tanda tidak terbaca, akhirnya tetap diperiksa dengan mata manusia. Kalau bagian ini dilewati, ada risiko informasi yang salah langsung tersampaikan ke keluarga, jadi ini bagian yang tidak saya kompromikan.

Cocok untuk Orang Seperti Apa

• Orang yang momen membagikan buku penghubung atau surat dari sekolah ke keluarga sering tidak cocok waktunya
• Orang yang tertarik meminta AI membaca tulisan tangan
• Orang yang punya cukup energi untuk membuat script sederhana yang membaca JSON dan menghasilkan HTML

Rangkuman

Saya membuat sistem yang meminta AI membaca buku penghubung tulisan tangan, dan menampilkannya di display rumah. Poinnya menurut saya adalah tidak membiarkan AI menebak, mempersempit informasi yang ditampilkan, dan memastikan cache benar-benar terhapus sebelum reload.

Secara teknis, ini bukan hal yang sulit. Tapi akumulasi sistem-sistem kecil seperti ini, menurut saya sedikit meringankan berbagi informasi keluarga sehari-hari.

Memotret dengan smartphone, lalu menyampaikannya lewat internet. Itulah dasar dari sistem ini. Merapikan koneksi internet pun, diam-diam saya rasa berpengaruh juga.

Artikel ini mengandung iklan afiliasi. Jika Anda mendaftar produk atau layanan melalui tautan di situs ini, kami mungkin menerima komisi dari perusahaan mitra. Selain itu, pengelola adalah karyawan Rakuten Group dan mungkin menerima imbalan melalui program referral karyawan. Konten dan penilaian artikel dibuat berdasarkan pengalaman nyata dan riset pengelola, terlepas dari ada atau tidaknya iklan, namun kami harap Anda membaca dengan memahami hubungan di atas. Untuk detailnya, silakan lihat Sangkalan & Info Afiliasi. Sangkalan & Info Afiliasi

Artikel ini menggunakan terjemahan mesin. Untuk syarat resmi, silakan cek halaman multibahasa di situs resmi Rakuten Mobile.

Jika Anda memiliki kekhawatiran tentang area jangkauan atau kondisi sinyal Rakuten Mobile, Anda dapat berkonsultasi melalui formulir permintaan perbaikan sinyal resmi.