Google Cloud telah meluncurkan Vertex AI Search for Healthcare, sebuah alat berbasis kecerdasan buatan (AI) yang memudahkan dokter dalam mencari informasi melalui catatan pasien, dokumen yang telah dipindai, dan data klinis lainnya. Pengumuman ini dibuat oleh perusahaan teknologi tersebut dalam konferensi HIMSS di Las Vegas.
Alat ini tidak hanya memfasilitasi fungsi pencarian, tetapi juga mampu menjawab pertanyaan, termasuk mengenai riwayat kesehatan pasien. Namun, sejak diluncurkan, beberapa pengguna telah melaporkan jawaban yang tidak akurat dari alat ini dalam beberapa minggu terakhir. Para ahli juga memperingatkan tentang risiko dari jawaban yang salah dalam konteks kesehatan.
Meskipun teknologi ini dapat mendorong perilaku sehat dan pencarian perawatan medis, namun demikian, informasi yang tidak akurat juga dapat tersebar. Beberapa jawaban yang dihasilkan oleh alat ini berasal dari sumber-sumber yang tidak dapat dipercaya. Sebagai contoh, beberapa pengguna menerima jawaban aneh ketika menanyakan hal yang sederhana, seperti berapa banyak batu yang harus dimakan untuk mendapatkan vitamin dan mineral, yang ternyata berasal dari situs satir The Onion.
AI Overview, demikian alat ini dikenal, mengumpulkan informasi dari berbagai sumber termasuk Mayo Clinic, WebMD, WHO, dan PubMed. Namun, alat ini juga mengambil informasi dari sumber-sumber lain seperti Wikipedia, blog, platform sosial seperti Reddit, dan situs web e-commerce. Namun, sumber asal dari setiap fakta yang disajikan tidak selalu disediakan, yang dapat menyebabkan kebingungan atau kesalahan.
Proses ini juga dapat melanggar peraturan Google sendiri terhadap konten berisi spam, karena alat ini terkadang mengambil kalimat di luar konteks. Meskipun pengguna sering dapat membedakan situs web medis terpercaya dan situs web biasa dalam hasil pencarian biasa, namun, jika informasi dari berbagai sumber disajikan dalam satu blok teks, hal ini dapat menimbulkan kebingungan.
Hema Budaraju, direktur senior manajemen produk di Google yang turut memimpin pengembangan AI Overview, menyatakan bahwa dalam penelusuran kesehatan, terdapat “pagar tambahan” yang diterapkan, namun dia enggan memberikan detail lebih lanjut. Dia menjelaskan bahwa penelusuran yang dianggap berisiko atau eksplisit, atau yang menunjukkan bahwa seseorang dalam kondisi rentan seperti cedera diri sendiri, tidak akan menampilkan ringkasan AI.
Google menolak untuk memberikan daftar lengkap situs web yang dijadikan referensi dalam AI Overview, tetapi menyatakan bahwa alat tersebut berintegrasi dengan Grafik Pengetahuan Google, sebuah sistem informasi yang telah mengumpulkan miliaran fakta dari ratusan sumber.
Juru bicara Google mengatakan bahwa AI Overview akan mencocokkan atau merangkum informasi yang muncul di hasil pencarian teratas, namun tidak dirancang untuk menggantikan konten tersebut. Sebaliknya, kata juru bicara tersebut, ini dirancang untuk membantu masyarakat memahami informasi yang tersedia.