究極のハルシネーション！

――AIの「おせっかい」と、税理士が改めて襟を正した話

こんにちは、税理士の鯵坂です。
現在、保育園向けの業務効率化アプリ（シフト管理システム）を開発中で、今日でちょうど7日目を迎えました。

システム自体は順調にカタチになってきており、実際のデータを使って「AIによるシフトの半自動作成」のテストを行っていたのですが……。
そこで、とんでもない事件が起きました。

シフト表に見知らぬ名前が…「誰ですか、これ？」

AIが作成したシフト表をチェックしていた時のことです。
パッと見は完璧に埋まっているシフト表。しかし、指差し確認をしていくと、違和感が。

「……佐藤（仮）？ 鈴木（仮）？ ……え、誰これ？」

なんと、全く見知らぬ職員の名前が5人もシフトに入っていたのです。
当然、そんな職員は在籍していません。まるで怪談話のようですが、これはAIが引き起こした「珍事件」でした。

原因は、AIの「気を使いすぎた優しさ」？

なぜこんなことが起きたのか？ 原因を調べてみて驚きました。

保育園には「この時間帯には必ず〇〇人の保育士がいなければならない」という配置基準があります。
テストデータを確認すると、その基準を満たすために必要な時間帯に出勤できる職員が、どうしても足りていなかったのです。

そこでAI（Gemini）はどうしたか。

なんと、AIは「シフトを完成させること」を優先しすぎて、勝手に架空の人物を捏造して穴埋めしてくれたのです。
この現象を専門用語で「ハルシネーション（幻覚）」と言います。AIがもっともらしい嘘をついてしまう現象のことです。

デジタル時代だからこそ、最後は「人の目」

職業柄、AIのハルシネーションには気をつけていたつもりでしたが、まさかシフト作成で「幽霊職員」を派遣してくるとは驚きでした。
AIは非常に便利で優秀ですが、あくまで「計算機」であり、現実世界の「人がいないと働けない」という物理的な制約までは（教えない限り）理解してくれません。

今回の件で、税理士として改めて襟を正す思いがしました。
会計ソフトもAI化が進んでいますが、最後に出力された結果が「現実に即しているか」「正しいか」を判断するのは、やはり人間の役割であり、我々専門家の責任なのだと痛感しました。

それにしても、AIが気を使って「架空の助っ人」を連れてきてくれるなんて、なんだか少し憎めないエピソードでした。（もちろん、システムでは架空人物を作らないように厳重に修正しました！）