

今年のiPadOS 18に搭載された機能の中でも、特に印象的なのは「数式メモ」と「スマートスクリプト」です。Appleはクリス・ローリー氏との最新インタビューで、これらの機能の仕組みと、その背後にある技術について深く掘り下げて解説しました。
改めておさらいすると、「Math Notes」は iPadOS 18 の新機能で、数式を入力または書き出すと、自分の手書きで即座に解くことができます。
インタビューでは、AppleのシステムエクスペリエンスプロダクトマネージャーであるTy Jordan氏が、Math Notesについて、そしてAppleがiPadOS 18で計算機アプリをiPadに導入することにした理由について詳しく説明しました。
私たちは、このようなタイプの体験を iPad に導入する際に、iPad の独自の機能や Apple Pencil などの独自のアクセサリに合わせて、それらの体験をどのように設計できるかについて深く考えます。
iPadに基本的な電卓や科学計算用の電卓を搭載するだけでもよかったのですが、代わりに「Math Notes」と「Calculator」を使って計算をする方法を徹底的に考え直しました。まるで魔法のように機能します。
鉛筆の自然な入力と、Appleの入力エクスペリエンス担当エンジニアリングマネージャーであるジェニー・チェン氏と彼女のチームが開発する驚異的なデバイス内機械学習モデル、そしてApple Siliconのパワーを組み合わせたものです。まるで紙に数式を書くように数式を書くだけで、魔法のように答えが出てきます。
Apple の入力エクスペリエンス担当エンジニアリング マネージャーである Jenny Chen 氏は、Math Notes で 1 回のタップだけでデータのグラフを挿入する方法について、さらに詳しく説明しました。
まず素晴らしい点の一つは、この方程式がグラフ化可能かどうかをどうやって認識できるのかということです。定義されていない変数が2つある場合、まずは内部の優れた認識エンジンを使って「これ、グラフ化できる?」と判断するのです。
チャートに関しては、SwiftチャートAPIとその機能のために私たちが長年取り組んできた成果を基盤としています。これを強化しつつ、自社製品にも活用できるのは素晴らしいことです。そこから生まれた楽しい機能の一つが、快適でスムーズ、そして洗練された操作感を実現する楽しいアニメーションです。
グラフに沿ってスクラブする機能で、X 軸に沿って値が変化するのに合わせて値を確認できます。
一方、iPadOS 18のスマートスクリプトは、メモを取る際の手書きの精度を向上させることを目的とした新機能です。Apple Pencilで手書きした文字を滑らかに、まっすぐに整えてくれます。また、入力したテキストと同じくらい簡単に手書きのテキストを編集できます。
ジョーダンは、Smart Script がユーザーについてどのように学習するかを説明しました。
Smart Scriptは、デバイス上で継続的に学習しながらも、非常に高速に動作する機械学習モデルです。新品のiPadで使い始めても、文字を入力し始めるとすぐに、その文字が洗練されていくのを実感していただけるでしょう。私たちは、より快適に使えるようにする方法を熟知しています。
また、ジェニーが言ったように、私たちはあなたが書いたものを確認して理解し、あなたに適した提案を提供できるので、スペルチェックもすぐに機能するようになります。
「手書きとして貼り付け」などの機能は、書き込むほどに使いこなせるようになります。つまり、自分の手書きスタイルを完璧に調整するには、そのスタイルで1~2段落ほど練習するだけです。しかし、継続的に学習し、非常に文脈に沿った動作をします。
たとえば、前の段落で手書きが下手だった部分があった場合、そこで修正された手書きに一致させ、他のメモにあったものを再現しようとはしません。
下記のインタビュー全文をご覧ください。
havebin.com を Google ニュース フィードに追加します。
FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。