新「Galaxy」生成AIで大きく進化した驚きの中身　インパクトが大きい「リアルタイム通訳」の実力とは

　サムスン電子は、日本で「Galaxy S24」「Galaxy S24 Ultra」の2機種を4月11日に発売する。ドコモ、KDDIが取り扱うほか、サムスン電子自身もオンラインでキャリア向けのカスタマイズが入っていないメーカーモデルを販売する。同シリーズ最大の特徴は、「Galaxy AI」を全面的に採用していること。音声通話やボイスレコーダー、ブラウザーなど、スマートフォンの基本とも言える機能の多くに生成AIが採用され、使い勝手が大きく向上している。

　生成AIのモデルとして採用しているのが、グーグルの開発した「Gemini」だ。Galaxy AIは、端末上での処理を担う比較的軽量な「Gemini Nano」に加え、クラウド上で計算能力を必要とする「Gemini Pro」や、画像を処理する「Imagen 2」を組み合わせており、それぞれの機能に合わせて最適な処理を行う。AIモデルそのものはグーグルのものだが、その実装をGalaxyに合わせてサムスン電子が行っているため、同じAIでもできることはグーグルのPixelとも異なっている。

　このGalaxy AIは、4月中旬以降のソフトウェアアップデートで2023年に発売された「Galaxy S23/S23 Ultra」や、フォルダブルスマホの「Galaxy Z Fold5/Flip5」などにも搭載される。過去のモデルにも適用されることで、普及も早くなりそうだ。では、Galaxy AIを活用することで、一般的なスマホとはどこが変わってくるのか。ここでは、その主な機能や使い方を紹介していく。

■「通話」でも対面でも翻訳が可能

　Galaxy AIはGalaxyのさまざまな機能をブラッシュアップしているが、中でもインパクトが大きいのは「リアルタイム通訳」だ。対面で話している相手の言語を翻訳するアプリや、「ポケトーク」のように翻訳に特化したAndroidベースの専用機は存在するが、Galaxy AIは、スマホの音声通話をそのまま外国語に翻訳できる。これによって、電話をかけた相手が外国語を話していても、双方向にコミュニケーションを取ることが可能になる。

　通話の音声はすべてGalaxy側で処理するため、相手が同じ端末を持っている必要もない。iPhoneであろうが、固定電話であろうが、Galaxyの電話アプリを通していれば翻訳が機能するというわけだ。もちろん、言語は日本語を含めた計13カ国語に対応。代表的なところでは、英語、フランス語、スペイン語、中国語、韓国語などを利用することが可能だ。

　リアルタイム通訳の処理は、端末上で行っている。通話内容をクラウド側にアップロードするわけではなく、プライバシーにも配慮されている。仕組みとしては、自分か相手の発した言葉をいったん文字起こしして、そのテキストを元に翻訳をかけ、さらにその文字を音声合成で音にしている。この3つのステップのすべてに、AIを活用。クラウドに送ることなく処理を済ませているため、翻訳のスピードも速く、スムーズにコミュニケーションを取ることが可能だ。

　AIを活用した翻訳機能は、音声通話だけでなく、対面でも利用できる。相手が目の前にいる場合には、翻訳アプリを起動すれば同等の精度で自分と相手の話した言葉を、それぞれの言語に訳してくれる。実際、筆者も発表会の会場にあったGalaxyで英語、スペイン語それぞれの通訳を試してみたが、コミュニケーションをきちんと取ることができた。筆者はスペイン語にはなじみがなく、相手が何をしゃべっているかがまったくわからなかったが、翻訳機能のおかげで内容が理解できた。

　また、当然、翻訳は文字にも適用できる。例えば、ボイスレコーダーで文字起こしした外国語を日本語に訳すのも、アプリ内のボタンをタップするだけ。取ったメモや、表示しているサイトも、一発で他言語に翻訳できる。こうした基本機能の数々に翻訳をきちんと組み込んでいるのが、Galaxyならでは。コピペなどの必要がなくなり、スムーズに他言語を理解できるようになる。

■テキストの「文体」をAIで変換

　スマホの文字入力は、基本的にキーボードで入力した文字がそのままフィールドに表示される。Galaxy S24/S24 Ultraでも、その基本は変わっていないが、Galaxy AIでは、ここに入力した文章の自動変換機能を組み込んでいる。入力した文章の文体を、TPOに合わせてワンタッチで変更可能。とりあえず、要旨だけを打ち込めば、文章を作り込んでくれるので、入力の手間が省ける。

　キーボード入力の文体変換は、5種類に対応している。利用者は、まず文字を入力したあと、AIのボタンをタップし、生成された5つの文体から利用したいものを選ぶという流れだ。サポートしているのは、「プロフェッショナル」「カジュアル」「SNS」「丁寧」「絵文字化」。同じ文章でも、カジュアルを選ぶと友達に送るようなくだけた文体になり、プロフェッショナルだとビジネスメールのような硬い印象の文章に仕上がる。

　一例を挙げると、筆者が入力した「おはよう。今日は何する？」という文章に対し、「プロフェッショナル」に変換すると、「おはようございます。本日はどのようなご予定でしょうか」という文章ができあがる。「カジュアル」を選ぶと、「おはよう。今日は何すんの？」という文章になるため、親しい友人などに送るときに使うといいだろう。

　面白いのが「SNS」で、これを選択すると「おはよう(太陽の絵文字)今日は何する？　＃morning ＃goodmorning ＃おはよう」といった形で、ハッシュタグつきの文章に仕上がる。キーボード上でこれらの変換ができるため、X(旧Twitter)やInstagramなどのSNSに、そのままハッシュタグつきで投稿できるというわけだ。文体を変える生成AIを、上手にキーボードに組み込んだ実例と言えるだろう。

　文字や文章を扱うという意味では、「Samsung Notes」というアプリに手書きで書き込んだ文字をテキストデータに変換する機能も便利だ。さすがに走り書きのような文字だと、誤変換もあったが、精度はまずまずの高さ。テキスト化したあと、箇条書きに変えたり、要約したり、翻訳したりと、AIによる文章成形も可能。AI対応のメモツールとして、ビジネスなどに役立つツールになりそうだ。

■画像の足りない部分をAIで生成

　画像編集にも、生成AIを組み込んでいる。AIを使った写真の編集というと、グーグルのPixelが搭載している「消しゴムマジック」や「編集マジック」がおなじみ。同社は、テレビCMでもこれらの機能を積極的にアピールしている。Galaxy S24/S24 Ultraに搭載された「生成AI編集」でも、「Pixel 8/8 Pro」に搭載された編集マジックと同じようなことができる。

　例えば、写真に写っている人物の構図がイマイチというときに、それを移動させることが可能だ。指で人物を囲むだけで被写体を検知でき、選択された状態で移動が可能。写真は平面的にしか映像を記録していないため、移動させた背景は空白になってしまうが、この足りない部分を生成AIで補ってくれる。ここまでは、Pixel 8/8 Proの編集マジックとほぼ同じだ。

　Galaxyならではなのが、角度補正。撮った写真が微妙に斜めになってしまい、水平が取れていないときに、角度を補正するとしよう。この場合、通常だと写真の端に空白ができてしまう。一般的な画像編集アプリでは、空白ができないように写真を切り抜く必要がある。角度が大きければ大きいほど、カットされる部分の面積が広くなり、水平が取れた一方で画像が小さくなってしまう難点があった。

　これに対し、Galaxy AIの生成AI編集では、傾きを補正したあと足りなくなった端を、生成AIで描き足すことができる。元々の写真を参考にしつつ、生成しているため、突拍子もない仕上がりになることも少ない。背景が単調だったり、遠目で見たりすれば、端だけ生成AIで継ぎ足していることはわかりづらいはずだ。この機能はPixel 8/8 Proの編集マジックにはない。

■動画を長押しでスローモーション再生

　人物を移動させたり大きさを変えたりといった編集は大胆で目を引く一方で、実用性がどこまであるのかは微妙なところ。これに対し、角度補正で足りなくなった背景を描き足す機能は、さりげない生成AIの使い方ゆえに実用性が高い。

　また、映像関連では、動画を長押しするだけで自動的にスローモーション再生になる機能もおもしろい。これも、単に再生速度を遅くしているのではなく、本来、スローモーション動画を撮る際に足りないフレームを生成AIが追加することで実現している。このように、Galaxy S24/S24 Ultraは生成AIを全面的に取り込むことで、その機能を大きく進化させている。AIモデルを開発したグーグル以上に、その実装方法が考え抜かれていると言えそうだ。