エヌビディア【NVDA】の掲示板 2017/03/22〜2017/06/26

TPUはKepler(K80)との比較であって、Pascal(P40)との比較では無さそうです。
消費電力は250W(P40)に対し75W(TPU)とTPUが勝っているみたいです。

~一部Google翻訳~
この間、Googleはテンソル処理ユニット（TPU）と呼ばれる独自のアクセラレータチップを設計しました。具体的には、2015年に導入された推論を処理します。

そのチームは先週、このTPUの利点に関する技術情報を発表しました。 これは、とりわけ、TPUがK80の13倍の推論性能を有することを主張している。 ただし、現在の世代のPascalベースのP40とTPUを比較することはありません。

P40は、計算の精度とスループット、オンチップメモリ​​、メモリ帯域幅のバランスをとって、トレーニングや推論のための前例のないパフォーマンスを実現します。 トレーニングの場合、P40の帯域幅は10倍で、32テラフロップの32ビット浮動小数点性能を備えています。 推論の場合、P40には高スループットの8ビット整数と高いメモリ帯域幅があります。