大量の階層で構成されるニューラルネットワークの訓練を計画しているのでない限り、一般的に329ポンド（約4万8000円）ほどで販売されている「NVIDIA GeForce RTX 2060」のようなコンシューマー向けのグラフィックカードを用いてもよいだろう。このGPUには、1920のCUDAコアが搭載されている。
しかしより本格的な訓練では、専用の機器が必要となる。最も性能が高いML向けGPUとして「NVIDIA Tesla V100」が挙げられる。このGPUは、AIに特化した640の「Tensor」コアと、5120の汎用ハイパフォーマンスコンピューティングCUDAコアを搭載している。ただ、その価格はコンシューマー向けのものよりもはるかに高くなっている。
AI用のワークステーションやサーバーを構築するためのコストは桁違いに高くなり、例えば、Tesla V100を16基搭載しているNVIDIAのディープラーニング向け「NVIDIA DGX-2」の価格は39万9000ドル（約4500万円）となっている。
ディープラーニングソフトウェア用のフレームワークには数多くの選択肢があり、こういったものを使用すれば、さまざまなプログラミング言語を用いてDNNの設計や訓練、検証を実施できるようになる。
よく利用されているのがGoogleの「TensorFlow」ソフトウェアライブラリーだ。TensorFlowはPythonやJava、C++、Swiftから利用でき、画像認識や音声認識をはじめとする多彩なディープラーニングタスクに利用可能であるうえ、さまざまなCPUやGPU、その他のプロセッサ上で実行できる。また、ドキュメントも充実しており、数多くのチュートリアルや、実装済みのモデルが利用可能となっている。
TensorFlow以外によく利用されているフレームワークとして、特に初心者の間で人気が高い「PyTorch」が挙げられる。PyTorchは、開発者になじみのある命令型プログラミングモデルを提供しており、プログラマーは標準のPythonステートメントを使って機能を呼び出すことができる。また、PyTorchは畳み込み型ニューラルネットワーク（CNN）から再帰型ニューラルネットワーク（RNN）に至るまでのさまざまなDNNで利用でき、GPU上で効率的に稼働する。
