色々ありましてUbuntuのインストールを余儀なくされました。その際，TensorflowをAnaondaを使って入れ直したのですが，Condaに用意されているTensorflowに依存関係のあるcuda-toolkitとcudnnが自動的にインストールされました笑。ちゃんとそれで動いてしまうので，面倒なCUDA関係のライブラリはもはや自分でインストールする必要がないのかもしれませんね。らくちんということで一応メモとして残しておきます。
インストール
$ conda install tensorflow-gpu
