Autoencoder 모델을 조금 더 간단하게 하고 설명을 추가

golbin · golbin · commit f6df1b5c24d8 · 2017-02-04T12:43:30.000+09:00
diff --git a/03 - MNIST (CNN, Autoencoder)/04 - Autoencoder.py b/03 - MNIST (CNN, Autoencoder)/04 - Autoencoder.py
@@ -17,8 +17,7 @@
 training_epoch = 20
 batch_size = 100
 # 신경망 레이어 구성 옵션
-n_hidden_1 = 256  # 첫번째 레이어의 특성 갯수
-n_hidden_2 = 128  # 두번째 레이어의 특성 갯수
+n_hidden = 256  # 히든 레이어의 특성 갯수
 n_input = 28*28   # 입력값 크기 - 이미지 픽셀수
 
 
@@ -30,44 +29,31 @@
 
 # 인코더 레이어와 디코더 레이어의 가중치와 편향 변수를 설정합니다.
 # 다음과 같이 이어지는 레이어를 구성하기 위한 값들 입니다.
-# encode1 -> encode2 -> decode1 -> decode2
-# encode1 에서는 입력값보다 작은 값의 특성치를 갖게 하여 정보를 압축하고,
-# 최종적으로 decode2 의 출력을 입력값과 동일한 크기의 특성치를 갖도록 만듭니다.
-weights = {
-    'encode1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
-    'encode2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
-    'decode1': tf.Variable(tf.random_normal([n_hidden_2, n_hidden_1])),
-    'decode2': tf.Variable(tf.random_normal([n_hidden_1, n_input]))
-}
-
-biases = {
-    'encode1': tf.Variable(tf.random_normal([n_hidden_1])),
-    'encode2': tf.Variable(tf.random_normal([n_hidden_2])),
-    'decode1': tf.Variable(tf.random_normal([n_hidden_1])),
-    'decode2': tf.Variable(tf.random_normal([n_input]))
-}
+# input -> encode -> decode -> output
+W_encode = tf.Variable(tf.random_normal([n_input, n_hidden]))
+b_encode = tf.Variable(tf.random_normal([n_hidden]))
+# encode 의 아웃풋 크기를 입력값보다 작은 크기로 만들어 정보를 압축하여 특성을 뽑아내고,
+# decode 의 출력을 입력값과 동일한 크기를 갖도록하여 입력과 똑같은 아웃풋을 만들어 내도록 합니다.
+# 히든 레이어의 구성과 특성치을 뽑아내는 알고리즘을 변경하여 다양한 오토인코더를 만들 수 있습니다.
+W_decode = tf.Variable(tf.random_normal([n_hidden, n_input]))
+b_decode = tf.Variable(tf.random_normal([n_input]))
 
 # sigmoid 함수를 이용해 신경망 레이어를 구성합니다.
 # sigmoid(X * W + b)
 # 인코더 레이어 구성
-encode_layer_1 = tf.nn.sigmoid(
-                    tf.add(tf.matmul(X, weights['encode1']), biases['encode1']))
-encode_layer_2 = tf.nn.sigmoid(
-                    tf.add(tf.matmul(encode_layer_1, weights['encode2']), biases['encode2']))
-
+encoder = tf.nn.sigmoid(
+                tf.add(tf.matmul(X, W_encode), b_encode))
 # 디코더 레이어 구성
-decode_layer_1 = tf.nn.sigmoid(
-                    tf.add(tf.matmul(encode_layer_2, weights['decode1']), biases['decode1']))
-decode_layer_2 = tf.nn.sigmoid(
-                    tf.add(tf.matmul(decode_layer_1, weights['decode2']), biases['decode2']))
-
+# 이 디코더가 최종 모델이 됩니다.
+decoder = tf.nn.sigmoid(
+                tf.add(tf.matmul(encoder, W_decode), b_decode))
 
-# 예측값을 최종 레이어의 출력값으로 설정합니다.
-prediction = decode_layer_2
-# Y 값, 즉 예측을 평가하기 위한 실제 값을 입력값으로 설정합니다.
+# 디코더는 인풋과 최대한 같은 결과를 내야 하므로,
+# 디코딩한 결과를 평가하기 위해 (손실 함수 구성을 위해)
+# 입력 값인 X 값을 평가를 위한 실측 결과 값으로 설정합니다. (안해도 됩니다만, 이해를 위해 작성)
 Y = X
 
-cost = tf.reduce_mean(tf.pow(Y - prediction, 2))
+cost = tf.reduce_mean(tf.pow(Y - decoder, 2))
 optimizer = tf.train.RMSPropOptimizer(learning_rate).minimize(cost)
 
 
@@ -100,15 +86,14 @@
 ######
 sample_size = 10
 
-predicted_samples = sess.run(prediction,
-                             feed_dict={X: mnist.test.images[:sample_size]})
+samples = sess.run(decoder, feed_dict={X: mnist.test.images[:sample_size]})
 
 fig, ax = plt.subplots(2, sample_size, figsize=(sample_size, 2))
 
 for i in range(sample_size):
     ax[0][i].set_axis_off()
     ax[1][i].set_axis_off()
     ax[0][i].imshow(np.reshape(mnist.test.images[i], (28, 28)))
-    ax[1][i].imshow(np.reshape(predicted_samples[i], (28, 28)))
+    ax[1][i].imshow(np.reshape(samples[i], (28, 28)))
 
 plt.show()
