TensorFlow에서 Variable과 get_variable의 차이점

내가 아는 Variable한 변수를 만들기위한 기본 작업 get_variable이며 주로 가중치 공유에 사용됩니다.

한편 으로 변수가 필요할 때마다 get_variable원시 Variable연산 대신 사용 을 제안하는 사람들이 있습니다 . 반면에 저는 get_variableTensorFlow의 공식 문서 및 데모에서의 사용을 볼뿐입니다 .

따라서이 두 가지 메커니즘을 올바르게 사용하는 방법에 대한 몇 가지 경험 규칙을 알고 싶습니다. "표준"원칙이 있습니까?

항상 사용하는 것이 좋습니다 tf.get_variable(...). 예를 들어 다중 GPU 설정 (다중 GPU CIFAR 예제 참조)과 같이 언제든지 변수를 공유해야하는 경우 코드를 리팩토링하는 것이 더 쉬워집니다. 단점이 없습니다.

Pure tf.Variable는 하위 수준입니다. 어떤 시점 tf.get_variable()에는 존재하지 않았으므로 일부 코드는 여전히 저수준 방식을 사용합니다.

tf.Variable는 클래스이며, tf.Variable을 포함하여 작성하는 방법에는 여러 가지가있다 tf.Variable.__init__및 tf.get_variable.

tf.Variable.__init__: initial_value를 사용 하여 새 변수를 만듭니다 .

W = tf.Variable(<initial-value>, name=<optional-name>)

tf.get_variable: 이러한 매개 변수로 기존 변수를 가져 오거나 새 변수를 만듭니다. 이니셜 라이저를 사용할 수도 있습니다.

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
       regularizer=None, trainable=True, collections=None)

다음과 같은 이니셜 라이저를 사용하는 것이 매우 유용합니다 xavier_initializer.

W = tf.get_variable("W", shape=[784, 256],
       initializer=tf.contrib.layers.xavier_initializer())

여기에 더 많은 정보가 있습니다 .

하나와 다른 두 가지 주요 차이점을 찾을 수 있습니다.

1. 첫 번째는 tf.Variable항상 새 변수를 생성하는 반면 그래프에서 지정된 매개 변수 tf.get_variable가있는 기존 변수를 가져 와서 존재하지 않는 경우 새 변수를 생성 한다는 것 입니다.

2. tf.Variable 초기 값을 지정해야합니다.

tf.get_variable재사용 검사를 수행 하기 위해 함수 가 현재 변수 범위를 이름 앞에 붙인다는 점을 명확히하는 것이 중요 합니다. 예를 들면 :

with tf.variable_scope("one"):
    a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists
with tf.variable_scope("one", reuse = True):
    c = tf.get_variable("v", [1]) #c.name == "one/v:0"

with tf.variable_scope("two"):
    d = tf.get_variable("v", [1]) #d.name == "two/v:0"
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0"

assert(a is c)  #Assertion is true, they refer to the same object.
assert(a is d)  #AssertionError: they are different objects
assert(d is e)  #AssertionError: they are different objects

마지막 주장 오류는 흥미 롭습니다. 같은 범위에서 이름이 같은 두 변수는 같은 변수로 간주됩니다. 당신은 변수의 이름을 테스트한다면 d그리고 e당신은 알게 될 것이다 Tensorflow은 변수의 이름을 변경하는 것이 e:

d.name   #d.name == "two/v:0"
e.name   #e.name == "two/v_1:0"

또 다른 차이점은 하나는 ('variable_store',)컬렉션에 있지만 다른 하나는 그렇지 않다는 것입니다.

소스 코드를 참조하십시오 :

def _get_default_variable_store():
  store = ops.get_collection(_VARSTORE_KEY)
  if store:
    return store[0]
  store = _VariableStore()
  ops.add_to_collection(_VARSTORE_KEY, store)
  return store

설명하겠습니다.

import tensorflow as tf
from tensorflow.python.framework import ops

embedding_1 = tf.Variable(tf.constant(1.0, shape=[30522, 1024]), name="word_embeddings_1", dtype=tf.float32) 
embedding_2 = tf.get_variable("word_embeddings_2", shape=[30522, 1024])

graph = tf.get_default_graph()
collections = graph.collections

for c in collections:
    stores = ops.get_collection(c)
    print('collection %s: ' % str(c))
    for k, store in enumerate(stores):
        try:
            print('\t%d: %s' % (k, str(store._vars)))
        except:
            print('\t%d: %s' % (k, str(store)))
    print('')

출력 :

collection ('__variable_store',): 0: {'word_embeddings_2': <tf.Variable 'word_embeddings_2:0' shape=(30522, 1024) dtype=float32_ref>}