the Desirable Garfield

https://yougome.tistory.com/558

 

은근히 시간이 걸린 내용이라 정리해 두려고 한다.

LSTM을 살펴보면 대부분 Sequence layer를 활용해서 설명하고 있어서,

찾는시간에도, 오류를 잡고, 내용을 이해하는데에도 시간이 좀 들었다.

주요 오류는 Input(...) 다음에 LSTM(...) 을 읽는 위치에서 계속 막혔다.

inputs = Input(shape=( ..., ))

outputs = LSTM(1, ... )(inputs) 

오류의 포인트는 shape 값 때문이었다.

찾아봐도 명쾌한 답이 잘 안나오니 답답할 뿐이었다.

 

대부분 알고 있겠지만, LSTM의 shape의 의미는 size, seq, feature다. 

이 내용을 토대로 계속 입력하지만 계속 오류가 발생한다.

여기서 오류를 범할 수 있는 부분이 바로, size 부분이다. input shape를 seq, feautre로 두고 처리하면 해결된다.

 

size는 결국에 model을 compile한 후, fit을 할 때 사용되는 loop의 크기로 보면 좋을 것 같다.

 

이렇게 간단히 해결될 것을.. 왜이리 오래 걸렸을까?

기본 tutorial 코드를 보면, LSTM( ) 함수에는 몇가지 추가된 파라미터들이 있다.

stateful, return_sequence 등을 추가되어 있다.

입문자나 초보자 입장에서는 이게 없으면 안될 것 같은,,

느낌적인 느낌때문에 지운 후 쓰기도 그대로 쓰기도

어떻게 할지 몰라서 망설여지게 된다.

 

오류를 잘 살펴보면, stateful을 쓰려면 batch_input_shape 쓰라고 하고,

batch_input_shape를 빼면, input_shape가 맞지 않다고 하니,

어느 장단에 맞춰야할지 무척 난감해진다.

 

에러를 해석해보면,

stateful은 batch의 총 크기를 알았을 때 안정적으로 사용할 수 있다는 것이고,

stateful을 쓰지 않는다면, 굳이 없어도 동작한다. ( 확인했음 )

 

즉, Model의 Input(...) 이용해서 LSTM을 처리하고자 한다면 아래 두개 코드중에 하나를 선택해서 쓰면되겠다.

간단한 코드가 좋으니.. 아래와 같이 정리한다.

첫줄의 Input(..)함수의 batch_shape와 shape부분을 살펴보면 좋겠다.

 

# stateful 파라미터를 쓰고 싶다! 그러면 batch_shape로 하면된다.

#site : https://yougome.tistory.com/558

input_tensor = Input(batch_shape=(1, 10, 2, ))
hidden_tensor = LSTM(1, batch_input_shape=(1, 10, 2), stateful=True, return_sequences=True )(input_tensor)
hidden_tensor = LSTM(1, stateful=True)(hidden_tensor)
output_tensor = Dense(2, )(hidden_tensor)
m_model = Model(inputs=input_tensor, outputs = output_tensor)
m_model.summary()

 

# stateful 파라미터에 관심없다! 동작만 하면된다!! 그러면 shape로 하면된다.

#site : https://yougome.tistory.com/558

input_tensor = Input(shape=(10, 2, ))
hidden_tensor = LSTM(1, input_shape=(10, 2), return_sequences=True )(input_tensor)
hidden_tensor = LSTM(1)(hidden_tensor)
output_tensor = Dense(2)(hidden_tensor)
m_model = Model(inputs=input_tensor, outputs = output_tensor)
m_model.summary()

 

위에 있는 코드가 좀 더 상세히 쓴 것이고,

케라스의 특성상, 이전에 입력받은 Layer는 다음 Layer에서 알아서 척척(?) 잘 받아주니,

아래 처럼 써도 전혀 문제가 없다.

 

# stateful 파라미터를 쓰고 싶다! 그러면 batch_shape로 하면된다.

#site : https://yougome.tistory.com/558

input_tensor = Input(batch_shape=(1, 10, 2, ))
hidden_tensor = LSTM(1, stateful=True, return_sequences=True )(input_tensor)
hidden_tensor = LSTM(1, stateful=True)(hidden_tensor)
output_tensor = Dense(2, )(hidden_tensor)
m_model = Model(inputs=input_tensor, outputs = output_tensor)
m_model.summary()

summary 결과 값 보고 싶다면, 아래 '더보기' 클릭

 

# stateful 파라미터에 관심없다! 동작만 하면된다!! 그러면 shape로 하면된다.

#site : https://yougome.tistory.com/558

input_tensor = Input(shape=(10, 2, ))
hidden_tensor = LSTM(1, return_sequences=True )(input_tensor)
hidden_tensor = LSTM(1)(hidden_tensor)
output_tensor = Dense(2)(hidden_tensor)
m_model = Model(inputs=input_tensor, outputs = output_tensor)
m_model.summary()

summary 결과 값 보고 싶다면, 아래 '더보기' 클릭

 

아차, 다 쓰고 나서 읽어보니, 헷갈릴 수 있는 부분이 있어서 덧붙인다.

 

input의 shape 크기가 ( 10, 2 ) 인지,

output의 shape 크기가 2 인지,

>> input shape는 2개의 특징을 가진 10개의 연속된 데이터 N개를 사용하고 있고,

>> ouput shape는 2개의 특징으로 분류되는 N의 결과값을 사용하고 있다

 

( 10, 2 ) 이 부분은 큰 의미는 없고,

model 관련 dummy data로 테스트하던 중에 사용하던 코드여서,

그대로 붙여넣게 되었다.

 

ref : https://keras.io/getting-started/functional-api-guide/

The photography looks like it was taken in a lecture hall. The atmosphere looks very disorderly because there are people sitting and standing around the class. The people are probably attending a lecture but not all of them are listening to the lecture.
 Let's look at the woman in the photograph. She is wearing a dark purple beanie over her blond hair. She is wearing a brown sweater under her green overalls. You can see that she is yawning and frowning at the same time. Her eyes are closed. She must be very tired. She has a ring on her third finger and is holding a pen.
 You cannot see the background very well because it is blurry but there are people sitting and standing behind her There is another woman sitting behind her and that woman is looking towards the front. She is wearing a red sweater. She has a book open and is probably listening to the lecture at the front.
 There is a man sitting further back. He looks like he is writing something down. It's almost certainly winter because people are wearing heavy clothes. 

 

김영한 저, 해리티지 출판

페이스 북, 징가, 구루폰, 구글, 마이크로소프트, 포스퀘어.

소셜, 게임, 재미, 소사이어티( 사회성 ), 창의성, 위치정보, ...