boto + EMRでハマった

全然ググっても出てこないので単体でメモ

botoライブラリを使って MASTER/TASK/CORE とそれぞれInstanceGroup設定してrun_jobflowすると

  <Error>
    <Type>Sender</Type>
    <Code>ValidationError</Code>
    <Message>Hadoop 0.20 required to use resize running job flows</Message>
  </Error>

こんなエラーが出る。

これはami_versionを指定して、'latest'とかにしてやると直る。 どうやらami_version指定しない場合はMapReduce2.0系しか使えないインスタンスをつくろうとするっぽい。

ちなみにこの手がかりつかむために、botoのconfをいじってデバッグモードにした。

http://stackoverflow.com/questions/17226989/how-do-i-get-useful-diagnostics-from-boto