MOTO+4 Applocations のブログ

ちょっとマニアックで癖のあるAWS DynmoDB。

時系列のログなどは、降順で読み出したいところです。pythonでは以下のようなコードになるかと思います。ScanIndexForwardを指定します。

tbl1 = dynamodb.Table("テーブル名")
   :
   :
resp = tbl1.query(
          KeyConditionExpression=Key('キー名').eq('キー値'),
          ScanIndexForward=False
       )

しかし実際には、query一回の読出し量1MBの制約があります。1MBオーバのエラー検出をして、再読み込みさせるコードを書くなら、以下のように予め一定件数づつ読出しした方が効率的です。

resp = tbl1.query(
          KeyConditionExpression=Key('キー名').eq('キー値'),
          ScanIndexForward=False,
          Limit=1000
       )

当方では、以下のようにプライマリキーは、時刻を入れていました。

こうすると、一番新しい時刻から、1000件が降順で読み出されると考えてしまいます。

しかし実際には、読出し件数は、0となってしまいました!!

どうも「一番古いデータから、降順で1,000件」というリクエストと解釈されるようです。

当方では、以下のように対処しました。

resp = tb1.query(
          KeyConditionExpression=Key('キー名').eq('キー値') & Key('時刻').lt('最新時刻'),
                   Limit=1000,
                   ScanIndexForward=False 
           )

‘最新時刻’は、弊方はデータに登録されている現在を用いましたが、現在時刻でもいけるのか未確認です。記録時刻の最大を求めたい場合は、 他RDBでSQL文ですとMAX関数で一発でもとまりますが、Dynamodbでは全件なめにいきそうな気配です。また1MB問題にひっかかりそうですね。

ちょっとマニアックで癖のあるAWS DynmoDB。

FilterExpressionで絞り込み検索することは、多々あるかと思います。

データ一覧を、1ページ内に固定件数で表示する場合は、注意が必要です。

例えば、1ページ=50件とすると、pythonでは以下のようなコードになるかと思います。

tbl1 = dynamodb.Table("テーブル名")
   :
   :
resp = tbl1.query(
          KeyConditionExpression=Key('キー名').eq('キー値'),
          FilterExpression=Attr('フィルタ項目名').eq('フィルタ値'), 
          Limit=50 )

しかしこのままですと、対象データが存在していても、目標の50件が取り出せません。最悪0件という場合もあります。

dynamodbでは、Limitの件数を取り出した後に、FilterExpressionがかかります。

通常のRDBをご存じの方は、そんなバカな! という感じられるかと思います。ちょっとひどいですね。

Fillterして規定件数を、読み出したい場合は、以下のようにqueryをloopさせるしかありません。

reccnt=0

while( reccnt < 50 ):
   resp = tbl1.query(
          KeyConditionExpression=Key('キー名').eq('キー値'),
          FilterExpression=Attr('フィルタ項目名').eq('フィルタ値'), 
          Limit=( 50 - reccnt ) 
   )
   if reccnt == 0 :
       items = resp['Items']
   else:
       items.extend(resp['Items']) #検索集合を結合

   reccnt = len(items)

それならこれでいいと思われるかもしれませんが、queryのcall回数のオーバヘッドが生じます。特に、残り1件で、フィルタ後の件数が0が続くと、何回もループしてしまい、応答遅れが顕著に現れます。

本対策としては、FilterExpressionは使わず、予めキーとしてテーブル設計を行う必要があるようです。

しかし既にデータが蓄積された状態では、途中からキー追加は避けたいところです。

ちょっとマニアックで癖のあるAWS DynmoDB。

ちょっとアクセス負荷をかけると以下のエラーがでてしまいます。少し間をおいて再操作で解消します。

上記はトラブルシューティング用に、pythonでexcept句で検出した内容を、ブラウザにまんま返してるんですが、これはエンドユーザさんが見てしまうと、ビックリして苦情になってしまいます。

なんとかProvisionedThroughputExceededExceptionを検出したいのですが、except句で、まんまProvisionedThroughputExceededExceptionを書いてみると、実行時エラーになってしまいます。

以下URLをみると、

https://botocore.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb/client/exceptions/ProvisionedThroughputExceededException.html

「boto3.dynamodb.Clients.exceptions.ProvisionedThroughputExceededException」かな?と試してみるとダメです。他WEBのHowTo記事にも情報がない。色々試すと以下の方法でできました。

 client = boto3.client('dynamodb') 
   :
   :
try:
  中略
except client.exceptions.ProvisionedThroughputExceededException as e:
    return {
        'statusCode': 503,
        "headers": {"Content-Type": "text/html"},
        'body':'Server busy'
    }    

これで、WEBページ側で、HTTPステータス:503を判定して、やんわりしたメッセージをだせば、ユーザを驚かすことなく、再操作を促せます。