大きなファイルを複数の機械に分ける（HDFS）

# ファイルは、決まった大きさのブロックに切られます。
size_mb = 520
block_mb = 128
full = size_mb // block_mb
rest = size_mb % block_mb
blocks = full
if rest > 0:
    blocks = blocks + 1
print("ブロックの数:", blocks)
print("最後のブロックの大きさ:", rest, "MB")
copies = blocks * 3
print("ディスクに残る写しの数:", copies)
# 520 を 900 に変えて、もう一度実行してみましょう。

curl -s 'http://namenode:9870/webhdfs/v1/user/lab/input?op=LISTSTATUS' | grep -o '"pathSuffix":"[^"]*"'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

curl -s 'http://namenode:9870/webhdfs/v1/user/lab/input/sentence.txt?op=GETFILESTATUS' | grep -o '"blockSize":[0-9]*\|"length":[0-9]*'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

curl -s 'http://namenode:9870/webhdfs/v1/user/lab/input/sentence.txt?op=GETFILESTATUS' | grep -o '"replication":[0-9]*'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

curl -s 'http://namenode:9870/webhdfs/v1/user/lab/input?op=GETCONTENTSUMMARY' | grep -o '"spaceConsumed":[0-9]*'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

# レシートの記録を、2つのブロックに分けたものです。
block_one = ["pan milk", "milk rice"]
block_two = ["pan rice", "pan milk"]

def apply_map(lines):
    # mapの段階: 単語ごとに [単語, 1] の組を作ります。
    pairs = []
    for line in lines:
        for word in line.split():
            pairs.append([word, 1])
    return pairs

def apply_reduce(pairs):
    # reduceの段階: 同じ単語の1を足し合わせます。
    totals = {}
    for pair in pairs:
        word = pair[0]
        if word in totals:
            totals[word] = totals[word] + pair[1]
        else:
            totals[word] = pair[1]
    return totals

everything = apply_map(block_one) + apply_map(block_two)
print(apply_reduce(everything))
# block_two に "rice thyme" という行を足して、もう一度実行してみましょう。

curl -s 'http://namenode:9870/webhdfs/v1/user/lab/wordcount-out?op=LISTSTATUS' | grep -o '"pathSuffix":"[^"]*"'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

curl -s -L 'http://namenode:9870/webhdfs/v1/user/lab/wordcount-out/part-r-00000?op=OPEN' | grep '^the'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

curl -s http://resourcemanager:8088/ws/v1/cluster/apps | grep -o '"finalStatus":"[A-Z]*"'

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。