投稿

MapRをVMware Workstation Playerで動かそう – Apache Hive 操作編

イメージ
Hive操作の前に
MapR を VMware Workstation Player で動かそう - Apache Hiveインストール編では MapR 上に Hive をインストールしました。
次に、これを Hive から操作できるようにするために、追加コンポーネントのインストールを行います。


追加のコンポーネントをインストールします
Hive は デフォルトでは内部的に MapReduce として動作しますので、MapReduce 用のコンポーネントを追加でインストールします。
◆◆ 事前準備 まず最初に MapR を起動し、コンポーネントのインストールに影響があるエラーが起きていないか確認しておきます。

◆◆ yum によるインストール 追加でインストールするコンポーネントは以下です。 Ømapr-resourcemanager Ømapr-nodemanager Ømapr-mapreduce2 Ømapr-historyserver Ømapr-jobtracker
これらを yum でインストールします。



◆◆ MapR の再構成 インストールが完了したら、MapR の再構成を行います。
# /opt/mapr/server/configure.sh -R

MapRをVMware Workstation Playerで動かそう – Apache Hive インストール編

イメージ
データを有効活用するためにMapR を VMware Workstation Player で動かそう - インストール編では PC 上にMapR をインストールしました。
でもこのままでは HDFS※ というファイルシステムが存在するだけです。言わばデータを貯めておく場所を確保しただけに過ぎません。 ※ Hadoop Distributed File System : Hadoop上に実装されている分散ファイルシステム。                                                     MapR では HDFS と互換のある MapR-FS を実装している。
次のステップでは、そこへ貯めたデータを Hadoop Ecosystem と言われるツール群を使用して加工し、BI ツール等で使いやすい形にします。


データを加工するツールは色々ありますが、ここではその中でも多くの利用者がいる Apache Hive を MapR へ組み込んでみましょう。

Apache Hive とはApache Hive は Facebook で開発された Hadoop 上のデータを加工・分析するフレームワークです。
特にデータウェアハウスで利用するために開発され、現在では Apache プロジェクトから提供されています 。 データの操作には HiveQL という SQL に似たデータ操作言語を使用します。

◇ 参考リンク Apache Hive     (出典:ウィキペディア) APACHE HIVE     (出典:hive.apache.org) Apache Hive     (出典:mapr.com)

Apache Hive を MapR にインストールしてみましょう

Apache Hive (以降 Hive と略します) は OSS ですのでソースを無料でダウンロードして導入することができますが、MapR では既にバイナリモジュールが出来ており簡単に導入できるようになっています。
今回 Hive をインストールする環境は、MapR を VMware Workstation Player で動かそう -

会社チェック!ダークサイドを看破して、より賢い選択をしてもらうために。

今回は、就職活動をされて、
求人サイト等の情報から、このURLに辿り着いた
就職先の企業を模索している皆さまに向けて記事を書きます。


サイト等を活用した入念な情報調査や、
面接・面談による丹念な聞き込みにも関わらす
内定をいただいて、いざ!入社を決めて、会社に入って業務に就いてみたら
「こんな事はあり得ない。」など、

企業の綺麗な表看板に隠れている、
想定外の「ダークサイド」がある可能性もあります。

その「ダークサイド」の割合が、良い面の割合よりも多すぎて、
入社後に帰属意識を大幅に損なうなどの困った事態に陥りたくないことは、
就職を検討しているみなさんの誰もが願っていることの中でも、
大きなウエイトを占めている1要素だと想定しています。

60社を超える企業・プロジェクトを廻っている
筆者の経験を踏まえて、
チェックすべき点を以下に列挙していきます。

サイト情報などをチェックすることは、勿論ですが
面接の時など、「対面・口頭で直接確認したいです。」
と申し出る事をお勧めします。

チェック対象企業のレイヤーとして
「中堅規模以下の情報システムを主業とする企業」
を想定しています。


<チェック その1>

■事業目標を達成するための成績や計画が全て開示されていますか。

事業目標:年間総売上○○〇円、経常利益○○〇円、社員数○○〇人
と目標を掲げることはごく一般的です。

目標に対する、必要な情報として、以下の事業資源も
オープン化され、全社員で共有する仕組みになっていますか。

A)貸借対照表・損益計算書などの「財務諸表」などの
  会社の財政の成績表。

B)達成計画書などの、いつまでに、なにをどう達成・実現していくのか
  などを記載した詳細事業計画書。

C)事業が計画通りに進んでいるかを中間確認し
  PDCAサイクルを回すために必須の管理計画書。

目標だけ掲げて、
現時点の成績を鑑みることや計画立案もせずに、
中間の振り返りもなしに
「闇雲に突っ走ってください。」は無謀です。

「難しい事は従業員には開示できません。」
などと対応せずに断じている場合もあります。

これは無謀を覆い隠す手段と考えた方が無難でしょう。
また、成績や計画開示の伴わない事業計画は、
未達成が確定した時点で「なかったこと」
にして抹消される事例が多くあります。


<チェック その2>

■社内SNSな…

エンジニア業*エグゼクティブ業、マルチスキルで市場の激変に対応せよ!

本ブログの記事をお読みいただいた 
所属会社内および、お客様先の社員や役員
など、筆者の面識のある方々から

「スキルに関する面白いネタを執筆して記事にしていただけませんか。」

と執筆活動の熱烈なリクエストを受けることが
多々ございましたので
掲題のとおりのネタと致します。

前述の記事
客先常駐・営業会社のデメリット【技術者側編】でも、
以下の通り記載しました。

ソフトバンクや任天堂やフェイスブックやグーグルや
マイクロソフトやアップルなど、
現在、ワールドワイドに情報システムの巨大市場を確保して
市場を先導していくポジションにある
多国籍企業の現在・過去のCEOまたは代表取締役がエンジニアです。

エンジニア業からスタートアップして、経営スキルも身に着けながら、
エグゼクティブ業へ着地する。

記事をお読みになっているエンジニアの皆さんの中には、
「エグゼクティブの素養を身に着けるのは難しいのでは?」
と思っている方もいらっしゃるでしょう。

ご安心ください。
おそらく大丈夫です。

IQ(知能指数)78の筆者が
一通りの経営スキルを持っていますが、
本当に大したことは無いのです。

記事をお読みになっている皆さんの所属組織の
エグゼクティブと呼ばれている
経営陣はどうでしょうか。

「代表取締役」とはいっても、会社登記簿上の籍だけの
名ばかりペーパー社長や、
身体能力劣化などの理由による隠居院政社長など、

社員の誰もが、社長が会社を経営・運営して活躍している
姿を目にすることが無い、
数か月~年に1度程度しかお目にかかる機会が無い為

氏名や顔や声を思い出せない、などといったことは、
おそらく無いと思います。

経営レベルの事業計画などを、
極力従業員・社員には共有しない企業の
例も相応にあるでしょう。

「株主総会ではないのです」
「非常に難しい話なので詳述する必要はありません」

などと抽象的な理由を付けて、
経営陣がお断りする場合もあるでしょう。

それは、なぜでしょうか? 
非常に気になると思います。

理由は
「具体的に共有してしまうと、直ぐにマネできて身についてしまうこと」
だからです。

経営資源である「ヒト」・「モノ」・「カネ」・「情報」
をフレームワーク化して
交通整理してオペレーションするだけで、
エグゼクティブとしての素養は「普通に」身に付きます。

情報システムのプ…

客先常駐の要「メ・ン・ダ・ン!」必読虎ノ巻

本ブログの記事をお読みいただいた 
所属会社内および、お客様先の社員や役員
など、筆者の面識のある方々から

「もっともっと面白いネタを執筆して記事にしていただけませんか。」

と執筆活動の熱烈なリクエストを受けることが
多々ございましたので
掲題のとおりのネタと致します。

営業会社所属や客先常駐系のフリーランスのエンジニアの
皆さんは概ね避けて通れない
常駐するお客様への入場審査・試験で、
避けては通れないプロセス・最終関門ともいうべき

「面談」「メンダン」

これは一般的な正社員応募の際の審査の
1過程である「面接」と似ています。
客先の特定業務に期間を限定して、
疑似就職するためのテンポラリ・スタッフ用の面接
と解釈しても良いでしょう。

また、派遣契約の場合、
派遣先企業が事前に労働者を面接で選ぶ行為は、
労働者派遣法に違反しているのです。

しかし、現実の客先常駐市場の商慣習では、
「業務説明会」「入場顔合会」などと
称して、SES契約や準委任契約と全く同じ形式で
「メンダン」の呼称で
受け入れ先企業の指揮監督下で働く
エンジニアを選ぶ行為
および、所定に期間に「選んで貰えない」事が
継続して発生する
客先常駐エンジニアには
収入減などのペナルティが課される事が
デファクト・スタンダードになっている現状です。

客先常駐エンジニアは
【時給タイマー付きのレンタル人間商材】
と表現しても行き過ぎではなく、

原則は案件「アンケン」とよばれる短期月極め契約の
月額単金とその月額を稼働時間単位で清算する
建て付けになっています。

所属会社でなく、
「お・客・様・先」
にご縁があることが必須であり
如何に切れ目なくご縁を成約させて、

より高い月額単金で
1か月1日1分1秒でも多く
客先稼働時間を確保できるかが
重要になります。

では、客先常駐エンジニアというレンタル商材が
「メンダン」で選んでもらえる・採用してもらえる
ようにするには、
どうしたら良いか以下の通り、
「必読虎ノ巻」としてまとめました。


1.見た目・ルックス

1-1.服装

  TPOに合わせた一般的なビジネスウエアで問題はありません。
  ブレザー・ジャケット・スラックス・スーツ・ワイシャツ・
  ブラウス・ネクタイ・ビジネスシューズ
  などのキーワードで選べば間違いないと思います。 

  客先によっては、社…

客先常駐・営業会社のデメリット【技術者側編】

「ソフトウエア・情報システム」に技術者として携わっている
ビジネスパーソンは、
最大手から中小零細に至るまで「百万」単位以上で
国内外に非常に多く存在します。
NEXT株式会社の正社員技術者もその中に含まれます。

国内でこの技術者の「働き方」を大きく2つに分けると

1.自社(事業会社)に勤務し、自社で展開・指揮・管理している「実業」のビジネスを
  自社の所有する情報システムを活躍の場とする「自社勤務・事業会社系」

2.自社以外(取引先企業等)に勤務・指揮・管理され、自社は営業・受注拠点の
        ビジネスを「案件」と呼ばれる取引先企業等の発注単位に依存し
  取引先企業等の所有する情報システムを活躍の場とする「客先常駐・営業会社系」
  になるかと思います。

国内における最大手SI企業でも市場環境などの兼ね合いで
技術者の働き方は後者2.の比率が多い事が現状です。

前者1.は実業ビジネスを所有している通信キャリアや金融業やエネルギー供給
などの企業体の情報システムに正社員として所属する技術者を
イメージしていただければと思います。

勿論、中小零細企業でも
これに属する働き方をしている技術者は数多くいらっしゃいます。
このブログをお読みになっているみなさんの中には、
就職等をご検討中の方もいらっしゃるかと思います。
「働き方」を希望する企業が、どちらに属するのか、
ご検証してみることも一興かもしれません。

※「〇〇さん、所属は何処ですか? 〇〇〇〇株式会社、
  ああ、あの・・・ハケンの!!」

職場の日常会話でこのように評されて、
喜ばしいことだと感じる方もいらっしゃれば、
眉をひそめる方もいらっしゃるでしょう。

さて、後者2.の「客先常駐・営業会社系」の技術者ですが、
技術者側としても非常に手堅い就業手段である反面、
数多くのデメリットがあります。


1.就業退任サイクルにより長期的な緊張状態が続く

  客先常駐のデファクトスタンダードともいうべき「準委任・SES・派遣」
     といった働き方は、客先プロジェクトへの「就職⇒退職」の連続といっても
  過言ではなく、常に以下のサイクルで就業から退任が繰り返されます。

  求職 Seek
  面談 Conference
  新入 Green
  退任 Discharge

  このようなS・C・G・Dサイク…

客先常駐・営業会社のデメリット【経営者側編】

「ソフトウエア業・情報システム業」を主業務として事業展開している企業は、
最大手から中小零細に至るまで「万」単位以上で国内外に非常に多く存在します。
NEXT株式会社もその中の1社です。

国内でこの情報システム企業形態を大きく2つに分けると

1.自社独自のビジネスモデルを主軸としたBtoBまたはBtoC
  の事業を自社の資産・リスク・リターンを踏まえて展開する「事業会社」

2.既出の伝統的なビジネスモデルを採用し、
  自社の事業資産への投資を抑え、
  BtoBの事業を取引先企業などの事業資産に依存して、
  「準委任・SES・派遣」といった契約で技術者を営業商材として
  取引先企業(客先)などに常駐させる事により  
  (人材数*常駐期間*単金)に営業売上を依存する「営業会社」

国内における最大手SI企業でも市場環境などの兼ね合いで
メインビジネスモデルは後者2.を採用している事が
現状です。
前者1.は最大手のOSやDBやミドルウエアのデベロッパーなどを
イメージしていただければと思います。勿論、中小零細企業でも
これに属するSI企業は数多くあります。
このブログをお読みになっているみなさんの中には、
就職等をご検討中の方もいらっしゃるかと思います。
所属または就職等を希望する企業が、どちらに属するのか、
ご検証してみることも一興かもしれません。

さて、後者の「客先常駐・SES・派遣」の「営業会社」ですが、
経営者側としては非常に手堅い事業展開であります。

メリットがあれば当然デメリットもあります。

今回はデメリットについて記載します。

1.事業内容が揶揄されやすい
  ソフトウエア・情報システムの看板を掲げた人材派遣業などと
        営業会社特有の揶揄を含んだ外部からの本意と異なる
  評価に晒されやすくなります。

2.技術的な知的所有物やノウハウの蓄積が困難
  「準委任・SES・派遣」といった契約は、機密保持契約もセットで契約先企業と
  締結しますが、この契約は「公知のものを除き事業に関わる情報を
  所属会社含め一切外部に持ち出さない」条項が原則入ります。
  自社独自のソリューション・請負契約で業務を完遂する場合とは
  異なり、技術的な知的所有物やノウハウの蓄積は所属エンジニアが
  常駐先企業などに対して行い、所属会社には、発言…