2010年10月17日日曜日

カペタ

カペタが面白いとクマさんが言ってたので読んでみたら(全然グルメ漫画とかじゃなく予想外だったけど)、これがかなり面白くてびっくりした。

サルベージすらしてなくてすいません...。

そろそろ真面目にData Services&PowerPivot使ってデータ集計できるようにしておくかと思い、どりゃっとセットアップしてたんですが、100万レコード超えたりとかしてるでかいテーブルに対して、全然レスポンスが帰ってこないくて困った。そんな方、他にもいないですか?あ、ADO.NET Data Servicesのほうです。.NET3.5のほうです。WCFじゃないほうです。

動作的にあからさまにタイムアウトにもかかわらず、レスポンスストリームに何も出力されないっていう気持ち悪い状況なんですよね。コマンドラインでcurl使ってリクエストしてもレスポンスがないぜ!って怒られる。んで、どのレイヤーでタイムアウトしてるのかな~って思うわけじゃないですか。

なんだかんだ言ってもWCFなんでbindingら辺が怪しいのかな~と思っていろいろセットしてみたんだけど、よくわからん。

ADO.NET Data Services, Entity Framework und SQL/HTTP Timeouts | Marco Scheel aka GeekDotNet

↑ここにいろいろ書いてるのを見て試したんですけど、どれもイマイチ。CreateDataSourceのCommandTimeout設定なんてちょっと素敵な感じですよね。いろんなレイヤー気にするのもな~、と思って思い出したんですよね。

ダウンロードの詳細 : Windows 7 および Windows Server 2008 R2 用 .NET Framework 3.5 SP1 の ADO.NET データ サービス更新プログラム

これ。そーか、と。サーバーサイドページングを有効にしておけば、まるっとすべて解決なんじゃんね。データ件数をそもそも絞ってしまえばどのレイヤででもタイムアウトしないじゃんよ!ってことですよ。PowerPivotはさ、賢いから自動でページングして全データ抽出してくれるんですよ。

Server Paging in Data Services - WCF Data Services Team Blog - Site Home - MSDN Blogs

InitializeServiceにIDataServiceConfigurationでそのままconfigを受け取ってると見えないけど、DataServiceConfirugarionクラスとして受け取るか、asで型指定してしまえば見えるようになるじゃないですか。

var v2 = config as DataServiceConfiguration;
if (v2 != null)
{
 v2.DataServiceBehavior.MaxProtocolVersion = DataServiceProtocolVersion.V2;
 v2.SetEntitySetPageSize("*", 100);
}

SetEntittSetPageSizeですべてのテーブルを100件ページング指定してしまえばいいね!

2010年9月23日木曜日

LosFormatter

Validation of viewstate MAC failed error - Stack Overflow

なんか面白そう~、な感じだったので試してみたけど、思った結果にはなりませんでした。

  public class HomeController : Controller
  {
    public ActionResult Index()
    {
      var person = new Person {Name = "ルフィー", Age = 18};
      
      // machinekey
      var macKeyModifier = "";
      var machineKey = WebConfigurationManager.GetSection("system.web/machineKey") as MachineKeySection;
      if(machineKey!=null)
      {
// DecryptionKeyでも同じでした... macKeyModifier = machineKey.ValidationKey; } //plain var los = new LosFormatter(); using (var writer = new StringWriter()) { los.Serialize(writer,person); ViewData["stateLos"] = writer.ToString(); } var los2 = new LosFormatter(true, macKeyModifier); using (var writer = new StringWriter()) { los2.Serialize(writer, person); ViewData["stateLosMac"] = writer.ToString(); } return View(person); } }

ASPX

    <%: ViewData["stateLos"]%>
    <%: ViewData["stateLosMac"]%>
    <%: Html.Serialize("statePlain", Model, SerializationMode.Plaintext)%>
    <%: Html.Serialize("stateSigned", Model, SerializationMode.Signed)%>
    <%: Html.Serialize("stateEncrypted", Model, SerializationMode.Encrypted)%>
    <%: Html.Serialize("stateEncryptedAndSigned", Model, SerializationMode.EncryptedAndSigned)%>

HTML

    /wEywQEAAQAAAP////8BAAAAAAAAAAwCAAAAQFN0YXRlVGVzdCwgVmVyc2lvbj0xLjAuMC4wLCBDdWx0dXJlPW5ldXRyYWwsIFB1YmxpY0tleVRva2VuPW51bGwFAQAAABdTdGF0ZVRlc3QuTW9kZWxzLlBlcnNvbgIAAAAVPE5hbWU+a19fQmFja2luZ0ZpZWxkFDxBZ2U+a19fQmFja2luZ0ZpZWxkAQAIAgAAAAYDAAAADOODq+ODleOCo+ODvBIAAAAL
    /wEywQEAAQAAAP////8BAAAAAAAAAAwCAAAAQFN0YXRlVGVzdCwgVmVyc2lvbj0xLjAuMC4wLCBDdWx0dXJlPW5ldXRyYWwsIFB1YmxpY0tleVRva2VuPW51bGwFAQAAABdTdGF0ZVRlc3QuTW9kZWxzLlBlcnNvbgIAAAAVPE5hbWU+a19fQmFja2luZ0ZpZWxkFDxBZ2U+a19fQmFja2luZ0ZpZWxkAQAIAgAAAAYDAAAADOODq+ODleOCo+ODvBIAAAAL
    <input name="statePlain" type="hidden" value="/wEywQEAAQAAAP////8BAAAAAAAAAAwCAAAAQFN0YXRlVGVzdCwgVmVyc2lvbj0xLjAuMC4wLCBDdWx0dXJlPW5ldXRyYWwsIFB1YmxpY0tleVRva2VuPW51bGwFAQAAABdTdGF0ZVRlc3QuTW9kZWxzLlBlcnNvbgIAAAAVPE5hbWU+a19fQmFja2luZ0ZpZWxkFDxBZ2U+a19fQmFja2luZ0ZpZWxkAQAIAgAAAAYDAAAADOODq+ODleOCo+ODvBIAAAAL" />

    <input name="stateSigned" type="hidden" value="/wEywQEAAQAAAP////8BAAAAAAAAAAwCAAAAQFN0YXRlVGVzdCwgVmVyc2lvbj0xLjAuMC4wLCBDdWx0dXJlPW5ldXRyYWwsIFB1YmxpY0tleVRva2VuPW51bGwFAQAAABdTdGF0ZVRlc3QuTW9kZWxzLlBlcnNvbgIAAAAVPE5hbWU+a19fQmFja2luZ0ZpZWxkFDxBZ2U+a19fQmFja2luZ0ZpZWxkAQAIAgAAAAYDAAAADOODq+ODleOCo+ODvBIAAAALIrCvmCvq7EIjLblEZK6YIw0F/48=" />
    <input name="stateEncrypted" type="hidden" value="tMKYGlOhnBXLHzreFpfQURQbcha/ZHrcdQbcNs7Vxud0Nq4yQ41FUq1DDqDnORVqxV+VSfpOFHqQFA/ylboLGtpQRbH46a3YJsRqzKf5dlq7tOlp7Ys3zMCWE8ozJ4m2FUG9/bq7KVCo9UsNxOjLWkokHQtr/SORahKAPnbeuFsHOn0B3fl0d1DPtl9MPANWp5qwqqdi+c7JuplYyFT6tEqm3Og+M7fJYnmc3Vkj1oiHclyMCvh6X9Ti9uyPuVvwGpBa2pj6gbETDQa6pQJ4rQ==" />
    <input name="stateEncryptedAndSigned" type="hidden" value="tMKYGlOhnBXLHzreFpfQURQbcha/ZHrcdQbcNs7Vxud0Nq4yQ41FUq1DDqDnORVqxV+VSfpOFHqQFA/ylboLGtpQRbH46a3YJsRqzKf5dlq7tOlp7Ys3zMCWE8ozJ4m2FUG9/bq7KVCo9UsNxOjLWkokHQtr/SORahKAPnbeuFsHOn0B3fl0d1DPtl9MPANWp5qwqqdi+c7JuplYyFT6tEqm3Og+M7fJYnmc3Vkj1oiHclyMCvh6X9Ti9uyPuVvwGpBa2pj6gbETDQa6pQJ4rQ==" />

machineKey

    <machineKey
      validationKey="CABF0BEECF16B90F1BF9B5196A0E12EBBB950D6088FEDC9D2A674D75BE461713A1B9EA89C7B774CA249A45605B64994C54B9F59DA06AC673DE55A4661A7AE6DC"
      decryptionKey="79B6DB1CACB7B81A5EF317F43D5B05BE6872F3C285544222E32F36820785A4E4"
      validation="SHA1" 
      decryption="AES"/>

LosFormatter自体が内部でObjectStateFormatterを呼び出してた(Reflector確認)ので、イケるかな~と思ったんだけどな~。LosFormatterの使い方間違ってますかね?

2010年9月5日日曜日

クッキーとビスケットは何が違うんですか?

IMG_0056

なにこのモンスター...。

IMG_2568

これがラテアートになると↑こうなっちゃうんだから不思議です。

ここ最近ずっと悩まされていた問題にかたがつきました。石野さん、例の問題がやっと落ち着きました。

「ユー、ブログにちゃんと書いときなYO」と大きな後輩に言われ、いじめが怖いのでちゃんと書いておくことにします。

そもそも問題となった現象は「au端末でのPOSTリクエスト時に500エラー(Internal Server Error)が発生する」というものです。これはあくまで表面的な現象で本質は別のところにあるんですが、この状況から問題を特定し解決するに至る長い長い戦い。血で血を洗う争い。

結論だけ先に書くと「ASP.NETでセッションをLB配下で利用する場合、machineKeyだけじゃなくIIS7でのSite IDも同一の値にしておかないと、SQLServerセッションストアでセッションデータを正しく取り出せない」です。

PRB: セッション状態が損失 Web ファームで SqlServer または StateServer セッション モードを使用します。

これまでこの問題に出会ったことがなかったので原因を特定するのにとても苦労しました。

Web サイトのアプリケーション パスを同期化する

こっちではインスタンスIDと言ってますね。

ちなみに、構築環境はテスト環境(ステージング)と本番環境(ライブ)の2つありステージングでは全く問題が発生しないという前提条件があります。サーバー機は同一(Windows Server 2008 R2でIIS7.5)なのにくわえアセンブリもバイナリレベルで同一(.NET 3.5SP1)です。SSLのホスト名と発行元が違う、あと暗号化ビット長がテスト環境では1024ビット、本番では2048ビットという違いもあります。LBでIPスティッキー設定をしてるので同一IPからのリクエストはすべて同一ホストにルーティングされるようにもなってます。そもそもセッションはDBにいれてるんだからスティッキー必要ないんだけど、そのことに気がつかず、必要でしょ!みたいなのりで環境設定を行ったのも問題を見つけづらくする原因でした。

パフォーマンス: ASP.NET アプリケーションのスケーリング戦略
ロードバランスクラスタの実装

最初に疑ったのは証明書のビット長。auで2048ビットで問題があるという情報を良く見かけますよね。プログラムコードはテスト環境で問題なく動いてるものだから、問題が内在してるとしても、それは別の問題で今回の現象が発生する原因ではないと思ってるので、あくまで環境の違いに焦点をあわせてひたすら調査です。で、会社に無理をお願いして2048ビット長の証明書を買ってもらうも、あいかわらずテスト環境では問題が再現できない。ということで、auでの2048ビット問題がどうのこうのではないということでしょう。

発行元に問題があるのかいうのが最後まで拭いきれ無かったんですが、同一発行元できちんと機能する部分が他サイトであったので、そこも問題視しづらい。けど、ひっかかる、みたいな。

テストコードを書いて再現可能な端末でいろいろ試した結果、どうもセッションの内容が直前に設定した値じゃなく、ずいぶん前の値が表示されてる気がする(時間をセッションにいれてたので)。セッション内容が混線してるようにも思えたけど、標準のSessionIDManagerが発行するSessionIDはRNGCryptoServiceProviderを使ったランダム値を使っている(公式なものは見つけられてないですが、Reflectorで確認したので間違いないはず)ので、新規セッションで重複したものが発行されてるとはとても考えにくい。試してみるとわかりますが、RNGCryptoServiceProviderはかなり優秀で現実的な範囲で重複しない値をランダムに生成してくれます。SQLServerをセッションストアに使ってるので、セッションテーブルの中身を見たりしてみたんですが、ちゃんと入ってるように見える。

そこで熊さんが「Application名とか違うんじゃない?」とつぶやきました。でもSessionState設定にそんな項目ないじゃないですか。その時ふとappcmdでIISの設定を見比べてる時に違いがあったことを思い出しました。SiteIDが違った気がする、と。熊さんナイス!

sticky

↑赤線で囲ってるところです(これは自マシン)。

そこからいろいろたどって上記KBにたどり着くわけです。で、セッション用のテーブル内容を見てみると、確かにアプリケーションを特定するための情報にSite IDが含まれてる。これがまた公式な資料ではApplicationPathという表現だったりして、SiteIDに直結しない。しかもたぶんですが、IIS6までと発行ルールが違う上に、今回の対象サーバーで対象サーバ群の中でサイトの生成数が違ったりしてて、まさにマルチテナントの罠。クラウド環境を使う場合にもどういう風に構成されてるか知らないと、痛い目を見ることになりますYO。

セッション内容がへンな感じになるのはつまりこんな感じです。

  • URIセッションとして一度生成されたあと、次回以降のリクエストでは別サーバーにLBで振られ、ASP.NETがセッションIDを取り出した後、DBからセッション情報を取り出す際にSite IDの違うサーバー上での処理なので、新規セッション扱いとなるというパターン
  • その後のリクエストでは、サーバー毎に取り出す(または保存する)セッション情報が異なる結果になり、直前のセッションが取り出せないというパターン

まさに科学では説明できないような現象にしか思えない...。呪いなんじゃないかと。起きている事象だけを見るとサッパリなんですが、ここにつながるであろうヒント的な挙動は何度か発生してたんです。それをまた軽く流してたのがよくなかったというのは、原因がわかったからなのか、個人的な問題なのか。いずれにせよ、もっと早くに問題に着手していればここまでの痛手にはなってなかったような気もします。反省。

ここまで読んで「au関係なくね?」と思った人は勘がいいですね。つまりauだけに存在するこれとは別の問題とセッションの問題の2つが同時に発生していたわけです。auだけに存在する問題に関してはプログラム的な不具合だとコードを変えてもいいんですが、それだとテスト環境でうまく動く説明がつかない。まぁCookie関連の問題なんですけどね。全然食ってくれないau。なのでそこは別の問題としてコードを変えて対応しました。テスト環境では動くけど、何か闇の力が働いてたんでしょう。HTTPSだし。

auのSSLでのCookieの挙動がおかしい - maru.cc@はてな

晴れてすべての問題が解決し、枕を高くして安心して眠れる日々を送れることになったと思いきや、別の問題で結局徹夜。なんでやねん!

2010年9月1日水曜日

TFS on CodePlex

CodePlexにBoFのデモで使用したお絵描きアプリ「MVC Graffiti」をアップロードしました。SkyDriveに上げたならこっちには必要ないじゃないかと思われるところですが、オープンソースとして公開しておくといろいろとお得な特典が待ち受けています。

例えば、Visual StudioのIDE内で利用出来るSVNクライアント、VisualSVNなんかもその一つで、オープンソースを公開していれば無料でライセンスを貰えます。貰いました。てへ。他にReSharperなんかもオープンソースオーナーにはもらえるみたいですよね。MVPじゃなくてもオープンソースを公開してるとライセンスをもらえるツール類はいろいろあるものです。とりあえず今狙ってるのはdotTrace。V4出るみたいだしね!

dotTrace Profiler :: Frequently Asked Questions

これまでSubversion、Mercurialと使ってみたので今回はTFSで。その手順を書いておきます。

codeplex1 codeplex2codeplex3 codeplex4codeplex5 codeplex6

http://www.codeplex.comにアクセスして、上記の通り順番に。ここまでは何の変哲もない操作です。英語ですけど気にせずチャレンジしちゃいましょう!

codeplex7

で、ソースタブを確認してみると、なんかダメなんよ的なメッセージ。しばらくしないとダメなのかな?と、思って一晩寝かせてみても変わらずアクセス出来ません表示のままです。

こりゃいかんじゃないですか。なので、早速CodePlexにコンタクト。

CodePlex - Contact Us

やっぱり英語なんですけど、あんまり気にせず適当な英語でアクセス出来ないことをアピール。返事が来るまで気長に待ちましょう。今回は週末を挟んだので2日くらいで返事が来ました。

This issue has been resolved. Your project should be successfully created.

Sorry for the inconvenience,
Matt

こんな感じで返事が来たので、早速VS2010からアクセス!

tfs1

一度ソースタブに行ってみると、↑こんな感じで設定方法を見ることが出来ます。

ここスルーするとあとでログインできなくて悲しいことになります。画像をズームすると分かるんですが、CodePlexのアカウントと、TFSのアカウントは別モンで”takepara”でCodePlexにログインするならTFSには”snd\takepara_cp”となります。snd\と_cpを忘れるとずっと怒られ続けます。

これに従って、TFSサーバーをチームエクスプローラに追加。

tfs2

ソリューションをソース管理に追加して出来上がり!

tfs3

なんですが、このままだとVS2010起動してTFSにアクセスするたびにログインを要求されてしまいます。切ないですね。面倒ですね。鬱陶しいことこのうえない!チームじゃなくてひとりだから文句いわれるのか??

tfs9

tfs4

そういうわけじゃないみたいで、ちゃんと対応方法がありました。

まずはコントロールパネルのユーザーアカウントで「資格情報マネージャ」を開いてみましょう(こんな機能があるのを初めて知りました)。そこには過去アクセスしたことのあるないようが記憶されてました。ここにCodePlexの設定も追加します。

tfs5

「Windows資格情報の追加」をクリックして資格情報を追加します。

tfs6

ここで気をつけないとイケないのがsnd\と_cp。忘れずに!これを登録しておくとVS2010を起動するたびにログイン要求されることもなくなり、とても優雅な開発を味わうことができるようになります。

tfs7

ちなみにTFS使ったことないです。チェックアウトとか意識しなくてもいいらしいとは聞いたんですが、ソリューションエクスプローラに鍵マークでてるとドキドキします...。普通に開いて編集できるんだけど、SVNになれてるとなんか気になる。

そんなこんなで、画像ばっかりで中身の薄っぺらいエントリーですが、個人利用リポジトリとしてのCodePlex利用+オープンソースコミッター特典狙いで、気楽にソースを公開してみてはどうでしょうか。

2010年8月29日日曜日

MVC Graffiti

宇宙兄弟面白いよね!ムッタと日々人の宇宙飛行士を目指す兄弟の話。

...。

去年に引き続き、今年もTechEdでBoFに呼ばれたので行ってきました。TechEd自体は3日間の開催期間があるんですけど、月曜から水曜まで会社で合宿状態で、初日は参加できず。2日目は現地入りしたものの、ずっと障害調査でパシフィコにWiFi借りに行っただけみたいな状態。ちなみにこの時点でBoFで使う予定のデモプログラムはまだちゃんと動かず。貝になりたい。

IMG_0057

去年はオープンしてなかったけど、今年はオープンしてるクリスピー・クリームにココロオドル。

今回のデモのテーマは「人類の進歩と調和」です。ウソですね。はいはい。テーマなんて特に無いです。

bof1

↑これです。多人数で同じキャンバスに絵を書くアプリで、一般的にはなんていうのかな、お絵描きチャットとでも言うんでしょうか。そんなようなものです。

仕組みとしてはいたってシンプルです。

WebアプリケーションとしてASP.NET MVC 3 Preview1をベースにプロジェクトを作成。もちろんViewはRazorです。ここは実質ほとんど処理もなく、Webアプリケーションの構造を制御するためと、サーバーサイドでサムネイル画像を生成するくらいのシンプルな構造です。

データ通信はWCF Data Servicesを使ってます。XMLではなくクライアントサイドのJavaScriptからJSONでデータの取得・更新・削除をRESTで行うのに、これより簡単に実装する方法はないんじゃないでしょうか。実質EFでモデルを定義し、標準テンプレートにジェネリッククラスに指定するくらいしか作業はない感じですよね。今回は少しWebGetで機能を追加してます。

残るはクライアントサイドのJavaScriptで、HTML5のCanvas要素にレンダリングしたりXHRを使った通信部の実装です。

「マイクロソフトのWeb テクノロジ最前線と現実解を語ろう」

が、BoFのタイトルでしたよね。覚えてますか?

ということで、今回のデモで使ったテクノロジは以下の通り。

  • ASP.NET MVC 3 Preview1(Razor)
  • WCF Data Services
  • HTML5(Canvas)
  • CSS3
  • jQuery

MVCの中ではViewに対してデータをほとんど送ってないです。これはつまりMVCでデータ制御をほとんど行ってないからです。データに関してはすべてWCF Data Servicesで通信してるので、クライアント部をSilverlightにしたとしても、そのままデータは利用できるので、もっとリッチなキャンバスを作るのも面白いかもです。

四の五の言わずにソースコードですよね。今回はCodePlexにTFSでアップしようと思って、いろいろ試したんですが...。ちょっとまだうまくできてないです。なのでとりあえずSkyDriveに置いておきます。

↑ここからダウンロードして展開してソース見てみてね!データベースのセットアップはスクリプトになってるので、MvcGraffitiという名前でデータベースを作成後(なんでもいいです)Databases\MvcGraffiti.sqlを実行してテーブルを作成してください。BoFで使ったデータもそれぞれスクリプトにしています。作ったデータベースに合わせてWeb.configのconnectionStringを適当にいじってください。これで動くはず。うまくいかない場合は連絡いただければできる範囲で対応していきます。このエントリのコメント欄によろしくです。

今回のサンプルはwebkit系ブラウザにのみ最適化して作ってます。なので、HTML5対応してるとうたっている他の実装ではちゃんと動きません。そこは手抜きです。座標の計算とかの部分がちょっとへんちくりん。PCでのお勧めはSafariではなくChrome。なぜかというとSafariではWheelイベントが発生しなくてマウスのコロコロをつかったズームが効かない(Zoom自体はCSSのZoomを使ってます)から。後はMobile SafariとしてiPhone4とiPadで動作確認してます。こちらはWheelイベントではなくTouch系イベントをハンドリングしてます。なのでJSのソースを見てもらうとわかるんですが、PC向けのMouseInputクラスとMobile向けのTouchPanelInputという2種類のクラスを用意して入力デバイスごとの処理を記述してます。といっても、イベントのハンドリングと座標の取得方法が違うくらいですが(そこが一番面倒...)。

Mobile Safariを使った場合、指2本でズームしたり、キャンバスをドラッグできるようになってるので試してみてください。この辺、意外と知られてないと思いますが、イベントハンドリングして自分ですべて実装する必要があります。ただのHTMLに対してはそんなことしなくてもいいんですけど、今回Canvasお絵かきなので楽はできないってことですね。

MVC3になって目に見えて違うのはViewDataのほかにViewModelプロパティ経由でViewにデータを渡せるようになってるところでしょうか。ModelBinderは今回のデモで使ってないので。ViewModelはdynamic型なので、データだけじゃなくFunc<T>渡せます。今回のデモの中でIPアドレスをViewで表示してるところが無駄にこの機能を使って、IPアドレスそのものではなく、IPアドレスを返すデリゲート経由でViewは表示してます。GraffitisControllerの36行目と、List.cshtmlの31行目。可能性は無限ですね。使い過ぎ注意ですけど(特にデータをどうのこうのするようなものには適用しないほうがいいかも)。

VS2010だとしても、まだRazorに対する対応はできていないので、コードハイライトもインテリセンスも効きません。なにも設定しないと、VS2010がただのメモ帳です。なので、コードハイライトだけでも行いたい場合は拡張しcshtmlにたいしてHTMLエディタを関連付けしてみましょう。

bof2 bof3

そうすると↑こんな感じにはなります。あとは拡張機能マネージャで"Razor Syntax Highlighter"を入れるとかでしょうか。黒バックの場合切ない表示になるので個人的には使ってないですが、白バックならきれいに表示されます。

あと、Razorの構文については英語の資料になりますが、以下のサイトからダウンロードできます。

Download details: ASP.NET Web Pages with Razor Syntax

200ページ越えです。読み応え抜群です。後はASP.NET MVC3 Preview1のソースをダウンロードするとRazorのパーサーとWebPage関連一式のソースも含まれてる(MVC専用ソースなのがPreview1のかわいげのあるところです)ので、パーサーマニアにはたまらないでしょう。

Tipsとしては困ったときの<text/>。これで囲むといったんパースのコンテキストがCodeParserからMarkupParserに切り替わるので、c#の終わりがわからない!と怒られた時には試してみましょう。

残るはWCF Data Services。かつてADO.NET Data Servicesと言われていたものです。大きなところではAtomPub/JSONだったのがAtomPub改であるODataに対応してるところですね。それがどううれしいかというと会場でも話しましたが、PowerPivotによるセルフサービスBIの促進による無駄エネルギー使用(レポート作成のエネルギーは顧客が使えばよろし)の撤廃です。この辺話し出すと長くなるのではしょります。デジタルナーバスシステムです。ね!ゲイツさん!

Microsoft Developer Network Weekly News Japan = Vol.46 = 2/ 25/98

ふるっ!

WCFのレイヤで介入するIDispatchMessageInspectorを使うと、Data Servicesの処理に到達する直前に介入できるのと、Data Servicesのレイヤで介入するQueryInterceptorやChangeInterceptorなんかを利用するとスマートにデータアクセスに対して機能拡張が施せます。

今回はInspectorの使用例としてJSONP and URL-controlled format support for ADO.NET Data Services - Homeで公開されているQueryStringによるformat指定Behaviorを使ってみました。プログラム中ではまったく有効利用しません。これってどういうことかというと、WCF Data Services自体が無効なQueryStringは例外を出してくるので、好き勝手なQueryStringを使うことはできない仕様なんですが、InspectorでData Servicesの処理が始まる前に$format指定をリクエストヘッダ"accept"に移動させるということをしています。そうするとData Servicesからすれば普通にContentTypeを指定してリクエストされたものだと判断して処理を進めてくれるので、自分でそれ以上の処理をする必要がなくなるわけですね。今のところAtom/JSONしかないですけど、多分うまいこと介入すればCSVをレンダリングとかもできるんじゃないかとにらんでます。どこかのProviderなんじゃないかな~。適当ですいません。

デモアプリケーションのJavaScriptの構造としては以下のような感じです。

bof5

network部はtimerでsend/receiveをくるくる回してます。あんまりリアルタイムにはしてないです。

サーバーサイドの構造としては以下のような感じです。

bof6

雑にもほどがある...。

あれですよ、デベロッパーたるもの「コードで語ってくれ」ですよ。九十九も「拳で語ってくれ」って言ってたじゃないですか。

BoF後に「WebSocketとかもいいですよね!」と声を掛けてくれた方がいましたが、まさにその通りで、今回のようなアプリケーションの場合XHRで処理するよりWebSocketを使ったほうがより効率のいい通信ができるでしょう。あと、コードの9割がJavaScriptだし、iPad持ち出してデモしたりとMSのテクノロジがあまり使われてないじゃないか!なんて野暮なことは言いっこなしです。ちゃんと使ってるんですよ。ただコード量が少なくて済むというだけです。なので全体比率としては少ないです。localStorageやsessionStorageなんかを使うと完全にスタンドアロンで動かすこともできるようになるので面白そうですね。

それと、今回EFを使ってWCF Data Servicesでアクセスするようにしてますが、リードオンリーなデータ公開ならLINQ to SQLをベースにするかPOCOテンプレートを使うほうが使い勝手はいいと思ってます。更新系はMVCでバリデーションかけてそっちから更新する感じです(更新はUIにフィードバックしやすいほうが開発が楽だと思いますがどうでしょう?)。バランスですね。

Ask the Speakerのほうでも話題になりましたが、SQLをジェネレート任せにせず、自分でチューニングしたものをEFなりLINQ to SQLで使いたい場合はどうするのさ、についてはストアドで書いて、DataContext/ObjectContextにはやす感じですね。カスタムなエンティティとして返すもよし、他のテーブルと同じ定義を戻すもよし、です。その後動的に条件を付ける場合はIQueryableにどんどこ追加してしまいましょう。最初のクエリが効率よく絞れて抽出できてればあとは、オンメモリのLINQ to Objectで!

だいたい、こんな感じです。わからない・わかりにくい点など多々あると思うので、そんな時には質問いただければと思います。

いきなり話は変わりますが、WebMatrixなどの他のツールについての話が出てましたが、最近読んだ本で「Amazon.co.jp: 続・ハイパフォーマンスWebサイト ―ウェブ高速化のベストプラクティス: Steve Souders, 武舎 広幸, 福地 太郎, 武舎 るみ: 本」っていうのがあるんですが、ちょっといい感じの記述があるので紹介。付録Bの"Yahoo!JAPANが実践するWebの高速化"のB.5.1役割分担。

大きく分けて3つの開発フェーズがあり

  • コンテンツの情報を設計する「インタラクションデザイン」フェーズ
  • コンテンツの見た目をデザインする「ビジュアルデザイン」フェーズ
  • コンテンツのHTML/CSSを実装する「ウェブデベロップメント」フェーズ

となります。

ここでWD(ウェブデベロッパー)とFEE(フロントエンドエンジニア)という役割がありまして、それぞれ担当するフェーズも違うわけですね。ここが難しいところなんですが、「デザインはデザイナー」というのが口癖のこの業界、デザインとは何を指しているのでしょう。見た目だけ?動きのある場合は動きもデザインするのがデザイナー?そもそもの情報設計はデザイナー関与せず?HTML/CSSの実装は?その辺のふわっとした垣根のおかげで、お互いが密に連携できず、特に会社が別々だったりすると誰がどこまで担当してるのかで、ごにょごにょな状態になりやすかったりね。WebMatrixはフェーズの違う部分の発生するロスを減らしていくためにフェーズをまたいだツールとしての意味もあったりするんじゃないかと勝手に妄想してます。

最後に、BoFに参加してくれたたくさんの開発者の方々、いきなりキャンバス作りまくったり削除しまくったりと、想定外の操作で会場を盛り上げてくれてありがとうございました!質疑応答があまりできなくてすいませんでした。

小野さん、ナオキさん、今回も声掛けてくれてありがとうございます。Techdaysのトラウマがはれそうです。

それとチャック。急きょWiFiルーターを貸してくれてほんとにありがとう。あれがなかったら会場に来てくれた方々は見るだけで、実際にキャンバスに描くこともできず、企画倒れになるところでした。

なんのその、男は裸百貫の波に立つ獅子であれ

2010年8月19日木曜日

MVC HTML5 Toolkit を MVC3 Preview1のRazorで使う

ASP.net MVC HTML5 Helpers Toolkit

ナオキさんに勧められたので調べてみました。

ナオキにASP.NET(仮) : MVC HTML5 Toolkit が CodePlex にて公開!

mvchtml5

まずは、上記サイトからソースとAssemblyをダウンロードしてみました。名前空間がSystem.Web.Mvc.Html5というところがムフフなポイントですね。

ソースがあまりにもシンプルで短いので見てみるのをお勧めします。で、見てみてサンプルを動かしてみました。

面白いね~。3大派手機能のうちVideo/Audioのタグには対応。あとはCanvasも同じように作ればいいね!

ベースとなるHtml5TextBoxとHtml5RangeNumberはModelStateを取り出してないから、値がバインドしてこないです。ちょっと残念。InputHelperを使ってるHtml5TextBoxForHelperはViewData.ModelState.TryGetValueでちゃんとバインドしてるから、いろいろ試しながら作ってるのか、意図的にバインドしないようにしてる感じです。input type="range"もバインドしてくれていいと思うけどな~。せっかくhtmlHelper.GetModelStateValueも用意してるんだし。

サンプルのMVCプロジェクトではSite.MasterでDOCTYPE htmlの出力じゃないけど、そんなの気にせずSafari,Chromeはちゃんとレンダリングしてくれるのがすばらしい。

Dean Hume - ASP.net MVC HTML5 Toolkit

ちなみにMVC2用だとうたってますが、そんなの気にせずMVC 3 Preview1で使ってみましょう。作者のサイトに書かれてる通り、参照設定に追加して、Global.asaxにおまじない。

mvchtml5_2

もちろんRazorなので、NamespaceをWebPageからHtmlHelperへの拡張メソッドが参照できるように、Global.asaxに以下のように追記。

protected void Application_Start()
{
  AreaRegistration.RegisterAllAreas();
  CodeGeneratorSettings.AddGlobalImport("System.Web.Mvc.Html5");

  RegisterGlobalFilters(GlobalFilters.Filters);
  RegisterRoutes(RouteTable.Routes);
}

ページに直接usingとして書いてもいいですが、すべてのページに書くのは馬鹿らしいじゃないですか。Tumblrにも書いたと思いますが、Preview1ではWeb.configのsystem.web/pages/namespacesはみてくれないです。そこはRTMまでには解決されることでしょう。

前回作ったサルベージ用アプリに追加してみる。

@using(Html.BeginForm("Index","Home",FormMethod.Get)) {

  @Html.TextBox("q")

  <input type="submit" value="検索" />

  @Html.Html5Range(1, 100 , 0, 23, null).AsHtml()
}

AsHtml拡張メソッドもがある前提です。

対応してるChromeだと↓こんな感じでちゃんとRangeコントローラが出てきます。

mvchtml5_3

Firefoxだとまだ対応してないので、type属性無視してTextboxがそのまま表示されます。

mvchtml5_4

お手軽でとてもいいじゃないですか!これは楽しい!

あと、個人的に面白いと思うのが↓。

aspnet - Release: Sprite and Image Optimization Framework

地味な感じがするけど、ASP.NETらしさ爆発じゃないですかね~。

2010年8月8日日曜日

サルベージ開始

最近だとMVC3 Preview1がとても興味深く、楽しそうなプロダクトで、あれやこれやいじり倒してみたいところですが、なんか忙しかったり、テンション上がらなかったりとエントリ書く気も起きないな~、なんてぼやく日曜日。

で、思い出したんですよ。昔々「オレがルールだ」なんていうブログを書いていたのを。その時のデータベースファイル(MDF)を発掘したので、そこからエントリをサルベージするってどうなんよ、と。データベースファイルをローカルのSQL Expressにアタッチしたのはいいけど、そのままテキストだけだと画像なんかも見れないし、なんか良く解らん状態。なので、せっかくなのでMVC3P1 Razorで参照専用のWebアプリを書いてみたわけです。書くと言っても参照専用なのでほとんどすることはないんですけどね。EF4CTP1でも使おうかと思ったけど、インストールしてないし、するのも面倒だから、既にインストール済みのPOCOテンプレートを使ってみました。これまた特にすることもなく、EDMX作ってカスタムツール外して、ファイル名をttに埋め込むだけなんですけどね。

なんかかんや、録画しておいてハゲタカTHE MOVIE見ながらチクチクと。

salvage1 salvage2

書いてて気がついたんですが、RazorってデフォルトHTMLEncodeかけるんですね。HTMLをそのまま出力したいときにはどうしましょう...。

とりあえず、以下のようなヘルパーを用意しておくことで簡単に出力できるとStackoverflow.com先生が教えてくれました。

namespace System.Web.Mvc
{
  public static class HtmlHelperExtensions
  {
    public static IHtmlString Literal(this HtmlHelper htmlHelper, string html)
    {
      return MvcHtmlString.Create(html);
    }

    public static IHtmlString AsHtml(this string html)
    {
      return MvcHtmlString.Create(html);
    }
  }
}

Emitting unencoded strings in a Razor view - Stack Overflow

↑これがあれば↓こうですね!

  <div class="entry_view">
    @Html.Literal(Model.contents)
  </div>
  <div class="entry_view">
    @Model.contents.AsHtml()
  </div>

グダグダ前置き長くてすいません。というわけで第1弾「もっと速く出来ると思う」です。


もっと早く出来ると思う

2009/01/16 18:52:29

ここ最近Philさんのブログでホットな話題になってる名前書式化スピード競争。

Fun With Named Formats, String Parsing, and Edge Cases

↑このエントリで始まって、Philさんが「オレのんが速え~」って事でコードを載せてたけど、ここにきて新たな刺客登場。

Named Formats Redux

正規表現だから遅いんじゃないぜ!といわんばかりにJamesFormatterを作成したJamesさん。
おいおいフィル、同じ会社の社員としてそれじゃいかんぜ、とHenriFomatterを作成したHenri Weichersさん。
いずれもPhilさんの速度を超えた。

ルールは簡単。
通常のstring.Format(”書式化文字列”,value)の書式化では引数のインデックスを埋め込むけど、匿名クラスのパラメータ名を渡して書式化出来るようにすること。んで、テストがちゃんと通ること。

例えば
var values = new { foo = 123, bar = 456.7, boo = "Hello!" };
string text = "{foo} {bar} {boo}.";
なら
text = "123 456.7 Hello!."
になる。

これは面白そう。
流石に、速いコードを書く事に慣れてないから苦戦すると思ったけど...。

str

誰よりも速えーじゃねーか。
※順番で不公平(なわけないけど)だ!なんて言われてもイヤなんで、最初と最後の2箇所で。
そんなに難しいコードじゃなくて、テストを通すことと、書式化文字列がもっと長い場合とかは考慮せず、シンプルに書いてみた。

str2

ほら。テストも全通過。
テストツールはNUnit入れてないからVisual Studioに入ってるやつで出来るようにコピペして作り直してるけど、やってるテスト内容は同じ。

コードは↓これ。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

using System.Reflection;

namespace StringLib
{
  public static class TakeharaNamedFormatter
  {
    public static IEnumerable<KeyValuePair<string, object>> AnonProperties(string prefix, PropertyInfo pi, object inst)
    {
      var piVal = pi.GetValue(inst, null);
      if (!pi.PropertyType.IsValueType && pi.PropertyType.IsNotPublic)
      {
        foreach (var subpi in piVal.GetType().GetProperties())
          foreach (var kv in AnonProperties(pi.Name + ".", subpi, piVal))
            yield return kv;
      }
      else
        yield return new KeyValuePair<string, object>(prefix + pi.Name, piVal);
    }

    public static string TakeharaFormat(this string format, object values)
    {
      if (format == null)
        throw new ArgumentNullException("format");

      List<string> formats = new List<string>();
      Dictionary<string, object> vals = new Dictionary<string, object>();
      foreach (var pi in values.GetType().GetProperties())
        foreach(var kv in AnonProperties("", pi, values))
          vals.Add(kv.Key, kv.Value);

      var len = format.Length;
      string result = format;

      char atchar;
      int sbrace = 0, ebrace = 0;
      string replace_format = "";

      for (int i = 0; i < len; i++)
      {
        atchar = format[i];

        // start
        if (atchar == '{')
        {
          if (replace_format != "")
            sbrace = 0;

          sbrace++;
          ebrace = 0;
          replace_format = "";
        }
        else
        {
          // end?
          if (atchar == '}')
          {
            ebrace++;
            if (sbrace % 2 != 0 && replace_format != "")
            {
              //sbrace = 0;
              formats.Add(replace_format);
            }
          }
          // format string?
          else
            if (sbrace > 0 && ebrace == 0)
              replace_format += atchar;
            else if (((sbrace + ebrace) % 2 != 0) && ebrace != sbrace)
              throw new FormatException();
        }
      }

      if ((sbrace + ebrace) % 2 != 0)
        throw new FormatException();

      // replace!
      var value_format = "";
      foreach (var f in formats)
      {
        var fa = f.Split(':');

        if (!vals.ContainsKey(fa[0]))
          throw new FormatException();

        if(fa.Length == 2)
          value_format = "{0:" + fa[1] + "}";
        else
          value_format = "{0}";

        result = result.Replace(string.Format("{{{0}}}", f), 
                                string.Format(value_format, vals[fa[0]]));
      }

      result = result.Replace("{{", "{")
                     .Replace("}}", "}");

      return result;
    }
  }
}

 

リフレクション使ってるし、ジェネリックも使ってるけど、遅くないよね...。
もっと速いコードが出てきたら、また考える。


いや~、コピペって楽ですね!

ストックが1813件あるということは、しばらく...。そんなわけないですね。ほとんどがどうでもいい話だったりするので、これなら今公開しても、まぁいいかなというのを、ちょいちょい探してサルベージしていこうかと思う次第です。

dotnetConf2015 Japan

https://github.com/takepara/MvcVpl ↑こちらにいろいろ置いときました。 参加してくださった方々の温かい対応に感謝感謝です。