Blog Home  Home Feed your aggregator (RSS 2.0)  
light-hearted.net - LogParser
人は計画を立て、神はそれを笑う
 
 Thursday, January 29, 2009

大きなファイルを分割するのに LogParser が使えると今日気が付きました。

今年一番の発見です!!!

例えば、元ファイルを先頭から100行ずつで分割するコマンドです。
>logparser "select div(index, 101), text into test*.csv from test.csv" -i:textline -o:csv -headers:off -oDQuotes:off

次は、偶数行と奇数行に分割するコマンドです。
>logparser "select mod(index, 2), text into test*.csv from test.csv" -i:textline -o:csv -headers:off -oDQuotes:off
test0.csvが偶数行、test1.csvが奇数行を集めたファイルになります。

Thursday, January 29, 2009 1:46:52 AM (東京 (標準時), UTC+09:00)  #    Comments [0]   LogParser  | 
 Thursday, June 05, 2008

今度、システムの一部に LogParser を使おうかと思っているんですが、今後のロードマップがないなぁ。。。

サポートは、2000,XP,2003までだし、Vista/2008のイベントログはツールを間に入れる必要があるし。。。

同様なツールは出てこないんだろうなぁ

情報求む!!!

Thursday, June 05, 2008 12:17:56 AM (東京 (標準時), UTC+09:00)  #    Comments [0]   LogParser  | 
 Monday, September 04, 2006

TechEd ではいろんな方にお世話になりました。ありがとうございました。

 

久しぶりのポストは LogParser ネタです。

今後、ファイル サーバの監査等でイベント ログをチェックする要求が多く出てくることが考えられます。
ですが、イベント ログの仕様として1台のサーバでの合計が最大 300MB という制約があります。
#詳しくは河端さんのブログを参照してください
http://blogs.sqlpassj.org/yoshihirokawabata/archive/2005/12/20/15155.aspx

複数のファイル サーバや大規模なファイル サーバともなると、監査が大変になるのは目に見えてます。

そこで登場するのが LogParser です。
いきなりですが、こんな感じ。

LogParser
   "select * into Evt_Security from Security"
   -i:EVT
   -iCheckpoint:MyCheckpoint.lpc
   -o:SQL
   -server:sql1
   -database:EventLog
   -username:username
   -password:password
   -createTable:ON

嬉しいのは、-iCheckpoint オプション と -createTable オプション。

-iCheckpoint は、前回の実行時の最後の ポジション を記憶してくれますので、前回からの差分のみを DB に追加してくれます。
-createTable は、初回実行時のみの利用で、勝手に テーブル を作ってくれます。

また、トランザクション とかもサポートしてくれてますし、コネクション 文字列も使えますので、何気に便利です。

こうやって集めた データ と Reporting Services を組み合わせるっていう ソリューション もありかと思います。

 

ちなみに、私は サンプル アプリケーション を作る時に、この データ をよく利用してます。

Monday, September 04, 2006 10:46:18 PM (東京 (標準時), UTC+09:00)  #    Comments [0]   LogParser  | 
 Sunday, June 11, 2006

久しぶりにこのサイトのログを眺めました。

もちろんLogParserを使いました。
#DasBlog にもその機能があるんですが、諸事情でその機能はオフにしてるので...

期間は2006/01-2006/05 の約150日です。ページビューが65,000、アグビューが45,000 ってトコでした。

以下が、トップ10のエントリです。カッコの中の数字がアクセス数です。個人的には意外なエントリ(TechEd以外ものすべて)が並んでます。トップはぶっちぎりでした。
01. Active Directoryのドメインコントローラの復元方法 (426)
http://www.light-hearted.net/PermaLink,guid,e34e35ed-1319-4a92-aac2-298f02cc9625.aspx
02. TechEd 2005 Yokohama DAY3 (251)
http://www.light-hearted.net/PermaLink,guid,4e14d1fe-4c3a-453d-b02b-6eb4c2a4aa6a.aspx
03. Install Vista to Virtual PC 2004 (230)
http://www.light-hearted.net/PermaLink,guid,b64f779d-add3-4105-ac9c-0f448e02051d.aspx
04. TechEd 2005 Yokohama DAY2 (203)
http://www.light-hearted.net/PermaLink,guid,b9b2a45d-8eb8-4d0b-8f71-4aaa66ce544c.aspx
05. TechEd 2005 Yokohama DAY1 (198)
http://www.light-hearted.net/PermaLink,guid,4e8fd352-88dc-44ec-b9cd-a5017e115c77.aspx
06. TechEd 2005 Yokohama DAY4 (196)
http://www.light-hearted.net/PermaLink,guid,9c61d121-2230-4c9e-a88d-0545a3408868.aspx
07. Vista Build 5308 (164)
http://www.light-hearted.net/PermaLink,guid,aa7370d8-81a0-4ba7-b3d7-235a766d1c76.aspx
08. コンピュータのロックができちゃう (144)
http://www.light-hearted.net/PermaLink,guid,1a5912c8-07f4-4a34-bfcd-c8869c6b7ea2.aspx
09. MSOCache (144)
http://www.light-hearted.net/PermaLink,guid,f406ff37-b3a4-4cd2-8ad3-0342e0180653.aspx
10. 不思議なIME言語バー (120)
http://www.light-hearted.net/PermaLink,guid,ab49984f-967b-4159-8ece-b11aef2c1bf2.aspx

次は、カテゴリの参照数トップ10です。こちらは順当かな。
01. Active Directory
02. SharePoint
03. .NET
04. SQL Server
05. Windows
06. Microsoft
07. Tablet PC
08. Virtualization
09. Security
10. LCS

次は、検索サイト(検索結果)からの参照です。順当な感じですね。他にもいくつかありましたが0%なのでカットしてます。
Google (86%)
Yahoo (10%)
goo (2%)
Excite (1%)
Infoseek (1%)

次は、UserAgentです。検索ロボットが全体の15%でした。
ブラウザ別では以下の通り。IE7が意外と多かったです。IE7を既に使ってる方に参照していただいているって事だと思います(ちょっとプレッシャー)。
MSIE 6.0 (52%)
MSIE 7.0 (4%)
Firefox (7%)
Sleipnir (5%)
Opera (1%)
Lunascape (1%)
気になったのが Google Desktop というものが5%くらいあったことです。これってどんな時のものなんですかね?
Linux からのアクセスと思われるものも3%程ありました。
Windows 95、98 ユーザもまだまだ結構いらっしゃるようで...

と、大して露出していない割には結構のアクセス数をいただいており嬉しい限りです。今後ともよろしくお願いします。

Sunday, June 11, 2006 10:19:16 PM (東京 (標準時), UTC+09:00)  #    Comments [0]   LogParser  | 
 Friday, November 18, 2005

「今更」と言われるかも知れませんが、LogParser ネタを...
#基本的な部分から、少しずつはじめて行く予定です。

まずは、IISのログからアクセス数を集計するサンプルです。
#かなりいい加減なアクセス数ですが...

Num_of_Access_by_Date.bat
LogParser file:Num_of_Access_by_Date.sql
          -o:CHART
          -oTsFormat:yyyy/MM/dd
          -chartType:Area

Num_of_Access_by_Date.sql
SELECT date, COUNT(*) AS NumOfAccess
INTO Num_of_Access_by_Date.gif
FROM u_ex*.log
GROUP BY date

この結果として、こんな感じのイメージが出力されます。

もう少し手を加えて、タスク スケジューラを利用して、
月別や週別のグラフを自動的に生成することも簡単ですね。

私の場合は、複数のサーバから出力されたイメージを参照できるページを
ASP.NETで作成したりして、簡単なレポート サイトを作ったりしています。

Friday, November 18, 2005 1:00:15 AM (東京 (標準時), UTC+09:00)  #    Comments [0]   LogParser  | 
 Thursday, August 11, 2005

多種多様なログを統合的に扱いたいというのは、管理者の夢。

大抵の管理者は、サーバから出力されるログ達をチェックリストにしたがってチェックしていると思います。
#財布に余裕のある方は、有償のツール等を利用しているでしょう

確かにフリーのツールもありますが、自由度の高いものは少ないのが現実です。
#有償であっても、自由度は低いものがほとんどです

そんな中、私が現在利用しているのは、Log Parser です。とにかくイイのです。

例えば、Windows イベント ログのイベント全体から特定のユーザーのログオンを検索するには、
C:\>LogParser "SELECT TimeGenerated, SourceName, EventCategoryName, Message INTO report.txt FROM Security WHERE EventID = 528 AND SID LIKE '%yama3%'" -resolveSIDs:ON
と記述すれば良いのです(Log Parser のヘルプより抜粋)。

うれしいのは SQL ライクな文法です。

つまり、BATファイルを定期的に実行すれば、ログが取れるのです。また、直接グラフ(GIFファイル)を出力してくれたりもします。他には、テンプレートを使ったHTMLのレポートとか。さらに、ログを SQL Server に蓄積し、複数のシステムから出力されたログに対してクエリを実行して集計するとか、Reporting Services なんかと連携するってのも面白いかと。そうそう、COM API も提供されています。SYSLOG への出力も可能です(これは未検証)。

と、話始めるときりがないほどワクワクするのです。

Log Parser 2.2 日本語版
http://www.microsoft.com/downloads/details.aspx?FamilyID=890cd06b-abf8-4c25-91b2-f8d975cf8c07&DisplayLang=ja

 

以下の図は、対象フォーマットに関するものです。
アーキテクチャ

Thursday, August 11, 2005 11:39:53 PM (東京 (標準時), UTC+09:00)  #    Comments [0]   LogParser  | 
Copyright © 2010 yama3. All rights reserved.
DasBlog 'Portal' theme by Johnny Hughes.
Pick a theme: