NAVER Watch


NAVER日韓翻訳掲示板のスレッドリストを見やすく表示する。
※本サイトは終了いたしました。


スレ検索NEW

NAVERのURLから過去ログ参照


テキスト掲示板
ヒストリ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
時事/ニュース板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
ネット/パソコン板全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
生活/カルチャー板全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
ゲーム/アニメ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
芸能/エンタメ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
スポーツ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
旅行板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
今回の話題板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト

イメージ掲示板 ※URL変わりました
スポーツ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
芸能/エンタメ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
ゲーム/アニメ板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
生活板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
恋人/友達/家族板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
私の部屋/家板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
旅行板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
私の宝物板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト
カルチャー板 全リスト|フィルタ|レス上位|閲覧上位|レス増上位|レス上位(全スレ中)|閲覧上位(全スレ中)|削除リスト

ninnin2ch 様のPerlスクリプトを借用させていただいております。感謝です。

NAVERは100以上レスが付くと前のものが見れなくなるので、
増えたスレッドを監視して、過去ログを継続保管する機能も付け加えています。
使ってないノートPCがあったので、15〜30分間隔くらいで24h運用しています。

過去ログへのアクセス方法:
リストの”ログ”というリンクをクリックしてください。
ログはローカルマシンを公開していて、そちらに飛んでいきます。
※nid というのはNAVERの掲示板のスレッドIDで、各スレッドのURLに nid=XXXXX と書いてあるものです。
※全板10以上コメントが付いたものをローカルに保管しています。
※歴史板は先頭から 40ページ(約1200スレ)、他は5〜20ページだけ監視しています。
 それ以前のものはログ取得対象になりません。
※URLの最後についているcp=XXXというやつを1固定にしています。これでページが移ってもvisitedの色が消えないハズ。
注:イメージ板の過去ログのイメージがリンク切れになる場合があります。
 ⇒この場合、イメージのURLの拡張子を .png, .gif など手で書き換えて試してみてください

だれかこのスクリプトを一緒に運用しませんか? cygwinがあればWindows環境でもOKですし。
というより、だれでも好きに使ってください。
naver2ch.lzh


2004/05/06AM 更新
・過去ログを公開しました。遅くなってすみません。
naver2ch.lzh wDT76Scxih 78,135 9b827c0e10f888575b558dd672dd83d5 ソース類
thread8.lzh wDT76Scxih 383,208,458 e2db44c68c4a5096c5b64bf00fe4fdfe ヒストリ板
thread7.lzh wDT76Scxih 85,954,505 b487d1a8e87d70ec1c3e99b8f5a09bd6 カルチャー板
thread16.lzh wDT76Scxih 148,706,688 d608ecb805acd9d773415976171013e3 時事板
thread1.lzh wDT76Scxih 62,402,400 6a643a04b6f38ede00651ca89fdbe885 芸能板
thread0.lzh wDT76Scxih 62,092,294 6224ee7ccc5b8554effc3119231cd444 スポーツ板
thread.lzh wDT76Scxih 199,480,823 b802af3f5e1e728599d4793abf64cc87 他
 ※使い方がよく分からかったので、公開し方があっているか、普通かも不明
 ※長期間公開するつもりはありませんので、お早めに・・・
・遅くなった理由は、基本的にさぼっていたのと、
 一部スレで酷い文字化けが起きていたのに気が付き、
 原因を取り除くのに時間がかかってしまった、といったところです。
・酷い文字化けの原因は、NAVER特有の笑える文字化け(\x5Cが消える件)が起きているスレで、
 jcode.plでEUC変換->SJIS変換すると全体がハンカクカナバケバケになる場合があったためです。
 ⇒ありがちな\x5C消えを補完、文字化けになる場合はEUC変換しないする、
  などを修正、再取得していて時間がかかっておりました。
  ※そもそもEUC変換は、本文中に \x5C が含まれていた場合にそれを消すためだったので、
   必要性は低かったんですが。
・NAVER特有の笑える文字化けの件は、どうもMYSQLがらみのようです。
 うちの環境でも、MYSQLをSJISにして、ActivePerlで、DBIでMYSQLをつっつくと、
 \n という文字が勝手に改行コードに変わったりしています。
 まあ、NAVERもうちも、使い方が悪いんだろうな・・・
・おそらくこれで最後の更新になると思います。ではー!

2004/03/13AM 更新
・とりあえず取得済み過去ログの閲覧のみ再開。ログ取得は停止しています。
 http://218.45.182.39/search.html  歴史板以外は過去ログ(2月末までに取得済みのもの)は閲覧可能です。
 スポーツ板の本文がおかしいなど、一部おかしなところがあるかもしれませんが・・・
 歴史板はコメントとスレタイトルが全て消えたので、復旧のための全件再取得を実施中。
 1日1000ページ=30000スレくらいなので2〜3週間はかかりそうです。
 ⇒歴史板の再取得と平行して、全過去ログのCSVやソースなど公開した後、
  それなりな時間がたった後にサイトを閉じようと思っとります。
・歴史板の復旧は、現在の再取得だけでおしまいにしようと思います。皆さんのログを集めるのは面倒なので・・・
・最近なんとなく忙しくて、あまり時間が取れないので遅め遅めで申し訳ないところです。
 CSVにしてみるとデータに改行コードが残ってて、いろいろ修正が必要になったり、
 もともと直したかったところがあったりして、思ったより時間がかかっております。
・とりあえずCSVやソース類の公開場所はこちら 順次、公開していきます。
 ファイルがでかくなりそうなので、公開もやはり自鯖で。
・入れ方メモ

 @cygwin入れる(最小限+wget、nkfくらい追加すればOKのはず)
 Aapache入れる(C:\Apache\Apache2、/cgi-binを公開、mod_deflateとかおすすめ)
 Bmysql入れる(C:\mysql など適当に・・・、なれないとややてこずるかも、「かねやん」が便利)
 CActivePerl入れる(C:\Perlがよいです)
 DDBD、DBI入れる
 ELZHを解凍し、naver2chをc:\に、他はそれなりのフォルダに入れる
 Fソース見てパスが違う場合適当に修正する+env.pl とか *.sh も入れた場所や環境に合わせて適当に修正
 Gmysqlでcreate db naver、LZH内のsqlを実行してテーブル作成
  (余分なテーブルもあるかも・・・)
 HCGIを実行してみる ⇒エラーが出たら適当に直す
 Imkmenu105.plを実行してみる ⇒エラーが出たら適当に直す(パラメータの意味はソース参照)
 Jシェルを起動してみる ⇒OKならnohup ./mkmenu_txt1.sh & などで常駐させる感じ
  (FTP先の指定も適当に修正)
・自鯖がいや、という話が出ていましたが、逆鯖的な使い方が可能なCGI可フリーサーバってあるのかな?
 あまり無さそうな気がする+探す、試すのが面倒+作りがそんなことを想定していない、なので現状無理。
 やりたい人は、基本構造は変えず、read.cgiとかsearch.cgiだけをファイルで読み書きするよう改造して、
 自宅でバッチ処理を動かして更新情報を圧縮してアップロードすれば、近いものにできるかもしれない。

2004/03/01AM 更新
・突然でまことに申し訳ないのですが、本サービスは終了させていただきます。
 利用者の皆さん、ごめんなさい・・・
・実はかなり厳しいトラブルが起きてしまい(起こしてしまい)、
 歴史板の、全過去ログ(のうちコメント全て)とスレリスト(NID>500000)が消失・・・
 残念ながら復旧が不可能っぽい状況なため、サービス継続をあきらめました。
・止めるにあたり、まず歴史板のみスレ監視し、過去ログは閲覧可能な状態に戻そうと思っています。
 (歴史板はNID<500000のみ、他は全て健在です)
 その後、残っている全過去ログやスレ一覧等をCSV等で公開しようと思っています。
 また、いまいちながらもソース類や設定方法等も公開しようと思っています。
・このサイトをあげていた理由は、NAVERでの議論を消したくない、という思いからだったので、
 開始当初から監視していた歴史板が消えてしまったのは非常に辛い感じです。
 なんとか残りカスなどを集めてみますが・・・重ね重ねごめんなさい・・・
 あとは、利用者様のブラウザキャッシュなどをかき集めて可能な範囲で復旧を試みる、
 とかくらいです・・・歴史板で、特に長い過去スレで、キャッシュ等が残っている人、
 とりあえずローカルに補完しておいてもらえませんか?

2004/02/11PM 更新
・お気づきとは思いますが、 2004/02/05 AM2:45から4:40ごろにIPが変わりました。
 個人的にはIPを晒し続けるのは非常に好ましくないのですが、
 すでに1年半以上そんな状態なので、いまさら何をといった感じですな。
・毒もくらわば皿、下記DDNSを採用することにしました。
 naver2ch.bne.jp ,さっそく過去ログ等のリンクも更新しました。
 今後はログへのリンクはホスト指定をお勧めします。
・Googlebotのログについては、次回クロール時(何ヶ月か?)で消えてしまう、ということらしい。
 移動した(IPが変わった)、ということも特に指示できないようだ。(moved にしたくても元のIPから変わっちゃったし・・・)
 まあ、自宅サーバなぞ想定しているはずもなし、当然といえば当然か。
 消えるまでは、キーワード「タイトル=NAVER過去ログ」とかでぐぐればキャッシュ見れますのでご活用を・・・
 #IP変わってからは来ないなぁ・・・

2004/01/24AM 更新
・NAVERのURLをコピペして過去ログを参照できるようにした。
 上のテキストボックススから利用できます。
・お気づきとは思いますが、過去ログのHTML版は参照できなくなっています。※マシン引越しのからみです
・イメージ系の板で、投稿された画像を公開前から閲覧できるようにしています。
 といっても機械的にURLを置き換えているだけ。
 JPEGかGIFかPNGか分からないので、とりあえず決め打ちで .jpg にしている。
 見れないときは .gif や .png などで試してみるとよいかも。
・と思ったら、どうもその修正を入れた時から、JPEG以外のイメージだとずっとリンクが切れるようになったようだ。
 直すのが面倒+過去ログまでさかのぼって直す必要が生じる+ほとんとがJPEG、より、対応は行わないことにする!
・最近 Googlebot がよく来る。1日500〜1000リクエストくらい。
 まともな検索機能が無いので来るものは拒まないが、IPが変わったときどうなるんだろう?
 せっかくたまったものが消えるのは Google 的にイマイチな気がする
 ⇒やはりDDNSか?

2004/01/04 更新
・年が明けて、IP変わりました+マシンを引っ越しました。
 諸般の事情により、前のノートPCに戻しています。
 PEN4 1.8GHz⇒VAIO C1VJ(Crusoe600MHz)、かなり厳しそう・・・
 体感できるくらい遅くなっていると思います。
・時事板が直っていそうなので、避難先を閉じて元に戻した。
・12/26 ごろ、NAVERの掲示板が変なことになっていたようだ。
 リストの2ページ目以降がいきなり2日くらい前のスレになっていた。
 いつ直ったのか知らないけど、けっこう長かった気がする。あいかわらずひどいですなぁ。
 日本で、企業がやってるサイトでこんな状態を放置してたらめちゃめちゃたたかれるだろうに・・・
・最近、スレリストが一部更新できない場合があるようだ。
 geocitiesの容量制限に引っかかることが原因。12MBのはずなのに実質8MBくらいしか入らない。
 ⇒とりあえず各リストのサイズをやや減らした。

2003/12/16AM 更新
・前から気が付いてはいたのですが、コメントで一部文字化けがおきていました。
 原因は 256bytes以上のコメントがついていた場合に2つに分ける部分がいまいちだったため。
 ⇒256bytes以上コメントがついたものは、おそらく半分くらい文字化けしていたことだろう。
  ざっと見ると4万すれくらいありそう・・・過去にさかのぼって直すのはむずかしそう・・・ごめんなさい
  ※個別に直したい場合、過去ログの「CHECK」で再取得してみてください。(流れてしまうと無理ですが・・・)

2003/12/07AM 更新
・IPアドレスが変わっています。
 月1回くらい?プロバイダ(?)側から切られるようです。
・日別のサマリ暫定版を公開しました。スレ検索から入って見れます。
・過去ログ参照用のURLをHTMLからCGIに変更しました。
 HTMLの公開はしばらく続けますが、機会を見て閉じようと思っています。

2003/11/20AM 更新
・前から気になっていた、mod_gzipを入れてみた。
 Windows の Apache2 では mod_deflate で、超簡単に圧縮送信できるようになった。
 時事板スレリストで1/4から1/5くらい。すばらしい!
・これまで固定HTMLで公開していた過去ログも、CGIに移行しようと思っている。
 ※ファイル数が多すぎるのがいや+過去のHTMLの見た目が違うのがいや、などの理由より。
 ログ最新化(NAVERに即時で取りに行く)も随時できるようにしたいと思っている。
 近日公開予定。
・ひそかにBBS20もログ取得開始。スレ検索で見れます。

2003/11/12AM 更新
・とりあえず過去のスレリスト検索の暫定版を公開。
 ただし現時点では以下の注意点あり
 ・ヒストリ、時事、TEXTスポーツ、TEXT芸能エンタメ、TEXTカルチャー板は、
  1ヶ月以内 or コメント>=50 or 閲覧>=500 のスレしか検索できません。
  ⇒それより古いものは「過去ログから検索」で指定してください
 ・スレ本文やコメントからの検索は不可。
 ・前回実行から10秒以上経たないと次の処理を受け付けないようにしている
・ログ取得でコメントが255文字までしか取得できなかったものを修正
 (最大が謎なのでいちおう510文字にした)
・過去ログのDB移行がようやく完了。コメントだけで600万レコード・・・
・特に更新、削除が多い(気がする)板(0,1,3,7,8,15,16)の監視間隔を短くしてみた
 通常の監視間隔とは別で、先頭2ページを5分程度の間隔で監視中
 (全スレ1回は取得して削除時にも本文だけでも見れる確率が上がったはず)

2003/11/04AM 更新
・お気づきと思いますが、いろいろ触りました。
 ・とりあえず全部DBに突っ込んで保管するようにした。
  (前からつらかった容量問題を解決するため+ファイル数が増えすぎたのがいやだったため)
 ・全スレ、必ず1回はログ取得するようにした(イメージスポーツ板対応+投稿日取得のため)
 ・ログのHTMLタグ除去(適当)と自動リンク対応(適当)
・過去に取得済みのログは、DBへの移行が未完了なため、リストからリンクが消えてます
 が、http://(IPアドレス)/ から /BBSXX/XXX/ とか辿れば見れますのでそのようにお願いします。
・修正にいやになるぐらい時間がかかっている+道半ばで中途半端。納得感に欠ける。
 もともとの目的(自分のNAVERヲチをやりやすく)というより、日曜プログラミングの題材といった感じになっている。本末転倒ニダァァァ
・DBに入れてもデータが多いのは変わらず、スレリストだけで180万レコード(200MB)、本文やコメントで80万レコード(150MB)とか。
 テーブル構成は迷った末、BBS毎に分けずに、全板共通で スレ、本文、コメントでテーブルを分けてみた。
 インデックスだけで100MBとかになっており、方針的に間違っているかも。(メモリも少ないし)
・過去スレ検索機能を近日公開予定。
 だいたい出来ているが、がんがんリクエストが来ることを想定したチェック機能をまだつけていない感じ。
 使ってみたい人はコメント参照
・NAVERが重い原因になっていないか心配な今日この頃、まあ間違いなく負荷は上げてますな。
 ざっくり、全18板×(5〜40ページ[平均20ページ] + ログ取得5〜40ページ[平均20ページ])×3〜5回[平均4回]/H
  ≒ 2880ページ/時間(48ページ/分) くらいか?
 そんなに多くないし、まあいいか。
 ⇒方向性として、定期的なログ取得のページ数を減らし、CGIでリクエストしたときに、
  必要なページ(リストorスレ)をチェックしてログ保管する、という形にしたいと思っています。
 ⇒あとは、更新サマリとか、バッチ集計(ID監視系など?)とかがあれば便利かも

2003/09/29AM 更新
・先日のプレビュー不可対応のからみでしばらく(1日くらい?)止まっていました。
・このからみでイメージスポーツ板だけ投稿日が空白になっています。
 なぜこの板だけ一覧に投稿日が無いのかとNAVERを(r
・どうも時事/ニュース板のリストが更新できていないようだ。
 原因不明だが、どうもgeocities側が怪しいと思われる。
 ※以前容量不足で似た状況があったが、今回はまだ2MBくらいあり問題なさそうなのだが・・・
 ※HANDで置くと更新されるのだが・・・なぜか次回更新で元に戻ってしまう
 ※元ファイルは更新されているし、正しくPUTされているはずなのに
 ⇒とりあえず全板の右端の旧URLを消して容量削減を図ることにした
 ⇒あと、FTPでgeocities側のファイルをDELしてみた。
  ⇒やはり元に戻ってしまう。こまったものだ・・・
   ⇒とりあえず暫定で、ローカルの一覧を公開することにシマスタ。
・今回の話題板は、実は相当昔から対応してたりして。(ここのリンクだけ無かったけど追加しました)
・下の2ch互換出力はあまりニーズがなさそうなので、頃合を見て止めよう。
 他にも暇つぶしにanalogとか入れてアクセス状況を公開してみようかな、とか
 スレ一覧をDBに突っ込んで検索できるように仕様かな、とか
 namazuとか入れてみようかな、とか考えているのだが・・・暇が無い+やる気も無い+スキルも無い感じ
・Naverスレは見てますが、Naverは見てません。2chだけでお腹いっぱい・・・

2003/09/10AM 更新
・お勉強がてら、前から気になっていた、2ch互換のdatとかsubject.txt形式を
 出力できるようにしてみた。
 12chスクリプトのread.cgiを拝借しています。ありがとうございます。
 OpenJaneで、調べられる範囲で確認してみたが、いけてるようなのでとりあえず公開
 URL: http://(IPアドレス)/naverbbs/test/read.cgi/BBS8 など
 Jane FAQに載ってる外部板追加方法で、しかるべき設定をしてやれば使えるはず。
 ただし、いろいろイマイチ。
 ・since(スレキー?)が不正 ※一覧からは日時取得不可なんです ⇒ 1000000000+nid
 ・いつものバッチでのログ取得しかできていない。(インタラクティブでない+10レス以上のみdat化)
 ・カキコできない(これは当然といえば当然)
 ・過去のスレリストが見れない
 ・ブラウザからは見れない(2chビューワ専用)
 ・スレリストのあげがイマイチ(適当にやってます、単位時間内レス増,(nid+res*2+read*2),nid でソート)
 ・IPが変わると不便(?)Janeは大丈夫かも?
・何でこんなものを作ったかというと、容量面でつらくなってきたのと、
 過去ログ内にタグ付き書き込みがあるのを消していなかったのが気になっていたから。
 あと2chビューワ等で過去ログを保存しやすいように。
 まあ暇つぶしですな。
 こんなことしたら怒り出す人がいるかな・・・
・(TODO)過去ログのリストもcgiで参照できるようにしたいものだ(板を分けるしかないか?)
・(TODO)cgiでユーザが任意のタイミングで任意のスレをログ保管できるようにしたいものだ
 ”スレカキコでカキコの代わりにNAVERからログ取得”とかか?

2003/09/05AM 更新
・ひさびさに更新。といっても変わったことは何もないです。
・7/26くらいからapache2に変更してます。
・9/3 16:30ごろからログ参照ができなくなっていました。
 原因はHUBがだんまりになっていたため
 そのさいルータも再起動してしまったのでIPが変わっていたことを忘れていました。
 見てた人すみません。
・(TODO)2ch互換のdatとかsubject.txtをcgiで出力するようにしたいものだ
・(TODO)過去ログのリストもcgiで参照できるようにしたいものだ
・(TODO)cgiでユーザが任意のタイミングで任意のスレをログ保管できるようにしたいものだ

2003/07/25AM 更新
・ノートPCのディスクがいよいよつらくなってきたので
 マシン引越しのため、1日程度更新を止めます。
・こんなことを書くのもなんだが、一応アクセスログは取っている。
 が、悪用するつもりは毛頭ないので遠慮なくどうぞ。
 ただ、あまり広まってNaverに文句をつけられたりするのはいやなので、
 ほそぼそと続けたいと思っている。
・1日数十件程度ウィルスっぽげなアタックがやってきている。
 2003-07-24 09:22:34 61.181.209.33 GET /default.ida 403 - とか
 2003-07-24 10:49:54 61.93.52.74 GET /scripts/..%5c../winnt/system32/cmd.exe 404 - とかは
 ありがちなので気にならないが、まれに
 2003-06-02 06:42:56 211.131.84.54 - - 500 -
 といったアクセスログが残るパターンがあり、500 だけにやや気になっている。
 IISにもIEみたいに既知の閉じられていないホールがいっぱいあったりするのだろうか?

2003/07/05AM 更新
・NAVERが7/3ごろデザインを変更したようで、テキスト系がほぼ全滅しておりました。
 なんとなく止めるのも寂しい?ので、対応しますた。
 ちょっとした修正だったのにけっこう手間取ってしまった・・・
・とりあえず7/2ごろからのリストは再取得しておこう。
・ついでにSP4も当てておく。

2003/06/29PM 更新
・ひさびさに更新。最近ホッタらかしっぱなし。
・どうもIPが変わっていたようで、6/26ごろからしばらくログが見れなかったようです。
 他にも時々とまってたようで・・・見てた人ごめんなさい。
・歴史板の日別集計が、メモリ不足でエラーになってしまい停止中。
 とりあえず何らかの対応をしようと思っとりますが、量が多くて厳しい感じ。

2003/05/30PM 更新
・AM3:00〜PM10:30ごろまで更新がとまっていました。
 (単に上げ忘れていたようだ)
 見てた人が居たらすみません。
・5/7から?の新URLは bbs2.enjoykorea だったと思っていたが、
 今日見たら bbs.enjoykorea になっていたのでそちらにする。
 あまりふらふら変えないでほしいものだ。

2003/05/30AM 更新
・イメージ板のリスト最新化で驚きの閲覧数発見。22万ってなんだ?
・NAVERのURLが変わっていたので一応両方(旧URL+新URL)を表示するようにした。
 新URLは cp=1 にした(もともと cp= よりこちらのほうがよかったかも)
 旧URLは右端のOLDURLに表示しています。
・Naverスレはまた復活してますな。
 確かにNaver専用スレが駄目というのは極端すぎるかも。
 個人的には最近はほとんどNaver見てないから
 いけてるスレが貼ってあるのは重宝しとります

2003/05/16AM 更新
・まことに勝手ながら、16日AM1:00ごろ〜PM11:00ごろ?まで、
 リスト、ログとも停止させてもらいます。
 ※マシンをリブートしたらスキャンディスクが走ってしまい
  なんとなくちゃんと最後まで走らせておきたくなったため。
・リストの最新化は遅々として進まず。
 イメージ板の一部しかできていません。
 時々さかのぼって取りに行くなどで、自動化したいものだ。(TODO)
・(TODO)いちいち各板を見て回るのが面倒なので
 全板横断の更新件数や更新スレ一覧があるといいかも
・Naverスレが(ほとんど)終わってしまったのはやや寂しい気がするが、
 確かにNaverの作戦に乗せられていた、という意見に対しては
 まあそうなんだろうなぁ、という感じで微妙に悔しい気もする。
 このサイトもそろそろ潮時かな?IPさらしてるのもいやだし・・・
 などとちょっと考えたりしとります。

2003/05/10AM 更新
・list.phpの件は最近は大丈夫なように見える。
・固定ID対応は特に不要だったみたいですな。よかったよかった。
 日本人の投稿が激減して、すっかりつまらなくなってしまったけど。
 個人的には最近は2chに貼られたスレくらいしかNaver見てなかったので
 別にいいんだけど。
・2chのNaverスレで話題になっていた閲覧最高記録とか超長寿スレとかは
 個人的に非常に気になったので、スレが流れてからも
 個別に監視できるようにしたいとは思っとります。(TODO)
・最新化できていないのがなんかくやしいので、イメージ板から順次、閲覧、レス数だけ
 全ページ再取得してみてます。

2003/05/05AM 更新
・ひさびさに更新。
・list.phpのやつが時々3000スレぐらい古いリストを返す件は相変わらず未解決。
 対応したいけど面倒なので放置している。
 あるはずのスレが見つからないときは「削除スレ」に入っていると思われるので
 そちらを確認してみてください。
・歴史板のレス増上位が時々更新されなくなるのはサーバ容量不足が原因でして、
 これは慢性的に(時々)起こっていたので、
 とりあえず利用者の少なそうな歴史板日次集計の置き先を分けた。
 ⇒これからも随時、必要に応じて一部URLを変えるかもしれません。
  なるべく避けるようにしますが、ご容赦を。

・と言ってるそばから、やっぱりエラーのままなので、
 イメージ板全ての置き先を分けることにしますた。
 ※日別集計は戻した。
 ⇒イメージ系のURLが変わりましたのでご注意を。

2003/04/21AM 更新
・4/15AM2:00ごろ?からADSLが切断されたためログが見れませんでした。
・どうも最近Naverが変なことをしているらしく、list.phpのやつが時々3000スレぐらい古い
 リストを返すようになっているようだ。
 他の人も同じ症状があるみたい+ブラウザで見ても出ることから回避は困難か?
 どうも意図的にやっているように感じるが、意味が分からない。それでいいのか?>Naver
 早く戻してほしいものだ。

2003/04/10AM 更新
・4/9AM3:00ごろADSLが切断されたためログが見れませんでした。

2003/04/08PM 更新
・geocities FTPサーバのトラブルは8日AM10:23ごろ回復したようです。
 こんな感じのエラーでした。
 パターン1

Remote host has closed the connection.
 パターン2
Invalid reply: "Content-type: text/html"
Protocol violation by server: blank line on control.
Invalid reply: ""
 パターン3
Could not read reply from control connection -- timed out.

2003/04/08AM 更新
・7日AM10:46ごろから?geocitiesのFTPサーバがアップロードできず更新停止中。
 ログ取得、ローカル公開は行えているので必要な方はそちらでおながいします。

2003/04/04AM 更新
・前日対応したcron起動がうまく動かず。
 適当なシェルだったためいっぱい起動してしまっていた。
 あまり頭を使いたくないので cron はやめて init にしてみる。
 cygwin+sysvinit はこちらがいいかんじ。

2003/04/03AM 更新
・最近よく止まってしまい申し訳ないです。
 3/29、4/2の停止はOSハングアップ
 4/1の停止は不慮の事故(電源が抜けていた)
・OSハングはこれまで起きていなかっただけに気になるが、
 原因追求はめんどうなのでとりあえず放置。
  予想(あてずっぽ):
  @OSかIISの脆弱性を攻められている ⇒Apacheとかに変える?
  AWindowsUpdateのパッチバグ(3/29にQ331953とQ814033を当てた後からおかしい気がする)
  BCygwin 1.3.22 がおかしい ⇒アップデートは3/19ごろなのでおそらく無関係
  Cディスク? ・上記への対応として、これまで nohup で常駐させていたのを cron 起動に変えた
 ⇒マシンが落ちても自動再起動で更新されるハズ。
 cygwin+cron はこちらの説明がいいかんじ。

2003/03/10AM 更新
・イメージ掲示板も監視対象に追加。10ページ監視、10レス以上ログ保管。
・全スレと削除スレが変なのはいまだ原因分からず。
 本来削除されていないスレッドが削除リストに表示されてしまう場合がある。
 自分のソースなのに何が何だかよく分からない感じ。だめだコリア。
 前みたいなことをしているのかな・・・

2003/03/04AM 更新
・前々からおかしい気がしていたが、やはりおかしい。
 全スレと削除スレが変だ。こまったものだ・・・

2003/03/04AM 更新
・なんとなくテキスト掲示板を全部監視対象にしてみた。
 容量が心配なので5〜10ページ監視、10レス以上ログ保管としています。

2003/02/23AM 更新
・ヒストリ板の日別集計を作ってみた。他と同様随時更新してます。
 またもローカルPCで公開。この手のサイトを継続して運用しようとすると
 10MBやそこらでは正直ぜんぜん足りない気がする。

2003/02/22AM 更新
・なんとなくネット/パソコン板も追加。

2003/02/09AM 更新
・時事/ニュース板の過去ログへのリンクがNGだったので修正。
・取得したHTMLを残すようにしていたが、大量に残るので消すことにした。

2003/02/06AM 更新
・時事/ニュース板も一応監視してみる。
・threadlist.csvが大きくなりすぎるとこけるので保存し方を変えた。
・(TODO)長い時間議論が続いているスレが100ページ以上流れて
 監視対象から外れるのを避けたい。
・(TODO)再掲 日次リストを作らねば。

2003/01/24AM 更新
・ほったらかしていたら、マシンのディスクがいっぱいになっていた。
 おそらく18日PM8:00くらいからログ取得がおかしくなっていたと思われる。
 見てた人がいたらごめんなさい。いないかな?
・(TODO)threadlist.csvが大きくなりすぎるとこけるので保存し方を変えねば。
・(TODO)再掲 日次リストを作らねば。

2003/01/04AM 更新
・下で書いていた、単位時間レス増などがおかしい件は、
 くだらないミス(関数内外で同じ変数名 t_nid を使用しており、かつmy()していた)が原因ですた。
・見た目をカナーリ変えてみた。どうだろうか?
・ログ取得をプロキシ無しで行っていたのがいやだったので wget に変更。
・hash->[]構造体の中のURLを無くした。メモリ削減効果あり?

2002/12/19AM ひさびさに更新 最近また、たまに止まっていることがある。
どうもログ取得時に、サーバがずっと応答を返さない状態になる場合があるようだ。
非同期でログを取るようにしたいところだが、面倒なのでほったらかしている。

・ほかにもちょびちょび手を入れたせいか、単位時間レス増が全部変になっている。
 原因がよく分からない。こまったものだ。見てる人がいたらごめんなさい。
・ログの置き場所をGeocitiesからローカルマシンに変更した。(容量が限界なので)
 あまりしたくなかったのだけど・・・

2002/11/29AM更新 新フロート式は、新しいスレが埋もれすぎて使いにくいので、とりあえず +閲覧数を外す。

2002/11/28AM更新 久々にちょぼちょぼと手を入れる。
遅かったのを見直したり、データファイルの持ち方を変えたり。
あと、新フロート式を作ってみた。
nid+レス数+閲覧数+レス増数 nid+レス数+レス増数 で逆順sortしている。どうだろうか?
毎日のスレリストは試しに作ってみたが、サーバの容量が厳しそう。
⇒もう1個 geocities アカウントを作ることにしよう。

2002/11/17AM2:00更新 削除リストにバグあり。
レスポンス低下や処理中断等でリスト取得に失敗すると、削除リストに追加されてしまっていた。
⇒とりあえずリストが取得できれば削除リストから消えるよう修正。

2002/11/16AM更新 また止まってました。なぜだ・・・
最近特にひどい気がする。ちょっと対策を考えよう。
とりあえず15日PM6:00ごろから16日AM1:00ごろまでは過去ログありません。
⇒とりあえず思い当たるところをいくつか修正。
あと、ついでに過去ログへのリンクを付けるようにした。
ただしあくまで暫定で、切れているリンクが非常に多いと思います。(特に全リスト)

2002/11/15PM更新 削除リスト追加しました。
削除されたものは自動でUPLOADされるようにしたが、問題あるかも、微妙だ。

2002/11/15更新 14日AM2:00ごろから15日AM2:00ごろまで落ちていました。
マシン自体が固まっていた(完全にではなく微妙に)ようだ。
昨日の夜とかかなり投稿の多いスレがあったようでもったいない気分である。

2002/11/12更新 ちょっと修正。
なんか処理がおそいと思っていたら、パーミッション変更のところが重かったので全部外した。⇒劇的に改善
過去ログ公開はかなーり前から再開しています。
(TODO再掲)毎日のスレリストも集計してあげるようにしたい。
(TODO)更新リストを元に新フロート式メニューみたいなのを作りたい気がする

2002/11/09更新 過去ログを全レス1ファイルにまとめるよう修正。
ファイル名も thread_[nid].html にして、見た目も微妙に2ch風に。
移行のためしばらくログ公開を停止します。

2002/11/05更新 古い過去ログを上げなおしてみたが、やはりサーバ容量が足りないので最新分しか残さないことにする。
監視対象の20ページから外れてもTOP100から消えないよう修正。今後は消えません。消えてた。
ついでに過去の全スレのTOP100にも新しいものを追加していくよう修正。

2002/11/04更新 過去ログ取得にバグ発覚。10/29ごろから全く取得できていなかった。ウツダ・・・
とりあえず修正。ついでに古い過去ログを全部消して取れていた時期のものだけ上げなおさねば。(未実施)
(TODO)監視対象の20ページから外れるとTOP100から消えるのはいまいちなので多いものは残るよう修正したい。<-済
(TODO)毎日のスレリストも集計してあげるようにしたい。
カウンタを付けてみた。でも自分が見てもどんどん上がるのはどうかと思うぞ>geocities。
どうも@〜 だとブラウザ仕様らしいが、全然意味がわからん+解決策が載っていないので古いカウンタ設定にしてみる。
⇒やっぱり上がる・・・いまいち。
ついでに11/1時点の全スレリストCSVを上げてみた。1.6MBくらい。<-でかい+バグのため消した

2002/11/01更新 レス件数順、閲覧件数順、単位時間内のレス増数、スレ投稿日を一覧で表示するように変更。
あと、過去の全投稿の閲覧数TOP100レス数TOP100(11/01現在)を作ってみました。

2002/10/29更新 おまけとして、最新360スレのレス件数順、閲覧件数順、単位時間内のレス増数順の
リストを公開するようにしました。自分がほしかったので・・・

2002/10/29更新 容量オーバーでずっと前からログの公開が止まっています。
とりあえず新しいログのみUPするようにします。
保管自体は継続してますので、見たいものがあればリクエストしてもらえれば
あげるようにします。

2002/10/24更新 実は10月22日くらいから動かしていたのですが、バグがあって、一部過去ログが取れていないものがあります。
nid 72820 73492 など、10分以内に80以上?ついたものは最初のログが消えていると思います。(今は直ってます)

2002/10/24更新 サーバ容量があっというまに一杯になってしまったので、少しでもサイズを小さくするため
ログHTMLの余計な部分を消しました。これであと5日はもつかな・・・

ゲストブックを読む 書く