プロフィール

けい

Author:けい
公開したWebサービス・アプリ一覧はこちら

※2014年12月、私が個人で開発したWebサービス・アプリへの
累計アクセス数は8億を超えました。
負荷対策頑張ります。日々精進していきます!!


■■■ 業務経歴 ■■■
社会人1年目:携帯電話開発。画面周りを1年間
2年目 :海外向け携帯電話ミドルウェア開発
     ブラウザとプロトコルスタック周り
2年目後半~:携帯電話の通信専用チップ開発
3年目:カーナビ。画面周りの開発
3年目後半~:BDビデオカメラ
     組み込みLinux カーネルと
     ドライバの開発。
4年目12月:プロジェクト途中で退社
~ここまではC、またはC++で開発~

~ここからJavaがメインの開発~
4年目1月:Web系の会社に転職
       ~4ヶ月間の研修
5年目5月:製造業向け生産管理システム開発
6年目9月:証券会社向けシステム開発
7年目10月~携帯電話向けコミックサイトの運用・開発
8年目12月:プロジェクト途中で退社

~ここからPHPがメインの開発~
8年目1月~仲介手数料が無料の不動産屋の社内SEに転職
交渉しほぼ完全に裁量労働が可能な立場になる。
業務内容はシステム全般ですが、
最近はSEO対策の作業が多いです。
現在14年目 まだ、しばらくはこの会社に居るつもりです。

あと、全ての記事がリンクフリーです。

最近の記事

過去ログ

全ての記事を表示する

全ての記事を表示する

カテゴリー

FC2カウンター

RSSフィード

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
--.--.--    [ Myカテゴリ:スポンサー広告 ]

Youtube,Youku,Tube8,tudou,ニコ動他、全ての動画をダウンロードできるようにして見た(FuzzyProxy)

* FuzzyProxyって何?

一言でいうと、動画のキャッシュに特化したProxy。
Proxyを通しておくだけで、勝手にコンテンツがcacheフォルダに保存。
仕組み的にプログレッシブダウンロード方式の全ての動画サイトに対応している。
一度アクセスしたコンテンツには次回以降は高速に閲覧することができる。

* ダウンロードURL
http://lfll.web.fc2.com/fuzzyproxy0.4.1.zip
もしくは
Vectorからもダウンロードできます。


* もっと詳しく
NicoCache_nlを元にして作成したYourFileCache Ver 1.50から大幅に機能を削除し、
より万人受けするように作り直したもの。
基本方針としては、ダブルクリックだけで
多くの人のニーズに答えられるような作りを目標としている。

デフォルトの設定でYourFileHost、Youku、Tube8、megaporn、ニコニコ動画、
tudou, megavideo, justin.tv(録画のみ), StageVU, Veoh, xvideos, 他
,
1.5MB以上のファイルが
全てキャッシュされる作りとなっている。
通常、設定ファイルの変更は不要である。

* 使い方
実行にはJavaのランタイムが必要です。
①ZIPファイルの解凍後、「FuzzyProxy.bat」ファイルを実行する
②ブラウザのプロキシ設定をlocalhost:8080に設定する
③普通にサイトをブラウザで見る
あとは、cacheフォルダにコンテンツが勝手にたまります。

※上記手順を画像付きで書いていてくれる方がいらっしゃいましたので紹介致します。
* 使い方1(画像付き)
* 使い方2(中国語)


FAQ
Q1, 動作するポートを変更したい
A1, 「config.properties」の「listenPort=8080」を変更して再起動して下さい

Q2, ProxyサーバーとクライアントPCを分けたい
A2, Proxyサーバーの「config.properties」の「allowFrom=local」を
「allowFrom=all」とかに変更すれば自IP以外のアクセスを受け付けるモードになります。
記載可能なオプションは以下
# local = 自PC(127.0.0.1 , localhost) ※デフォルト設定
# all = 全IP
# lanA = クラスAプライベートIP(10.*.*.*)
# lanB = クラスBプライベートIP(172.16.*.* – 172.31.*.*)
# lanC = クラスCプライベートIP(192.168.*.*)
# lan = lanCと同じ

Q3, 何で動画以外のファイルでも保存されてしまうの?
A3, 動画かどうかを判断するためには「contents-type」を見る必要があるのですが
正しく「contents-type」を送信してくれる動作サイトが少ないため、やむを得ずです。

Q4, なんで拡張子が全て「avi」になるの?
A4, 理由は2つあります。
①そもそも動画ファイルに、拡張子を付けているサイトは殆どありません。
Flashプレイヤーから読み込む分には、拡張子は不要だからです。
そのまま保存しても良かったのですが、毎回リネームするのが手間であると考え、
最も汎用的な「avi」を拡張子として付与しております。

②ウィルスの懸念。拡張子「avi」ならば万が一ウィルスファイルをダウンロードしても
システム的に実行されないのと、実行されても動画プレイヤーがエラー終了するだけで済むから

Q5, なんでファイル名を動画サイトで使用しているファイル名をそのまま使わないの?
A5, サイトによっては文字数オーバーするから。
しかも文字数オーバーしたファイルを一旦作成してしまったら技術者でも消すのが難解であるから。

Q6, お勧めのプレイヤーは?
A6, VLCがお勧めです。GOMも好きなのですが、稀に再生できないファイルがあります。
作者はこの2つのプレイヤーだけで、今のところ再生できない動画はありません。


* 開発の経緯
FuzzyProxyではYourFileCacheの多くの失敗から開発方針を決めました。
方針① デフォルトの設定から基本的に変更不要な作りへ
 YourFileCacheでは設定ファイルは殆どの人が変更しないまま使用していました。
 ましてや設定ファイルの正規表現なんて理解できる人は数人でした。

方針② サイトの特有の処理は入れない
 色々な機能を盛り込みましたが、ほとんど認知されないまま
 サイトの仕様変更により、使えなくなってしまいました。
 またサイト特有の処理を入れてしまったために、
 サイトの仕様変更後そのサイト自体にアクセスできなくなりました。
 そして、作者が忙しくて一年以上メンテができませんでした。

 このことから、サイト特有の処理は入れないことにしました。
 現状の作りならば基本的にはノーメンテで数年使用可能なはずです。

方針③ 全ての動画サイト、画像サイトへ対応するような作りへ
 基本的に私の方に来る要望は、特定の動画サイトへの対応や、
 Pixivなどの画像サイトへの対応が主でした。
 私も欲しかった機能なのでFuzzyProxyの作成を決めた時点で
 まっさきに導入を決めました。
 
 ただし、ソースを見ているうちにニコニコ動画に関しては、
 将来的に見ると安定性を欠くようなコードが有ることが分かりました。
 これは方針②を決めた理由と同じなのですが、現状のnicocache_nlは
 サイトの仕様変更に弱いです。
 nicocache_nlは開発者も多く、サイトの仕様変更にもすぐに誰かが対応してくれるような体制に
 なっているため、nicocache_nlでは問題にはならなくとも基本的にノーメンテを目指している
 FuzzyProxyでは問題になります。
 
 そのため、nicocache_nlを元に作成したFuzzyProxyではありますが、
 ニコニコ動画も単なる動画サイトの一つとして扱うことにし、
 ニコニコ動画用に特化した機能を削除することにしました。

 これにより、ニコニコ動画の仕様変更に関係なく、動画のキャッシュが可能になりました。



更新履歴
2010/12/31 Version 0.4 公開
・ディレクトリ配下がファイルだらけになり管理しづらくなるという問題があったため、
画像ファイルのキャッシュを止める方向に決定致しました。
具体的には1.5MB以上のファイルのみをキャッシュする作りに変更しました。

動画ファイルも全て、ドメイン以下のディレクトリに格納するように致しました。
これによりcacheディレクトリ以下が綺麗に使用できるようになりました。
あと、download.propertiesも不要になったので廃止しています。

2010/09/07 Version 0.3 公開
・YourFileHostが保存されない不具合修正

2010/08/08 Version 0.2 公開
・zipファイルなどをキャッシュから開いたときにテキストとして開かれてしまうバグを修正
・コンテンツ以外のファイルがキャッシュされていたので、若干フィルタ条件を変えた。

2010/08/08 Version 0.1 公開
・First Release
スポンサーサイト
コメント(38)   2010.08.08    [ Myカテゴリ:試してみた ]

コメント

pixivで見るだけで保存できるのは、かなりいいですね。

動画のキャッシュのことなんですが、yourfilehostだけがちゃんとキャッシュされません。download.propatiesのなかの正規表現をいじってみましたが、よくわかりません。yourfilehostのソースを見てましたが合ってるように見えるのはなんででしょう。

yourfilecacheを使ってみましたがそちらはキャッシュされてるようです。とくに仕様が変わってるようではないかもです。
2010.08.28 04:22 URLrev#QrCnLm02 - 編集
yourfilehostの件、こちらでも確認できました。
まだ調査はできてないのですが、
次バージョンでの対応を行います。

遅くとも9月10日くらいまでには対応ができていると思います。
2010.08.28 10:23 URLけい#- - 編集
ご報告ありがとうございました。
yourfilehostが保存できるように修正いたしました。
2010.09.08 00:57 URLけい#- - 編集
>pixiv正規表現のファイルをアップロードしていただいた方

ご指定のアップローダーを確認しているのですが、「pixiv正規表現.zip」というファイルが見当たらないです・・・

「10/09/11(Sat) 08:47:38」~「10/09/19(Sun) 13:51:47」までにアップされたファイルは私の方で見えているので、それ以前にアップロードされたのでしょうか?

お手数ですが、再度アップロードをお願いいたします。
確認できましたら、次バージョンから本体の正規表現ファイルに加えた状態で配布したいと思います。
2010.09.19 18:40 URLけい#- - 編集
自分はyourfilehostがキャッシュされないことを報告した者です。

今度は大丈夫だと思います。今回は1834.zipがpixivの正規表現のファイルです。

http://ourfilehost.net/up/file1/upload.php
2010.09.20 03:43 URLrevia#- - 編集
>revia様
無事にダウンロードできました。
正規表現も正常に動いているようでしたので、
次バージョンにて本体の正規表現ファイルに加えた状態で配布致します。
2010.09.20 22:07 URLけい#- - 編集
初めまして、このソフトのヴァージョンアップ誠に感謝します。

さて、唐突の質問をお許しください。

このソフトを使用してキャッシュにファイルが溜まっている状態の時、動画サイトからは何からのアクセスに見えているのでしょうか?

ブラウザからに見えているのか、それともこのソフトからアクセスしているのが丸見えなのかと言う事です。


後、リンクされている動画サイトではプレイヤーで読み込み再生出来るのにキャッシュには溜まらない所があるみたいなんですがオンラインストレージの[sugarsync.com] の事です

やっぱり元サイトにプレイヤーが無い所だと溜まらないんでしょうか?





2010.10.31 14:07 URL未熟者#- - 編集
>ソフトを使用してキャッシュにファイルが溜まっている状態の時、動画サイトからは何からのアクセスに見えているのでしょうか?
キャッシュを既に保持している状態では動画サイトにアクセスに行きません。回答としては動画サイト側では、アクセスがあることはわかりません。

>キャッシュには溜まらない所
DLできない動画のURLを教えていただいてもよろしいですか?
可能性があるとすれば、基本的には画像、動画のキャッシュソフトとして作成している為、
20KB以下のファイルや
小さすぎる500KBより小さいテキスト系ファイルなどはキャッシュさせない作りにしています。

逆に言えば、500KB以上のファイルは基本的に全てキャッシュされます。
2010.10.31 16:41 URLけい#- - 編集

すいません、書き方がおかしかったみたいで。。。

前述の質問の内容は

正しくは動画閲覧サイトとその動画がリンクされている元のファイルの場所からはどう見えているかと言いたかったんですが拙い文章力の為,説明不足になりすいませんolz

だからその2つのサイトから読み込みしてる状態とキャッシュ完了の時のソフトからのアクセスかブラウザからのアクセスに見えているかと言う事なんです。


>DLできない動画のURLを教えていただいてもよろしいですか?


動画サイトでは表示、再生されるのですがリンク先を参照出来るソフト(あくまで私が知りうる限りのダウンローダーではですが(orbit downloader)ではリンク先が取得されないようです
なので分かる事は

配信元 www.sugarsync.com って言うオンラインストレージ

と言う事とファイルサイズしかわかりません。


>20KB以下のファイルや
小さすぎる500KBより小さいテキスト系ファイルなどはキャッシュさせない作りにしています。

逆に言えば、500KB以上のファイルは基本的に全てキャッシュされます。


についてですが容量:99MBとあるのでそれも該当しないように思われます。



2010.10.31 19:29 URL未熟者#- - 編集
仕様エラーを発見しました。
example.com/test/1.jpg
example.com/test_s_1.jpg
別ファイルなのに、同じキャッシュを使用します。

思い切って、キャッシュフォルダ内にサーバ名フォルダを掘ってその中にサーバ内部構造を再現するようにしたらどうでしょう?


あと、Nicocacheの利点は「ファイル名にタイトル名が入る」というところもあったと思います。
ただ、「_」(アンダーバー)はURLに使用可能な文字なので、ファイル名だけに使用可能な文字をセパレータに使用する必要はありますが
「 」(スペース)ならURLの場合は「%20」になるのでいいかもしれません。

他にも、設定ファイルを置くフォルダがあって、そこにサーバ別の設定も置けたら便利かと
例えば、

サーバ名 ncode.syosetu.com
取得条件 20kbyte以上
タイトル取得方法 本体「<title>(.+)</title>」
フォルダ名変更有り 「<title>(.+)</title>」
更新日チェック 有り

サーバ名 youtube.com
対象ファイル 1M以上のファイル
タイトル取得方法 呼び出しページ「<title>YouTube - (.+)</title>」

の用な感じの設定が「小説を読もう.txt」「ようつべ.txt」みたいにおけたら最高かと
※あくまでも例なので、実際マッチしないかもしれません。
2010.11.20 14:51 URL怪奇まんぼう男#dqEoT0WM - 編集
>URL怪奇まんぼう男様

ご意見ありがとうございます。
私もキャッシュの管理がしにくいなぁとは感じておりました。

原因としては当初の予想よりも行儀が悪いサイトがあまりにも多いことがあります。
また、そのサイトが人気のあるサイトだったりすると対応から外すわけにもいかず、
中途半端なポリシーでどんどん対応していったところ、
いつの間にかほとんどのコンテンツがキャッシュされており
IEのキャッシュをそのまま見るのと大して変わらない感じに・・・

>キャッシュフォルダ内にサーバ名フォルダを掘ってその中にサーバ内部構造を再現するようにしたらどうでしょう?
そうですね。次バージョンでは内部構造をそのまま再現するか、
少なくともドメイン別にファイルを格納するようにはします。

ちなみに次バージョンへのバージョンアップは12月くらいになりそうです。
2010.11.22 23:56 URLけい#- - 編集
最新verが403エラーでDLできません。
2011.01.06 17:13 URLエンジニアの卵さん#- - 編集
ご報告ありがとうございます。
確認しましたところ、IEとFireFoxで現象が発生していることを確認致しました。

取り急ぎですが、以下のURLに直接アクセスして頂ければ、
ダウンロードが可能です。
http://lfll.web.fc2.com/fuzzyproxy0.4.zip
2011.01.06 18:33 URLけい#- - 編集
download.propertiesが不要廃止とのことですが
今の配布ファイルには含まれていますし
ためしに消してみたら起動できませんでした。
2011.01.10 21:27 URLwasepp#- - 編集
ご連絡ありがとうございます。
設定ファイルを読み込んでいる箇所が一部分残っていたままとなっておりました。
修正致しました。
2011.01.11 03:20 URLけい#- - 編集
とても興味があったのでブログで紹介させて頂きました。
2011.01.15 16:38 URLヨーキー景吾の逃走#/avW6Qkc - 編集
ご紹介ありがとうございました。
2011.01.15 17:01 URLけい#- - 編集

短刀直入にお聞きします。

FuzzyProxyを使用して動画閲覧時、その動画のリンク先および共有サイトからはFuzzyProxyでアクセスしている

と認識してるのですか?

それとも普通にブラウザからのアクセスと認識してるのですか?


前者はキャッシュに溜まるのである意味DLだと思うのですが。。。


是非、ご回答を!!







2011.02.25 18:46 URL窓の杜経由。。#- - 編集
>それとも普通にブラウザからのアクセスと認識してるのですか?

何を確認したいのかがよくわからないのですが、UAのお話でしょうか?
それともIPのお話ですか?
挙動としてはごく一般的なプロキシの仕組みと変わりません。
2011.02.26 09:47 URLけい#- - 編集

なんか上手く説明出来ませんが共有サイトや元動画リンク先からはブラウザから何の細工もなくHPを閲覧しているように認識されているのかFuzzyProxyを使用しているのが分かるかと言う事なんです。

2011.02.26 12:40 URL窓の杜経由。。。ほぼ初心者。#- - 編集
>共有サイトや元動画リンク先からはブラウザから何の細工もなくHPを閲覧しているように認識されているのかFuzzyProxyを使用しているのが分かるかと言う事なんです。

共有サイトや元動画リンク先からはFuzzyProxyの使用はわからないです。
2011.02.26 13:16 URLけい#- - 編集

早々の回答を感謝致します。

ソフトからのアクセスと認識される場合、言ってみればダウンローダーを使用してると認識されると思い前回の質問に至りました。

疑問が解けて安心しました。


一つ疑問が解決して嬉しいのですが最近のサイトに多いのですが動画リンク先の国のプロクシを使用しないととても遅いサーバーがあり普通に閲覧する時でもその国のプロクシを使用している事がありその場合のプロクシの設定はどうすればいいのか分かりません。。。

ぜひご指南を!!







2011.02.26 19:09 URL窓の杜経由。。。ほぼ初心者#- - 編集
拡張子がAVIだとエクスプローラが死にます。命名規則変えられるようにさえすれば良かったのに
2011.05.22 23:33 URLエンジニアの卵さん#- - 編集
はじめまして。
動画だけキャッシュしてくれるローカルプロキシを見つけた時は歓喜でした。
素晴らしいソフトありがとうございます。
しかし、一つ困っていることがあります。バグなのか私だけなのか・・
一度キャッシュした後、ブラウザを再起したりPC再起した後でまた同じ動画ページを開いた時ローカルから読み込んでくれません。
いつも通りサーバー側からのキャッシュダウンロードが始まるのです。
おかしいなと思い、キャッシュフォルダを確認したところ、同じキャッシュファイルつまり同じ動画が何個も別名で保存されていました。
保存できるという点では便利ですが、同じ動画がどんどん増えるのでは困ります。
ちなみに設定は変えていません。
ブラウザはスレイプニル
ポートは8081
です。私だけならどうしようもありませんが・・もしバグなら直してほしいです。
お願いします。
2011.06.04 04:00 URLHGRS_00#1xvBQ4CU - 編集
こちらですが、バグではない・・・と思います。

ではなぜnicocache ではローカルから読み込んでくれるのに、fuzzyproxyではできないのか?
ローカルから読み込んでくれない理由は、多くの動画サイトが負荷分散のため動画のダウンロードURLはアクセスの度に異なったサーバーやURLを伝えてきます。
(cache ディレクトリを見ればわかると思います。)

よって、サーバーやURL(動画のURLではなくダウンロード用のURL)が違う為、違うファイルと判断してしまうのです。

こちらはサイトごとに対応を入れれば、多重にキャッシュされることを防止できますが、fuzzyproxyでは「動画サイトごとの固有の処理は入れない」方針ですので、申し訳御座いませんが現状のままと致します。
2011.06.04 08:20 URLけい#- - 編集
なるほど・・仕様でしたか。
残念ですが、いたしかたないですね。
動画分散とはいえ限りはあると信じて様子を見てみます。
もし、永久に別名で保存されるようなら定期的に削除しようと思います。
返答ありがとうございました。
2011.06.04 14:00 URLHGRS_00#1xvBQ4CU - 編集
FuzzyProxyを開けてローカルを設定したいのですが肝心な画面が開かないので設定ができなくてソフトが使えないじょうたいです。なにかわかればおしえていただけにでしょうか?よろしくおねがいいたします。
2011.06.25 06:36 URL初心者でsy、#- - 編集
いきなり質問ですが
1.5MB以下も保存できるように設定できますかね?
2011.10.20 23:14 URL名無し#BADFG6Vw - 編集
初めまして、Fuzzy Proxyを使わせていただいている者です。

先日、ロシアの動画共有サイト「RuTube」の動画に対して使用したところ、キャッシュできなかったので報告いたします。
2011.11.03 16:20 URLIw#- - 編集
はじめまして。
一部、動画がキャッシュされない事象を発見したのでご報告します。エラー内容をみるとどうやらhttp://サーバ:ポート/***な型のURLでエラーになっているようです。ウィンドウPCでは":"コロンがディレクトリ名として使えないのでキャッシュを保存するディレクトリ作成時にエラーになっているのではと推測しています。最新バージョンではすでに対応済みかも知れませんが、念のため報告あげておきますね。
2011.12.06 01:14 URL名無しさん@ニュース2ちゃん#QbpyQiaU - 編集
>>2011.12.06 01:14さん

ご報告・調査ありがとうございます。
原因もおそらく記載の内容のとおりだと思います。
いつになるかはわかりませんが、次版更新時には対応を行います。
2011.12.06 09:01 URLけい#- - 編集
はじめまして。
とても有意義なソフトの開発とご提供をくださり感謝してます。ありがとうございます。

早速の質問で恐縮ですが、
動画サイトで動画を再生し、FuzzyProxyのcacheフォルダにいつも通りに動画のキャッシュが始まるのですが、プロンプト画面にて「cache completed: example.avi」と表示された後にcacheフォルダを参照しても、該当の動画が削除される現象にあたりました。
キャッシュ途中では該当の動画は参照とGOM Playerでの再生も可能です。

どうしてこのような現象になってしまうのか不明で困っています。
もしお手すきの時がございましたらご回答頂けないでしょうか?
何卒よろしくお願いします。

動画サイトは、
http://www.cum.com
というアダルトサイトです。
2012.01.04 01:08 URLwing#- - 編集
VectorのFuzzyProxy 0.4.1
もここのQ&Aのfuzzyproxy0.4
も解凍してもbatファイルがありません
ESETが弾いているのかな?

vb6sp6rt4インストール済み

SSD化以前(7月)は完動済み
2012.09.14 05:54 URL太陽#- - 編集
太陽さま

Vectorのzipファイルにbatファイル
「FuzzyProxy.bat」ファイルが含まれていることを確認致しました。
おそらく拡張子が非表示の環境なのではないかと予想しています。
2012.09.14 09:05 URLけい#- - 編集
最小化時にタスクバーに表示せず、
アイコン化してタスクトレイに表示することは可能でしょうか?
2012.12.26 22:01 URLエンジニアの卵さん#- - 編集
FuzzyProxy.batダブルクリック、バッチファイルが開けない?localhost:8080に設定するインターネットではこのページは表示できませんと出て、プロキシが繋がらない、最初の設定がわかりません。初心者でもわかるように教えてください。
2013.01.16 09:41 URL林 みくり#- - 編集
保存フォルダの場所とかは変えられるんですか?
2013.07.04 14:32 URLあめあめ#- - 編集
はじめまして。
今も現役でFuzzyproxyを使わせて頂いております。

もしよろしければ最近出た動画サイト(Openloadやvodlocker)にも対応いただけないでしょうか?現状ですとキャッシュ溜まらないようです。。似たソフトをご存知であれば、おしえて頂ければそちらを試させて頂きます。

よろしくお願いします。
2016.02.17 17:17 URLカエルちゃん#- - 編集

コメントの投稿













管理者にだけ表示を許可する

Template Designed By
ぐらいんだぁ
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。